I.A. N° 154

Du bon usage du facteur d'impact


Dans les années 1960, Eugène Garfield fonde, à Philadelphie, une société privée, l'Institute for scientific information (ISI) et y développe la base de données bibliographiques Science citation index (SCI), avec l'objectif de mettre au point des indicateurs mesurant la "consommation" des résultats scientifiques. Il propose d'analyser les articles scientifiques en prenant en compte les citations.

Le Science citation index (SCI) est une base multidisciplinaire qui contient 13 millions de références et 150 millions de citations enregistrées, depuis 1964, par 4 500 périodiques scientifiques et techniques couvrant toutes les disciplines. Notons, cependant, que les sciences du vivant y sont moins bien représentées que dans les bases biomédicales spécifiques telles que Medline ou Embase qui balaient chacune environ 3 600 périodiques.
Les citations sont repérées par le nom du premier auteur (le seul pris en compte), l'année de publication et la référence des articles, mais sans le titre.

Les Journal citation reports (JCR) contiennent des indicateurs destinés à évaluer la "consommation" d'articles et de périodiques par les scientifiques. Articles originaux, éditoriaux, "lettres à la rédaction", "news" et résumés de congrès sont comptabilisés comme citations (cited). En revanche, seuls sont pris en compte comme sources (citing) les articles de recherche ou de revues et les notes techniques. On peut, en outre, identifier les périodiques "citants" et "cités", l'âge des citations ou encore le taux d'auto-citation. Notons sur ce dernier point que le taux d'auto-citation est fortement sous-évalué, puisqu'il ne prend en compte que le premier auteur auto-cité : la majeure partie des citations d'une équipe par elle-même n'est donc pas comptabilisée comme auto-citation.

Le JCR comporte six sections ; il permet de classer les périodiques selon différents critères :
- les plus cités en valeur absolue
- ceux dont les articles sont les plus cités en moyenne (facteur d'impact), globalement ou par discipline
- ceux qui publient le plus grand nombre d'articles
- les plus "chauds" (classement par indice d'immédiateté)

Les indicateurs

Six indicateurs principaux peuvent être calculés à partir de la base de données.

- Le facteur d'impact (Impact factor, IF), le plus connu et le plus utilisé des indicateurs fournis par l'ISI. Il représente, pour une année donnée, le rapport entre le nombre de citations sur le nombre d'articles publiés par un journal, sur une période de référence de deux ans. Il mesure donc la fréquence moyenne avec laquelle l'ensemble des articles de ce journal est cité pendant une durée définie. C'est un indice de mesure rétrospective de l'impact à relativement court terme.

Par exemple, l'impact factor (IF) de Science (21,911), en 1995, a été calculé de la manière suivante :
- citations en 1995 d'articles publiés en 1993 : 24 979 ; 1994 = 20 684 ; total = 45 663
- nombres d'articles publiés en 1993 : 1 030 ; 1994 = 1 054 ; total = 2 084-
- IF = nombre de citations/nombre articles (45 663/2 084) : 21,911

On peut donc dire que les articles de Science publiés en 1993 et 1994 ont été cités un peu moins de 22 fois en moyenne.

Le facteur d'impact ne rend pas compte des changements récents intervenus dans la politique éditoriale d'un journal : c'est ainsi que le dernier facteur disponible (impact 1995, publié en 1997) est calculé sur les articles publiés en 1993 et 1994, et reflète donc la situation des périodiques des deux à quatre années précédentes.

- L' "indice d'immédiateté" (immediacy index) est une mesure de la rapidité de citation des articles. Il représente le rapport entre le nombre de citations se rapportant à des articles publiés pendant la dernière année de référence et le nombre d'articles de cette même année.

Par exemple, l'indice d'immédiateté de Science (4,738) est calculé comme suit :
. citations, en 1995, d'articles publiés en 1995 = 4 913
. nombre d'articles publiés, en 1995 = 1 037
L'indice d'immédiateté est donc égal au rapport nombre de citations/nombre d'articles (4913/1037) = 4,738.
D'une façon générale, seules les très grandes revues généralistes ont un facteur d'immédiateté supérieur à 2.

- La demi-vie des citations ("cited half-life") est une mesure de longévité des citations d'un périodique, définie comme le temps au bout duquel celles-ci tombent en deçà du seuil de 50 % de leur nombre total.
Dans notre exemple, la demi-vie des citations de Science est de 5,6 ans : c'est le temps au bout duquel la moitié des articles de 1995 ne sera plus citée.
La demi-vie des articles dépend de leur nature : en fonction du temps, le taux de citation suit une courbe en cloche (qui passe par un maximum entre 2 et 3 ans) ; les articles atypiques ne commencent à être cités que beaucoup plus tard.

Complémentarité des indices
Tous les indicateurs fournis par le Journal citation report (JCR) devraient être pris en compte si l'on veut obtenir une évaluation globale des performances d'un périodique.
En analysant l'évolution des six indicateurs du JCR sur 19 ans, Magri et Solari montrent la fragilité de conclusions partielles basées sur certains indices seulement. En réalité, les périodiques semblent se distribuer en quatre groupes : "bas", "central", "haut" et "extrême". Le groupe "extrême", qui ne représente que 10 % des périodiques, se caractérise par des indicateurs de valeur "hors standard" et tend à dévaluer exagérément les autres. La plupart des revues (50 %) se retrouvent, en fin de compte, dans le groupe central. Il est donc déraisonnable de porter attention à toutes les décimales officiellement publiées.

Des indicateurs de performance collective ou individuelle ?
Comme on le voit, les indicateurs reflètent l'usage des périodiques, mais ne sont pas conçus pour mesurer l'impact scientifique des auteurs d'articles particuliers (ou la qualité d'un article). Le facteur d'impact se rapporte à un périodique et non à un article. Il est d'abord un indice de visibilité d'une revue. Extrapoler sa signification peut induire en erreur : les articles d'une revue à fort facteur d'impact ne sont pas tous cités de manière identique.
En général, seul un petit nombre d'entre eux est souvent cité. D'après une étude de Maunoury, "9 % des articles de Cell, 16 % de ceux des PNAS, 43 % de ceux d'Experimental Physiology et 52 % de ceux de l'European Journal of Pharmacology, publiés entre 1989 et 1993, n'ont jamais été cités".
Il n'y a donc pas vraiment de corrélation entre la fréquence de citation d'un article et le facteur d'impact du périodique dans lequel il est publié.

Des inégalités entre disciplines et sous-disciplines
Le facteur d'impact n'est qu'un élément d'appréciation parmi d'autres. Notons d'abord que les articles qui rapportent des découvertes importantes - des faits entièrement nouveaux, ou des éléments impliquant une percée conceptuelle - ne sont pas nombreux ; ce sont eux que privilégient les revues généralistes, parce qu'ils sont suceptibles ''intéresser plusieurs communautés disciplinaires - et donc d'être davantage cités. Mais ils sont loin de constituer l'essentiel de la littérature scientifique : ce sont les analyses spécialisées qui, bien que de portée moins générale, permettent de vérifier ou d'infirmer le bien-fondé des percées conceptuelles, ou d'en préparer de nouvelles. Les bonnes revues disciplinaires, même à moindre facteur d'impact, sont donc aussi importantes que les revues généralistes ; on ne peut pas se faire une opinion critique d'une question en ne se basant que sur les secondes.

Notons ensuite que les facteurs d'impact de périodiques de disciplines différentes ne sont pas comparables. Ainsi, les sciences de la vie ont un statut à part dans le classement des revues par facteur d'impact. En ne comptabilisant que les revues consacrées à des mémoires originaux, 12 des 15 journaux à facteur d'impact supérieur à 10 concernent en effet cette discipline (les trois autres étant Science, Nature et les PNAS), tandis que le facteur d'impact des meilleurs journaux de chimie et de physique est compris entre 5 et 6. On compte à peu près 300 journaux d'impact supérieur à 3, plus de 1 200 compris entre 1 et 3, et près de 3 000 de facteur d'impact inférieur à 1. Les journaux de biologie et de médecine sont majoritaires dans toutes ces catégories, mais, malgré des habitudes de publications différentes, de nombreux journaux internationaux de physique, de chimie ou de sciences de la terre figurent dans la dernière catégorie.

Soulignons également le caractère hétérogène du rang de classement des périodiques, selon qu'ils contiennent ou non des revues de synthèse. En règle générale, plus un journal en publie (Endocrine, Physiological, ou Pharmacological... Reviews, Trends in...), plus son facteur d'impact est élevé. Pour les mêmes raisons, les journaux publiant principalement des résultats primaires voient leur facteur d'impact augmenter lorsqu'ils introduisent quelques "mini-revues" dans leurs livraisons. Enfin, à l'intérieur même des sciences de la vie, la position des revues n'est pas la même selon que celles-ci publient des résultats cliniques ou expérimentaux. Hansson montre, par exemple, qu'on trouvait 62 journaux à facteur d'impact supérieur à 2 en biochimie et biologie moléculaire en 1992, alors qu'il n'y en avait aucun dans la plupart des spécialités médicales (en dehors des grandes revues cliniques généralistes et de quelques revues de cancérologie). L'indicateur ne peut donc servir à comparer l'impact de travaux fondamentaux et cliniques.

Le calcul du facteur d'impact a souvent été contesté par les éditeurs de journaux relativement spécialisés (donc s'adressant à des communautés scientifiques plus limitées). Par exemple, la majorité des articles princeps concernant Cenorhabditis elegans (un modèle qui a joué un rôle important dans le développement des travaux sur l'apoptose) a été publiée dans des revues relativement confidentielles. Cette distorsion disciplinaire est bien illustrée par le tableau I, qui résume une analyse comparative des "parts de marché" des citations de plusieurs journaux primaires au sein d'une sous-discipline bien définie des neurosciences.

La comparaison montre qu'il n'y a pas de corrélation entre les deux mesures ; certains journaux spécialisés peuvent avoir une bonne part de marché spécialisée tout en ayant un facteur d'impact inférieur à d'autres. Les journaux généralistes publient rarement des articles correspondants à cette sous-discipline, mais ceux qu'ils publient sont généralement très cités, à l'inverse, les articles des journaux spécialisés sont moins cités, mais correspondent à une forte proportion des publications de la discipline.

A cet argument, Eugène Garfield rétorque que le facteur d'impact d'une revue servant un petit nombre de lecteurs peut être égal à celui d'une grande revue à nombreux lecteurs, puisque la première publiera moins d'articles (et que le facteur d'impact représente un quotient). Il reste que les bonnes revues spécialisées conservent un sérieux handicap par rapport aux grandes revues généralistes : leurs résultats sont beaucoup moins cités en dehors de la communauté concernée par leur discipline.

Tableau I
Comparaison des indices d'impacts et des "parts de marché" (calculées sur environ 40 000 citations repérées par mots-clé) de journaux généralistes ou spécialisés dans un domaine scientifique déterminé (la neuroendocrinologie)
Revue
Facteur d'impact
Poids spécifique 1994 dans la
sous-discipline considérée
Endocrinology4,4 8,3
JCEM 4,14,2
JBC7,7 7,7
Brain Res 10,2 3,0
PNAS10,6 3,7
Neuroendocrinology2,6 2,3
Science22,02,2
Nature25,4 2,0
J. Neuroendocrinology 2,9 0,4


Le facteur d'impact est, en outre, un indice très sensible, qui peut varier en fonction de la nature, du format, de la taille ou du nombre d'articles publiés par un périodique, et privilégie certains périodiques (les "cited only journals"), dont les citations sont comptabilisées, mais non prises en compte en tant que sources. Notons, enfin, que les périodiques en langues autres qu'anglaise ont peu d'influence sur le facteur d'impact ; à l'inverse, les revues ("reviews" sont fortement favorisées, probablement parce qu'un nombre croissant d'auteurs, pour gagner du temps et de la place, a tendance à faire référence à des ouvrages de synthèse plutôt qu'aux mémoires originaux.

L'interprétation des indices : à consommer avec modération !
La prudence est donc de mise lorsque l'on veut comparer les facteurs d'impact de périodiques appartenant à des domaines scientifiques différents. C'est d'autant plus vrai que le mode de calcul des indices du JCR est critiquable. Par exemple, la qualité du journal citant n'est pas prise en compte (toutes les citations ont la même valeur) ; les pratiques de citation, différentes, comme on l'a vu, selon le domaine ou la politique éditoriale d'un journal, ne sont pas pondérées ; enfin, on ne tient pas compte du nombre des références citées. Or celui-ci varie beaucoup d'un article à l'autre ; les périodiques de synthèse et les revues multidisciplinaires s'en trouvent souvent favorisés.

Il en résulte des distorsions importantes entre la perception de la qualité ou de l'utilité d'un journal, et le classement de celui-ci en fonction des indices de l'ISI. Une étude réalisée par Foster (Lancet, 11 novembre 1995) auprès de 50 scientifiques des NIH (biochimistes, immunologistes, neurobiologistes, généticiens...) illustre bien cette distorsion (tableau II).

Tableau II
Comparaison du rang de classement des revues par un groupe représentatif de scientifiques des NIH et par l'ISI (NIH Catalyst)
Revue
Rang de classement dse revues par les scientifiques
Rang de classement par l'ISI
Revues expérimentales
Science
1
10
Nature
2
8
Cell
3
3
Proc Natl Acad Sci
4
37
J Biol Chem
5
67
J Cell Biol
8
35
Biochemistry
9
111
-
-
-
Revues cliniques
-
-
N Engl J Med
1
5
J Clin Invest
2
49
Lancet
3
16
JAMA
4
97
Ann Intern Med
5
38
BMJ
7
160



On remarque que les deux classements sont assez différents (bien que leur ordre global soit relativement corrélé). Le classement des scientifiques reflète probablement des choix culturels (habitudes de publication, nationalité des comités éditoriaux...). Mais il faut également considérer que le rang de l'ISI inclut toutes les sources, y compris les périodiques ne publiant que des revues. Les scientifiques, eux, ont pris en compte les publications liées à la production scientifique, tandis que les citations reflètent plutôt leur "visibilité".

Les deux paramètres ne sont pas nécessairement corrélés. Il existe plusieurs motivations, de poids très variables, pour citer un article, et la pratique de la citation varie beaucoup selon les disciplines et les pays. On cite en général plus rapidement les articles de son propre pays ; par exemple, les auteurs américains d'articles de biomédecine ne citent en moyenne que 12 % de références étrangères de moins de 2 ans, et 30 % de moins de 10 ans (un taux très inférieur au poids réel de la littérature non américaine).

Pour ces raisons, les données du Journal citation report doivent être considérées d'abord comme des outils de "bibliothéconomie", utiles aux professionnels de la documentation pour orienter leur politique d'acquisition, et aux éditeurs scientifiques pour suivre la performance et l'évolution de leurs titres. Elles ne constituent pas des indicateurs fiables de la production scientifique individuelle. Ceux qui les utilisent ainsi le font souvent à mauvais escient, sans s'interroger suffisamment sur les modes de calcul et leurs limites.

Comme l'ont bien souligné Vinay et Baverel, "Il faut les critiquer, en même temps qu'on les considère ; il faut surtout rejeter la tentation qu'ils véhiculent d'un automatisme dans l'évaluation..."

Nicole Pinhas
Réseau DIC-DOC
Le Kremlin-Bicêtre

Claude Kordon
Directeur
Unité INSERM U. 159

Bibliographie
Le facteur d'impact : "audimat" valable des revues scientifiques ? Ann Fr Anesth Réanim 1995,14, 247-248
Brody S. Impact factor as the best operational measure of medicals journals. Lancet 1995, 346 (8979), 1300-1301
Desrichard Y, ,Kleb C. Le "journal citation reports" du "Science Citation Index"": une étude pour servir la politique documentaire d'un pôle d'acquisition spécialisé. Bull Bibl France, 1994, 39, 61-69
Garfield E. Which medical journals have the greatest impact ? Ann Intern Med, 1986, 105, 313-320
Garfield E. Citation Indexes for Science. Science, 1955, 122, 108-111
Hansson S. Impact factor as a misleading tool in evaluation of medical journals Lancet, 1995, 346 (8985), 906
Lostette Y, Henrot P, Hoeffel C, Gaucher H, Hoeffel JC. Index des publications scientifiques : description et résultats. La Presse médicale, 1996, 25, 319-322
Magri MH, Solari A. SCI JCR : a tool for studying journals. Scientometrics, 1996, 35, 93-117
Maunoury MT. Les publications et le recrutement au CNRS. La Lettre BIO des sciences de la vie du CNRS, 1996, 14-15
Seglen PO. Why the impact factor of journals should not be used for evaluating research. Brit Med J, 1997, 314, 498-502
Vinay P, Baverel G. Au fur et à mesure : à propos de l'évaluation numérisée de la production scientifique. Médecine/Sciences, 1994, 10, 701-703
Untersteiner N. Citez ce texte ! Pour la Science, 1995, 212, 20

- un lecteur a reagi et enrichi cet article