POINT DE VUE

La course à la bibliométrie a des effets pervers

Pr Ph Gabriel Steg

Auteurs et déclarations

7 juillet 2020

Le blog du Pr Gabriel Steg – Cardiologue

TRANSCRIPTION

Gabriel Steg — Bonjour. Aujourd’hui je voudrais vous parler de bibliométrie et d’évaluation scientifique. C’est un sujet dont on a beaucoup parlé ces dernières semaines, à l’occasion de la crise COVID, à propos de l’inflation des publications, à propos des chercheurs qui sont des grands publiant, à propos des classements de chercheurs — c’est un sujet qui vous évoque sûrement des choses.

J’aurais voulu parler avec vous des outils qui sont utilisés pour évaluer la quantité, la qualité des publications et l’impact d’un chercheur ou d’une équipe et les limites de ces outils quantitatifs qui sont disponibles.

Il y a plusieurs façons d’évaluer la qualité et l’impact d’un chercheur dans le domaine biomédical, mais aussi dans d’autres domaines.

Les classements, la quantité de publications

Une première façon simpliste, c’est de prendre les classements. Il y a des classements qui sont faits par des sociétés privées, qui sont disponibles sur internet — ils sont peu utilisés parce qu’ils sont souvent extraordinairement subjectifs et peu reconnus par les outils d’évaluation et les instances d’évaluation.

Deuxième façon, c’est de regarder la quantité de publications et on a beaucoup parlé, ces dernières semaines, de chercheurs qui publient beaucoup, voire énormément, et c’est une façon qui est assez simpliste, mais qui peut avoir son mérite — au moins, c’est simple, combien de publications les gens publient. Peut-être que quand ils publient beaucoup, beaucoup, beaucoup il faut se poser des questions sur leur production scientifique — comment est-ce qu’ils arrivent à publier autant ? Quel est leur rôle réel dans les publications ?

Quel rôle dans la publication? Quelle notoriété de la revue ?

Puis on peut affiner un peu les choses et utiliser des scores qui tiennent compte non seulement du nombre de publications, mais du rang de chacun des chercheurs dans les publications — est-ce qu’il est premier auteur, celui qui a écrit l’article, ou au moins la première version de l’article et qui a réalisé le travail ? Est-ce qu’il est deuxième, troisième auteur, collaborant à la recherche ? Est-ce qu’il est avant-dernier, voire dernier auteur, celui qui a dirigé et organisé, généralement, la recherche ou est-ce qu’il est simplement un coauteur dans le milieu du paquet ? Et puis, deuxièmement, est-ce que c’est une revue très importante, une des revues phares de la discipline ou de la médecine – le New England Journal of Medicine, le Lancet, ou, au contraire une revue obscure qui n’est pas citée, pas référencée. Et il y a des scores, comme le score SIGAPS, qui affecte un certain nombre de coefficients en fonction de l’importance de la revue et du rang de publication, du rang de chaque auteur, pour assigner à chacun des chercheurs dans le domaine hospitalo-universitaire un nombre de points SIGAPS, chaque année. Et ce nombre de points SIGAPS est, d’ailleurs, utilisé pour calculer les sommes d’argent que les hôpitaux universitaires reçoivent du Ministère de la Santé en proportion de la production de leurs médecins hospitalo-universitaires et, d’ailleurs, non hospitalo-universitaires, chaque année, en principe pour rembourser ces établissements du temps que les chercheurs ont passé à faire de la recherche au lieu de produire de l’activité médicale comptabilisée dans les T2A. C’est censé être un remboursement aux hôpitaux. Le score SIGAPS est très employé — il a ses limites, mais, enfin, il a au moins, déjà, le mérite d’être un outil assez objectif et quantitatif, malgré le fait qu’il y ait beaucoup de discussion autour des aspects techniques de son calcul.

L’indice H et le nombre de citations

Et puis on peut aller plus loin et on peut se dire que ce qui compte, ce n’est pas la production, mais l’impact qu’on a eu sur une discipline. Et qu’est-ce qui reflète l’impact d’une publication dans une discipline ? Eh bien, ce n’est pas simplement le fait d’avoir publié — c’est le fait d’être cité par les autres. Si on est cité par les autres, ça veut dire que le travail qu’on a publié est important, qu’il a influencé la discipline. Et, donc, on sait maintenant, grâce aux outils informatiques, assez facilement colliger le nombre de citations d’un article ou d’une équipe ou d’un chercheur. Et ce nombre de citations, c’est un chiffre brut, et puis on lui affecte des coefficients, et on peut tenir compte à la fois de la production et du nombre de citations. Et un des outils qui est très employé, c’est l’indice H, H du nom de Hirsch, le physicien qui l’a inventé en 2005. On le calcule, cet indice, en disant qu’on a un indice H si on a publié au moins H publications qui sont citées au moins H fois. Alors, c’est un indice qui tient compte à la fois du nombre de publications qui l’influencent et aussi du nombre de citations. Un outil, en principe, idéal, puisqu’il donne un chiffre unique, quantitatif, continu, donc c’est une bonne façon de classer les gens.

 
On peut se dire que ce qui compte, ce n’est pas la production, mais l’impact qu’on a eu sur une discipline.
 

Limites et effets pervers des outils bibliométriques quantitatifs

Mais, évidemment, ces outils de bibliométrie quantitatifs, ils peuvent donner lieu à des effets pervers extrêmement importants, parce qu’on peut avoir tendance à multiplier les publications pour le plaisir de publier, pour augmenter son nombre de publications et son indice H, à dupliquer les publications, publier des choses qui ne sont pas originales, à découper les publications, ce qu’on appelle l’effet salami — au lieu d’écrire trois résultats dans une grande publication, vous allez faire trois articles différents qui décrivent chacune un des résultats. Vous allez avoir tendance à vous auto-citer, vous allez avoir tendance à répéter vos propres travaux et puis il y a des effets pervers plus subtils, par exemple, quand vous êtes âgé et senior en recherche, vous allez être plus facilement invité à rédiger des revues générales, à rédiger des éditoriaux sur les articles dont vous avez été le reviewer ou, d’ailleurs, pas, et puis vous pouvez influencer une discipline et imposer un certain conformisme scientifique et, évidemment, c’est plus difficile d’aller contre l’opinion générale de la discipline quand on est jeune que quand on est vieux. Bref, ces outils, ils ont des limites importantes et il y a une vieille blague qui traîne depuis toujours dans le milieu biomédical qui dit que Dieu n’aurait pas été reçu au concours de recrutement de l’INSERM parce qu’il n’a publié qu’un seul article, c’était il y a très longtemps et ce n’était même pas en anglais dans une revue à comité de lecture.

 
Dieu n’aurait pas été reçu au concours de recrutement de l’INSERM parce qu’il n’a publié qu’un seul article.
 

Voilà, donc ces outils d’évaluation quantitative, ils sont intéressants et ils ont un certain attrait — on comprend bien la folie des classements — mais ils ont des effets pervers qui peuvent être considérables. Et de plus en plus, une critique se fait jour sur cette course à la publication, cette course à la bibliométrie. On se rend bien compte qu’on peut être un chercheur qui a un impact absolument majeur dans une discipline en ayant très peu de publications si on a des publications vraiment importantes et originales. Parfois, il peut être difficile d’arriver à publier lorsqu’on a des idées originales qui vont contre le conformisme ambiant et, pourtant, ce sont ces articles-là, même s’ils sont peu nombreux, qui vont parfois renouveler entièrement une discipline, et il y a de nombreux exemples célèbres de cela. Et puis, fondamentalement, la quantité de publications et même la publication, ça n’est qu’une partie du travail scientifique d’un chercheur. Il y a beaucoup d’autres choses qui sont très importantes : il y a des aspects de conception théorique, de réflexion théorique, de conceptualisation. Il y a des effets de tutorat des plus jeunes, d’encadrement des plus jeunes, qui ne sont pas pris en compte par les publications. Il y a des effets d’enseignement, des tâches d’enseignement qui sont extrêmement importantes dans la production des universitaires et qui ne sont, évidemment, pas pris en compte par les scores de bibliométrie. Et la tendance à rapporter tout à un chiffre unique, quantitatif, d’évaluation bibliométrique est une tendance qui est reconnue, maintenant, pour produire des effets pervers, avec une incitation à toute force à la publication. Dans certains pays, la bibliométrie est assortie de récompenses financières pour les chercheurs et ceci produit parfois des conséquences catastrophiques avec des publications qui sont soit inutiles, soit, même, parfois, une tentation des chercheurs de céder à tout prix à la nécessité d’une publication avec, parfois, une tentation d’enjoliver les résultats pour absolument arriver à avoir un p significatif et un résultat publiable, voire, même, parfois, tout simplement de la fraude. Et on a vu récemment des exemples tout à fait retentissants de l’emballement des publications sur la COVID. Je rappelle qu’il y a eu, déjà, depuis le début de l’épidémie COVID, plus de 18 000 publications sur la COVID et des exemples célèbres dans cette littérature d’articles qui ont dû être retirés, rétractés, et, pour certains, pour lesquels il y a fraude probablement avérée. Et, donc, je crois que la conclusion qu’on doit retirer, c’est que la bibliométrie quantitative, c’est un outil intéressant qui peut être utile dans certains aspects, mais que l’évaluation qualitative de la production d’un chercheur est absolument critique pour une véritable évaluation scientifique. Je vous laisse méditer ces considérations et, probablement, réfléchir à produire mieux plutôt que produire plus de publications. À bientôt.

 
On comprend bien la folie des classements — mais ils ont des effets pervers qui peuvent être considérables.
 

Voir les autres blogs du Pr Steg

Commenter

3090D553-9492-4563-8681-AD288FA52ACE
Les commentaires peuvent être sujets à modération. Veuillez consulter les Conditions d'utilisation du forum.

Traitement....