POINT DE VUE

« Le travail de reviewer n’est pas d’évaluer la véracité des données »

Pr Ph Gabriel Steg

Auteurs et déclarations

22 juin 2020

Le blog du Pr Gabriel Steg – Cardiologue

TRANSCRIPTION

Gabriel Steg — Bonjour. Aujourd’hui je voudrais vous parler de l’évaluation des articles scientifiques et spécifiquement du processus de peer review. C’est un sujet d’actualité après le scandale de l’article publié dans le Lancet sur une grande base de données dont la véracité des données est sujette à caution (Lire : Deux grandes revues rétractent des études sur l’hydroxychloroquine et les antihypertenseurs dans le COVID-19). À cette occasion, beaucoup se sont interrogés en se demandant comment les reviewers de l’article auraient pu passer à côté des questions que posaient les données. Et je voudrais rappeler que le mandat de reviewers n’est pas d’évaluer la véracité des données scientifiques qui leur sont fournies. Souvent, ils n’ont pas les outils pour le faire et souvent, d’ailleurs, ils n’ont pas les données principales, les données primitives — c’est même exceptionnel qu’ils y aient accès. Leur rôle diffère. Il est d’essayer de décrire ce qui est dans l’article en cinq items et de répondre à trois questions.

Le travail de reviewer

C’est ce que fait un bon reviewer et ce que je vais essayer de décrire dans les quelques minutes qui viennent. C’est un sujet que je connais un peu, d’abord, parce que j’ai, moi-même, reviewé beaucoup d’articles, et puis parce que je suis éditeur associé à Circulation et qu’à ce titre je revois, je relis beaucoup de reviews et de reviewers.

Alors, dans une review, il faut commencer par décrire ce que l’article, ce que le manuscrit évalue. C’est-à-dire : quel est l’intérêt du sujet, en général, est-ce que c’est une thématique intéressante ou pas. Si la thématique n’est pas très intéressante, l’article risque de ne pas être intéressant, même s’il est valide. Deuxièmement, quelle est l’hypothèse que les auteurs ont testée, la ou les hypothèses. Quelles sont les méthodes qu’ils ont utilisées pour tester cette hypothèse ? Quatrièmement, quels sont leurs résultats et est-ce que ces résultats sont originaux et importants ? Et, cinquièmement, quelle interprétation ils en font et est-ce que l’interprétation qu’ils en font est correcte et met bien en contexte leurs propres résultats ?

A l’issue de ce bref résumé de l’article, que j’encourage les reviewers à faire au début de leur review, le reviewer doit pouvoir commenter sur au moins trois éléments fondamentaux.

Le premier et le principal, c’est la validité des données. Est-ce que le résultat qui a été observé est valide ? Est-ce que les méthodes permettent de conclure? Est-ce que la conclusion qui est tirée est correcte à partir des méthodes qui ont été utilisées ? Et j’insiste sur le fait que la validité n’est pas la véracité. Encore une fois, c’est très difficile de détecter une fraude délibérée. Par contre, on peut détecter des erreurs, ce qui n’est pas la même chose.

 
C’est très difficile de détecter une fraude délibérée. Par contre, on peut détecter des erreurs, ce qui n’est pas la même chose.
 

Deuxième question à laquelle pourrait répondre un reviewer : est-ce que ce résultat est important ? On peut avoir un résultat parfaitement valide, mais qui est une duplication ou une réplication de choses qui ont déjà été montrées à de multiples reprises auparavant, auquel cas ça n’est pas très intéressant.

 Et la troisième question, est-ce que l’interprétation qui est faite, en particulier dans la discussion, la conclusion et le résumé de l’article est correcte et met bien en perspective les forces et les faiblesses du manuscrit. Et ça doit conduire le reviewer à donner à l’issue de ses commentaires majeurs, une évaluation des forces et des faiblesses de chacun des manuscrits.

Et plus on rentre dans le détail dans ces forces et ces faiblesses, mieux c’est. Il est important que les commentaires qui vont suivre ces forces et faiblesses soient des commentaires constructifs, qui indiquent aux auteurs quel chemin ils doivent faire pour améliorer leur article, répondre aux éventuelles questions qui peuvent être posées en raison d’incertitudes, aux critiques qui peuvent leur être adressées sur le choix les méthodes, sur l’interprétation, en sachant que quand un reviewer liste des questions et des commentaires, il va falloir ensuite qu’il prenne position sur l’acceptation ou non de cet article. Et c’est quelque chose qui ne s’écrit pas dans les commentaires aux auteurs, c’est quelque chose qui s’écrit dans les commentaires aux éditeurs. Un défaut courant qu’on voit dans les reviews, c’est que le reviewer va copier-coller ses commentaires aux auteurs dans la section réservée à l’éditeur, or, ça, ça n’a aucun intérêt puisque l’éditeur a, bien entendu, déjà vu cela. Ce que l’éditeur veut savoir dans la section confidentielle qui lui est destinée, c’est : est-ce que le reviewer estime qu’il faut demander une révision aux auteurs, une révision mineure ou une révision majeure, suivant les cas, en sachant que si on demande une révision, on sous-entend que si les auteurs répondent correctement aux critiques et aux commentaires qui leur ont été faits, s’ils répondent aux suggestions qui leur sont faites, eh bien il n’y aurait aucune raison de refuser l’article. À l’inverse, si on pense que l’article a des limites trop fortes, des problèmes trop importants pour être résolus par une révision, il ne faut pas demander une révision, il faut rejeter l’article et il faut expliquer pourquoi. Et c’est un des éléments qui doit figurer dans les commentaires à l’éditeur de façon tout à fait explicite.

Enfin, pour revenir aux commentaires aux auteurs, une fois qu’on a décrit les principaux aspects de la recherche en termes de validité, en termes d’importance, d’originalité, en termes d’interprétation, il faut les faire suivre des commentaires mineurs qui vont souvent être des commentaires de forme sur… ça peut aller de la grammaire anglaise jusqu’au choix des références bibliographiques, ou la représentation des figures. Là, encore, en essayant d’être constructif, en évitant de demander de citer ses propres travaux — ce qui n’est ni élégant, ni approprié — et en encourageant les auteurs à avoir une approche qui va être la plus constructive, non seulement pour eux, mais également la plus utile au lecteur de l’article, puisqu’en définitive, il faut que ces articles soient lus et qu’ils soient, de préférence, cités, pour qu’ils soient utiles à la progression de la science.

Voilà. Vous avez remarqué que, finalement, dans ces processus d’évaluation du reviewer il n’y a pas la question de la véracité des données. Alors, est-ce qu’on peut lors d’une revue se poser des questions sur la véracité des données ? Oui, bien sûr — il faut sûrement se poser ces questions même si, heureusement, la fraude en recherche médicale ou biomédicale est, probablement, l’exception plutôt que la règle. Elle existe, la tentation est grande d’embellir ou d’enjoliver parfois des données réelles. Il est plus rare d’avoir une fabrication pure et simple, une invention de données, mais c’est arrivé. C’est arrivé parfois de façon spectaculaire, comme ça vient encore probablement d’être le cas avec l’article du Lancet.

Et, donc, il est important de se poser la question critique de savoir « est-ce que ces données sont véridiques ? », « est-ce qu’il faut demander un accès à une sélection ou à une partie de données sources ? », « est-ce que les auteurs peuvent expliquer comment ils ont eu accès aux données qu’ils présentent, à tant d’observations, à tant d’animaux dans un délai aussi court ? »

 
Il est important de se poser la question critique de savoir « est-ce que ces données sont véridiques ? »
 

L’IA à la rescousse

Voilà — il faut savoir poser des questions et savoir identifier des problèmes. Et puis, ce qui va sûrement se développer c’est l’évaluation un peu automatisée par l’intelligence artificielle de la véracité des données. Il existe, par exemple, des logiciels qui permettent de reconnaître si les chiffres sont aussi aléatoires qu’ils le devraient dans un article scientifique. Normalement, il y a un certain caractère aléatoire aux chiffres, y compris, par exemple, les décimales dans les tableaux. Si les décimales dans les tableaux ne sont pas aléatoires, ça peut être un signe qui attire l’attention sur une éventuelle manipulation des données et, de plus en plus, les éditeurs des grands journaux vont avoir recours à ces logiciels d’évaluation automatique, exactement comme maintenant dans beaucoup de facultés il y a des logiciels qui scannent les dissertations des étudiants pour y déceler du plagiat éventuel. Donc je pense qu’on va aller vers une évaluation plus systématique de la véracité des données après avoir demandé au reviewer d’évaluer la validité des données.

 
Si les décimales dans les tableaux ne sont pas aléatoires, ça peut être un signe qui attire l’attention sur une éventuelle manipulation des données.
 

Voilà. J’espère que ces éléments vous auront intéressé et qu’ils vous seront utiles si, demain, il vous est demandé, à votre tour, d’être reviewer, d’être évaluateur d’un article scientifique pour une revue médicale. Bonne lecture, bonne revue, à bientôt.

Voir les autres blogs du Pr Steg

Commenter

3090D553-9492-4563-8681-AD288FA52ACE
Les commentaires peuvent être sujets à modération. Veuillez consulter les Conditions d'utilisation du forum.

Traitement....