POINT DE VUE

Stats : « Absence of evidence is not evidence of absence »

Pr Ph Gabriel Steg

Auteurs et déclarations

29 juin 2018

Le blog du Pr Gabriel Steg – Cardiologue

TRANSCRIPTION

Gabriel Steg — Bonjour. Aujourd’hui je voudrais vous parler de statistique médicale et en particulier d’un grand monsieur de la statistique médicale qui s’appelle Doug Altman. Doug Altman est un statisticien londonien qui est mort il y a quelques jours. Il est un peu connu dans le monde des tests statistiques et aussi de la biologie médicale parce qu’il est le « Altman » de la corrélation de Bland et Altman, qui permet de tester la corrélation entre deux tests. Mais il est aussi un des principaux promoteurs de la « evidence-based medicine » et quelqu’un qui a beaucoup réfléchi à la façon dont les cliniciens peuvent utiliser la médecine par les preuves.

« L’absence de preuve d’une différence n’est pas la preuve d’absence de différence »

Je voudrais revenir sur un article qu’il a écrit il y a plus de 20 ans et qui est paru dans le BMJ le 19 août 1995 et qui s’appelle « Absence of evidence is not evidence of absence » qu’on peut traduire par l’absence de preuve d’une différence n’est pas la preuve d’absence de différence. Dans cet article— c’est un article très bref, qui fait une page, mais c’est un article très important — il revient sur comment interpréter le résultat statistiquement significatif d’un test de comparaison ou, plus exactement, comment interpréter l’absence de différence statistiquement significative.

Parlons d’abord du cas où on a une différence statistiquement significative entre deux traitements dans un essai randomisé contrôlé. Nous savons tous qu’une différence statistiquement significative n’est pas nécessairement une différence cliniquement très importante. Si on a un échantillon très grand, on peut arriver à mettre en évidence une différence parfois mineure entre deux traitements qui n’a pas un grand impact clinique, mais, parce qu’on a des effectifs très grands, on arrive à la mettre en évidence.

 
Une étude trop sous-dimensionnée n’apporte pas d’information négative, elle est juste futile. Pr Ph Gabriel Steg
 

Absence de différence statistiquement significative ne veut pas dire absence de différence clinique

Mais le problème beaucoup plus fréquent et beaucoup plus important en médecine, c’est le problème inverse : c’est celui de l’absence de différence statistiquement significative entre deux traitements à la conclusion d’un essai randomisé. Souvent, on appelle à tort cet essai négatif et on dit que le fait que ce ne soit pas statistiquement significatif, que ce soit non statistiquement significatif, non significatif à 0,05 de p, veut dire qu’il n’y a pas de différence et que les deux traitements ne sont probablement pas différents. En réalité, tout ce qu’on a montré c’est l’absence de preuve d’une différence, ce qui est, bien entendu, extrêmement différent. C’est absence de différence, elle doit s’interpréter à la lumière de la puissance de l’essai qu’on a monté et de la capacité qu’on a de démontrer une différence. Si l’essai qu’on a fait est totalement sous-dimensionné, on n’a aucune chance de montrer une différence entre les deux traitements, même si elle est réelle et importante. Et, donc, conclure qu’un p supérieur à 0,05 montre l’absence différence est totalement erroné. Et, donc, on ne devrait pas considérer qu’un essai qui ne met pas en évidence de différence statistiquement significative est négatif. Un exemple qui illustre particulièrement bien cette observation est un essai récent sur l’ECMO et le syndrome de détresse respiratoire aiguë, qui est un essai français, publié dans le New England Journal of Medicine, qui montre une différence non significative avec un p à 0,06 et pourtant cliniquement très importante de survie entre les deux groupes comparés. Et le journal et les auteurs — probablement, le journal a obligé les auteurs à conclure qu’il n’y a pas de différence entre les deux traitements, ce qui paraît cliniquement complètement fou. Ce problème est un problème extraordinairement fréquent en médecine, parce que nous savons tous qu’une grande partie des essais randomisés, en particulier les essais qui sont financés de façon publique ou universitaire ou académique sont sous-dimensionnés et, donc, manquent de puissance, et peuvent nous amener à conclure à l’absence de différence statistiquement significative entre deux traitements simplement du fait d’un manque de puissance. C’est parfois très important — on sait que, par exemple, pour la thrombolyse intraveineuse à la phase aiguë de l’infarctus du myocarde, de nombreux essais randomisés avaient été réalisés, qui étaient sous-dimensionnés et qui ont retardé l’adoption de cette méthode, parce qu’ils étaient statistiquement non significatifs. Les méta-analyses de ces essais avaient déjà permis de montrer, avant la réalisation des grands essais de phase 3, de grande taille, le bénéfice de la thrombolyse intraveineuse à la phase aiguë de l’infarctus du myocarde comparé à un placebo. Et pourtant l’adoption de cette méthode a été retardée de plus de 15 ans.

Risque environnemental : se donner les moyens d’avoir la puissance nécessaire

Une autre circonstance où il faut être extraordinairement prudent sur l’absence de preuve, ce sont les risques faibles de type environnemental. Ce sont des risques qui peuvent être modérés en valeur relative, sur le plan individuel, mais très importants en termes de population. Conclure à l’absence de preuve d’un risque parce qu’on a des échantillons trop petits risquerait de nous rassurer à tort et éliminer toute réflexion sur ces dangers simplement par un problème méthodologique et à l’absence de puissance. Il est très important lorsqu’on veut évaluer un risque faible de se donner les moyens — fut-ce, peut-être, au moyen d’études observationnelles — d’avoir la puissance nécessaire pour évaluer réellement le risque et apporter de l’information supplémentaire. Une étude trop sous-dimensionnée n’apporte pas d’information négative, elle est juste futile. Elle apporte juste peu d’informations.

Voilà pourquoi il faut réfléchir, à l’occasion de sa disparition, réfléchir à nouveau et nous souvenir toujours de cette maxime de Doug Altman : « l’absence de preuve d’une différence n’est pas la preuve d’absence de différence ». Je vous laisse méditer sur cette maxime, je vous encourage vivement à lire l’article d’une page de Doug Altman dans le BMJ de 1995.

À bientôt sur Medscape.

Voir les autres blogs du Pr Steg

Commenter

3090D553-9492-4563-8681-AD288FA52ACE
Les commentaires peuvent être sujets à modération. Veuillez consulter les Conditions d'utilisation du forum.

Traitement....