Paris, France – Les chatbots vont-ils devenir les assistants de consultation de demain ? Invité à répondre à des questions de patients posées en ligne sur un forum, ChatGPT a été mieux noté que des médecins. Un panel d’experts a estimé le contenu des réponses de meilleure qualité tout comme l’empathie exprimée par le modèle de langage développé par Open AI.
« Je me suis blessé à la tête heurtant une barre métallique en courant, j’ai une boule sur le crâne, des maux de tête et mal au cou, dois-je aller voir un médecin ? » « Puis-je mourir après avoir avalé un cure-dent ? » « J’ai reçu une éclaboussure d’eau de javel dans l’œil, celui-ci est irrité et sec, est-ce que je risque de devenir aveugle ? »…
ChatGPT a été amené à répondre à ces questions et à 192 autres issues du forum AskDocs de Reddit, compilées et analysées dans une étude publiée dans le Jama initiée par des médecins de l’Université de Californie à San Diego*.
Des réponses évaluées par des experts
Dans cette étude transversale, les réponses délivrées en ligne aux patients par des médecins ont été comparées à celles de ChatGPT lors d’une session spécifiquement organisée fin décembre 2022. Anonymisées et ordonnées au hasard, les réponses du médecin et du modèle de langage développé par Open AI, ont été soumises à l’évaluation de trois jurys de professionnels de santé experts (en pédiatrie, gériatrie, médecine interne, oncologie, maladies infectieuses et médecine de prévention).
Les évaluateurs ont choisi « quelle était la meilleure réponse » et ont jugé à la fois « la qualité des informations fournies » selon un barème à 5 niveaux (très médiocre, médiocre, acceptable, bon ou très bon) et aussi « l'empathie » exprimée (pas empathique, légèrement empathique, modérément empathique, empathique et très empathique).
Classés sur une échelle de 1 à 5, les résultats moyens ont permis de comparer le chatbot et les médecins.
Prime à la tchatche de ChatGPT
Première surprise, 78,6% des réponses de ChatGPT (sur 585 évaluations au total) ont été préférées par les experts à celles de leurs confrères médecins. Les conseils du chatbot ont été notés significativement de meilleure qualité que ceux des médecins avec une prévalence de 3,6 fois plus élevée de réponses de bonne ou très bonne qualité pour le chatbot.
Les messages de ChatGPT ont également été jugés significativement plus empathiques que ceux des médecins (avec 9,8 fois de réponses empathiques ou très empathiques pour le modèle de langage).
Bientôt des assistants des médecins ?
ChatGPT a déjà montré qu’il était capable de passer les épreuves du diplôme de médecine américain (USMLE), et il a été utilisé pour la rédaction d’articles scientifiques. Pourrait-il à terme tenir un rôle important dans le système de santé ?
Dans leurs conclusions, les auteurs estiment que la technologie d’IA des robots conversationnels pourrait être utilisée par les médecins pour répondre aux questions des patients. « Des essais randomisés permettraient d’évaluer si l'utilisation d'assistants d'IA peut améliorer les réponses, réduire l'épuisement professionnel des cliniciens et améliorer les résultats pour les patients », écrivent les chercheurs de l’université de Californie de San Diego.
Interrogé par Medscape édition française, Mathieu Changeat, cofondateur de Dydu, un leader des plateformes d’IA conversationnelle, n’est pas étonné par les bons résultats de ChatGPT révélés par cette étude.
« Qu’un modèle de langage puisse être précis dans ses réponses ne me surprend pas car ChatGPT a assimilé des milliards de données et il a ici répondu à des questions assez fréquentes, c’est là où il est le plus fort. Sa plus forte empathie est en revanche étonnante. »
Le responsable de Dydu est persuadé que les chatbots à l’image de ChatGPT mais aussi de Watson, développé par IBM, seront largement utilisés à l’avenir pour « aider les médecins à faire des diagnostics plus précis et moins chers ».
« ChatGPT va être un accélérateur du numérique en santé, c’est certain, mais il faudra veiller à garder un contrôle humain de l’outil », affirme Mathieu Changeat.
Dans les pas d’Eliza
Joséphine Arrighi de Casanova, consultante dans le numérique et spécialiste des chatbots, récompensée du prix de la meilleure thèse professionnelle pour "Le chatbot : outil de persuasion ? Le cas de la santé en France", n’est pas non plus surprise par les résultats de l’étude du Jama.
Elle rappelle qu’Eliza, le premier chatbot qui a vu le jour dans le domaine de la santé au milieu des années 1960, avait déjà fait sensation. « Les patients qui avaient échangé à l’écrit avec Eliza ne s’étaient pas aperçus qu’ils étaient interrogés par un robot conversationnel, explique-t-elle. Ils avaient le sentiment d’être écoutés, le robot reformulait leurs propos et les relançait, et démontrait ainsi déjà son empathie. »
L’experte observe que les réponses des médecins, qui étaient beaucoup plus courtes et formulées dans un style télégraphique, ont pu donner l’impression d’un moindre partage des émotions du patient.
« Là où le médecin a un temps compté, le chatbot peut formuler quasi instantanément de belles phrases. Il énonce un résultat et propose un résumé. C’est agréable à lire, vulgarisé et avec un niveau de français accessible aux patients, loin du jargon médical », résume Joséphine Arrighi de Casanova.
D’autant que là où les praticiens engagent leur responsabilité dans leurs réponses, le robot a lui peu de chance d’être condamné...
Les bots à marche rapide
La spécialiste des chatbots partage l’avis des auteurs de l’étude selon lequel le corps médical pourrait rapidement disposer d’assistants d’un nouveau genre.
« Les chatbots peuvent être une opportunité si l’on reste pilote de la machine. »
Les robots conversationnels ont gagné du terrain ces dernières années, avec la crise Covid. « Certains, à l’instar de Covidbot, ont permis aux patients de vérifier, en fonctions de leurs symptômes, s’ils avaient ou non le coronavirus sans engorger le système de santé », explique Joséphine Arrighi de Casanova.
Ces outils peuvent avoir un intérêt s’ils s’inscrivent dans une offre de soins globale, en amont d’une téléconsultation, pour réaliser un symptom checker ou pour remplir des tâches administratives lors d’une admission ou une sortie d’hôpital, avance la spécialiste.
Ces nouveaux outils sont-ils susceptibles d’entraîner à terme une perte d’expérience des professionnels ? Tout dépend de la balance bénéfices-risques.
« S’ils répondent à un usage et sont utiles aux patients, il n’y a pas de raison de ne pas s’en saisir. ChatGPT et les robots peuvent faire évoluer la littératie en santé, en rendant plus faciles à lire des comptes-rendus médicaux par exemple ». La médecine a déjà dû affronter des résistances lors de grandes avancées. « Quand le stéthoscope a fait son apparition, rappelle Joséphine Arrighi de Casanova, certains ont pensé que les médecins ne sauraient plus écouter un cœur. Aujourd’hui, peu de praticiens s’en passent. »
* Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum, JohnW. Ayers, PhD, MA; Adam Poliak, PhD; Mark Dredze, PhD; Eric C. Leas, PhD, MPH; Zechariah Zhu, BS; Jessica B. Kelley, MSN; Dennis J. Faix, MD; Aaron M. Goodman, MD; Christopher A. Longhurst, MD, MS; Michael Hogarth, MD; DaveyM. Smith, MD, MAS
Suivez Medscape en français sur Twitter.
Suivez theheart.org | Medscape Cardiologie sur Twitter.
Inscrivez-vous aux newsletters de Medscape : sélectionnez vos choix
Crédit de Une : Dreamstime
Actualités Medscape © 2023
Citer cet article: ChatGPT jugé plus pertinent et empathique que des médecins - Medscape - 24 mai 2023.
Commenter