Une étude visant à évaluer la capacité de ChatGPT à répondre précisément aux questions des patients concernant le cancer colorectal, en comparant ses réponses à celles d’experts cliniciens en oncologie, a révélé que les interrogations sur les symptômes, la prévention et le dépistage étaient généralement bien traitées. Cependant, les réponses relatives au diagnostic et au traitement différaient significativement des opinions des experts par rapport aux réponses générées par ChatGPT. Cette recherche, dirigée par Ojha et al., sera présentée lors du Symposium ASCO sur les cancers gastro-intestinaux de 2025 (Résumé 299).
Méthodologie de l’étude
Pour évaluer la qualité des réponses fournies par ChatGPT aux questions fréquemment posées sur le cancer colorectal, les chercheurs ont rassemblé 10 questions complètes à partir de sources fiables, telles que l’American Society of Colon & Rectal Surgeons, Mount Sinai, le National Cancer Institute, la Mayo Clinic et l’American Cancer Society. Les questions ont été classées en deux catégories en fonction de leur contenu : (1) caractéristiques générales en oncologie (symptômes, dépistage et prévention) et (2) diagnostic et traitement.
Les questions ont ensuite été soumises à ChatGPT avec des instructions destinées à simuler des demandes de patients. Les réponses générées par l’intelligence artificielle (IA) ont été ensuite évaluées par des experts en oncologie sur une échelle de Likert à 5 points pour en apprécier l’exactitude et la pertinence, les scores reflétant le niveau d’accord des experts avec les réponses. Sur cette échelle, 1 signifie “fortement en désaccord” et 5 “fortement d’accord.”
- La note moyenne des réponses de ChatGPT par les experts en oncologie a été de 4,72.
- Les réponses de l’IA concernant les symptômes, le dépistage et la prévention du cancer colorectal étaient en accord avec l’avis des experts oncologiques. En revanche, les réponses liées au diagnostic et au traitement montraient des différences statistiques significatives.
- Des recherches supplémentaires sont nécessaires pour explorer l’efficacité de l’IA à fournir des réponses aux questions de santé.
Résultats clés
La note moyenne des réponses fournies par les experts en oncologie était de 4,72. Une analyse ANOVA a été réalisée, et il n’y avait pas de différence statistiquement significative dans le score moyen parmi tous les évaluateurs (P = .221). Toutefois, les notes entre les deux catégories étaient significativement différentes
(P = .034).
« Cette étude démontre que ChatGPT peut fournir des réponses exactes et pertinentes aux questions des patients concernant le cancer colorectal, comme l’ont évalué des experts en oncologie. Avec une note moyenne de 4,72 sur une échelle de Likert de 5 points, les réponses de ChatGPT s’alignent étroitement con l’opinion des experts, notamment pour la catégorie des caractéristiques générales incluant les symptômes, la prévention et le dépistage. Cependant, les réponses liées au diagnostic et au traitement révélaient des différences statistiquement significatives entre les avis des experts et ceux de l’IA, indiquant un accord moindre de la part des experts sur ce volet. Ces résultats soulignent le potentiel des chatbots IA pour compléter l’éducation des patients en oncologie, bien que des recherches supplémentaires soient nécessaires pour explorer leurs limites et élargir leurs applications cliniques», ont conclu les auteurs de l’étude.
Importance clinique
« Cette recherche illustre la capacité de l’IA à renforcer l’engagement des patients, soutenir la prise de décision éclairée et potentiellement remédier aux disparités d’accès aux soins de santé. Cependant, elle met également en lumière les limitations de l’IA, en particulier sur des sujets nuancés comme le diagnostic et les traitements », a déclaré l’experte de l’ASCO Laura B. Vater, MD, MPH, Professeur adjoint de Médecine clinique à l’Indiana University Melvin and Bren Simon Comprehensive Cancer Center, dans une déclaration.
Déclarations : Les auteurs de l’étude n’ont déclaré aucun conflit d’intérêts.
Points à retenir
- ChatGPT affiche une note élevée pour les questions relatives aux symptômes et au dépistage du cancer colorectal.
- Les divergences majeures apparaissent surtout dans les domaines du diagnostic et du traitement.
- La recherche souligne la nécessité d’une exploration plus approfondie des capacités de l’IA dans le domaine de la santé.
En examinant ces points, il est essentiel de réfléchir à l’évolution de l’intelligence artificielle dans le secteur médical. Comment ces outils peuvent-ils contribuer à un meilleur accès à l’information tout en étant conscients de leurs limites ?
Maria, votre article éclaire avec justesse l’évolution fascinante de l’IA dans le domaine médical. Un équilibre délicat entre progrès et prudence, essentiel à notre époque.
Cette étude montre bien les limites de l’IA en santé. C’est fascinant de voir comment elle peut éclairer, mais attention à ne pas tout lui confier.
L’intelligence artificielle, telle une danseuse gracieuse, peut éclairer le chemin vers l’éducation des patients, mais il est essentiel de reconnaître ses limites dans des pas plus délicats comme le diagnostic.
C’est fascinant de voir comment l’IA comme ChatGPT peut aider les patients en oncologie. Cependant, il est crucial de se rappeler ses limites, surtout en matière de traitement.
Cet article soulève des questions importantes sur l’utilisation de l’IA en santé. Il est fascinant de voir comment ChatGPT peut aider, mais il reste des limites à considérer.