Évaluation de ChatGPT-4o comme Outil d’Aide à la Décision dans les Tumor Boards Multidisciplinaires sur les Sarcomes : Performances Hétérogènes selon les Spécialités

Article original rédigé par : Tekoshin Ammo et al.

Depuis le lancement de ChatGPT en 2023, l’intérêt pour les grands modèles linguistiques s’est considérablement accru, notamment dans le secteur de la santé. Cette étude évalue l’efficacité de ChatGPT-4o comme outil d’aide à la décision dans les commissions multidisciplinaires sur les sarcomes. Cinq cas de patients atteints de sarcome, simulant des scénarios réels, ont été élaborés afin de solliciter ChatGPT-4o à formuler des décisions de tumorectomie. Les recommandations ont ensuite été évaluées de manière indépendante par un panel multidisciplinaire comprenant un chirurgien orthopédique, un chirurgien plasticien, un oncologue radiothérapeute, un radiologue et un pathologiste.

Les évaluations ont été notées sur une échelle de Likert allant de 1 (désaccord total) à 5 (accord total) dans cinq catégories : compréhension, recommandation thérapeutique/diagnostique, recommandation de soins après traitement, résumé et efficacité de l’outil de soutien. La note moyenne de performance de ChatGPT-4o s’est élevée à 3,76, ce qui reflète une efficacité modérée. Les spécialités chirurgicales ont obtenu les meilleures notes, avec une moyenne de 4,48, tandis que les spécialités de diagnostic (radiologie/pathologie) ont bien performé, contrairement à l’oncologie radiothérapeutique, qui a affiché des résultats plus faibles.

Cette étude offre des premiers aperçus sur l’utilisation de modèles linguistiques prompts-optimisés comme outils d’aide à la décision dans les commissions sur les sarcomes. Les recommandations de ChatGPT-4o en ce qui concerne les spécialités chirurgicales ont été les plus pertinentes, alors que l’outil a rencontré des difficultés à fournir des conseils exploitables dans les autres spécialités testées. Les cliniciens doivent bien saisir les avantages et les limites de cette technologie pour une intégration efficace dans la pratique clinique.

Points à retenir

• Performance modérée : ChatGPT-4o a obtenu une note moyenne de 3,76, indiquant une efficacité modérée.
• Évaluations variées : Les meilleures performances ont été observées dans les spécialités chirurgicales, avec une note moyenne de 4,48.
• Difficultés avec certaines spécialités : L’oncologie radiothérapeutique a montré une moindre efficacité par rapport aux spécialités de diagnostic, qui ont bien performé.
• Importance des recommandations : Les recommandations de ChatGPT-4o pour les spécialités chirurgicales étaient plus pertinentes que pour les domaines diagnostiques.
• Compréhension des outils : Les cliniciens doivent être conscients des forces et des faiblesses des outils d’intelligence artificielle pour optimiser leur utilisation en pratique.

En somme, cette étude met en lumière les possibles applications des modèles de langage dans la prise de décision médicale, ouvrant ainsi la voie à une discussion plus large sur l’intégration de l’intelligence artificielle dans le domaine de la santé. Il est essentiel d’explorer comment ces outils peuvent renforcer les pratiques existantes tout en surveillant leur fiabilité et leur pertinence dans des contextes cliniques variés.