Le Renforcement par Apprentissage, une approche d’intelligence artificielle, a le potentiel d’aider les médecins à concevoir des stratégies de traitement séquentielles pour améliorer les résultats pour les patients. Toutefois, il nécessite des améliorations significatives avant une application clinique, selon une étude récente menée par des chercheurs de l’hôpital Weill Cornell et de l’Université Rockefeller.
Le Renforcement par Apprentissage (RL) est une catégorie d’algorithmes d’apprentissage machine capable de prendre une série de décisions dans le temps. Responsable des récentes avancées en IA, y compris des performances surhumaines aux échecs et à Go, le RL peut analyser les conditions évolutives des patients, les résultats des tests et les réponses antérieures aux traitements pour suggérer la meilleure étape suivante dans les soins personnalisés. Cette approche est particulièrement prometteuse pour la prise de décisions dans la gestion des maladies chroniques ou psychiatriques.
Cette recherche, publiée dans les Actes de la Conférence sur les Systèmes de Traitement de l’Information Neuronale (NeurIPS) et présentée le 13 décembre, présente “Episodes de Soins” (EpiCare), le premier benchmark de RL pour le secteur de la santé.

Dr. Logan Grosenick
“Les benchmarks ont conduit à des améliorations dans de nombreuses applications d’apprentissage machine, comme la vision par ordinateur, le traitement du langage naturel et la reconnaissance vocale. Nous espérons qu’ils contribueront maintenant à faire progresser le RL dans le secteur de la santé,” a déclaré le Dr. Logan Grosenick, professeur adjoint de neurosciences en psychiatrie et directeur de cette recherche.
Les agents RL affinent leurs actions en fonction des retours d’expérience qu’ils reçoivent, apprenant progressivement une politique qui améliore leur prise de décision. “Cependant, nos résultats montrent que bien que les méthodes actuelles soient prometteuses, elles sont extrêmement gourmandes en données,” ajoute le Dr. Grosenick.
Les chercheurs ont d’abord testé la performance de cinq modèles de RL en ligne de pointe sur EpiCare. Les cinq modèles ont surpassé un standard de soins, mais seulement après avoir été entraînés sur des milliers, voire des dizaines de milliers d’épisodes de traitement simulés. Dans la réalité, les méthodes de RL ne seraient jamais directement entraînées sur des patients, ce qui a conduit les chercheurs à évaluer ensuite cinq méthodes d’évaluation “off-policy” (OPE) : des approches populaires visant à utiliser des données historiques (issues d’essais cliniques, par exemple) pour éviter la nécessité de collecter des données en ligne. En utilisant EpiCare, ils ont constaté que même les méthodes OPE les plus avancées échouaient à fournir des performances précises pour les données de santé.
“Nos résultats indiquent que les méthodes OPE actuelles ne peuvent pas être considérées comme fiables pour prédire avec précision la performance du renforcement par apprentissage dans des scénarios de santé longitudinaux,” a affirmé le Dr. Mason Hargrave, premier auteur et chercheur à l’Université Rockefeller. Ce constat souligne l’importance de développer des outils de benchmarking plus précis, tels qu’EpiCare, pour évaluer les approches RL existantes et fournir des métriques mesurant l’amélioration.
“Nous espérons que ce travail facilitera une évaluation plus fiable du renforcement par apprentissage dans les environnements de santé et contribuera à accélérer le développement de meilleurs algorithmes et protocoles d’entraînement appropriés pour les applications médicales,” a conclu le Dr. Grosenick.
Adapter les Réseaux de Neurones Convolutionnels pour Interpréter les Données Graphiques
Dans une seconde publication présentée le même jour lors de NeurIPS, le Dr. Grosenick a partagé ses recherches sur l’adaptation des réseaux de neurones convolutionnels (CNN), largement utilisés pour traiter les images, afin de les rendre efficaces pour des données structurées en graphes, telles que les réseaux cérébraux, génétiques ou protéiques. Le succès des CNN dans les tâches de reconnaissance d’images au début des années 2010 a jeté les bases de l’apprentissage profond et de l’ère moderne des applications IA basées sur les réseaux de neurones.
“Nous sommes souvent intéressés par l’analyse des données d’imagerie cérébrale qui ressemblent davantage à des graphes, avec des sommets et des arêtes, qu’à des images. Mais nous avons réalisé qu’il n’existait rien de véritablement équivalent aux CNN pour des données structurées en graphes,” a déclaré le Dr. Grosenick.
Les réseaux cérébraux sont typiquement représentés comme des graphes où les régions cérébrales (représentées comme des sommets) transmettent l’information à d’autres régions cérébrales le long des “arêtes” qui les connectent et représentent la force de la communication entre elles. Cela est également vrai pour les réseaux génétiques et protéiques, les données comportementales humaines et animales, ainsi que la géométrie des composés chimiques comme les médicaments. En analysant directement ces graphes, nous pouvons modéliser plus précisément les dépendances et les schémas entre les connexions locales et plus éloignées.
Isaac Osafo Nkansah, chercheur associé qui faisait partie du laboratoire de Grosenick au moment de l’étude et premier auteur de l’article, a contribué au développement du cadre des Réseaux de Convolution Graphique Quantisés (QuantNets), qui généralise les CNN aux graphes. “Nous l’utilisons maintenant pour modéliser les données d’EEG (activité électrique cérébrale) chez les patients. Nous pouvons utiliser un réseau de 256 capteurs répartis sur le cuir chevelu, prenant des mesures de l’activité neuronale — c’est un graphe,” a expliqué le Dr. Grosenick. “Nous réduisons ces grands graphes en composants plus interprétables pour mieux comprendre comment la connectivité cérébrale dynamique évolue à mesure que les patients sont traités pour dépression ou trouble obsessionnel-compulsif.”
Les chercheurs envisagent des applications étendues pour les QuantNets. Par exemple, ils cherchent également à modéliser des données de poses structurées en graphes afin de suivre le comportement dans des modèles murins et dans les expressions faciales humaines extraites à l’aide de la vision par ordinateur.
“Bien que nous naviguions encore à travers la sécurité et la complexité de l’application des méthodes IA de pointe aux soins aux patients, chaque avancée, qu’il s’agisse d’un nouveau cadre de benchmarking ou d’un modèle plus précis, nous rapproche lentement de stratégies de traitement personnalisées ayant le potentiel d’améliorer considérablement les résultats pour les patients,” a conclu le Dr. Grosenick.
Bon à savoir
- Le Renforcement par Apprentissage peut transformer les soins personnalisés dans divers domaines médicaux, y compris la psychiatrie.
- Les graphes et les données connexes permettent une meilleure représentation des interactions entre les neurones et d’autres entités biologiques.
- Les chercheurs continuent de travailler sur des méthodes innovantes pour améliorer la précision des algorithmes d’IA utilisés dans le secteur médical.