La solution d’OpenAI contre les hallucinations : la fin de ChatGPT !

Le dernier article de recherche d’OpenAI analyse en profondeur pourquoi ChatGPT et d’autres modèles de langage de grande taille sont susceptibles de produire des informations erronées, un phénomène connu sous le nom de “hallucination” en intelligence artificielle. L’étude indique également que ce problème pourrait s’avérer difficile à résoudre, du moins pour les utilisateurs.

Ce document propose l’explication mathématique la plus rigoureuse à ce jour des raisons pour lesquelles ces modèles énoncent des faussetés avec assurance. Il ne s’agit pas simplement d’un effet secondaire regrettable de la manière actuelle dont les IA sont formées, mais d’un phénomène mathématiquement inévitable.

Une partie du problème réside dans les erreurs présentes dans les données de base utilisées pour former les IA. Cependant, les chercheurs, grâce à une analyse mathématique de l’apprentissage des systèmes d’IA, démontrent que même avec des données de formation parfaites, le problème persiste.

La manière dont les modèles s’expriment en réponse aux requêtes—en prédisant un mot à la fois dans une phrase, en se basant sur des probabilités—génère naturellement des erreurs. Les chercheurs montrent en effet que le taux d’erreur total lors de la génération de phrases est au moins deux fois supérieur à celui que présenterait la même IA sur une simple question oui/non, car les erreurs peuvent s’accumuler au cours des prédictions successives.

En d’autres termes, les taux d’hallucination sont fondamentalement limités par la capacité des systèmes d’IA à distinguer les réponses valides des réponses incorrectes. Étant donné que ce problème de classification est intrinsèquement complexe pour de nombreux domaines du savoir, les hallucinations deviennent inévitables.

Il est également apparu que moins un modèle rencontre un fait au cours de sa formation, plus il est enclin à halluciner lorsqu’on l’interroge à ce sujet. Par exemple, en ce qui concerne les anniversaires de personnalités notables, une étude a révélé que si 20 % des dates d’anniversaire n’apparaissent qu’une seule fois dans les données d’entraînement, alors il est probable que le modèle se trompe dans au moins 20 % des requêtes concernant ces dates.

Pour illustrer, lorsque les chercheurs ont demandé aux modèles de pointe la date d’anniversaire d’Adam Kalai, l’un des auteurs de l’article, DeepSeek-V3 a fourni avec assurance trois dates incorrectes lors de tentatives distinctes : “03-07”, “15-06” et “01-01”. La date correcte se situe en automne, donc aucune de ces réponses n’était proche.

Le piège de l’évaluation

Plus préoccupant encore, l’analyse menée dans le cadre de cet article examine pourquoi les hallucinations persistent malgré les efforts déployés après la formation (comme le retour d’informations humaines sur les réponses d’une IA avant leur mise à disposition du public). Les auteurs ont examiné dix principaux benchmarks d’IA, incluant ceux utilisés par Google, OpenAI et divers classements des modèles d’IA. Il en ressort que neuf de ces benchmarks utilisent des systèmes de notation binaire qui attribuent zéro point aux IA exprimant de l’incertitude.

Cela crée ce que les auteurs appellent une “épidémie” de pénalisation des réponses honnêtes. Lorsqu’un système d’IA déclare “Je ne sais pas”, il obtient le même score que s’il fournissait des informations complètement erronées. La stratégie optimale dans un tel cadre d’évaluation devient donc claire : deviner à tout prix.

Les chercheurs prouvent cela mathématiquement : quelle que soit la probabilité qu’une réponse particulière soit correcte, le score attendu d’un devin est toujours supérieur au score d’un abstenant dans une évaluation reposant sur une notation binaire.

La solution qui remettrait tout en cause

OpenAI propose comme solution que l’IA prenne en compte sa propre confiance dans une réponse avant de la communiquer, et que les benchmarks l’évaluent en fonction de cela. Par exemple, l’IA pourrait être incitée à “Répondre seulement si vous êtes plus de 75 % confiant, car les erreurs sont pénalisées de 3 points alors que les réponses correctes ne rapportent qu’1 point.”

Le cadre mathématique des chercheurs d’OpenAI montre qu’avec des seuils appropriés de confiance, les systèmes d’IA exprimeraient naturellement de l’incertitude plutôt que de deviner. Cela conduirait donc à moins d’hallucinations. Le souci réside toutefois dans l’expérience utilisateur.

Considérons les implications si ChatGPT commençait à dire “Je ne sais pas” à 30 % des requêtes—une estimation conservatrice basée sur l’analyse de l’incertitude factuelle dans les données de formation. Les utilisateurs, habitués à recevoir des réponses assurées à presque toutes les questions, pourraient rapidement abandonner de tels systèmes.

J’ai observé ce type de problème dans un autre domaine de ma vie. Je participe à un projet de surveillance de la qualité de l’air à Salt Lake City, Utah. Lorsque le système signale des incertitudes autour des mesures, lors de conditions météorologiques défavorables ou durant la calibration des équipements, l’engagement des utilisateurs diminue par rapport aux affichages qui montrent des résultats sûrs, même si ceux-ci se révèlent inexacts lors de la validation.

Le problème économique de la computation

Il ne serait pas difficile de réduire les hallucinations en utilisant les réflexions exposées dans l’article. Des méthodes établies pour quantifier l’incertitude existent depuis des décennies. Celles-ci pourraient être employées pour fournir des évaluations fiables de l’incertitude et pour guider une IA dans ses choix.

Cependant, même si le problème des utilisateurs réticents à l’incertitude pouvait être surmonté, il existe un obstacle plus grand : l’économie computationnelle. Les modèles de langage sensibles à l’incertitude nécessitent une computation significativement plus élevée que les approches actuelles, car ils doivent évaluer plusieurs réponses potentielles et estimer des niveaux de confiance. Pour un système traitant des millions de requêtes par jour, cela se traduit par des coûts opérationnels beaucoup plus élevés.

Des approches plus sophistiquées, telles que l’apprentissage actif, où les systèmes d’IA posent des questions complémentaires pour réduire l’incertitude, peuvent améliorer l’exactitude, mais augmentent encore les exigences computationnelles. Ces méthodes fonctionnent bien dans des domaines spécialisés, comme la conception de puces, où des réponses erronées coûtent des millions de dollars et justifient une computation extensive. Pour des applications destinées aux consommateurs, où les utilisateurs s’attendent à des réponses instantanées, l’économie devient contraignante.

La dynamique change considérablement pour les systèmes d’IA gérant des opérations critiques pour les entreprises ou des infrastructures économiques. Lorsqu’un agent d’IA s’occupe de la logistique de la chaîne d’approvisionnement, du trading financier ou des diagnostics médicaux, le coût des hallucinations dépasse largement le prix à payer pour faire décider les modèles sur leurs incertitudes. Dans ces domaines, les solutions proposées dans le papier deviennent économiquement viables, voire nécessaires. Les agents d’IA incertains devront simplement coûter plus cher.

Cependant, les applications destinées aux consommateurs dominent encore les priorités en matière de développement de l’IA. Les utilisateurs souhaitent des systèmes qui fournissent des réponses fiables à toutes les questions. Les benchmarks d’évaluation favorisent les systèmes qui devinent plutôt que d’exprimer de l’incertitude. Les coûts computationnels privilégient des réponses rapides et sûres par opposition à des réponses lentes mais incertaines.

La baisse des coûts de l’énergie par jeton et l’avancement des architectures de puces pourraient finalement rendre plus abordable la décision par les IA d’exprimer leur confiance pour répondre à une question. Cependant, le coût computationnel relativement élevé exigé, par rapport à celui des devinettes d’aujourd’hui, demeurera, quel que soit le prix du matériel.

En résumé, l’article d’OpenAI soulève sans le vouloir une vérité dérangeante : les incitations commerciales qui guident le développement de l’IA pour les consommateurs restent fondamentalement mal alignées avec la réduction des hallucinations. Tant que ces incitations ne changeront pas, les hallucinations continueront de se manifester.