Un nouveau modèle d’intelligence artificielle (IA) vient d’atteindre des résultats équivalents à ceux des humains lors d’un test conçu pour évaluer l'”intelligence générale”.
Le 20 décembre, le système o3 d’OpenAI a obtenu un score de 85% au benchmark ARC-AGI, largement au-dessus de l’ancien meilleur score d’une IA de 55% et comparable à la moyenne des scores humains. Il a également réalisé de bons résultats lors d’un test de mathématiques particulièrement complexe.
La création d’une intelligence générale artificielle, ou AGI, est l’objectif déclaré des principaux laboratoires de recherche en IA. À première vue, OpenAI semble avoir franchi une étape significative vers cet objectif.
Bien que le scepticisme persiste, de nombreux chercheurs et développeurs en IA estiment que quelque chose a changé. Pour beaucoup, la perspective d’une AGI semble désormais plus tangible, urgente et proche que prévu. Ont-ils raison?
Généralisation et intelligence
Pour comprendre la signification du résultat obtenu par o3, il est important de savoir ce qu’est le test ARC-AGI. Techniquement, il s’agit d’une évaluation de l'”efficacité d’échantillonnage” d’un système d’IA face à une nouvelle situation – c’est-à-dire combien d’exemples d’une situation inédite le système doit analyser pour en comprendre le fonctionnement.
Un système d’IA tel que ChatGPT (GPT-4) n’est pas très efficace dans ce domaine. Il a été “entraîné” à partir de millions d’exemples de textes humains, élaborant des “règles” probabilistes sur les combinaisons de mots les plus probables.
Le résultat est assez performant pour des tâches courantes, mais moins efficace pour celles qui sont moins fréquentes, car il dispose de moins de données (d’échantillons) à leur sujet.
Bianca De Marchi / AAP
Tant que les systèmes d’IA ne pourront pas apprendre à partir d’un petit nombre d’exemples et s’adapter de manière plus efficace, ils seront principalement employés pour des tâches très répétitives où un échec occasionnel est acceptable.
La capacité à résoudre avec précision des problèmes inconnus ou nouveaux à partir d’échantillons limités de données est ce que l’on appelle la généralisation. Ce trait est largement considéré comme un élément nécessaire, voire fondamental, de l’intelligence.
Grilles et motifs
Le benchmark ARC-AGI teste l’adaptation efficace à partir d’un petit nombre de problèmes de type grille comme celui ci-dessous. L’IA doit comprendre le motif qui transforme la grille à gauche en celle à droite.
ARC Prize
Chaque question fournit trois exemples à partir desquels l’IA doit déduire les règles qui “généralisent” à partir de ces trois exemples vers le quatrième.
Cela ressemble beaucoup à des tests de quotient intellectuel que vous pourriez avoir rencontrés à l’école.
Règles faibles et adaptation
Nous ne savons pas exactement comment OpenAI a réussi cela, mais les résultats suggèrent que le modèle o3 est hautement adaptable. À partir de quelques exemples seulement, il parvient à découvrir des règles susceptibles d’être généralisées.
Pour comprendre un motif, il ne faut pas faire d’hypothèses superflues ni être plus spécifique que nécessaire. En théorie, si vous parvenez à identifier les règles “les plus faibles” qui répondent à vos attentes, alors vous maximisez votre capacité à vous adapter à de nouvelles situations.
Que signifions-nous par “règles faibles”? La définition technique est complexe, mais ces règles sont généralement celles qui peuvent être décrites par des énoncés plus simples.
Dans l’exemple ci-dessus, une expression simple en anglais de la règle pourrait être quelque chose comme : “Toute forme avec une ligne saillante se déplacera vers l’extrémité de cette ligne et ‘couvrira’ toute autre forme qu’elle chevauche.”
Recherche de chaînes de pensée?
Bien que nous ne sachions pas encore comment OpenAI a obtenu ce résultat, il semble peu probable qu’ils aient délibérément optimisé le système o3 pour déceler des règles faibles. Cependant, pour réussir les tâches ARC-AGI, il doit les identifier.
Nous savons qu’OpenAI a commencé avec une version généraliste du modèle o3 (qui se distingue des autres modèles car elle peut passer plus de temps à “réfléchir” sur des questions compliquées) avant de l’entraîner spécifiquement pour le test ARC-AGI.
Francois Chollet, chercheur en IA français ayant conçu le benchmark, estime que o3 explore différentes “chaînes de pensée” décrivant les étapes pour résoudre la tâche. Il choisirait alors la meilleure selon une règle vaguement définie, ou “heuristique”.
Ce processus ne serait pas très éloigné de la manière dont le système AlphaGo de Google a exploré différentes séquences potentielles de coups pour battre le champion du monde de Go.
Lee Jin-man / AP
Ces chaînes de pensée peuvent être considérées comme des programmes qui s’ajustent aux exemples. Si cela ressemble à l’IA jouant au Go, alors il faut une heuristique, ou une règle lâche, pour déterminer quel programme est le meilleur.
Il pourrait y avoir des milliers de programmes apparemment également valables. Cette heuristique pourrait être “choisir le plus faible” ou “choisir le plus simple”.
Cependant, si cela est comparable à AlphaGo, alors ils ont simplement permis à une IA de créer une heuristique. Ce fut le processus pour AlphaGo. Google a formé un modèle pour évaluer différentes séquences de mouvements comme étant meilleures ou pires que d’autres.
Ce que nous ne savons pas encore
La question qui se pose est donc : est-ce réellement plus proche de l’AGI? Si c’est ainsi que fonctionne o3, alors le modèle sous-jacent pourrait ne pas être significativement meilleur que les modèles précédents.
Les concepts que le modèle apprend à partir du langage pourraient ne pas être plus adaptés à la généralisation qu’auparavant. Nous pourrions simplement observer une “chaîne de pensée” plus généralisable trouvée grâce à des étapes supplémentaires pour former une heuristique spécialisée pour ce test. La réponse, comme toujours, se trouvera dans les résultats.
À ce jour, presque tout au sujet de o3 reste inconnu. OpenAI a limité ses divulgations à quelques présentations médiatiques et à des tests préliminaires auprès d’un nombre restreint de chercheurs, laboratoires et institutions dédiées à la sécurité de l’IA.
Comprendre véritablement le potentiel de o3 nécessitera un travail approfondi, incluant des évaluations, une compréhension de la répartition de ses capacités, la fréquence de ses échecs et celle de ses succès.
Lorsque o3 sera enfin disponible, nous aurons une idée beaucoup plus précise de sa capacité d’adaptation, peut-être comparable à celle d’un humain moyen.
Si c’est le cas, cela pourrait avoir un impact économique énorme et révolutionnaire, ouvrant une nouvelle ère d’intelligence autonome et auto-améliorante. Nous devrons établir de nouveaux critères pour l’AGI elle-même et réfléchir sérieusement à sa gouvernance.
Dans le cas contraire, la performance resterait impressionnante, mais la vie quotidienne ne changerait guère.
Points à retenir
- Le modèle o3 d’OpenAI a obtenu un score de 85% sur le benchmark ARC-AGI, atteignant des résultats proches de l’intelligence humaine.
- La capacité de généralisation des systèmes d’IA, ou leur capacité à apprendre à partir de peu d’exemples, reste essentielle pour des fonctions plus variées.
- Des recherches supplémentaires sont nécessaires pour comprendre les limites et le potentiel réel d’o3 dans des applications pratiques.
En somme, ces développements soulèvent des questions cruciales sur l’avenir de l’IA : jusqu’où peuvent-elles progresser vers une véritable intelligence générale et quelles seraient les implications sociétales d’une telle avancée? Une réflexion approfondie s’impose sur la manière dont nous souhaitons que ces technologies soient intégrées dans notre vie quotidienne.