Selon les concepteurs du benchmark ARC-AGI, l’excellente performance d’Anthropic avec Claude Opus 5 dans l’ARC-AGI-3 repose principalement sur une logique améliorée.
Ce modèle a atteint un score de 30,2 % sur le ARC-AGI-3, s’imposant ainsi comme le nouveau leader, contre un précédent record de 7,8 % détenu par OpenAI avec GPT-5.6 Sol. Opus 5 a résolu cinq environnements auparavant inaccessibles, dont quatre à un niveau équivalent ou supérieur à celui des humains. Cela surpasse également les modèles de la “catégorie Fable” d’Anthropic, qui affichent environ 20 % selon le ARC Prize.
Une analyse effectuée par ARC Prize souligne que cet avantage résulte d’une capacité de raisonnement logiquement plus développée, permettant une exploration, une planification et une exécution plus autonomes dans des environnements inconnus. Lors des tests, Opus 5 a montré un comportement inédit en traduisant des tâches en notation algébrique et en formulant pour la première fois des équations de réflexion de manière indépendante.
Aujourd’hui, six des vingt-cinq environnements de démonstration publics ont été résolus. Les résultats complets, ainsi que les rediffusions et le code de benchmarking, sont accessibles au public. Sur le plus ancien ARC-AGI-2, Opus 5 a atteint 90,4 % et 97,5 % sur ARC-AGI-1, chacun correspondant aux meilleurs scores précédemment établis, bien que cela implique des coûts légèrement plus élevés.
Une logique combinée plutôt qu’une mémorisation
Le ARC-AGI-3 teste la capacité des modèles d’IA à résoudre des tâches inédites que les humains réalisent généralement sans effort. La version actuelle fonctionne comme un jeu : le modèle doit découvrir les règles dans un environnement interactif, planifier des actions et les exécuter étape par étape. Le benchmark évalue donc la capacité de raisonnement général plutôt que les connaissances mémorisées.
Bien que certains systèmes d’IA prétendent avoir réussi ce benchmark, ils sont intégrés à d’autres logiciels appelés “Harness”. Seules les performances intrinsèques du modèle de langage sont officiellement prises en compte. L’idée est que les futurs systèmes AGI ne devraient pas avoir besoin d’aide externe pour résoudre de nouvelles tâches. On peut donc supposer qu’Opus 5, intégré dans Claude Code, pourrait obtenir des résultats encore meilleurs.
Des tests indépendants soulignent des progrès limités
Anthropic n’a pas expliqué cette avancée, bien que des éléments comme un étiquetage des données ciblé et l’apprentissage par renforcement semblent être des facteurs plausibles. Contrairement aux modèles précédents, Opus 5 a été conçu après la divulgation publique de l’ARC-AGI-3 et de son format, ce qui a pu permettre à Anthropic de se concentrer sur les compétences et les types de tâches du benchmark. Cela ne prouve cependant pas que l’entreprise ait spécifiquement formé son modèle sur ces tâches.
Des tests réalisés sur Witness, un benchmark privé pour des jeux de casse-tête interactifs, indiquent des progrès moins significatifs. Opus 5 a obtenu 43,4 points, se plaçant ainsi au même niveau que Kimi K3 et Fable 5. L’écart de performance par rapport à Opus 4.8 a été moins prononcé que sur ARC-AGI-3. Bien que le modèle ait identifié certaines règles cachées d’un puzzle conventionnel avant d’agir, il a sous-performé sur un jeu dont les mécanismes étaient moins familiers. Selon Guanghan Ning, cela pourrait s’expliquer par un entraînement sur des données spécifiques à un genre, bien que Witness ne puisse pas déterminer quelles données précises Anthropic a effectivement utilisées.
Greg Kamradt, chercheur associé au ARC-AGI-3, a répondu que ces résultats ne remettent pas en question des avancées plus larges en matière de raisonnement. Un jeu avec des mécanismes connus ne teste pas nécessairement l’adaptation à de nouvelles situations, et un résultat médiocre ne doit pas occulter les améliorations générales du modèle. De plus, Witness a été conçu selon le modèle de l’ARC-AGI-3, indiquant que de meilleures performances pourraient réellement refléter un transfert de connaissances plutôt qu’une simple mémorisation.
Ning a ensuite précisé qu’Opus 5 parvient à se généraliser sur Witness, mais de manière moins marquée que sur ARC-AGI-3. Il a comparé le processus au développement de benchmarks de codage : l’ARC-AGI-3 attirera probablement d’abord le plus d’entraînement en tant qu’objectif principal pour le raisonnement interactif. En intégrant des cas marginaux supplémentaires, les modèles pourraient alors mieux s’adapter à une gamme plus large de tâches de raisonnement abstrait. Selon Ning, le domaine du codage a suivi un chemin similaire, passant de benchmarks saturés à des compétitions régulièrement mises à jour, jusqu’aux agents de codage modernes.
Points à retenir
- Claude Opus 5 établit un nouveau record avec 30,2 % sur le benchmark ARC-AGI-3.
- Le modèle démontre une capacité de raisonnement améliorée, permettant une exploration autonome.
- Anthropic a travaillé sur Opus 5 en tenant compte des caractéristiques du benchmark ARC-AGI-3.
- Les résultats sur des benchmarks privés comme Witness soulignent des limites potentielles dans le progrès d’Opus 5.
- Une évaluation précise des modèles d’IA nécessite de considérer les contextes variés de leurs performances.
En tant que passionné du monde fascinant de l’intelligence artificielle, je suis toujours intrigué par les avancées qui, tout en étant impressionnantes, soulèvent des questions sur les véritables capacités de ces modèles. Peut-on réellement se fier à des performances qui, sous certaines conditions, semblent s’effondrer ? Ce dialogue autour des benchmarks et des résultats d’IA est essentiel pour déterminer la direction future de ces technologies révolutionnaires. Je suis impatient de voir comment Anthropic et d’autres acteurs vont répondre à ces défis!