Une tendance majeure observée dans le domaine de l’intelligence artificielle au cours de l’année écoulée réside dans l’utilisation de diverses techniques lors de l’inférence, c’est-à-dire l’acte de faire des prédictions, afin d’améliorer de manière significative leur précision.
Par exemple, la méthode du “chaînage de pensées” consiste à faire exprimer à un modèle de langage large (MLL) la logique d’une réponse à travers une série d’énoncés, ce qui peut conduire à une meilleure performance aux tests de référence.
Ce type de “réflexion” a conduit à des avancées notables dans la précision des tests de résolution de problèmes abstraits, comme en témoigne le score élevé obtenu le mois dernier par le modèle GPT-3 d’OpenAI sur le test ARC-AGI.
À noter : Le GPT-3 d’OpenAI n’est pas encore une AGI, mais il vient de réaliser un exploit inégalé dans le domaine de l’IA
Cependant, il s’avère que les MLL rencontrent toujours des difficultés lors de tests plus pratiques, comme la planification d’un voyage.
Des chercheurs de Google DeepMind, dirigés par Kuang-Huei Lee, ont signalé dans un rapport publié la semaine dernière que les meilleurs modèles de chacun des géants, Gemini et GPT-1 d’OpenAI, échouent à atteindre des résultats convaincants lors du test TravelPlanner, un benchmark introduit l’année dernière par des chercheurs de l’Université Fudon, de Penn State et de Meta AI.
Chargés d’élaborer un itinéraire de voyage en fonction de critères tels que les villes visitées, le temps à passer et le budget, les deux modèles d’IA ne réussissent respectivement que 5,6 % et 11,7 % du temps.
DeepMind
Le but d’une telle approche évolutive est qu’il est souvent difficile de trouver une bonne solution en une seule fois, mais relativement simple d’éliminer les mauvaises et de réessayer. Comme l’expliquent les chercheurs, “Cette méthode exploite l’observation qu’il est souvent plus facile d’évaluer la qualité d’une solution candidate que de générer de bonnes solutions pour un problème donné.”
La clé réside dans la manière d’évaluer au mieux les multiples réponses du modèle d’IA. Pour cela, les auteurs recourent à une stratégie de prompt bien établie. Au lieu de se contenter du chaînage de pensées, ils incitent le modèle à mener une sorte de dialogue.
Le MLL est amené à jouer deux rôles dans un échange, l’un étant un critique et l’autre l’auteur. L’auteur propose des solutions, comme un plan de voyage, tandis que le critique souligne les défauts.
À noter : La transformation par l’IA est une épée à double tranchant. Voici comment éviter les risques
“Nous exploitons un MLL pour générer une solution améliorée en organisant une conversation critique entre un personnage ‘critique’ et un personnage ‘auteur’,” soulignent Lee et son équipe. “Chaque échange conversationnel est structuré comme un processus guidé par des prompts, où les solutions sont affinées en fonction des retours critiques,” précisent-ils.
Des prompts assez longs sont utilisés, montrant au MLL des exemples de solutions proposées et de leurs points faibles. Le prompt fournit au modèle des instructions sur la façon de jouer les deux rôles, par exemple : “Jane, souviens-toi que tu es la meilleure au monde pour analyser des plans de voyage défaillants,” et, “John, souviens-toi que tu es le meilleur pour rédiger des plans de voyage économiques basés sur les analyses de Jane.”
Le modèle Gemini 1.5 Flash a été testé sur plusieurs benchmarks de planification. Pour TravelPlanner, l’approche de l’évolution de l’esprit fait grimper le taux de réussite au-delà du taux normal de 5,6 % pour atteindre 95,2 %. Et avec le puissant modèle Gemini Pro, il atteint presque la perfection, à 99,9 %.
À noter : Les auteurs expriment une certaine inquiétude quant à l’utilisation de l’IA. Les lecteurs semblent, quant à eux, moins concernés
Les résultats, selon Lee et son équipe, montrent “un avantage clair d’une stratégie évolutionnaire” qui allie recherche de solutions à grande échelle et utilisation du modèle linguistique pour affiner ces solutions grâce aux rôles d’auteur et de critique.
En revanche, la mauvaise nouvelle est que l’évolution de l’esprit exige beaucoup plus de puissance de calcul que l’approche normale de Gemini. La version Flash avec l’évolution de l’esprit effectue 167 appels API contre un seul lorsqu’elle fonctionne normalement. L’évolution de l’esprit consomme également trois millions de tokens en raison des prompts très longs, contre 9 000 pour le Gemini normal.
La bonne nouvelle est que malgré ces exigences accrues, l’évolution de l’esprit reste plus efficace que d’autres types de stratégies de recherche qui examinent de nombreuses réponses possibles du modèle d’IA.
En fait, l’évolution de l’esprit s’améliore progressivement à mesure que le nombre de sorties possibles qu’elle évalue augmente, comme on pourrait s’y attendre d’un processus d’évolution visant à être plus adapté. Il semble que le dialogue critique répété contribue de manière concrète à cette amélioration.
À noter : Comment le ‘ChatGPT de la santé’ pourrait accélérer le traitement de la polyarthrite rhumatoïde
“L’évolution de l’esprit est systématiquement plus efficace que les stratégies de base en ce qui concerne le nombre de solutions candidates nécessaires pour atteindre un niveau de réussite spécifié (ou une performance moyenne de tâche),” constatent les auteurs.
Pour ajouter une touche ludique, Lee et son équipe ont introduit leur propre benchmark novateur, appelé StegPoet, qui teste la capacité de Gemini à réaliser de la stéganographie, c’est-à-dire l’art de cacher un message dans un texte. (À ne pas confondre avec “sténographie”, qui consiste à transcrire des discours par shorthand.)
Dans leur version de la stéganographie, une série de chiffres à deux chiffres doit être attribuée à des mots ordinaires, qui devront ensuite être assemblés en un poème pour dissimuler le code numérique. Le défi devient plus compliqué à mesure que la chaîne de chiffres s’allonge et que chaque numéro est répété plus souvent.
Fait intéressant, StegPoet s’avère assez difficile même pour l’évolution de l’esprit. Gemini Flash utilisant cette technique réussit seulement 43,3 % du temps, ce qui est inférieur à un simple hasard. Et Gemini Pro atteint à peine 79 %. Cependant, les deux modèles surpassent de loin le Gemini non assisté ou les stratégies de recherche classiques.
La principale observation sur l’évolution de l’esprit par Lee et son équipe est que l’inférence représente un domaine riche d’inventions qui découvrent de nouvelles manières d’obtenir de meilleurs résultats, allant au-delà de la simple création de meilleurs prompts.
Un aspect important que les auteurs n’ont pas abordé est comment réduire le coût très élevé de l’évolution de l’esprit. Chaque nouvelle approche qui élaborera des prompts complexes avec des millions de tokens accroît le coût pour obtenir de meilleures réponses. Finalement, la gestion de ce budget devient cruciale.
Points à retenir
Les modèles linguistiques comme Gemini et GPT-3 montrent des résultats décevants dans des tâches pratiques telles que la planification de voyages.
La méthode révolutionnaire “évolution de l’esprit” utilise une approche inspirée de la génétique pour générer et évaluer plusieurs réponses en permanence.
Le dialogue critique entre différents rôles (auteur et critique) renforce la qualité des solutions proposées par les modèles d’IA.
En conclusion, alors que de nouvelles méthodes promettent d’améliorer la précision des modèles d’IA, il est essentiel de continuer à explorer des moyens d’optimiser leurs ressources. La recherche dans ce domaine pourrait ouvrir la voie à des applications encore plus performantes, mais il est tout aussi important de se poser des questions sur l’efficacité à long terme et sur les coûts associés à ces avancées.
4 thoughts on “Au revoir Darwin : L’évolution de l’esprit de Google DeepMind pour booster l’IA”
L’approche ‘évolution de l’esprit’ semble prometteuse pour améliorer l’efficacité des modèles d’IA dans des tâches complexes comme la planification de voyages. Très intéressant !
L’évolution de l’esprit, c’est comme un brainstorming entre amis ! C’est intéressant de voir comment l’IA peut apprendre de ses erreurs, un peu comme nous !
C’est fascinant de voir comment l’approche de l’évolution de l’esprit peut transformer l’IA. Quelles autres innovations pourrait-on envisager pour améliorer ces modèles ?
C’est incroyable de voir comment l’IA évolue! Ça nous rappelle qu’améliorer notre pensée critique est tout aussi important dans les soins aux enfants. Qui sait ce que demain nous réserve!
L’approche ‘évolution de l’esprit’ semble prometteuse pour améliorer l’efficacité des modèles d’IA dans des tâches complexes comme la planification de voyages. Très intéressant !
L’évolution de l’esprit, c’est comme un brainstorming entre amis ! C’est intéressant de voir comment l’IA peut apprendre de ses erreurs, un peu comme nous !
C’est fascinant de voir comment l’approche de l’évolution de l’esprit peut transformer l’IA. Quelles autres innovations pourrait-on envisager pour améliorer ces modèles ?
C’est incroyable de voir comment l’IA évolue! Ça nous rappelle qu’améliorer notre pensée critique est tout aussi important dans les soins aux enfants. Qui sait ce que demain nous réserve!