Une récente étude menée par Google Research met en lumière une réalité intrigante : les modèles linguistiques avancés parviennent à encoder entre 95 et 98 % des faits testés, mais ne peuvent extraire entre 26 et 34 % de ces informations lorsqu’elles sont posées directement sous forme de question. Ce phénomène ne résulte pas d’une carence de connaissances, mais plutôt d’une défaillance dans l’accès aux informations déjà mémorisées.
Les chercheurs ont introduit un concept qu’ils appellent le « profilage des connaissances ». Plutôt que d’évaluer la précision des réponses sur chaque question individuellement, leur méthode consiste à classifier chaque fait en cinq catégories différentes : non encodé, encodé mais non extrait, extrait directement, extrait avec réflexion, et déduit sans encodage.
Pour mener leurs tests, les chercheurs ont constitué un échantillon de 2 150 faits provenant de Wikipédia, chacun étant accompagné de dix questions pour évaluer leur accessibilité.
La métaphore centrale à comprendre ici est simple. Une « étagère vide » représente un fait qui n’a pas été intégré au modèle. Un « clé perdue » symbolise un fait existant, mais que le modèle n’est pas capable de retrouver sans indices supplémentaires. Cette distinction est cruciale : dans le premier cas, il serait nécessaire d’élargir les données ou d’enrichir le modèle, tandis que dans le second, il suffirait d’améliorer les méthodes d’extraction des connaissances déjà présentes.
Un résultat particulièrement surprenant concerne l’ordre des mots. Lorsque la formulation d’une question inverse la structure habituelle « sujet – objet », l’extraction d’informations s’en trouve drastiquement altérée. Par exemple, le modèle répond facilement à la question de l’auteur d’un livre, mais peut rencontrer des difficultés pour répondre à « quel livre a écrit cet auteur ? ». Cela ne reflète pas un manque de connaissances, mais un problème d’accès à l’information.
Pour les développeurs d’applications basées sur des modèles linguistiques, une conclusion majeure s’impose : il est essentiel de tester les systèmes en posant des questions reformulées, avec un ordre des mots varié, et en utilisant un format d’identification, plutôt que de s’en remettre à un unique modèle canonique. Si l’étude de Google Research ne prétend pas que l’ordre des mots soit la seule cause des erreurs, elle propose un cadre structuré pour mesurer ce type de défaillance.
Points à retenir
- Les modèles linguistiques peuvent encoder presque toutes les informations, mais peinent parfois à les extraire.
- Le profilage des connaissances permet de catégoriser les faits selon leur accessibilité.
- Une grande partie des erreurs d’extraction est liée à l’ordre des mots dans les questions.
- Améliorer l’accès aux informations déjà existantes pourrait être une solution plus efficace que l’accroissement des données.
Il est fascinant de réfléchir à l’impact de la formulation de nos questions sur l’efficacité des modèles linguistiques. En tant qu’observateurs de l’évolution technologique, je trouve passionnant de considérer comment une simple inversion de mots peut bouleverser l’accès à des connaissances intégrées. Cela met en évidence la complexité de notre interaction avec la technologie. En tant qu’être humain, nous avons un pouvoir immense : celui de formuler, de questionner et de comprendre. Réfléchissons ensemble aux implications de cela sur notre manière d’interagir avec les systèmes d’intelligence artificielle qui, malgré leurs avancées impressionnantes, continuent d’évoluer. Comment pouvons-nous orienter cette évolution pour en tirer un meilleur parti ?