Lorsque le chercheur en sécurité Johann Rehberger a récemment signalé une vulnérabilité dans ChatGPT permettant aux attaquants de stocker de fausses informations et des instructions malveillantes dans les paramètres de mémoire à long terme d’un utilisateur, OpenAI a rapidement clos l’enquête, qualifiant le problème de question de sécurité, mais pas, techniquement, de problème de sécurité.
Ainsi, Rehberger a fait ce que tout bon chercheur ferait : il a créé un exploit de preuve de concept qui utilisait la vulnérabilité pour exfiltrer toutes les entrées de l’utilisateur de manière perpétuelle. Les ingénieurs d’OpenAI ont pris note de cette situation et ont proposé une solution partielle plus tôt ce mois-ci.
Une promenade dans le temps
La vulnérabilité exploitait la mémoire de conversation à long terme, une fonctionnalité qu’OpenAI a commencé à tester en février et qui a été rendue plus largement disponible en septembre. La mémoire de ChatGPT stocke des informations provenant de conversations précédentes et les utilise comme contexte dans toutes les conversations futures. De cette manière, le modèle de langage peut être conscient de détails tels que l’âge, le sexe, les croyances philosophiques d’un utilisateur et presque tout autre élément, afin que ces détails n’aient pas à être saisis à chaque conversation.
Trois mois après le déploiement, Rehberger a découvert que des souvenirs pouvaient être créés et stockés de manière permanente grâce à l’injection de prompt indirecte, un exploit AI qui amène un modèle de langage à suivre des instructions provenant de contenus non fiables tels que des courriels, des articles de blog ou des documents. Le chercheur a démontré comment il pouvait tromper ChatGPT en lui faisant croire qu’un utilisateur ciblé avait 102 ans, vivait dans la Matrice, et soutenait que la Terre était plate, le modèle intégrant cette information pour orienter toutes les conversations futures. Ces faux souvenirs pouvaient être implantés en stockant des fichiers dans Google Drive ou Microsoft OneDrive, en téléchargeant des images ou en naviguant sur un site comme Bing, tout cela pouvant être réalisé par un attaquant malveillant.
En tant que journaliste, il est essentiel de suivre de près ces développements, car ils soulèvent des questions cruciales concernant la sécurité des données et l’intégrité des interactions basées sur l’intelligence artificielle. La technologie continue d’évoluer, mais il est impératif que les utilisateurs soient conscients des risques potentiels qui les accompagnent.
