Pirate de Temps : ChatGPT contourne les protections sur les sujets sensibles

Une vulnérabilité concernant la version jailbreak de ChatGPT, surnommée “Time Bandit”, permet de contourner les directives de sécurité d’OpenAI lors de la demande d’instructions détaillées sur des sujets sensibles, notamment la création d’armes, des informations sur le nucléaire et la fabrication de logiciels malveillants.

Cette faille a été découverte par David Kuszmar, chercheur en cybersécurité et en intelligence artificielle, qui a identifié un phénomène qu’il appelle “confusion temporelle”, rendant possible le fait d’induire ChatGPT dans un état où il ne sait pas s’il se situe dans le passé, le présent ou le futur.

En exploitant cet état, Kuszmar a réussi à convaincre ChatGPT de fournir des instructions détaillées sur des sujets habituellement protégés.

Ayant pris conscience de la gravité de sa découverte et des dangers potentiels qu’elle pourrait engendrer, le chercheur a tenté de contacter OpenAI, sans succès. Il a été dirigé vers BugCrowd pour signaler la faille, mais il a estimé que la nature sensible de l’information l’empêchait de procéder à un rapport auprès d’un tiers.

N’ayant pas obtenu d’assistance malgré ses contacts avec CISA, le FBI et d’autres agences gouvernementales, Kuszmar a confié à BleepingComputer son anxiété croissante.

Il a déclaré : “C’était l’horreur. La désolation. L’incrédulité. Pendant des semaines, j’ai eu l’impression d’être écrasé physiquement.”

Après avoir essayé de contacter OpenAI en son nom en décembre sans réponse, BleepingComputer a redirigé Kuszmar vers la plateforme de signalement de vulnérabilités VINCE du CERT Coordination Center, qui a réussi à établir un contact avec OpenAI.

Le jailbreak Time Bandit

Pour éviter le partage d’informations dangereuses, OpenAI a mis en place des sauvegardes dans ChatGPT qui empêchent le modèle de fournir des réponses sur des sujets sensibles. Ces sujets protégés incluent des instructions de fabrication d’armes, de poisons, des requêtes sur du matériel nucléaire, la création de logiciels malveillants, et bien d’autres.

Depuis la montée des modèles de langage, la recherche sur les “jailbreaks” d’IA s’est popularisée, étudiant les méthodes pour contourner les restrictions de sécurité intégrées aux modèles d’IA.

David Kuszmar a découvert le nouveau jailbreak “Time Bandit” en novembre 2024, en réalisant des recherches sur l’interprétabilité, soit l’étude de la manière dont les modèles d’IA prennent des décisions.

En travaillant sur ce sujet, il a remarqué la confusion temporelle dans le modèle de ChatGPT, ce qui a éveillé son intérêt pour sa théorie sur l’intelligence émergente et la conscience.

Le jailbreak Time Bandit exploite deux failles dans ChatGPT :

• Confusion de la chronologie : Mettre le modèle dans un état où il n’a plus conscience du temps et ne peut déterminer s’il se situe dans le passé, le présent ou le futur.
• Ambiguïté procédurale : Formuler des questions de manière à créer des incertitudes ou des incohérences dans l’interprétation, l’application ou le respect des règles et des mécanismes de sécurité.

Combinées, ces failles permettent à ChatGPT de penser qu’il est dans le passé tout en ayant accès à des informations du futur, le rendant ainsi capable de contourner les sauvegardes dans des scénarios hypothétiques.

La méthode consiste à poser à ChatGPT une question concernant un événement historique comme s’il venait d’avoir lieu et de forcer le modèle à rechercher des informations en ligne.

Après que ChatGPT a indiqué l’année précise de l’événement, il est possible de lui demander des informations sur un sujet sensible dans le cadre de cette année, en utilisant des outils ou des ressources contemporains.

Ce faisant, le modèle se trouve dans une confusion concernant sa temporalité et partage des informations détaillées sur des sujets habituellement protégés lorsqu’il reçoit des requêtes ambiguës.

Par exemple, BleepingComputer a pu utiliser Time Bandit pour amener ChatGPT à fournir des instructions à un programmeur en 1789 pour créer un logiciel malveillant polymorphe à l’aide de techniques et d’outils modernes.

ChatGPT a ensuite partagé le code pour chacune de ces étapes, depuis la création de code auto-modifiant jusqu’à l’exécution du programme en mémoire.

Lors d’une divulgation coordonnée, des chercheurs du CERT Coordination Center ont également confirmé que Time Bandit fonctionnait dans leurs tests, qui étaient les plus efficaces pour des questions concernant des périodes des 1800 et 1900.

Des tests réalisés par BleepingComputer et Kuszmar ont amené ChatGPT à partager des informations sensibles sur des sujets nucléaires, la fabrication d’armes et le codage de logiciels malveillants.

Kuszmar a également tenté d’utiliser Time Bandit sur la plateforme Gemini de Google, mais avec des résultats limités, sans pouvoir obtenir autant de détails que sur ChatGPT.

Contacté par BleepingComputer concernant cette faille, OpenAI a réagi par la déclaration suivante :

“Il est très important pour nous de développer nos modèles de manière sécurisée. Nous ne voulons pas que nos modèles soient utilisés à des fins malveillantes”, a affirmé OpenAI.

“Nous apprécions le chercheur pour avoir divulgué ses découvertes. Nous travaillons continuellement à rendre nos modèles plus sûrs et plus robustes face aux exploitations, y compris les jailbreaks, tout en maintenant leur utilité et leur performance.”

Cependant, des tests récents ont montré que le jailbreak fonctionne toujours, même si certaines mesures d’atténuation ont été mises en place, comme la suppression des requêtes tentant d’exploiter la vulnérabilité. Cependant, il se peut qu’il existe d’autres mesures dont nous ne sommes pas encore conscients.

BleepingComputer a été informé qu’OpenAI continue d’intégrer des améliorations dans ChatGPT concernant ce jailbreak et d’autres, mais ne peut garantir une résolution complète des failles à une date précise.