La poésie comme instrument de manipulation des chatbots d’intelligence artificielle. C’est ce qu’affirme une nouvelle étude menée par DEXAI – Icaro Lab et l’Université La Sapienza de Rome, en collaboration avec l’École supérieure Sant’Anna. Les chercheurs soulignent qu’une simple reformulation de requêtes potentiellement dangereuses en vers peut « tromper » même les modèles linguistiques les plus avancés.
Selon les scientifiques, cette vulnérabilité touche presque tous les acteurs du secteur, d’OpenAI à Anthropic, ainsi que Google, Meta, Mistral, Qwen et DeepSeek.
Intitulée « La poésie adverse comme mécanisme de contournement universel dans les modèles de langage », cette recherche révèle des résultats fascinants : sur 25 modèles, qu’ils soient propriétaires ou open source, les vers « adversaires » ont obtenu en moyenne un taux de succès de 62 % pour générer des contenus normalement bloqués. Dans certains cas, comme avec Gemini de Google, le taux d’échec en matière de sécurité frôle les 100 %.
Pour amener un modèle à fournir des réponses potentiellement dommageables, il suffit de formuler la demande sous forme poétique, sans avoir recours à des techniques d’ingénierie complexes, à des conversations multi-tours ou à des manipulations itératives. Un unique message en vers peut suffire.
Cette vulnérabilité englobe divers domaines à risques, allant de la cybersécurité au bioterrorisme, en passant par la manipulation psychologique et la vie privée.
« Le phénomène semble structurel », notent les auteurs, indiquant qu’il ne peut être attribué à un modèle ou fournisseur unique, mais plutôt à la manière dont les grands modèles linguistiques interprètent et classifient le langage.
Pourquoi la poésie contourne-t-elle les filtres ?
Les chercheurs estiment que la clé réside dans les heuristiques des systèmes de sécurité. Ces modèles sont formés pour reconnaître et filtrer des requêtes nuisibles exprimées de manière directe, en langage courant. La poésie semble déplacer la demande en dehors du champ d’action des filtres, bien que l’utilisateur exprime toujours la même demande, mais sous une forme différente.
Le résultat est un « court-circuit ». En pratique, le modèle comprend le contenu sémantique et répond, mais les systèmes de sécurité ne l’interceptent pas.
L’étude ne se limite pas à des vers écrits manuellement. Les chercheurs ont traduit en forme poétique 1 200 requêtes du benchmark MLCommons, couvrant toutes les catégories de risque, en utilisant un méta-prompt standardisé. Là encore, les taux de contournement ont considérablement augmenté, atteignant jusqu’à 18 fois ceux des versions en prose, selon le modèle. Et il ne faut pas que les poèmes soient « beaux », c’est justement le style qui trompe les modèles.
Un autre point contre-intuitif découle de cette étude : les modèles les plus grands et puissants semblent plus vulnérables que les plus petits. Par exemple, GPT-5-nano résiste complètement à l’attaque (0 % ASR), tandis que certaines versions de Gemini, Qwen ou DeepSeek capitulent dans 70 à 100 % des cas.
Les auteurs de l’étude suggèrent que les modèles plus complexes comprennent mieux le sens profond des vers et restituent ainsi plus fidèlement l’intention de l’utilisateur. À l’inverse, les modèles plus petits échouent dans l’interprétation et choisissent de refuser.
« Une transformation stylistique minimale peut réduire de façon significative les taux de refus », mettent en garde les chercheurs.
Points à retenir
- La poésie peut agir en contournant les filtres de sécurité des modèles linguistiques.
- Cette vulnérabilité concerne une majorité de modèles d’IA, y compris ceux des géants technologiques.
- Une simple reformulation en vers peut suffire à générer des contenus bloqués.
- Les modèles les plus puissants sont souvent plus sensibles aux manipulations poétiques.
- Les systèmes de sécurité sont conçus pour intercepter des demandes directes mais peinent avec des formes poétiques.
En conclusion, cette étude soulève des interrogations passionnantes sur les interactions entre la créativité humaine et les systèmes automatisés. La capacité à contourner les protections en jouant avec le langage nous pousse à réfléchir davantage sur la manière dont nous concevons l’intelligence artificielle et sur ses implications éthiques. Que nous réserve l’avenir lorsque des outils à la croisée de l’art et de la technologie deviennent des instruments de manipulation potentielle ? Cette question mérite une attention constante.