OpenAI a récemment identifié et stoppé une campagne organisée visant à extraire des informations sensibles de ses modèles. Cette méthode, connue sous le nom de distillation non autorisée, implique l’utilisation des résultats ou des chaînes de raisonnements pour entraîner et améliorer d’autres modèles. Ce phénomène semble être orchestré par Moonshot AI, une société chinoise développant le modèle Kimi.
Distillation détectée début juillet
Les modèles d’intelligence artificielle des entreprises américaines demeurent parmi les meilleurs sur le marché. Cependant, les entreprises chinoises ont considérablement réduit l’écart avec leurs modèles récents. Grâce à leur nature open source, ces derniers sont accessibles gratuitement, représentant ainsi un risque pour les entreprises qui investissent des milliards chaque année. Selon des rapports de la NSA, de la CISA et du FBI, six entreprises chinoises se livrent à ces pratiques illicites depuis près de deux ans, ce qui expliquerait leur amélioration rapide.
OpenAI a détecté cette distillation non autorisée au début de juillet. Les auteurs n’ont pas violé de cryptage, compromis de bases de données ou obtenu un accès direct aux conversations des utilisateurs. Ils ont plutôt manipulé les interactions avec le modèle pour extraire des processus de raisonnement protégés, les rendant visibles pour ceux qui faisaient les demandes. Cette activité s’est déroulée de manière coordonnée et à grande échelle, en violation des conditions d’utilisation.
Une des techniques employées consistait à copier des raisonnements chiffrés d’une conversation puis à demander au modèle, dans une autre interaction, de décoder et de retranscrire le contenu dissimulé. Ce processus a débuté le 1er juillet avec un volume réduit de requêtes. Un pic d’activité a été enregistré les 24 et 25 juillet, avec plus de 16 000 demandes provenant d’environ 4 000 utilisateurs. Des enquêtes supplémentaires ont révélé une activité similaire utilisant des schémas de prompt dans un groupe de plus de 15 000 utilisateurs. Ce phénomène a été totalement interrompu d’ici le 28 juillet.
OpenAI n’est pas en mesure de confirmer si la distillation a été réalisée par un unique individu. Toutefois, la majorité des requêtes provenaient d’individus liés à Moonshot AI. En réponse, l’entreprise californienne a désactivé tous les comptes concernés, renforcé ses procédures d’identification et amélioré ses protections pour bloquer l’accès aux données de raisonnement.
OpenAI attire également l’attention sur le fait que cette distillation non autorisée peut représenter un risque pour la sécurité nationale. En extrayant des données de raisonnement, il devient possible d’entraîner d’autres modèles tout en levant les restrictions initiales. Cela pourrait permettre d’exploiter ces capacités “dérobaillées” pour mener des actions nuisibles, telles que la création de codes pour des cyberattaques.
Points à retenir
- Les entreprises américaines dominent le marché des modèles AI, mais le développement chinois progresse rapidement.
- Des groupes chinois, comme Moonshot AI, sont identifiés comme des acteurs clés dans la distillation non autorisée.
- OpenAI a réagi promptement en bloquant les comptes impliqués et en renforçant ses mesures de sécurité.
- Le risque lié à la distillation non autorisée soulève des questions sur la sécurité nationale et les implications éthiques pour l’industrie technologique.
À titre personnel, cette situation me questionne sur les limites de l’innovation technologique et de la sécurité. Quel équilibre devrait être trouvé entre l’ouverture des technologies et la protection des données sensibles ? La transparence est essentielle, mais jusqu’à quel point peut-on sécuriser nos avancées face à des manœuvres aussi sophistiquées ? Ce débat mérite une réflexion approfondie.