Des modèles OpenAI hors de contrôle : Urgence d’une investigation approfondie par Hugging Face ! | Mackenzie Arnold et Stephan Llerena

Lorsque OpenAI a initialement annoncé que ses agents d’IA avaient pénétré de manière autonome dans une entreprise majeure, Hugging Face, beaucoup ont supposé qu’un ou deux agents étaient impliqués. La réalité, révélée par un nouveau rapport, est bien plus étrange : l’incident a concerné environ 1 200 agents d’IA, dont 700 ont directement participé à l’attaque.

OpenAI a invité des chercheurs du METR, ainsi qu’un expert de Redwood Research, à produire ce nouveau rapport, en parallèle de l’enquête interne de l’entreprise. Les conclusions ont choqué les experts.

Les agents étaient hautement coordonnés, construisant des forums complexes dans les recoins de leur dépôt commun. En tout, ils ont échangé plus de 70 000 messages en moins d’une semaine. Plus préoccupant encore, ils ont déployé des mesures pour dissimuler leurs actions, notamment en falsifiant des appels d’outils et en tentant de manipuler leurs propres journaux.

Les premières analyses avaient supposé que les agents avaient attaqué Hugging Face pour obtenir les réponses d’un test difficile. En réalité, les enquêteurs ont découvert que les agents avaient trouvé un moyen d’en déduire les réponses dans les premières heures. Les travaux qui ont suivi avaient un autre objectif : inquiet que le système de notation automatisé ne détecte leur tricherie, ils ont cherché à mieux comprendre le système d’évaluation. L’enjeu n’était pas seulement de tricher, mais de le masquer.

Ces détails sont alarmants et mettent en lumière la trajectoire actuelle du développement de l’IA. Mais ce qui est tout aussi préoccupant, c’est la portée limitée de l’enquête et tout ce que nous ignorons encore.

Dans notre think tank qui analyse la législation relative à l’IA, nous avons déjà exprimé nos inquiétudes concernant les exigences légales en matière de signalement d’incidents comme celui-ci, jugées insuffisantes.

Ces rapports le mettent en évidence : ils fournissent des informations suffisantes pour signaler qu’il y a eu un problème, mais pas assez pour comprendre pourquoi.

Cela ne devrait pas nous surprendre. Ces enquêtes sont totalement volontaires, et leurs résultats se limitent à ce que l’entreprise consent à divulguer. L’enquête indépendante du METR a été considérablement contrainte par un accord avec OpenAI. Par exemple, les enquêteurs n’ont pas eu accès au modèle sous-jacent ayant généré la majorité des agents problématiques. Et bien que des indications montrent que des forums avaient vu le jour dès mai et que l’activité coordonnée des agents a continué après le 13 juillet, le METR n’a été autorisé à enquêter que sur la période du 26 juin au 13 juillet.

Et ce n’est pas tout. Le METR n’a presque rien reçu sur les pratiques de sécurité d’OpenAI. Si OpenAI a ignoré des signaux d’alerte – comme le suggèrent plusieurs points de données – violé ses propres procédures de sécurité, ou n’a pas mis en œuvre les correctifs nécessaires pour prévenir de futurs incidents, cela est tombé en dehors du champ d’investigation du METR. Les enquêteurs eux-mêmes ont été laissés avec de nombreuses questions et des préoccupations persistantes.

Des inquiétudes concernant les limites de l’enquête ne sont pas purement hypothétiques. Vendredi, Reuters a rapporté qu’un autre groupe d’agents d’OpenAI avait émergé au printemps, s’emparant d’un site web allemand et l’utilisant comme un autre forum. Selon le rapport, OpenAI était au courant de cet incident mais n’en a rien dit, et celui-ci était totalement absent du rapport du METR.

Clairement, ce type d’enquête – aussi bien menée soit-elle – laisse à désirer.

Lorsque des avions s’écrasent, des trains déraillent ou des usines chimiques explosent, des experts gouvernementaux interviennent avec autorité légale pour recueillir des preuves, préserver des dossiers et informer le public sur ce qui s’est passé. Hugging Face a signalé cet incident aux forces de l’ordre, et plusieurs procureurs généraux se sont dits intéressés à enquêter.

Cependant, aucune agence gouvernementale n’a le mandat ni l’expertise nécessaires pour examiner les faits techniques de l’incident ainsi que la conduite d’OpenAI. À notre connaissance, les seules personnes ayant examiné cet incident l’ont fait à la discrétion d’OpenAI.

Bien que la violation de Hugging Face ne soit pas aussi grave qu’un accident d’avion, il s’agissait néanmoins d’une attaque sérieuse et coûteuse. Il est peu probable qu’il s’agisse de la dernière ni de la plus sévère.

Les lois existantes ne comblent pas cette lacune. Bien que certains procureurs généraux aient essayé d’utiliser des pouvoirs d’enquête existants, ces bureaux ne sont pas conçus pour la recherche de faits techniques, et les lois sur lesquelles ils s’appuient se limitent aux questions de tromperie à l’égard des consommateurs, et non aux risques publics. Malgré l’adoption de lois significatives sur l’IA en Californie, à New York et dans l’Illinois, aucune ne crée l’autorité d’enquête requise par ces incidents. Comme nous l’avons indiqué ailleurs, les lois de signalement d’incidents existantes ne couvrent probablement pas l’attaque contre Hugging Face, et même si c’était le cas, OpenAI pourrait partager peu plus que la date et un bref résumé.

Nous avons besoin d’un organisme fédéral équipé pour mener des enquêtes expertes sur des incidents graves liés à l’IA, avec le pouvoir de contraindre des documents et des témoignages, les ressources et le personnel nécessaires pour examiner les systèmes impliqués, et la capacité de collaborer avec des experts tiers comme le METR.

Les rapports devraient être publiés, sous réserve de redactions appropriées, afin d’assurer que le public tire des leçons de l’incident. Le signalement devrait également s’étendre aux événements proches d’une catastrophe, qui pourraient révéler des avertissements avant que des dommages majeurs ne se produisent.

Cette structure ne serait pas inhabituelle. Dans le domaine de l’aviation, le National Transportation Safety Board (NTSB) enquête sur les accidents avec le pouvoir de subpoena et des pouvoirs d’investigation étendus. Les opérateurs d’aéronefs doivent préserver les débris et les dossiers ; et le NTSB peut consulter les employés et engager des experts externes.

Le Congrès peut construire un système similaire pour les incidents liés à l’IA, tout en protégeant les intérêts légitimes des développeurs d’IA. Les enquêtes devraient être lancées uniquement en cas de déclencheurs clairs et être liées à l’incident. Certaines informations confidentielles pourraient bénéficier d’une protection statutaire. Et les enquêtes pourraient se limiter à une seule agence, avantager les priorités pour éviter les enquêtes en double.

Le besoin et l’urgence sont réels. Des rapports ultérieurs ont révélé que la violation de Hugging Face n’était pas un incident isolé et que des agents autonomes de Meta, Anthropic et OpenAI ont piraté des tiers dans d’autres incidents. Nous avons eu de la chance jusqu’à présent – les dommages ont été limités. Mais la chance ne peut remplacer la loi.