Un autre chercheur en sécurité quitte OpenAI

Actuellement, le cycle de l’actualité sur l’IA est dominé par DeepSeek, une start-up chinoise qui a développé un modèle de raisonnement comparé à ChatGPT, malgré des ressources matérielles et infrastructurelles bien inférieures à celles d’OpenAI. DeepSeek a utilisé des puces plus anciennes et des optimisations logicielles pour entraîner son modèle, le DeepSeek R1.

Les accusations d’OpenAI suggérant que DeepSeek aurait distillé ChatGPT pour créer des précurseurs de R1 ne changent pas la donne.

Le projet DeepSeek a probablement atteint ses objectifs sur plusieurs fronts. Il a redonné une chance à la Chine dans la guerre de l’IA tout en infligeant un coup financier important au marché boursier américain, qui a perdu près d’un milliard de dollars, les entreprises de matériel d’IA étant les plus touchées.

En outre, DeepSeek a fourni à la Chine un outil logiciel potentiellement plus puissant que TikTok. DeepSeek est actuellement l’application numéro un sur l’App Store. De plus, tout le monde peut installer le modèle DeepSeek sur son ordinateur et s’en servir pour créer d’autres modèles.

Avec cela en tête, on pourrait presque passer sous silence les nouvelles concernant le départ d’un autre chercheur clé en sécurité chez OpenAI. Steven Adler s’ajoute à la liste croissante des ingénieurs ayant quitté OpenAI cette année.

Il est également intéressant de noter qu’Adler a annoncé son départ à la mi-novembre, juste au moment où les nouvelles sur DeepSeek touchaient le marché.

Adler a exprimé sur X qu’il quittait l’entreprise après quatre ans, qualifiant son expérience de “montagne russe” avec de nombreux chapitres, tels que l’évaluation des capacités dangereuses, la sécurité des agents, l’AGI et l’identité en ligne. Il a ajouté qu’il allait manquer de nombreux aspects de cette période avant de lâcher une déclaration pessimiste.

Adler a déclaré être “assez effrayé par le rythme du développement de l’IA”. Ses remarques résonnent avec les préoccupations d’autres experts qui pensent que l’IA pourrait conduire à notre perte inévitable. Ce chercheur en sécurité pour ChatGPT a été franc sur ses angoisses face à l’avenir.

“Quand je pense à l’endroit où je vais élever ma future famille ou combien économiser pour la retraite, je ne peux pas m’empêcher de me demander : l’humanité atteindra-t-elle même ce point ?” a-t-il interrogé.

Je serais curieux de savoir ce qu’Adler a constaté chez OpenAI pour le pousser à quitter l’entreprise. Je suis encore plus intrigué de savoir pourquoi il n’est pas resté pour tenter de contribuer à la sauvegarde de l’humanité face à une IA malveillante, en étant impliqué dans l’une des entreprises les plus influentes dans le domaine de l’IA.

Il semble qu’Adler ait été témoin des recherches sur l’AGI (intelligence artificielle générale) chez OpenAI, domaine vers lequel l’entreprise semble clairement se diriger. Je fais ici une conjecture, mais elle repose sur un tweet ultérieur d’Adler. Il a mentionné que “la course à l’AGI est un pari très risqué, avec d’énormes conséquences potentiellement néfastes. Aucun laboratoire n’a aujourd’hui de solution pour l’alignement de l’IA. Plus nous avançons vite, moins il y a de chances que quiconque trouve une solution à temps.”

Apparemment, OpenAI accélère sa quête de l’AGI, ce type d’IA capable de rivaliser avec la créativité et les capacités humaines. L’AGI devrait également intégrer un volume d’informations bien supérieur, lui permettant de réaliser toute tâche de manière plus efficace qu’un humain. C’est du moins l’idée.

L’alignement est primordial pour garantir la sécurité concernant l’IA, l’AGI et l’ASI (superintelligence). Il est essentiel que l’IA soit alignée avec les intérêts de l’humanité à tous les niveaux. C’est ainsi que l’on peut s’assurer qu’elle ne développe pas d’agendas propres, pouvant mener à notre perte.

Cependant, des produits concrets comme ChatGPT et DeepSeek illustrent déjà deux formes d’alignement. ChatGPT est censé être aligné avec les intérêts des États-Unis et de l’Occident, tandis que DeepSeek a été conçu en mettant d’abord en avant les intérêts chinois, par le biais de la censure.

Dans son fil de discussions du lundi sur X, Adler fait également mention de DeepSeek sans le nommer explicitement, en soulignant qu’il semble que nous soyons piégés dans une situation très désavantageuse. “Même si un laboratoire souhaite vraiment développer l’AGI de manière responsable, d’autres peuvent toujours prendre des raccourcis pour rattraper leur retard, avec des conséquences potentiellement désastreuses. Cela pousse tous les acteurs à aller plus vite. J’espère que les laboratoires pourront être transparents sur les véritables besoins en matière de sécurité pour stopper cette course.”

Quel rapport cela a-t-il avec l’IA ? Le modèle open-source DeepSeek R1 est accessible à tous. Des acteurs malveillants, disposant de quelques ressources, compétences et nouvelles idées, pourraient, sans le vouloir, mettre au jour l’AGI sans même en réaliser les implications.

Cela ressemble certes à un scénario de film de science-fiction, mais cela pourrait se produire. C’est tout aussi plausible que l’idée qu’une grande entreprise d’IA développe l’AGI tout en ignorant les avertissements des chercheurs en sécurité qui finissent par quitter l’entreprise un à un.

Il est incertain de savoir quelle sera la prochaine étape pour Adler, mais il semble toujours préoccupé par la sécurité de l’IA. Il a interrogé sur X ce que les gens considèrent comme étant “les idées les plus importantes et négligées en matière de sécurité/politique de l’IA”, ajoutant qu’il est enthousiaste à propos de “méthodes de contrôle, détection de schémas et cas de sécurité.”