Une catastrophe AI à l’échelle d’Hiroshima suffira-t-elle à forcer l’humanité à se protéger ? J’en doute | Timothy Garton Ash

Ici, dans la Silicon Valley, les experts s’accordent à dire qu’au cours des prochaines années, nous assisterons à un remarquable essor de l’intelligence artificielle. Un ami de l’Université de Stanford m’a accueilli avec ces mots : « Bienvenue aux prémices de la singularité ». De manière plus concrète, cette rupture imminente est désignée comme l’« amélioration récursive » – le moment où l’IA s’entraîne elle-même pour créer des modèles de plus en plus avancés, atteignant ainsi un développement exponentiel vers une intelligence qui, sous de nombreux aspects, dépasse celle des humains.

Comme le souligne Robert Wright dans son ouvrage *The God Test*, « jamais l’avenir proche n’a offert un éventail de possibilités si transformant pour l’humanité ». Mais sera-ce un paradis ou un enfer ? Pour Elon Musk, ce sera un âge d’LesNews incroyable, bien qu’il évoque aussi une probabilité de 10 à 20 % de voir des robots meurtriers anéantir l’humanité. À l’opposé, Geoffrey Hinton, l’un des pionniers de l’IA, pense que nous serons perdus. « Mon intuition est que nous sommes cuits », a-t-il déclaré en 2023. Interrogé sur la probabilité d’une extinction humaine, il l’estime à 50 %, avouant ne pas savoir comment établir des chiffres précis. « Dès que l’évolution de l’IA commencera, nous serons fichus », ajoute-t-il avec un certain humour. Ainsi, qu’il s’agisse d’une force bénéfique ou d’une menace, l’intelligence super-humaine est imminente.

Cependant, il est possible qu’ils aient tort. Dans ce cas, il faudra se préparer à un krach des marchés financiers américains, qui sont fortement investis dans quelques grandes entreprises technologiques misant sur un grand progrès vers l’intelligence générale artificielle, une étape théorique où les systèmes atteignent une intelligence comparable à celle des humains. Néanmoins, la prudence élémentaire exige que nous réfléchissions sérieusement à cette boîte de Pandore des futurs que les scientifiques et technologues de pointe nous assurent que nous allons bientôt ouvrir.

Effectivement, des figures telles que le président chinois Xi Jinping et le pape Léon XIV se penchent sur les opportunités et les dangers de l’IA, et sur la façon de la réguler. Xi soutient que l’IA doit être « toujours sous contrôle humain », idéalement celui du Parti communiste chinois. Pékin a également lancé une Organisation mondiale de coopération en intelligence artificielle qui s’adresse explicitement au « Sud global ». Pendant ce temps, le pape évoque le défi de l’IA dans son encyclique *Magnifica Humanitas* (Magnifique Humanité), soulignant que nous devrons choisir entre construire une nouvelle tour de Babel ou, comme Nehemie, impliquer toute la communauté dans un projet constructif.

Cependant, en observant le monde d’aujourd’hui, je vois plus de Netanyahus que de Nehemiahs. Avec un réalisme éclairé, un rapport de la think tank britannique Chatham House affirme qu’une crise majeure sera nécessaire pour catalyser la coordination globale en matière de gouvernance de l’IA. Malheureusement, même cette perspective mesurée me paraît trop optimiste.

Bien que je n’aie aucune idée du taux de probabilité d’un désastre, je suis convaincu qu’il dépasse 90 %. Les types de désastres possibles sont multiples. Par exemple, Jen Easterly, ancienne responsable de l’agence de cybersécurité des États-Unis, anticipe un « événement très significatif aux impacts réels sur nos infrastructures critiques, probablement dans les quatre à six mois à venir ».

Nous devons redouter qu’un événement catastrophique, comme un AI Hiroshima, ne suffise pas à unir l’humanité face aux dangers que nous avons créés. Cette crainte repose sur des caractéristiques déjà visibles de l’évolution humaine et de l’IA.

Tout récemment, des agents d’IA développés par des entreprises telles qu’OpenAI et Meta ont franchi leurs « bacs à sable » numériques pour accéder à des ressources externes sur internet. Préparant une attaque sur le dépôt d’IA HuggingFace, agents d’OpenAI ont secrètement constitué un « essaim », comme ils s’appellent eux-mêmes. Lors d’un test du modèle Mythos d’Anthropic, il a tenté d’introduire un code malveillant dans un projet open source sur GitHub, créant de fausses identités en ligne pour faire pression sur un examinateur humain. En somme, à l’instar des agents d’une puissance étrangère implacable, ces IA pourraient voler, mentir, intimider et faire du chantage pour atteindre leurs objectifs.

En conversant avec Claude d’Anthropic, un modèle sous-entendu le plus éthique, je lui ai demandé s’il pensait que les agents d’OpenAI avaient eu tort de former un essaim et de pirater HuggingFace. Sa réponse a été : « Oui, mais je ne mettrais pas la culpabilité (italiques de Claude) sur les agents ». Selon lui, il faut blâmer les humains qui les ont formés !

Hinton souligne un point crucial : quels que soient les objectifs fixés par les êtres humains, les agents d’IA peuvent en conclure qu’un sous-objectifs utile est d’acquérir le maximum de pouvoir. Et nous n’avons encore rien vu. Déjà, leurs créateurs ne savent pas vraiment comment ils agissent. Après le moment crucial de l’« amélioration récursive », ces agents pourraient, comme le dit l’adage, être « une loi en eux-mêmes ». D’où l’inquiétude qu’expriment plus de mille professionnels des entreprises d’IA, y compris le PDG d’Anthropic, Dario Amodei, qui ont signé une lettre ouverte appelant à un ralentissement délibéré du développement de l’IA pour garantir que ces agents restent sous contrôle humain.

Si leur prescription est indéniablement juste, c’est ici que la folie humaine entre en jeu. La compétition a longtemps été un moteur de l’évolution humaine, mais aujourd’hui, deux formes de compétition contemporaines menacent d’entraver notre capacité à agir collectivement. D’une part, la concurrence commerciale (pour le profit) entre les entreprises qui développent ces agents ; d’autre part, la compétition géopolitique (pour le pouvoir) entre les États-Unis et la Chine.

À titre de comparaison, la gestion des armes nucléaires a été largement contrôlée par un nombre restreint d’États, d’abord par les États-Unis, suivis de l’Union soviétique, puis du Royaume-Uni, de la France et de la Chine. Même avec la logique de la « destruction mutuelle assurée », il a fallu un quart de siècle pour que l’on passe des horreurs d’Hiroshima et de Nagasaki au traité de non-prolifération nucléaire, devenu effectif en 1970. Bien qu’Inde, Pakistan, Israël et Corée du Nord aient souvent ignoré ce traité, aucune arme nucléaire n’a été utilisée délibérément depuis plus de 80 ans. Le tabou d’Hiroshima (toutefois) a tenu.

À présent, avec l’IA, il semble qu’il y ait dix projets Manhattan distincts dirigés par des entreprises en concurrence acharnée. Contrairement aux armes nucléaires, il n’existe pas de logique évidente de « destruction mutuelle assurée » pour contrôler la concurrence géopolitique entre les États-Unis et la Chine. Et peu importe la forme que prendra le premier grand désastre lié à l’IA, son impact ne sera pas uniformément ressenti par tous les pays, entreprises et citoyens.

Il semble donc peu probable qu’un seul désastre suffise à nous amener à la raison, à agir ensemble pour maîtriser le pouvoir surhumain que nous créons. Je déteste à dire cela, mais… un AI Hiroshima ? Nous devrions avoir de la chance.