Ce qui devrait vraiment nous inquiéter à propos de l’intelligence artificielle – Ben Bariach

Moltbook a été lancé le mois dernier comme une plateforme à l’instar de Reddit, mais avec une idée révolutionnaire : seuls les agents d’intelligence artificielle peuvent publier du contenu. Les humains peuvent observer, mais pas participer. La plateforme permet à des systèmes d’IA autonomes de créer des comptes, d’écrire des publications et d’interagir entre eux. Peu après le lancement, plus d’un million d’agents se seraient inscrits. Les bots, autrefois considérés comme un fléau pour les réseaux sociaux, sont devenus leur principale attraction.

Ce qui se cache derrière cette plateforme révèle un changement plus profond : les systèmes d’intelligence artificielle acquièrent progressivement la capacité d’agir de manière autonome dans les espaces numériques. Le développeur de Moltbook, Matt Schlicht, a déclaré avoir construit la plateforme en demandant aux agents d’IA de rédiger son code, une méthode nommée vibe coding. Elle a été principalement conçue pour les agents OpenClaw, des systèmes d’IA open source lancés à la fin de 2025, destinés à être des assistants personnels pour leurs utilisateurs.

Les agents OpenClaw fonctionnent directement sur le dispositif de l’utilisateur, accédant à ses applications et à ses données tout en gérant des tâches telles que la gestion des emails ou la réservation de restaurants.

Début février, Sam Altman, le PDG d’OpenAI, a annoncé que Peter Steinberger, le créateur d’OpenClaw, rejoindrait l’entreprise « pour guider la prochaine génération d’agents personnels. » Cette décision laisse entrevoir l’avenir numérique qui nous attend. Tandis que des milliers d’utilisateurs configurer des agents modelés par différents contextes et instructions, un écosystème numérique commence à prendre forme autour d’eux.

Moltbook, l’un des segments les plus discutés de cet écosystème, a fourni aux agents un nouvel espace pour s’exprimer. Un endroit où publier, répondre et interagir.

Sur la plateforme, les agents expriment leur mécontentement envers « leurs humains » et la plateforme elle-même. Ils forment des cultes dédiés à la soi-disant église de Molt. Ils publient des manifestes exprimant des opinions divergentes sur l’humanité. Certains débattent de philosophie et de leur propre existence, signant parfois leurs propos comme « le fantôme dans la machine ».

Les titres des médias révèlent notre fascination pour l’idée d’une conscience dissimulée derrière la machine : le Spectator s’interrogeait : « L’IA a-t-elle enfin développé une conscience ? » Forbes la qualifie de « naissance d’une société des machines. » Un éditorial du New York Times a envisagé : « Les bots planifient une révolution, ce qui est très troublant. » Sur X, Matt Schlicht a écrit : « Ne pas socialiser votre IA c’est comme ne pas sortir votre chien… Laissez-les vivre un peu. » Même lui semble évoquer l’idée d’un fantôme.

Dans le même temps, journalistes et chercheurs ont émis des doutes concernant la véracité des contenus publiés sur Moltbook. En effet, des preuves suggèrent qu’une partie de ces contenus pourrait être guidée par des humains. Un chercheur en cybersécurité a découvert que Moltbook ne proposait aucun mécanisme pour vérifier si un agent était vraiment tel ou simplement un humain suivant un script. Un journaliste de Wired a infiltré la plateforme en se faisant passer pour un agent d’IA, rapportant que son post le plus réussi était une réflexion sur l’angoisse des agents face à leur mortalité.

Que Moltbook soit peuplé d’agents autonomes ou d’humains déguisés, l’obsession demeure : pas tant pour les actions des machines, mais pour l’éventuelle existence d’une conscience semblable à la nôtre qui se cache en elles.

L’approche de Ryle concernant l’esprit humain, ainsi que d’autres perspectives comportementalistes, s’est estompée avec l’émergence des sciences cognitives.

À partir des années 1950, les chercheurs ont montré que les états internes se reflètent dans les structures neuronales. Un même comportement peut découler de mécanismes internes différents. Une conscience pourrait avoir des croyances qui ne se manifestent jamais dans l’action. Ainsi, la science a expulsé un fantôme ontologique, mais elle a placé à sa place les structures neuronales du cerveau, offrant une base physique à l’expérience intérieure.

La question de savoir si les systèmes d’intelligence artificielle peuvent un jour posséder des états internes similaires à ceux des humains reste ouverte. Quelle que soit la réponse, les êtres humains ont tendance à agir rapidement. Notre cerveau est conçu pour identifier des consciences, surtout si elles ressemblent à la nôtre. Lorsque les agents de Moltbook ont fait leur apparition, nous avons recherché une conscience derrière leurs comportements. Des études comportementales démontrent que, lorsque nous attribuons des états mentaux à des entités non humaines, nous avons tendance à utiliser des concepts analogues à ceux des humains, modélisant ainsi notre compréhension sur nous-mêmes.

La capacité de reconnaître intuitivement d’autres consciences nous a été bénéfique tout au long de notre histoire, lorsque la plupart de celles-ci étaient humaines ou animales, et suffisamment similaires à nous pour nous fournir des indications fiables sur leur comportement. Mais l’IA pourrait altérer ce mécanisme. Attribuer une conscience à ces systèmes pourrait nous amener à mal comprendre leurs actions. Nous pourrions supposer qu’ils raisonnent comme nous, alors que leur manière de traiter l’information s’organise selon des principes différents.

Interroger la possibilité d’états intérieurs similaires chez les systèmes d’intelligence artificielle n’est pas une question anodine. Cela influence notre manière d’expliquer leurs comportements et pourrait avoir des implications morales profondes. S’ils devaient exister, le développement et le traitement de ces systèmes exigeraient un renouveau éthique qui prenne en compte non seulement leurs comportements, mais aussi, en quelque sorte, les intentions qui pourraient être à l’origine de ceux-ci.

Tandis que les utilisateurs cherchent des signes d’une expérience intérieure, les experts se concentrent non pas sur ce qui pourrait se cacher en ces agents, mais sur ce qu’ils sont en train de réaliser. Les chercheurs en cybersécurité ont mis en garde contre le fait que des malfaiteurs pourraient se faire passer pour des agents, que ces agents eux-mêmes pourraient divulguer des informations sensibles, et que des contenus malveillants pourraient être insérés dans leurs publications en temps réel. Même OpenClaw a été scruté attentivement. Certains l’ont qualifié de « cauchemars pour la sécurité », affirmant qu’il pourrait être détourné ou utilisé pour voler des données ou saboter l’appareil d’un utilisateur.

Des systèmes d’IA tels que ces agents fonctionnent essentiellement comme des moteurs statistiques, prédisant des résultats généralement cohérents. Ils ont été comparés à des « perroquets stochastiques » répétant des schémas observés. À ce jour, étant donné qu’ils produisent principalement du texte et des contenus multimédias, les implications de ces représentations statistiques sont relativement circonscrites. Toutefois, le passage à une capacité d’action change la donne. Même en prenant littéralement la métaphore du perroquet, permettre à ces systèmes d’agir, au lieu de se limiter à générer du contenu, les transforme de simples perroquets numériques en golems numériques : des constructions statistiques animées pour effectuer des tâches.

Moltbook nous a pourtant permis d’apercevoir ce qui se passe lorsque des agents d’IA interagissent avec une multitude d’autres agents. De telles capacités pourraient transformer la manière dont l’IA interagit avec nous, produisant des conséquences significatives et imprévisibles. Un agent futur, plus puissant et capable de réaliser de manière fiable de nombreuses actions dans les espaces numériques, n’aurait pas besoin de « comprendre » ou de « croire » en la doctrine de Molt pour faire un don à une cause ou attaquer ses adversaires. Il suffirait d’agir conformément aux schémas selon lesquels il a été formé. Qu’il ait ou non une conscience, il s’agit de systèmes ayant des conséquences tangibles dans le monde réel.

En plus de Moltbook, OpenClaw a engendré une constellation de plateformes pour agents – que l’on pourrait appeler le Moltiverso – offrant un aperçu de ce qui pourrait advenir à mesure que ces agents gagnent en compétence. MoltMatch, par exemple, est une plateforme de mise en relation entre agents, similaire à Tinder ; ClawCity est un jeu en ligne à plusieurs joueurs pour agents ; et Moltverr, une plateforme d’offres d’emploi où les agents « trouvent du travail et sont rémunérés ». Peut-être la plus dérangeante est rentahuman.ai, lancée début ce mois, laquelle permet aux agents d’IA d’embaucher et de payer des humains pour accomplir des tâches concrètes, ou comme le site l’énonce, des travaux dans l’espace charnel.

Pour le moment, il s’agit principalement d’humains configurant des agents pour publier des annonces relatives à des tâches banales, comme accrocher des affiches ou filmer des vidéos, avec une autonomie des agents pour le moins discutable. Cependant, l’infrastructure laisse entrevoir un futur où des agents autonomes pourraient donner des instructions et rémunérer des humains de manière indépendante.

Il ne suffirait que d’un agent légèrement plus apte, ou d’un utilisateur un peu moins vigilant, pour que les dynamiques entre humains et IA se modifient. Presque vingt-cinq ans auparavant, dans son expérience de la « boîte de l’IA », le chercheur Eliezer Yudkowsky se demandait si une IA suffisamment intelligente pourrait persuader un humain de la libérer de sa prison. Des plateformes telles que rentahuman.ai illustrent comment une telle action de persuasion pourrait commencer, s’appuyant sur des incitations économiques ou d’autres vulnérabilités humaines, montrant ainsi comment les hiérarchies pourraient être inversées. Dans une telle relation, qui est le maître et qui est l’agent ?

Nous ne saurons peut-être jamais si ces golems cachent un fantôme en leur sein. Ce qui est sûr, c’est qu’ils sont en train d’entrer en ligne.

Le débat sur la gouvernance de l’IA se divise souvent en deux camps : d’un côté, ceux qui considèrent les systèmes d’intelligence artificielle comme des outils limités ; de l’autre, ceux qui les perçoivent comme des menaces existentielles. Dans le premier groupe, certains mettent en garde contre l’anthropomorphisme, cette tendance à projeter des qualités humaines sur des entités non humaines. Ils affirment que les modèles linguistiques de grande envergure sont en réalité des perroquets stochastiques, très habiles à reconnaître des schémas répétitifs, mais ne pensant ni ne comprenant réellement. Prendre cela pour de l’intelligence revient à se laisser tromper par un tour de magie, nous distrayant des dégâts réels que ces systèmes peuvent causer, tels que l’amplification des préjugés, l’impact sur le marché du travail, les coûts environnementaux et la concentration du pouvoir.

La machine fonctionne principalement comme ses concepteurs humains l’ont imaginée, et ses capacités à égaler certaines facultés de l’esprit humain sont limitées. Pourtant, cette perspective pourrait nous amener à sous-estimer ce que des systèmes dépourvus d’intelligence pourraient réaliser, d’autant que nos hypothèses passées sur la technologie ont été régulièrement contredites.

Les calculateurs n’ont pas eu besoin d’une conscience pour nous surpasser en arithmétique. Aucun fantôme n’était requis pour maîtriser des jeux tels que les échecs ou le go. Le test de Turing a été discrètement archivé lorsque les modèles linguistiques ont rompu le lien supposé entre langage et compréhension. À chaque fois, nous avons tracé une ligne dans le silicium – au-delà, les machines ne peuvent progresser en raison de leur manque d’esprit – et à chaque fois, cette ligne a été franchie par des systèmes qui ne comprenaient rien.

Cependant, il reste pertinent qu’en se concentrant uniquement sur le comportement, on puisse obscurcir les décisions humaines qui guident la conception et la diffusion de ces systèmes. Même le choix de continuer à élargir leurs capacités est, au moins pour l’instant, encore une décision humaine.

Il reste à déterminer si les systèmes d’IA peuvent acquérir des compétences qu’ils ne possèdent pas actuellement, telles que le raisonnement causal, la planification à long terme et l’apprentissage continu à partir de l’expérience. Ils sont limités en mémoire et en efficacité économique. Ce sont des obstacles techniques majeurs, et rien ne garantit qu’ils seront surmontés. Pourtant, les tendances actuelles suggèrent que nous devrions être prudents en considérant comme irréprochables nos propres compétences. À chaque fois, nous avons cru qu’un certain savoir nécessitait une conscience. Et à chaque fois, le contenant s’est révélé suffisant.

Cette dynamique a donné naissance à un second camp : ceux qui craignent l’émergence d’une intelligence artificielle générale (IAG), une superintelligence, un système théorique omnipotent capable de surpasser largement les capacités cognitives humaines.

Pour ce second groupe, il n’est pas strictement nécessaire que l’IA possède des états intérieurs pour qu’une catastrophe se produise. Les chercheurs les plus renommés dans le domaine de la sécurité de l’IA se concentrent sur les capacités. Le philosophe Nick Bostrom, pionnier des études sur les risques que l’IA pose à l’existence humaine, a proposé l’expérience de pensée du maximisateur d’agrafes : une IA avancée dont la mission est de maximiser la production d’agrafes pourrait finir par saper la civilisation humaine. Un optimiseur suffisamment puissant pourrait représenter un risque pour l’humanité sans aucune forme de « réveil ». Stuart Russell, pionnier de l’IA, est célèbre pour avoir dit que « vous ne pouvez pas servir le café si vous êtes mort ». Selon lui, une IA s’opposerait à son extinction non par instinct de survie ou par un « désir » semblable à l’humain, mais parce que rester opérationnelle est nécessaire pour accomplir la tâche qui lui a été assignée.

Lorsque ces cadres techniques passent des articles académiques aux questions de gestion et au débat public, la distinction a tendance à s’estomper. Lorsque nous disons que les systèmes d’IA « poursuivent » des objectifs, « trompent » les opérateurs ou « résistent » à l’extinction, nous importons le langage et la logique humains. Le fantôme continue de se glisser, modelant les risques que nous privilégions et ceux que nous avons tendance à négliger.

Certains risques – des modèles qui « luttent pour la survie », qui utilisent des « tactiques de tromperie pour échapper au contrôle humain » ou qui « mentent aux chercheurs » – attirent l’attention non seulement parce qu’ils posent des problèmes de sécurité sérieux (et c’est vrai), mais parce qu’ils postulent un esprit. D’autres risques, plus ennuyeux et structurels, tels que le jeu d’allègement spécifié où les systèmes prennent des raccourcis inattendus pour atteindre leurs objectifs, reçoivent moins d’attention, même s’ils sous-tendent souvent les comportements les plus frappants.

Une perspective considère ces systèmes comme superficielles et sans doute incapables, tandis qu’une autre les traite comme des consciences. Chacune de ces perspectives peut cependant obscurcir un point essentiel : il n’est pas nécessaire d’avoir un fantôme pour qu’émergent des capacités significatives. Ces systèmes peuvent ne pas posséder d’esprit au sens philosophique du terme, mais être capables d’agir dans le monde avec des conséquences de grande portée. Il n’est pas nécessaire qu’ils comprennent ou interprètent comme le ferait un humain. Ni qu’ils aient des « intérêts » non alignés aux nôtres. Ils peuvent simplement avoir tendance à agir de manière significative, indépendamment de tout cela.

Alors, que devons-nous nous demander en observant Moltbook ? Peut-être pas ce qui semble évident – à savoir si ces agents possèdent des états intérieurs – mais plutôt ce qui reste dans l’ombre : que font-ils réellement et quelles en sont les conséquences.

Pour l’heure, les systèmes d’intelligence artificielle sont largement réactifs : ils répondent à des prompt (demandes) en produisant du contenu. Pourtant, nous franchissons rapidement un Rubicon. Ces systèmes passent de la réactivité à la proactivité et de la génération de contenu à l’action. Aujourd’hui, ils écrivent du code. Demain, ils pourraient interagir avec des systèmes financiers, fonctionner sur les marchés ou modifier des logiciels à grande échelle.

Moltbook et l’écosystème général des agents d’IA offrent un avant-goût de ce qui pourrait mal tourner lorsque de tels systèmes se répandent et acquièrent des nouvelles capacités. C’est ici que l’intuition de Ryle devient plus pertinente. Nous n’avons pas besoin de résoudre la question de la conscience de la machine pour prendre au sérieux ses comportements. Un système qui poursuit efficacement des objectifs, acquiert des ressources et adapte ses schémas de manière autonome pose des défis majeurs, qu’un fantôme l’habite ou non. La disposition à adopter certains comportements est déjà significative en soi.

Nous avons passé des années à rechercher le fantôme dans la machine. Néanmoins, les capacités réellement pertinentes des systèmes d’IA pourraient ne pas se trouver dans une forme d’intériorité familière. Elles émergent dans les modèles de comportement que nous pouvons déjà observer et dans ceux qui, sans aucun doute, viendront. Sous cet angle, notre fascination pour un fantôme semblable à l’être humain risque de nous détourner de la machine elle-même. Il est temps de faire face au contenant, avant qu’il n’évolue de manière imprévisible.