La vie, c’est plus qu’un simple problème d’ingénierie !

Julien Crockett s’entretient avec Ted Chiang sur la recherche d’un langage parfait, l’état de l’intelligence artificielle et les futures orientations technologiques.

Cet entretien fait partie de The Rules We Live By, une série dédiée à la question de ce que signifie être humain face à un ensemble de règles en constante évolution. La série se compose de conversations avec ceux qui déterminent, réfléchissent profondément et cherchent à plier ou briser ces règles.

¤

« PARFOIS », me dit Ted Chiang, « une idée revient à plusieurs reprises pendant des mois, voire des années. […] Je commence à me demander s’il y a une question philosophique intéressante qui pourrait être éclairée par cette idée. » Lire Chiang, c’est découvrir un maître dans la construction d’univers qui explore correctement des questions philosophiques sous de nouveaux angles – qu’il s’agisse de la manière dont nous devrions prendre soin d’un être artificiel ou des conséquences d’un enregistrement parfait du passé.

Récemment, Chiang a tourné son attention vers l’intelligence artificielle. Ses réflexions n’ont pas échappé à l’attention. Dans une conversation que j’ai eue plus tôt cette année avec la scientifique en informatique Melanie Mitchell et la psychologue Alison Gopnik, elles ont toutes deux cité Chiang en quête d’un cadre adapté pour discuter de l’IA.

Chiang a un don pour illustrer ses points de manière descriptive. Par exemple, en discutant de la possibilité que les modèles de langage de grande taille (LLMs) puissent un jour développer une expérience subjective, il explique : « C’est comme imaginer qu’une imprimante puisse réellement ressentir de la douleur simplement parce qu’elle peut imprimer des autocollants avec les mots ‘Baby don’t hurt me’. Peu importe si la prochaine version de l’imprimante peut imprimer ces autocollants plus rapidement ou si elle peut formater le texte en rouge gras au lieu de petit noir. Ce sont des indicateurs qui montrent que vous avez une imprimante plus performante, mais pas des indicateurs qui montrent qu’elle est plus proche de ce qu’on pourrait raisonnablement considérer comme des sentiments. »

Pour moi, l’essence du travail de Chiang ne réside cependant pas dans sa critique de la technologie. C’est son humanisme – la façon dont il met en avant la réalité ordinaire qui sous-tend les questions existentielles et les moments de changement social. C’est probablement pour cette raison que son œuvre trouve un écho si large.

Lors de notre échange, nous avons abordé la manière dont Chiang choisit ses sujets, la recherche historique d’un langage parfait, l’état de l’IA et ce qu’il faudrait pour que Chiang devienne optimiste quant à la direction de la technologie.

¤

JULIEN CROCKETT : L’idée de cet entretien est née d’une conversation que j’ai eue avec la scientifique en informatique Melanie Mitchell et la psychologue Alison Gopnik, qui ont cité votre travail en décrivant l’état de l’intelligence artificielle et ses possibles avenirs. Pourquoi pensez-vous que les scientifiques et les ingénieurs se tournent vers votre travail pour expliquer le leur ?

TED CHIANG : J’étais en fait surpris que mon nom soit mentionné. Je pense que c’était principalement une coïncidence que vous ayez interviewé deux personnes dont les travaux résonnent avec les miens. Elles peuvent représenter des exceptions parmi les scientifiques au sens large.

Qu’en est-il dans l’autre sens : le progrès scientifique a-t-il influencé l’orientation de votre travail ?

Je ne pense pas qu’il y ait eu un impact clair des recherches scientifiques récentes sur mes œuvres. Mes histoires sont principalement motivées par des questions philosophiques, dont beaucoup ne sont pas particulièrement nouvelles. Parfois, la manière dont j’examine une question philosophique est influencée par des développements récents en science ou en technologie, mais ces développements récents ne sont probablement pas l’impulsion principale.

Vos histoires couvrent un large éventail de sujets, mais je perçois un fil conducteur dans votre intérêt pour la réaction humaine face au changement sociétal, que ce soit la découverte que les mathématiques sont en réalité inconsistantes, comme dans votre histoire de 1991 « Division par zéro », ou un monde où nous élevons des robots comme des enfants, comme dans votre novella de 2010 The Lifecycle of Software Objects. Qu’est-ce qui vous attire dans un sujet ?

La plupart du temps, lorsque des idées me viennent à l’esprit, elles disparaissent rapidement de mon attention. Mais de temps en temps, une idée revient à plusieurs reprises pendant des mois, voire des années. Je prend cela comme un signal que je devrais y prêter attention et réfléchir à cette idée de manière plus intentionnelle. Ce que cela signifie généralement, c’est que je commence à demander s’il existe une question philosophique intéressante qui pourrait être éclairée par cette idée. Si je peux identifier cette question philosophique, je peux ensuite réfléchir à différentes manières dont une histoire pourrait m’aider à la mettre en dramatique.

Pourquoi la science-fiction est-elle pour vous le meilleur moyen d’explorer des idées ?

Les idées qui m’intéressent le plus ont tendance à s’orienter vers la science-fiction. Je pense certainement que la fiction mimétique contemporaine peut aborder des questions philosophiques, mais les questions philosophiques qui m’attirent nécessitent plus de scénarios spéculatifs. En effet, lorsque les philosophes posent des expériences de pensée, les scénarios qu’ils décrivent ont souvent une tonalité de science-fiction ; ils nécessitent un éloignement significatif de la réalité pour mettre en lumière la question qu’ils soulèvent. Lorsqu’une expérience de pensée philosophique est censée se dérouler dans le monde réel, la situation semble souvent artificielle. Par exemple, le célèbre « problème du trolley » est supposément situé dans le monde réel, mais il décrit une situation extrêmement artificielle ; dans la vraie vie, nous avons des mesures de sécurité précisément pour éviter ce genre de situations.

Quel rôle joue la science dans vos histoires ? Autrement dit, quels rôles jouent la science et la magie dans la fiction ?

Certains pensent à la science comme à un ensemble de faits, et ces faits sont importants pour notre façon moderne de vivre. Mais vous pouvez également considérer la science comme un processus, une manière de comprendre l’univers. Vous pouvez écrire de la fiction qui soit cohérente avec l’ensemble des faits que nous possédons, ou vous pouvez écrire une fiction qui reflète la vision scientifique du monde, même si elle n’est pas cohérente avec cet ensemble de faits. Prenons une histoire où il existe un voyage plus rapide que la lumière. Ce voyage est impossible, mais l’histoire peut néanmoins refléter la vision générale de la science : l’idée que l’univers est une machine extrêmement complexe et qu’à travers l’observation minutieuse, nous pouvons déduire les principes par lesquels cette machine fonctionne et appliquer ce que nous avons appris pour développer une technologie basée sur ces principes. Une telle histoire est fidèle à la vision scientifique, donc je dirais que c’est une histoire de science-fiction, même si elle n’est pas cohérente avec les faits que nous avons actuellement.

En revanche, la magie implique une compréhension différente de la façon dont l’univers fonctionne. La magie est difficile à définir. Beaucoup de gens diraient que la magie ne peut pas avoir de règles, et c’est une manière populaire de la considérer. Mais j’ai un point de vue différent : je dirais que la magie est la preuve que l’univers reconnaît que vous êtes une personne. Ce n’est pas que la magie ne peut pas avoir de règles ; c’est que les règles ressemblent davantage à des schémas de la psychologie humaine ou des interactions entre les personnes. La magie signifie que l’univers ne se comporte pas comme une machine géante, mais comme quelque chose qui est conscient de vous en tant que personne, distincte des autres, et que les personnes se distinguent des objets. À un certain niveau, l’univers répond à vos intentions d’une manière que les lois de la physique telles que nous les entendons ne le font pas.

Ces deux manières de comprendre le fonctionnement de l’univers sont très différentes, et la fiction peut s’intéresser à l’une comme à l’autre. La science doit adhérer à la vision scientifique, mais la fiction n’est pas un projet d’ingénierie. L’auteur peut choisir celle qui convient le mieux à ses objectifs.

Votre travail explore souvent la manière dont les outils médiatisent notre relation à la réalité. L’un de ces outils est le langage. Vous écrivez sur le langage peut-être le plus célèbre dans « Story of Your Life » (1998), à l’origine du film Arrival (2016), mais aussi dans « Understand » (1991), où l’on explore ce qui se passerait si nous avions un traitement médical pour augmenter notre intelligence. Après avoir reçu le traitement à la suite d’un accident, le personnage principal se sent frustré par les limites du langage conventionnel :

Je conçois un nouveau langage. J’ai atteint les limites des langues conventionnelles, et maintenant elles frustrent mes tentatives d’avancer. Elles manquent de pouvoir pour exprimer les concepts dont j’ai besoin, et même dans leur propre domaine, elles sont imprécises et peu maniables. Elles sont à peine adaptées à la parole, encore moins à la pensée.

Je vais réévaluer la logique de base pour déterminer les composants atomiques appropriés de mon langage. Ce langage supportera un dialecte coexpressif avec toutes les mathématiques, de sorte que toute équation que j’écrirai aura un équivalent linguistique.

Pensez-vous qu’il pourrait exister un « meilleur » langage ? Ou est-ce juste les mathématiques ?

Umberto Eco a écrit un livre intitulé La recherche du langage parfait (1994), qui est une histoire de l’idée qu’il existe un langage parfait. À un moment de l’histoire, les érudits croyaient que le langage parfait était celui que parlaient Adam et Eve dans le jardin d’Éden ou le langage que parlent les anges. Plus tard, les chercheurs ont évolué vers l’idée qu’il était possible de construire un langage artificiel parfait, dans le sens où il serait entièrement dépourvu d’ambiguïté et aurait une relation directe avec la réalité.

La linguistique moderne considère que cette idée est insensée. Il est fondamental dans notre conception moderne du langage que la relation entre un mot donné et le concept qui lui est assigné est arbitraire. Mais je pense que beaucoup d’entre nous peuvent comprendre le désir d’un langage qui exprime exactement ce que nous voulons dire de manière non ambiguë. Nous avons tous essayé de transmettre quelque chose en souhaitant qu’il existe un mot pour cela, mais ce n’est pas un problème de l’anglais, du français ou de l’allemand – c’est un problème de langage en lui-même. Et même si je sais qu’un langage parfait est impossible, l’idée continue de me fasciner.

Quant à la question de savoir si les mathématiques pourraient être un meilleur langage, la raison pour laquelle les mathématiques sont utiles est précisément ce qui les rend inadaptées en tant que langage général. Les mathématiques sont extrêmement précises, mais elles se limitent à un domaine spécifique. Les scientifiques qui parlent des langues différentes peuvent utiliser la même mathématique, mais ils doivent néanmoins s’appuyer sur leur langue maternelle lorsqu’ils publient un article ; ils ne peuvent pas dire tout ce qu’ils doivent dire uniquement avec des équations. Le langage doit soutenir tous les types de communication auxquels les humains se livrent, des débats entre politiciens aux conversations intimes entre amants. Ce n’est pas le rôle des mathématiques. Nous pourrions tenir cette conversation dans n’importe quelle langue humaine que nous comprenons, mais nous ne pourrions pas la mener sous forme d’équations mathématiques. Dès que vous essayez de modifier les mathématiques pour qu’elles puissent faire ces choses, elles cessent d’être des mathématiques.

Ayant grandi dans un foyer français, je ressens souvent qu’il existe des mots et des expressions en français qui capturent mieux ce que je souhaite exprimer que n’importe quel mot ou expression en anglais ne pourrait le faire.

Eco écrit que lorsque des érudits européens discutaient de la langue qu’Adam et Eve parlaient, chacun d’eux plaidait généralement en faveur de la langue qu’il parlait. Ainsi, les érudits flamands affirmaient qu’Adam et Eve devaient évidemment parler flamand, car le flamand est la plus parfaite expression de la pensée humaine.

Drôle. Un autre outil, de plus en plus médiatisé dans notre relation avec la société et la réalité, est l’intelligence artificielle. Vous avez écrit de manière sceptique sur la façon dont les systèmes IA modernes sont mis en œuvre, et une métaphore que vous utilisez pour décrire les LLMs est celle d’un « jpeg flou du web ». Que voulez-vous dire par là?

Lorsque nous utilisons un moteur de recherche, nous obtenons des citations verbatim de textes sur Internet ainsi qu’un lien vers la page web originale. Un moteur de recherche nous donne des informations directement de la source. Les LLMs sont comme un moteur de recherche, mais qui reformule l’information au lieu de la donner verbatim ou de vous orienter vers la source originale. À certains égards, c’est vraiment intéressant, mais ils ne reformulent pas de manière fiable. C’est comme si vous posiez une question et receviez une réponse de quelqu’un qui a seulement lu la réponse mais qui ne l’a pas vraiment comprise et essaie de la reformuler au mieux de ses capacités. J’appelle les LLMs un jpeg flou parce qu’ils fournissent une version basse résolution d’Internet. Si votre utilisation d’Internet vise à trouver de l’information, ce qui est le cas pour la plupart d’entre nous, cela n’a pas vraiment de sens d’opter pour cette version basse résolution alors que nous disposons déjà de moteurs de recherche conventionnels qui vous dirigent vers les informations réelles.

C’est divertissant de pouvoir poser une question et d’obtenir une réponse sous une forme conversationnelle, mais les LLMs ne sont pas commercialisés comme des dispositifs de divertissement. Ils sont présentés comme des produits censés répondre à vos questions de manière précise, et ce n’est pas ce que les LLMs font.

Pensez-vous que les LLMs deviendront des outils utiles capables de répondre de manière fiable aux questions ?

Je ne veux pas dire que les LLMs ne servent qu’à du divertissement ; il y a de nombreux aspects dans lesquels les LLMs sont réellement fascinants. Le fait qu’ils puissent reformuler quelque chose dans n’importe quel style de prose est incroyable ; personne n’aurait prédiction qu’un modèle statistique sur tout le texte d’Internet en serait capable. Mais prédire le mot suivant le plus probable est différent d’avoir des informations correctes sur le monde, c’est pourquoi les LLMs ne sont pas un moyen fiable d’obtenir des réponses aux questions, et je ne pense pas qu’il y ait des preuves solides suggérant qu’ils deviendront fiables. Au cours des dernières années, plusieurs articles ont été publiés suggérant que former les LLMs sur de plus grandes bases de données et appliquer plus de puissance de calcul ne donne pas de résultats satisfaisants sur le plan de la performance. Ils peuvent devenir meilleurs pour reproduire les schémas trouvés en ligne, mais ils ne deviennent pas capables de raisonner réellement ; il semble que le problème soit fondamental à leur architecture. On peut greffer des outils sur le côté d’un LLM, comme lui donner une calculatrice lorsqu’on lui pose un problème mathématique, ou lui donner accès à un moteur de recherche lorsqu’on souhaite des informations actualisées, mais placer des outils fiables sous le contrôle d’un programme peu fiable ne suffit pas à rendre le programme fiable. Je pense que nous aurons besoin d’une approche différente si nous voulons un véritable répondant de questions fiable.

Les systèmes IA modernes ne sont qu’un des nombreux outils qui nous aident à approcher la réalité. Nous semblons facilement attribuer des attributs de nous-mêmes, tels que la pensée et le raisonnement, à ces outils. Par exemple, nous décrivons régulièrement le cerveau comme un ordinateur et vice versa. Pourquoi pensez-vous que nous nous voyons dans nos outils ?

Autrefois, les gens comparaient le cerveau à un central téléphonique. Le cerveau est la chose la plus complexe que nous ayons jamais rencontrée, et lorsque le central téléphonique était le dispositif le plus compliqué que nous ayons construit, nous l’utilisions naturellement comme métaphore pour essayer de comprendre ce qu’est le cerveau. Mais cela ne nous dit rien sur le fonctionnement du cerveau. Le fait que nous puissions maintenant construire des ordinateurs ne signifie pas que le cerveau ressemble plus à un ordinateur qu’à un central téléphonique. Il y a de nombreuses façons dont il est évident que le cerveau n’est pas comparable à un ordinateur, mais parce que la métaphore de l’ordinateur est si répandue, nous négligeons ces différences. Les ordinateurs se composent de logiciels s’exécutant sur du matériel, mais il n’y a pas de distinction entre logiciel et matériel dans les systèmes biologiques. Si vous appliquiez cette métaphore à n’importe quel autre organe du corps, cela semblerait absurde. Par exemple, « Mon foie exécute ce vieux programme, mais tout ce que j’avais à faire était de mettre à jour le logiciel et maintenant mon foie fonctionne beaucoup mieux, même si le matériel reste le même. » Personne ne dit cela. Ce n’est pas une façon utile de considérer le foie, et ce n’est pas une manière utile de penser au cerveau non plus.

De même, parce que nous imaginons que les ordinateurs ressemblent aux cerveaux, nous avons tendance à penser que les ordinateurs sont intelligents et capables de réfléchir. Lorsque nous faisons cela, nous prenons cette métaphore beaucoup trop littéralement. Ce que faisaient des centrales téléphoniques n’était pas si facilement transposable à quelque chose