Le cerveau n’a pas le monopole de la création de l’intelligence !

Dans un article rédigé en 1945, le polymathe John von Neumann a défini l’architecture des ordinateurs numériques modernes. La seule référence contenue dans ce rapport de 49 pages était à un document fondamental dans le domaine de la neuroscience computationnelle : « Un calcul logique des idées immanentes dans l’activité nerveuse ». Von Neumann avait bien conscience des différences entre le cerveau et les ordinateurs qu’il a aidé à développer, mais le cerveau était également une source d’inspiration. En effet, il considérait le fonctionnement du système nerveux comme étant « prima facie numérique ». Pourtant, malgré quelques parallèles initiaux, les domaines de l’informatique et de la neuroscience ont rapidement divergé, tout comme ceux de l’intelligence artificielle et de la neuroscience.

D’entrée de jeu, l’IA et la neuroscience ont été des domaines complémentaires, l’intelligence naturelle servant de modèle pour l’intelligence artificielle, et les principes neuroscientifiques inspirant des approches en IA. Parmi ces principes, le plus fondamental repose sur une idée clé en neuroscience : les informations sont stockées dans les poids des connexions entre neurones. D’autres principes inspirés de la neuroscience dans les réseaux de neurones artificiels (ANN) utilisés en IA comprennent les réseaux de neurones convolutifs (cortex visuel), la régularisation (plasticité homéostatique), le maximum de pooling (inhibition latérale), le dropout (échec synaptique) et l’apprentissage par renforcement.

Cependant, bon nombre des récents développements ayant contribué à l’essor fulgurant de l’IA ont divergé de la neuroscience en tant que source de principes computationnels. Il y a une décennie, motivés par le cerveau, les réseaux de neurones récurrents (RNN) semblaient être la voie à suivre pour résoudre des problèmes dépendants du temps, tels que la reconnaissance vocale et le traitement du langage naturel. Cette direction a rapidement changé avec la publication révolutionnaire du modèle transformer en 2017, intitulée : « L’attention est tout ce dont vous avez besoin ».

L

a présentation de l’architecture transformer a marqué un tournant important dans l’histoire de l’IA. Les transformers se distinguent à la fois par leur puissance étonnante et par leur fonctionnement peu inspiré du cerveau. Ils ne possèdent pas les connexions récurrentes des RNN et fonctionnent dans un temps discontinu, c’est-à-dire à travers des étapes discrètes sans aucune « mémoire » des états précédents. De plus, ils sont dépourvus de toute forme de mémoire de travail ; ils externalisent habilement cette mémoire en augmentant de manière itérative la longueur de l’entrée à chaque itération. Notamment, les transformers n’ont pas de dynamique interne ni la capacité de gérer le temps. Par exemple, ChatGPT ne peut pas répondre de manière appropriée à l’instruction « Attendez 10 secondes avant de me dire la capitale du Canada » (du moins pas sans utiliser le compilateur Python).

Le cerveau encode le temps et les récentes informations sensorielles dans la dynamique interne des RNN, en plus d’autres mécanismes tels que la plasticité synaptique à court terme. En revanche, les transformers codent le temps (plus précisément, l’ordinalité) en étiquetant le vecteur représentant chaque mot ou token avec des informations de position (premier, deuxième, etc.)—une approche désignée sous le nom de codage positionnel. Cette distinction a permis aux transformers de résoudre le défi des gradients explosifs ou des gradients en décalage, où le signal d’erreur généré à la fin d’une séquence se dégrade lorsqu’il est rétropropagé aux étapes de temps antérieures.

Conçus de cette manière, les transformers sont, d’une certaine manière, intemporels. Pour utiliser une analogie avec des termes issus de la philosophie du temps, les transformers fonctionnent dans un univers bloc où passé, présent et futur (dans le cas des transformers bidirectionnels) sont simultanément disponibles. En revanche, les RNN fonctionnent dans un univers récent, où seule l’entrée actuelle est accessible et les calculs se déroulent dans un temps continu.

Le mécanisme d’attention des transformers semble biologique, mais ne fait pas réellement référence à ce que la plupart des neuroscientifiques cognitifs considèreraient comme de l’attention. Il attribue essentiellement une valeur à la force de la relation entre tous les paires de mots dans une phrase, au lieu de moduler sélectivement le traitement de l’information en fonction des attentes ou du contrôle volitif. De plus, la mise en œuvre du mécanisme d’attention manque également de plausibilité biologique. La plupart des opérations dans les réseaux de neurones correspondent à la multiplication d’un vecteur d’activité par une matrice de poids, mais le mécanisme d’attention repose sur la multiplication de ce qui serait généralement considéré comme deux vecteurs d’activité. Cela constitue, au mieux, une opération mathématique maladroite à mettre en œuvre avec des neurones.

Malgré leur succès, les transformers présentent aussi leurs propres limites, notamment une consommation d’énergie insatiable. Pour cette raison et d’autres, le domaine de l’IA réexamine des approches similaires aux RNN. Cependant, les nouvelles architectures de type RNN en apprentissage machine, telles que la mémoire à long terme et à court terme (LSTM), les unités récurrentes à porte (GRU) et Mamba, n’ont pas nécessairement d’équivalents en neuroscience. Elles manquent souvent de réalisme biologique des circuits neuronaux, en partie parce que les programmes d’IA sont généralement mis en œuvre sur des ordinateurs numériques conventionnels, qui permettent facilement une gamme bien plus riche d’opérations mathématiques, comme celles des opérations de porte des LSTM, que ne le font les réseaux neuronaux biologiques. En effet, tant que les IA continueront à être mises en œuvre sur des ordinateurs numériques, le domaine de l’IA sera rythmé par la loi de Moore, tandis que la neuroscience continuera à progresser lentement.

L

‘importance du matériel est également fondamentale dans la question philosophique plus profonde de savoir si les IA mises en œuvre sur des ordinateurs conventionnels peuvent, en théorie, être capables de conscience. Les ordinateurs numériques fonctionnent dans le temps discret (régulé par la fréquence d’horloge de l’ordinateur) et, contrairement au cerveau, peuvent facilement être mis en pause ou avoir leur fréquence d’horloge modifiée. Imaginons maintenant que nous exécutons une nouvelle simulation de réseau de neurones artificiels que quelqu’un a qualifiée de consciente. Que se passerait-il si nous ralentissons la vitesse de l’horloge à un cycle par an ? L’IA serait-elle figée dans un état subjectif pendant un an ?

La plupart des théories de la conscience, telles que les théories de l’espace de travail global et des théories d’ordre supérieur, semblent implicitement supposer que la conscience est associée à une dynamique cérébrale continue. Dans ces théories, la conscience est comme la musique : elle n’existe que lorsqu’elle s’écoule dans le temps. En fonction de l’architecture sur laquelle le réseau de neurones artificiels fonctionne—qu’il s’agisse d’un CPU, GPU ou TPU (et du nombre de cœurs)—les états au sein d’une seule étape de temps de l’ANN ne seront pas mis à jour simultanément en temps réel, ce qui signifie que tout état conscient dépendrait des détails du matériel, même si les relations d’entrée-sortie restent identiques.

Une exception à la vue selon laquelle la conscience dépend des dynamiques cérébrales est la théorie controversée et panpsychiste de l’information intégrée (IIT). L’IIT n’est pas une théorie neuroscientifique mais une théorie de la physique fondamentale—bien qu’elle soit détachée des autres lois de la physique. En gros, l’IIT quantifie dans quelle mesure l’état actuel d’un système contraint les états passés et futurs par rapport à des configurations aléatoires. L’IIT affirme que cette quantité est directement équivalente à la conscience.

Comme cela a été souligné, l’IIT n’est défini que pour des systèmes discrets, ce qui, « malheureusement, signifie que l’IIT n’est pas définie pour la plupart des systèmes physiques traditionnels, qui peuvent changer de manière continue »—un problème particulièrement aigü lors de l’application de l’IIT à la seule chose que nous savons avec certitude être consciente. Ainsi, les théories actuelles de la conscience compatibles avec le fait que le cerveau est un système dynamique sembleraient exclure la possibilité de conscience pour les IA fonctionnant sur des architectures de von Neumann discrets.

L’IA et la neuroscience continueront sans aucun doute à interagir de manière synergique. L’IA continuera de s’inspirer des découvertes neuroscientifiques au fur et à mesure qu’elles émergeront. Cependant, à l’avenir, l’IA pourrait avoir davantage à offrir à la neuroscience que l’inverse. Jusqu’à présent, les neuroscientifiques ont été lents à digérer pleinement certaines des premières leçons de l’IA. Une de ces leçons est la valeur limitée du connectome complet d’un réseau de neurones artificiel ou biologique. Chaque connexion, poids et biais de ChatGPT est connu. Mais l’accès à cette connaissance n’a pas conduit à une compréhension immédiate ou profonde de son fonctionnement—ce qui ne signifie pas qu’elle n’est pas utile. Une leçon potentielle pourrait être que les neuroscientifiques doivent réexaminer ce que signifie véritablement comprendre les propriétés émergentes de quelque chose d’aussi complexe et hautement distribué que le cerveau.

L’informatique a progressé de manière indépendante de la neuroscience, car le cerveau n’a pas de droits exclusifs sur le traitement de l’information. L’IA et la neuroscience continueront de diverger, car le cerveau n’a pas de droits exclusifs sur la création de l’intelligence.