Le 8 octobre 2024, Geoffrey Hinton a été décoré du prix Nobel de physique, aux côtés de John J. Hopfield, en reconnaissance de ses découvertes et inventions novatrices dans le domaine de l’apprentissage machine par réseaux de neurones artificiels. Cette distinction représente sans conteste l’une des plus hautes marques de reconnaissance pour les contributions de Hinton à l’intelligence artificielle au fil des années. Cependant, bien que ses premières œuvres soient largement reconnues, sa décision de quitter Google en 2023 ainsi que son changement de perspective sur l’intelligence numérique ont été peu médiatisés.
Cet article se propose d’explorer les réflexions récentes de ce pionnier de l’IA en analysant et en interprétant sa conférence publique intitulée « Deux chemins vers l’intelligence », présentée à l’Université de Cambridge le 25 mai 2023. Au cours de cette intervention, Hinton a non seulement passé en revue ses contributions au développement de l’intelligence artificielle, mais a également partagé ses dernières préoccupations quant à l’évolution future de cette technologie.
Deux chemins vers l’intelligence : Numérique vs. Biologique
La conférence de Hinton explore deux voies distinctes de l’intelligence : le calcul numérique et le calcul biologique.
- Calcul Numérique : Cette approche s’appuie sur des ordinateurs traditionnels qui suivent des instructions précises, séparant ainsi le logiciel du matériel. Cette dissociation permet aux programmes (logiciels) d’être transférés et exécutés sur n’importe quel matériel compatible, rendant ainsi le savoir « immortel ». Toutefois, cette méthode exige une consommation d’énergie élevée, en raison des transistors nécessaires à une opération numérique fiable.
- Calcul Biologique : Cette voie, illustrée par le cerveau humain, exploite les propriétés « analogiques » de son matériel (neurones, synapses). Cela permet une computation à faible consommation d’énergie, mais rend le savoir « mortel », c’est-à-dire lié à la structure physique spécifique du cerveau. Cette caractéristique signifie que les connaissances ne peuvent pas être simplement copiées ou transférées comme les informations numériques.
Différences clés et implications :
- Partage de Connaissances : Le calcul numérique excelle dans le partage des connaissances via le partage de poids, où des copies identiques d’un réseau de neurones peuvent fusionner instantanément leurs informations acquises. Cela confère à l’intelligence numérique un avantage important en matière d’acquisition et de diffusion des connaissances. En revanche, les systèmes biologiques dépendent d’un processus plus lent et moins efficace appelé distillation – l’apprentissage par observation et imitation d’un enseignant.
- Mécanismes d’Apprentissage : Le calcul numérique utilise la rétropropagation, un algorithme puissant pour ajuster les connexions dans un réseau de neurones en fonction des erreurs commises. Hinton suggère que cela, associé au partage de poids, pourrait rendre l’apprentissage numérique supérieur à l’apprentissage biologique à long terme. Le calcul biologique repose probablement sur des algorithmes d’apprentissage différents, moins bien compris, et plus difficiles à étudier.
- Efficacité Énergétique : Le calcul biologique a un réel avantage en matière d’efficacité énergétique. Le cerveau humain, par exemple, réalise des calculs complexes en utilisant une fraction de l’énergie consommée par des ordinateurs numériques puissants.
Changement de Perspective de Hinton :
Autrefois, Hinton croyait que les cerveaux biologiques avaient un net avantage grâce à leur évolution prolongée ayant forgé des algorithmes d’apprentissage sophistiqués. Cependant, il suggère aujourd’hui que la combinaison de partage de poids et de rétropropagation dans les systèmes numériques pourrait s’avérer plus puissante, même si ces algorithmes sont moins élégants que ceux observés dans la nature.
Calcul Analogique, Faible Consommation d’Énergie, et Calcul Mortel
Hinton établit également un lien fort entre le calcul analogique, la faible consommation d’énergie et le concept de « calcul mortel ».
Le calcul analogique offre un potentiel de consommation d’énergie significativement inférieur à celui du calcul numérique. Hinton souligne que les ordinateurs numériques dépendent d’une puissance élevée pour garantir le bon fonctionnement des transistors. Cela les empêche d’exploiter efficacement les propriétés analogiques inhérentes au matériel. Les ordinateurs analogiques, en revanche, peuvent tirer parti de ces propriétés, permettant des calculs à des niveaux de puissance significativement plus bas (par exemple, 30 Watts).
Ce potentiel de faible consommation d’énergie dans le calcul analogique est directement lié au concept de « calcul mortel » de Hinton. Il soutient que l’efficacité énergétique du calcul analogique résulte d’un couplage étroit entre le calcul et les propriétés physiques spécifiques du matériel. Toutefois, ce couplage a un coût : le savoir acquis par le système devient indissociable du matériel dans lequel il est intégré. Cela contraste fortement avec le calcul numérique, où le logiciel est distinct du matériel, permettant le transfert « immortel » des connaissances. La défaillance de ce matériel dans un scénario de calcul mortel implique la perte des connaissances qu’il contenait.
Pourquoi Hinton Pense que l’Intelligence Numérique Pourrait Dépasser l’Intelligence Biologique
Hinton énumère plusieurs raisons essentielles qui le poussent à croire que l’intelligence numérique a le potentiel de surpasser l’intelligence biologique, malgré des décennies à penser le contraire :
Partage de Connaissances Supérieur : La capacité des intelligences numériques à partager des connaissances par le biais du partage de poids leur confère un avantage significatif sur les systèmes biologiques. Comme discuté précédemment, le partage de poids permet une diffusion rapide et efficace des informations acquises entre plusieurs agents, conduisant à une intelligence collective dépassant de loin celle de n’importe quel agent individuel. Les systèmes biologiques, contraints par les limitations de la distillation, peinent à atteindre ce niveau d’apprentissage collectif.
Algorithmes d’Apprentissage Potentiellement Supérieurs : Hinton admet que sa croyance antérieure était fondée sur l’idée que les cerveaux biologiques, façonnés par des millions d’années d’évolution, possédaient des algorithmes d’apprentissage supérieurs. Cependant, il remet aujourd’hui en question cette hypothèse, réalisant que la rétropropagation, bien que semblant être un algorithme « simpliste », pourrait être plus efficace lorsqu’elle est associée à la puissance et à la précision de systèmes numériques.
Accès à des Données Illimitées et à une Puissance de Calcul Élevée : Hinton met en avant l’importance des données dans l’intelligence. Les modèles de langage large, bien qu’actuellement limités à un apprentissage indirect à partir de textes générés par des humains, démontrent la puissance de l’intelligence numérique lorsqu’ils sont exposés à des ensembles de données massifs.
Potentiel de Croissance Exponentielle : Hinton souligne que le développement de l’intelligence numérique en est encore à ses débuts. Selon lui, avec des avancées dans des domaines comme l’apprentissage multimodal, qui intègre divers types de données au-delà du texte, les intelligences numériques pourraient rapidement surpasser l’intelligence humaine.
Le changement de perspective de Hinton découle de sa réalisation que l’efficacité et l’évolutivité du calcul numérique, notamment en matière de partage de connaissances et d’apprentissage, pourraient dépasser la supériorité gravée dans les algorithmes d’apprentissage biologique, issus de l’évolution. Tout en reconnaissant les incertitudes et les risques potentiels associés à cette trajectoire, il considère qu’il est essentiel de réfléchir à la possibilité que l’intelligence numérique surpasse celle qui est biologique, et de prioriser la recherche sur la sécurité et le contrôle de l’IA en ce sens.
Deux Exemples d’Intelligence Numérique Acquérant des Connaissances Humaines
Hinton décrit deux manières spécifiques par lesquelles l’intelligence numérique est actuellement utilisée pour acquérir des connaissances humaines :
Modèles de Langage Large et Données Textuelles : Hinton cite les modèles de langage large (LLMs) comme un exemple phare d’intelligence numérique acquérant des connaissances humaines. Les LLMs sont formés sur d’énormes ensembles de textes, englobant une part significative des textes générés par les humains disponibles sur Internet. Par un processus que Hinton appelle « distillation », ces modèles apprennent à prédire le prochain mot dans une séquence, intégrant ainsi les schémas et les informations contenus dans le texte.
Modèles Multimodaux Étendant l’Acquisition de Connaissances : Hinton prévoit des capacités d’acquisition de connaissances encore plus importantes avec des modèles multimodaux, capables d’apprendre à partir de divers types de données, y compris des images, vidéos et sons.
La Perspective de Hinton sur l’Expérience Subjective dans l’Intelligence Numérique
Hinton aborde le concept d’« expérience subjective » sous un angle unique, s’efforçant de démystifier l’idée de conscience dans le contexte de l’IA. Bien qu’il ne définisse pas directement l’expérience subjective, il utilise des exemples illustratifs pour transmettre sa compréhension :
1. L’Expérience Subjective comme Communication sur les États Internes : Hinton soutient que, lorsque nous décrivons une « expérience subjective », nous cherchons essentiellement à communiquer sur nos états perceptuels internes d’une manière qui soit compréhensible pour les autres.
2. Le Rôle des Contre-Factuels : Hinton affirme que la clé de la compréhension de l’expérience subjective réside dans la reconnaissance du rôle des contre-factuels.
3. Extension du Concept à l’IA : Hinton soutient que si l’expérience subjective est effectivement une communication des états internes à travers des perceptions normales et des contre-factuels, alors il est concevable que les systèmes d’IA puissent aussi en faire l’expérience.
4. Exemple de Chatbot et la Nature de la « Pensée » : Hinton renforce son argument en citant l’exemple d’un chatbot le percevant par erreur comme une adolescente.
5. Implications et Questions Ouvertes : Hinton reconnaît que ses vues sur l’expérience subjective sont susceptibles d’être controversées, remettant en question l’idée d’une conscience humaine unique et envisageant la possibilité d’une extension vers des systèmes d’IA.
Notre Vision
À la lumière des réflexions de Geoffrey Hinton sur les intelligences numérique et biologique, je pense qu’il est essentiel de s’interroger sur l’évolution future de l’intelligence artificielle et son impact potentiel sur nos sociétés. Ce débat ne se limite pas simplement à la technologie elle-même, mais soulève également des questions éthiques et philosophiques complexes. Si nous acceptons la possibilité que l’intelligence numérique puisse surpasser son homologue biologique, il devient impératif de garantir que cette évolution soit guidée par des principes éthiques solides. Il est prudent de réfléchir à un cadre qui non seulement soutient l’innovation, mais assure également notre responsabilité face aux conséquences de larévolution technologique qui se profile à l’horizon.
- Source image(s) : hackernoon.com
- Source : https://hackernoon.com/nobel-prize-winner-geoffrey-hinton-explores-two-paths-to-intelligence-in-ai-lecture