Ruslan Salakhutdinov : L’IA, l’AGI et notre futur !

Ruslan Salakhutdinov, professeur éminent en informatique à l’Université Carnegie Mellon, se distingue parmi les figures de proue de la recherche en intelligence artificielle aujourd’hui. Son expertise porte principalement sur l’apprentissage profond, les modèles graphiques probabilistes et l’optimisation à grande échelle. Salakhutdinov a toujours été à la pointe de l’innovation dans le domaine de l’IA.

Un aspect déterminant de sa carrière a été sa collaboration avec Geoffrey Hinton, son directeur de thèse et pionnier des “réseaux de croyance profonds”, une avancée majeure dans l’apprentissage profond. Depuis l’obtention de son doctorat en 2009, Salakhutdinov a publié plus de 40 travaux influents couvrant des sujets allant de l’apprentissage par programme bayésien à des systèmes d’IA à grande échelle. Ses contributions révolutionnaires ont non seulement approfondi la compréhension académique, mais ont également favorisé des applications pratiques de l’IA dans l’industrie.

Son passage en tant que directeur de la recherche en IA chez Apple, de 2016 à 2020, a marqué une période cruciale dans sa carrière. Au cours de cette période, il a dirigé des avancées significatives dans les technologies d’IA. Par la suite, il est retourné à Carnegie Mellon pour poursuivre ses recherches académiques, consolidant ainsi son rôle de leader dans le domaine. En 2023, il a élargi son influence en rejoignant le conseil d’administration de Felix Smart, visant à utiliser le potentiel de l’IA pour améliorer les soins apportés aux plantes et aux animaux.

Reconnu comme un conférencier de choix, Salakhutdinov a dispensé des tutoriels dans des institutions renommées telles que le Simons Institute à Berkeley et le MLSS à Tübingen, en Allemagne. Ses travaux, largement cités par ses pairs, soulignent son impact durable sur l’IA et l’apprentissage automatique. En tant que membre du CIFAR, il continue d’inspirer la prochaine génération de chercheurs tout en repoussant les limites de l’intelligence machine.

La carrière de Salakhutdinov dans l’IA débute lorsqu’il découvre le célèbre ouvrage Artificial Intelligence: A Modern Approach durant ses études de premier cycle. Ses premiers travaux avec Geoffrey Hinton ont jeté les bases des innovations en matière de réseaux de croyance profonds. Actuellement, sa recherche se concentre sur la construction de systèmes d’IA autonomes et robustes capables de prendre des décisions de manière indépendante. Face aux défis de fiabilité, de raisonnement et de sécurité, le travail de Salakhutdinov établit un pont entre la théorie de pointe et les applications pratiques, façonnant un avenir où les systèmes d’IA enrichissent la créativité et la capacité de résolution de problèmes des humains.

Scott Douglas Jacobsen : Qu’est-ce qui a d’abord éveillé votre intérêt pour l’intelligence artificielle plutôt que pour les subtilités de l’intelligence humaine ?

Ruslan Salakhutdinov : Mon intérêt pour l’IA a commencé durant mes études de premier cycle en Caroline du Nord. Un livre de Peter Norvig et Stuart Russell, Artificial Intelligence: A Modern Approach, m’a fasciné. Publié en 1995, il a suscité mon intérêt pour ce domaine.

J’ai alors décidé de me lancer dans des études supérieures en IA et j’ai postulé dans plusieurs universités. J’ai eu la chance d’intégrer l’Université de Toronto, où j’ai commencé à travailler avec Geoffrey Hinton. Ces événements ont représenté un tournant décisif dans ma carrière en IA. J’ai toujours été intrigué par les machines capables d’apprendre par elles-mêmes et d’effectuer des tâches créatives. La notion de construire des systèmes capables d’apprendre me fascinait lorsque j’ai commencé mes études de premier cycle à la fin des années 1990. À cette époque, le terme “IA” n’était pas encore très en vogue ; pendant mes études supérieures, l’accent était davantage mis sur l’apprentissage automatique et l’apprentissage automatique statistique.

Le domaine était principalement axé sur les statistiques, considéré comme une discipline à part entière. L’IA était souvent perçue comme un domaine réservé aux systèmes de soutien à la décision. Collaborer avec Geoffrey Hinton et son laboratoire a complètement révolutionné mon travail. À l’époque, autour de 2005 ou 2006, Geoffrey Hinton a commencé à promouvoir l’apprentissage profond et l’apprentissage de multiples niveaux de représentation. J’avais simplement démarré mon doctorat, donc j’étais au bon endroit au bon moment.

En vie, le timing est essentiel. Ilya Sutskever, cofondateur d’OpenAI, était mon camarade de laboratoire. Nous étions assis l’un à côté de l’autre, et d’autres personnes menaient désormais beaucoup de travaux dans différentes entreprises et universités.

Jacobsen : Geoffrey Hinton est devenu une figure emblématique au cours de l’année écoulée, principalement en raison de ses mises en garde concernant l’intelligence artificielle. D’autre part, Eric Schmidt, ancien PDG de Google, a proposé une perspective plus tempérée. Il souligne la nécessité de comprendre et de contrôler les systèmes d’IA et suggère même qu’il pourrait être nécessaire de “débrancher” ces derniers s’ils se comportent de manière imprévisible.

Tandis que les visions de Ray Kurzweil, axées sur la loi des rendements croissants et sa quête presque spirituelle de fusionner avec l’IA pour explorer le cosmos, évoquent des souvenirs de Carl Sagan. Le discours autour de l’IA est aussi varié que le domaine lui-même.

À l’instar d’un espace vectoriel, cette diversité reflète comment des termes comme IA, AGI (Intelligence Artificielle Générale) et ASI (Intelligence Artificielle Superintelligente) portent des interprétations différentes. Pourquoi pensez-vous que ces définitions divergentes persistent ?

Salakhutdinov : Nous manquons de références fixes ou d’un ensemble standardisé de problèmes qui nous permettraient de définir clairement ces termes. Si nous avons un système qui résout ces problèmes, cela signifie que nous avons atteint l’AGI. Ou si nous avons un ensemble de problèmes que nous résolvons, nous avons atteint l’ASI. Par conséquent, les définitions dépendent de la personne avec laquelle vous parlez. Des personnes comme Geoffrey Hinton et Eric Schmidt disent que la communauté académique fait face à des risques existentiels potentiels.

Il y a aussi des personnes qui soutiennent que nous atteindrons un point où ces systèmes deviendront très intelligents. Ils seront performants et, à un moment, pourront atteindre la superintelligence. Cependant, il est très probable que nous atteindrons ce risque existentiel. Il existe des risques associés à l’IA dans son ensemble, et des recherches sont en cours à ce sujet. Une des sphères sur lesquelles je me concentre à CMU est la construction de systèmes agentiques, ou d’IA capables de prendre des décisions ou d’agir de manière autonome. Imaginez un assistant personnel capable de trouver les meilleurs vols pour San Francisco demain. Cet assistant collecterait l’information et réserverait le vol pour vous.

On peut envisager cela comme un assistant personnel. Bien sûr, cela comporte des risques, car nous passons de systèmes comme ChatGPT, où l’on pose une question et obtient une réponse, à des systèmes où l’on donne une tâche et où l’agent tente d’exécuter cette tâche. Pour ma part, je considère que, en ce qui concerne l’AGI, je pense à des systèmes autonomes capables de prendre des décisions.

Où nous en sommes actuellement est incertain, car nous connaissons des progrès rapides avec ChatGPT et de nombreuses autres avancées. Continuerons-nous cette croissance exponentielle ou atteindrons-nous un plafond? À un moment donné, nous atteindrons ce plafond, et obtenir les 10 ou 15 % restants de progrès sera difficile, mais ces systèmes resteront très utiles.

Quand atteindrons-nous vraiment le niveau d’AGI, c’est-à-dire des systèmes suffisamment généraux pour réaliser n’importe quelle tâche pour nous, reste flou à mes yeux. Les gens ont des prédictions. Par exemple, Geoffrey Hinton pensait initialement que cela prendrait moins de 100 ans. Avec des modèles comme ChatGPT, ces prédictions ont été accélérées à environ 30 ans. Il affirme que cela pourrait prendre 10 ans, mais il reste encore beaucoup d’incertitudes.

Prévoir quoi que ce soit au-delà de cinq ans est complexe car le développement de l’IA peut soit s’accélérer avec des systèmes devenant meilleurs, plus intelligents et plus autonomes, dotés de puissantes capacités de raisonnement—comme nous le constatons avec les modèles d’OpenAI tels que GPT-4 et GPT-3.5, capables de raisonner de manière complexe et de résoudre des problèmes mathématiques difficiles—soit pourrait progresser plus graduellement.

Jacobsen : Dans les prochaines années, nous pourrions voir émerger des outils d’analyse profonds. Lorsque nous parlons d’agency en IA, cela revêt une signification très différente par rapport à l’agency humaine ou animale. Cette évolution des grands modèles de langage et des systèmes d’IA semble annoncer une nouvelle ère. Que pensez-vous de ces capacités agentiques ?

Salakhutdinov : Vous souhaitez créer des systèmes qui peuvent être vos assistants. Pensez à un système qui gère toute votre planification, vos tâches, et tout ce dont vous avez besoin. C’est votre conseiller financier qui vous fournit des conseils sur vos finances. C’est votre médecin qui vous donne des conseils sur votre santé. À un moment donné, lors de mes échanges avec mes collègues à ce sujet, certains affirment que si vous avez un assistant IA capable de beaucoup de choses pour vous, cela frôle l’AGI.

Certains nommeraient cela AGI, car le problème que nous voyons actuellement est que GPT excelle dans le codage—il est le meilleur concours de codage. Les gens essaient de coder quelque chose dans un délai donné, et ces systèmes surpassent les humains. Je me suis dit : “C’est bien.” Ils se sont dit : “N’êtes-vous pas impressionné ? Nous avons des systèmes qui peuvent surpasser des codeurs compétitifs.”

La raison pour laquelle c’est impressionnant mais n’a pas fait le tour est que ces systèmes ne sont toujours pas fiables. Il n’est pas question de déléguer une tâche à un système et d’être sûr à 100 % qu’il la résoudra. Être sûr à 80 % qu’une tâche sera résolue n’est pas suffisant. Ce concept de hallucinogenèse et de robustesse dans le système est actuellement absent. C’est pourquoi, par exemple, dans le codage, il n’a pas remplacé les codeurs professionnels. C’est un outil utile, mais il n’a pas encore atteint le niveau où je pourrais remplacer tous mes programmeurs par une IA dans mon organisation.

La technologie IA les aide à mieux coder, mais n’a pas atteint un niveau de robustesse et de fiabilité satisfaisant. C’est comme avoir un assistant personnel dont 20 % des réservations sont fautives. Ce n’est tout simplement pas acceptable. C’est là où nous en sommes. Pour atteindre l’AGI, nous avons besoin que le système soit robuste face à ces hallucinogènes. Nous n’y sommes pas encore.

Jacobsen : Les gouvernements, les décideurs politiques et les économistes sont-ils prêts à gérer les changements radicaux que l’IA exige ? Par exemple, ces systèmes nécessiteront probablement d’accéder à d’importantes quantités de données personnelles pour prendre des décisions, soulevant des préoccupations urgentes concernant la vie privée. De plus, le paysage économique pourrait subir un changement radical si les entreprises choisissent des solutions d’IA plus performantes que les employés humains. Comment la société devrait-elle naviguer dans ces doubles défis de la vie privée et des perturbations liées à l’emploi ?

Salakhutdinov : Les modèles que nous voyons aujourd’hui demandent beaucoup de données et s’améliorent grâce à des données en particulier. S’ils vous connaissent, les décisions qu’ils prennent peuvent être beaucoup meilleures. Cet aspect sera important. Des réglementations concernant l’utilisation de ces données vont être prochainement mises en place. Actuellement, ces modèles ne sont pas encore à un stade où ils peuvent être déployés de manière fiable ou être pleinement utiles.

Les économistes étudient certains aspects liés au déplacement d’emplois. L’ampleur de ce phénomène est encore incertaine. On m’a donné un exemple d’une entreprise qui a licencié plusieurs traducteurs d’une langue à une autre, car les machines peuvent le faire mieux, moins cher et plus vite. La traduction de l’anglais vers le français en est un exemple. C’est un élément à prendre en compte, surtout à mesure que ces systèmes s’améliorent.

Une question que je me pose toujours est : lorsque ces systèmes atteindront un point où certaines parties de notre économie verront des déplacements, que devront faire les gouvernements pour recycler les gens ? Les deux prochaines années seront cruciales, car si les changements progressent comme ces dernières années, les transformations seront assez rapides. D’ordinaire, l’humanité s’adapte sur une génération ou deux. Mais si cela se produit en cinq à dix ans, c’est plus rapide. Cela mérite donc réflexion, tout comme le suivi de la progression de ces modèles. D’ici 2025, nous verrons chaque année apparaître une itération de modèles, à l’image de GPT-2, GPT-3, GPT-4.

Nous attendons donc toujours GPT-5. Google a lancé Gemini 2, vous savez, le Gemini 2.4. Cette année s’annonce également intéressante car elle représente la prochaine étape des modèles pionniers, qui consomment davantage de données et de puissance de calcul. La question cette année est donc de savoir quel sera cet écart si nous voyons apparaître GPT-5 ?

Jacobsen : Eric Schmidt a plaisanté en disant qu’un jour, les Américains pourraient se tourner vers le Canada pour de l’hydroélectricité en raison des énormes besoins énergétiques des systèmes d’IA avancés. Que pensez-vous de cette observation, et comment la consommation énergétique de l’IA pourrait-elle façonner la dynamique des ressources mondiales ?

Salakhutdinov : C’est vrai. À mesure que ces modèles grandissent, il y a une réflexion sur la manière de réduire les coûts, car autrement, cela deviendra inabordable. Des recherches supplémentaires devraient être menées pour rendre ces modèles plus efficaces et moins gourmands en calcul. Sinon, les coûts seront prohibitifs.

Jacobsen : Jensen Huang a récemment souligné que nous approchons de la fin de la loi de Moore, mais il a mis en avant des annonces transformantes au CES qui suggèrent de nouvelles efficacités matérielles et logicielles. Il a décrit cela comme une “exponentielle sur une exponentielle”. Comment ces gains d’efficacité cumulés influencent-ils votre vision de la trajectoire de l’IA ?

Salakhutdinov : C’est vrai—par exemple, en ce qui concerne le matériel. Si vous prenez NVIDIA, certaines de leurs dernières GPU présentent des améliorations considérables par rapport à cinq ans en arrière. À mesure que nous atteignons ces gains d’efficacité, nous arrivons au point où nous formons ces modèles en utilisant toutes les données disponibles sur Internet. En pratique, toutes les données accessibles sont inéluctablement intégrées à ces modèles. À ce stade, il n’existe pas de deuxième ou troisième internet. Ainsi, les données disponibles sont limitées par ce à quoi nous avons accès.

Beaucoup de données se trouvent aujourd’hui dans le domaine de la vidéo et des images, ainsi que dans d’autres modalités et la voix. Il est possible que nous contactions également des données que nous qualifions de données générées de manière synthétique : des données créées par modèles que nous pouvons utiliser pour entraîner et améliorer nos modèles en continu.

Jacobsen : J’ai réfléchi à un concept où nous nous reposons sur des données limitées et générons des ensembles de données artificiels par extrapolation statistique. Comment appelle-t-on cette approche, et à quel point pensez-vous qu’elle deviendra centrale dans les avancées de l’IA ?

Salakhutdinov : Cela désigne ce qu’on appelle des données artificielles. Par exemple, à mesure que ces systèmes s’améliorent, vous pouvez générer des données artificielles depuis votre modèle. Il existe des méthodes de filtrage et de nettoyage de données qui deviennent dès lors des données d’entraînement pour le modèle suivant.

Il y a des éléments de bootstrap que vous pouvez mettre en œuvre et qui fonctionnent raisonnablement bien. Cependant, nous ne pouvons toujours pas simplement entraîner des modèles avec des données artificielles.

Nous avons encore besoin de données réelles. Mais comment les obtenir ? Je soupçonne que les modèles multimodaux utiliseront à l’avenir des images, des vidéos, des textes et des discours. Un vaste éventail de recherches est en cours ; un de mes anciens étudiants, maintenant professeur au MIT, analyse des dispositifs collectant des données et construisant ces modèles fondamentaux basés sur cela.

Jacobsen : Dispose-t-on d’un cadre théorique pour déterminer l’efficacité optimale d’une unité de calcul unique ? Ou en sommes-nous toujours aux conjectures empiriques ?

Salakhutdinov : Oui. Il existe des lois de mise à l’échelle.

Les lois de mise à l’échelle énoncent ceci : “Regardez, nous construisons un modèle de 500 milliards de paramètres. De combien de données avons-nous besoin ? Quel degré de précision pouvons-nous espérer obtenir ? Il est très coûteux de faire tourner ce modèle, n’est-ce pas ?” Vous devez procéder à un test unique pour obtenir ce modèle. Vous ne pouvez pas faire plusieurs essais. Ainsi, ce qui se passe, c’est que vous prenez des modèles plus petits et construisez ces courbes en disant : “Voilà combien de données j’ai, voilà combien de calculs j’ai, et voici la précision que j’obtiens.”

“Si je tiens à augmenter les données tout en gardant le même circuit, voici mon niveau de précision. Si j’augmente les données et le calcul, j’accéderai à ce niveau de précision.” Vous bâtissez tout cela sur de petits modèles puis extrapolez davantage. Et vous concluez : “D’accord, si je dispose de davantage de données et de calculs, voici le niveau de précision attendu.” Cela a été un principe directeur pour une bonne partie de la construction de modèles existants.

Cependant, c’est aussi très difficile à interpréter. Personne n’a pu dire : “Regardez, si nous triplons les calculs et les données, nous atteindrons l’AGI, ou l’ASI, ou encore un certain seuil”. Nous avons ces lois de mise à l’échelle jusqu’à un certain point, mais nous n’avons aucune idée de ce à quoi cela ressemblera au-delà.

Les prévisions sont délicates. L’idée initiale suggérait qu’en injectant plus de données, de calculs, nous pourrions avoir de meilleurs modèles ; c’est ce que l’industrie effectue. Logo, émerge un second paradigme, ce qu’on appelle le “test-time compute” ou le calcul d’inférence, privilégié par ces modèles de raisonnement, consistant à dire : “Eh bien, laissez-moi réfléchir davantage pour un problème spécifique, et si je consacre plus de ressources de calcul à ce problème, je pourrai vous fournir des réponses.” C’est ainsi que se dessinent quelques lois de mise à l’échelle : ces systèmes peuvent se perfectionner. Pourtant, encore une fois, personne n’a clairement défini ce qu’atteindre l’ASI ou l’AGI signifierait, donc nous ne sommes toujours pas là. Il n’est pas évident que nous y parviendrons.

Jacobsen : Lorsque nous évoquons l’AGI et l’ASI, les définitions semblent reposer sur un mélange de facteurs : la puissance de calcul, l’efficacité des réseaux neuronaux, voire l’adaptabilité évolutive. Certains affirment que cadrer l’AGI selon l’intelligence humaine fixe un repère erroné, puisque la cognition humaine elle-même est spécialisée et comporte des lacunes. Devrions-nous redéfinir les repères d’intelligence en IA pour prendre en compte ces nuances ?

Salakhutdinov : C’est une très bonne question. Les gens associent souvent l’AGI à l’intelligence humaine. Mais il est incertain que ces systèmes puissent égaler l’intelligence humaine. Parce que ChatGPT ou d’autres modèles de langage avancés excellent en mathématiques, cela signifierait-il qu’ils sont intelligents ? Il y a quelque chose d’essentiel dans l’intelligence humaine qui permet d’extrapoler, de raisonner et d’accomplir des choses que les machines ne peuvent pas, du moins pour l’heure. Par exemple, lorsque l’on enjoint à un modèle : “Quel est le plus grand, 9 ou 9,11 ?”, le système confond : “Eh bien, neuf est supérieur à 9,11”.

Jacobsen : On observe clairement des lacunes en matière de fiabilité des systèmes d’IA—des domaines où le bon sens pourrait dicter une voie, mais où les machines échouent. Bien que l’IA excelle dans des tâches telles que la rédaction et le résumé, elle peine dans d’autres, comme l’intelligence physique en robotique. Un expert en robotique a commenté un jour que la première entreprise à construire un robot capable de vider un lave-vaisselle deviendra probablement une entreprise milliardaire. Que pensez-vous de cette séparation entre les capacités théoriques de l’IA et ses applications pratiques ?

Salakhutdinov : En effet. Toutefois, cela démontre combien il est compliqué d’anticiper, car il y a dix ans, beaucoup pensaient que construire des machines créatives—capables de produire des dessins originaux ou de rédiger des textes novateurs—serait nettement plus difficile que de réaliser un robot pour vider un lave-vaisselle. Aujourd’hui, il semble que ce soit exactement l’inverse.

Je peux en effet solliciter ces systèmes pour rédiger des textes créatifs pour moi, peaufiner ma rédaction, générer des images réalistes, composer des choses d’ailleurs intéressantes pour des designers, par exemple. Ces outils sont incroyables.

Cela souligne la difficulté de prédire le futur à cinq ans. Des personnalités comme Geoffrey Hinton, Eric Schmidt, et d’autres sonnent l’alarme en déclarant qu’il existe un risque non négligeable que ces modèles deviennent très dangereux. Je ne crois pas à l’idée d’un avenir de type Skynet, où les robots ou modèles d’IA nous jugeraient inutiles et auraient le pouvoir. Je n’envisage pas cela pour le futur, mais comme mentionné, il reste difficile de prévoir ce qui peut arriver dans cinq à dix ans.

Nous devons tout considérer. Récemment, j’ai échangé avec Geoffrey Hinton et je lui ai demandé : “Pourquoi êtes-vous si inquiet ?” Il a mentionné son appréhension, mais aussi l’importance d’allouer des ressources à la recherche sur la sécurité—et, comme vous l’avez souligné, comprendre l’économie, les déplacements d’emplois, comment ces systèmes peuvent être plus fiables, et la manière de mener à bien des recherches sur la sécurité.

Cela n’a jamais été prioritaire, du moins jusqu’à maintenant. J’y adhère. Nous devons effectuer davantage de travaux, de recherches, et nous concentrer davantage sur la sécurité, l’économie, tout ce qui est lié à ces modèles.

Jacobsen : Parmi vos pairs dans le domaine de l’IA, qui considérez-vous comme ayant des prédictions toujours pertinentes ? Y a-t-il une personne dont les aperçus vous ont particulièrement frappé ?

Salakhutdinov : C’est une question délicate. Je ne connais personne ayant fait des prédictions toujours correctes.

Jacobsen : Je me demandais si le public a une image précise, car il utilise de nombreux mêmes termes. Les définitions sont quelque peu biaisées. Cela produit une confusion excessive sur la manière dont l’information est relayée aux gens ou la façon dont ils la perçoivent. Autrefois, l’IA se concentrait sur l’apprentissage automatique, les moteurs statistiques, etc. Toutefois, ces domaines étaient assez distincts. À présent, pourtant, ils sont au premier plan comme s’il ne s’agissait que d’une seule chose. Cela provoque probablement une certaine confusion, mais cela servira sans doute à clarifier la situation. Ravi d’avoir échangé avec vous, et merci beaucoup pour votre temps.

Salakhutdinov : Je vous remercie. C’était un plaisir de vous rencontrer également. Merci d’avoir conduit cet échange.