« Si vous marchez une heure, vous parcourez une distance ; si vous marchez deux heures, vous doublez la distance. Cette intuition était valable dans la savane, mais échoue face à l’intelligence artificielle », explique Mustafa Suleyman dans un article. En évoquant l’IA, il souligne que les règles de l’évolution ne s’appliquent pas, car cette technologie progresse de manière exponentielle.
Comme il le souligne lui-même, depuis ses débuts dans le domaine de l’IA en 2010, les changements ont été considérables. La puissance de calcul utilisée dans les modèles d’IA a augmenté d’environ un trillion de fois. « Nous sommes passés de 10¹⁴ FLOPS dans les premiers systèmes à plus de 10²⁶ FLOPS dans les modèles les plus avancés aujourd’hui. Ce n’est pas une simple progression, c’est une véritable explosion », commente-t-il.
Pour saisir ce phénomène, Suleyman compare l’entraînement de l’IA à une salle remplie de personnes faisant des calculs avec des calculatrices. Ajouter de la puissance d’IA signifiait auparavant simplement d’ajouter plus de personnes, mais beaucoup attendaient, perdant ainsi du temps pendant que les données arrivaient avec du retard.
« Aujourd’hui, la révolution réside non seulement dans des calculatrices plus rapides, mais dans le fait que toutes ces calculatrices travaillent sans relâche, agissant comme une seule entité », explique-t-il. Ce changement a pu se réaliser grâce à trois avancées majeures :
Premièrement, les calculatrices elles-mêmes sont désormais beaucoup plus rapides. Les puces de Nvidia ont vu leur performance passer de 312 téraflops en 2020 à 2 250 téraflops aujourd’hui. La puce de Microsoft, le Maia 200, offre un rendement supérieur de 30 % par euro dépensé par rapport à d’autres puces de sa catégorie.
Deuxièmement, les données sont transmises plus rapidement grâce à la mémoire HBM (High Bandwidth Memory), qui empile des puces comme de petits bâtiments. La dernière version, HBM3, triple la bande passante par rapport à l’ancienne, garantissant ainsi que les GPU restent alimentés sans temps mort.
Troisièmement, ces salles de calculateurs se sont transformées en véritables villes. Des technologies telles que NVLink et InfiniBand relient des centaines de milliers de GPU dans des superordinateurs de la taille de grands entrepôts, fonctionnant comme un seul système de traitement.
En conséquence, nous assistons à un véritable monstre : ce qui prenait 167 minutes en 2020 avec huit GPU peut être réalisé en moins de quatre minutes avec le matériel actuel, soit une amélioration de 50 fois, bien au-delà des cinq fois prédites par la loi de Moore.
Avec une telle croissance exponentielle, les prévisions sont impressionnantes. Les grands laboratoires augmentent leur capacité de calcul à un rythme quasi quadruple chaque année. Entre 2020 et aujourd’hui, la puissance de calcul a augmenté de cinq fois chaque année, et d’ici 2027, la capacité globale de l’IA pourrait atteindre l’équivalent de 100 millions de puces H100, représentant un bond de dix fois en seulement trois ans.
Microsoft, Nvidia et la quête de la superintelligence
Dans cette frénésie presque incompréhensible pour le commun des mortels, des noms tels que Microsoft et Nvidia occupent une place centrale dans ce boom.
Suleyman, qui dirige désormais la division IA chez Microsoft, précise que nous ne parlons plus de prototypes, mais de véritables infrastructures colossales : des clusters de 100 000 GPU, des serveurs de la taille d’un réfrigérateur consommant 120 kilowatts, et des centres de données qui utilisent une énergie équivalente à celle de l’ensemble du Royaume-Uni, de la France, de l’Allemagne et de l’Italie à leur pic de consommation annuelle.
« Les 100 milliards de dollars alloués aux clusters IA, les 10 gigawatts de consommation, les superordinateurs gigantesques… ce ne sont plus des oeuvres de fiction. Ils sont en construction aux États-Unis et dans le monde entier », déclare-t-il. Le but reste à définir, mais il s’agit sans aucun doute de superintelligence.
Après l’ère des chatbots, Suleyman évoque l’émergence des « agents IA presque humains » : des systèmes semi-autonomes capables d’écrire du code pendant des jours, de gérer des projets sur plusieurs semaines ou mois, d’effectuer des appels, de négocier des contrats et de gérer la logistique.
Cependant, ce déploiement massif pose également des questions énergétiques. Un seul serveur IA peut consommer l’équivalent de 120 kilowatts, soit autant que 100 foyers.
Mais un autre aspect, qui évolue également de manière exponentielle, est la baisse des prix des énergies renouvelables. « Le coût de l’énergie solaire a chuté d’environ 100 fois en 50 ans ; celui des batteries a diminué de 97 % en trois décennies », affirme Suleyman.
Avec tout cela en perspective et ce qui reste à venir, Suleyman prédit que « nous continuerons d’être surpris. Le boom du calcul est l’histoire technologique de notre époque, et il est encore au début de son parcours. »
Points à retenir
- L’intelligence artificielle progresse de manière exponentielle, remettant en question les règles classiques de l’évolution.
- Les puces modernes, tels que celles de Nvidia et Microsoft, sont beaucoup plus puissantes et efficaces.
- La mémoire HBM contribue à une circulation des données plus rapide, éliminant les temps d’attente.
- De grandes infrastructures sont en place, avec des milliers de GPU interconnectés, permettant des traitements massifs.
- Les implications énergétiques de cette technologie sont notables, bien que la baisse des prix des énergies renouvelables offre des solutions.
En tant qu’observateur passionné de ces évolutions, je ne peux m’empêcher de réfléchir à l’avenir. L’émergence de l’IA et de la superintelligence soulève des questions éthiques et pratiques qui méritent notre attention. Quel équilibre établir entre innovation technologique et responsabilité sociétale ? C’est un débat fascinant qui ne fait que commencer.