“Si vous marchez une heure, vous parcourez une distance ; si vous marchez deux heures, vous doublez la distance. Cette intuition a fonctionné dans la savane, mais échoue face à l’IA”, soutient Mustafa Suleyman dans un article au MIT Technology Review. Il pose ainsi une question essentielle : lorsque l’on aborde l’intelligence artificielle, les règles de l’évolution ne s’appliquent plus. En effet, cette technologie progresse de manière exponentielle.
Comme il le souligne, depuis ses débuts dans le domaine de l’IA en 2010, les avancées ont été incroyables. La puissance de calcul utilisée dans les modèles de pointe a crû d’environ un trillion de fois. “Nous sommes passés de 10¹⁴ FLOPS dans les premiers systèmes à plus de 10²⁶ FLOPS dans les modèles d’aujourd’hui. Ce n’est pas une simple augmentation : c’est une explosion”, estime-t-il.
Pour saisir cette montée en puissance, Suleyman compare l’entraînement de l’IA à “une salle pleine de personnes utilisant des calculatrices”. Longtemps, augmenter la puissance de l’IA était simplement synonyme d’ajouter plus de gens avec des calculatrices, dont beaucoup attendaient, perdant du temps pendant que les données arrivaient tard.
Aujourd’hui, la révolution n’est pas seulement d’avoir des calculatrices plus rapides. Il s’agit de faire en sorte que toutes ces calculatrices fonctionnent simultanément, formant une unique intelligence collective. Trois avancées convergentes ont permis cette transformation :
First, les ‘calculatrices’ sont devenues beaucoup plus rapides. Les puces Nvidia ont augmenté de 312 teraflops en 2020 à 2 250 teraflops aujourd’hui, tandis que la puce Maia 200 de Microsoft offre une performance supérieure de 30 % par euro comparativement aux autres puces similaires.
Second, la vitesse d’arrivée des données a été accrue grâce à la mémoire HBM (High Bandwidth Memory), qui empile les puces comme de petits immeubles. La version la plus récente, HBM3, triple la bande passante de la précédente, assurant un approvisionnement constant aux GPU sans temps d’attente.
Troisièmement, la salle de calculatrices a pris des proportions à l’échelle d’une ville. Des technologies comme NVLink et InfiniBand connectent des centaines de milliers de GPU dans des superordinateurs de taille industrielle, agissant comme un seul bloc de traitement.
Le résultat est une véritable avancée : ce qui nécessitait 167 minutes sur huit GPU en 2020 se réalise en moins de quatre minutes avec le matériel actuel, soit une amélioration de 50 fois, bien au-delà des cinq fois envisagées par la Loi de Moore.
Au regard de cette croissance exponentielle, les perspectives sont impressionnantes. Les grands laboratoires augmentent leur capacité de calcul d’environ 4x par an. Entre 2020 et aujourd’hui, le calcul a été multiplié par 5 chaque année, et d’ici 2027, le calcul global de l’IA pourrait atteindre l’équivalent de 100 millions de puces H100, représentant un bond de 10 fois en à peine trois ans.
Microsoft, Nvidia et la course à la superintelligence artificielle
Dans ce contexte presque incroyable pour le commun des mortels, des noms comme Microsoft et Nvidia se retrouvent au cœur de ce dynamique boom.
Suleyman, maintenant à la tête de la division IA chez Microsoft, précise qu’il ne s’agit plus de prototypage, mais d’infrastructures réelles : des clusters de 100 000 GPU, des racks de la taille d’un réfrigérateur consommant 120 kilowatts, et des centres de données nécessitant autant d’énergie que la consommation annuelle de quatre pays européens réunis.
“Les 100 milliards de dollars investis dans les clusters IA, les 10 gigawatts de puissance, et les superordinateurs de type industriel ne relèvent plus de la science-fiction. Ils sont déjà en construction aux États-Unis et ailleurs”, affirme-t-il. Tout cela vise un objectif dont l’échéance reste incertaine : la superintelligence.
Selon Suleyman, après l’ère des chatbots, nous entrons dans celle des “agents d’IA presque humains” : des systèmes semi-autonomes capables de coder pendant des jours, de gérer des projets sur plusieurs semaines, de passer des appels, de négocier des contrats et d’assurer la logistique.
Cependant, un aspect moins favorable réside dans la consommation d’énergie. Un simple rack d’IA peut requérir 120 kilowatts, l’équivalent de l’énergie fournie à 100 foyers.
Pour contrer cela, un autre phénomène croît en parallèle : la baisse des coûts des énergies renouvelables. “Les prix de l’énergie solaire ont chuté de presque 100 fois en 50 ans, et ceux des batteries de 97 % en trois décennies”, affirme Suleyman.
Avec ces éléments en main et les perspectives à venir, Suleyman insiste sur le fait que “nous continuerons d’être surpris. Le ‘boom’ du calcul est la grande histoire technologique de notre temps, et il ne fait que commencer.”
Points à retenir
- Comparaison de l’évolution de l’IA à celle d’une salle de calculatrices en constante activité.
- Accélération significative de la puissance de calcul des puces IA.
- Technologies de connexion qui forment des superordinateurs interconnectés.
- Progrès exponentiels dans la capacité de traitement des données.
- Perspectives d’un futur marqué par des agents d’IA semi-autonomes.
En tant qu’observateur de cette révolution technologique, j’opte pour l’optimisme prudent. L’IA ouvre des portes vers des possibilités inimaginables, mais nous tous, en tant que société, devons réfléchir aux implications éthiques et environnementales de ces avancées. Comment équilibrer innovation et responsabilité ? C’est là, je pense, tout l’enjeu qui façonnera notre avenir collectif.