La Chine peut-elle développer une IA de pointe sans puces avancées ?

En novembre, le Financial Times a rapporté qu’une startup chinoise, 01.AI, avait formé un modèle d’intelligence artificielle compétitif avec ChatGPT à un coût nettement inférieur à celui de ses homologues occidentaux. Selon le fondateur de l’entreprise, le modèle Yi-Lightning a coûté 3 millions de dollars à entraîner, contre 80 à 100 millions pour le GPT-4. Cette efficacité économique a été obtenue en formant le modèle sur un petit ensemble de données de haute qualité et en utilisant une ingénierie astucieuse, nécessitant seulement quelques milliers de puces pour alimenter son modèle, en comparaison des dizaines de milliers requises pour les derniers modèles d’OpenAI.

Bien que son modèle soit moins coûteux, 01.AI se distingue par un classement honorable de l’Université de Californie à Berkeley et du groupe de recherche LMSYS, fondé sur des évaluations des réponses des chatbots. Au 9 décembre, le classement indiquait que Yi-Lightning était à égalité pour la septième place avec le GPT-4o original, Grok et Claude d’Anthropic, mais encore derrière la version la plus récente de GPT-4. Les détails concernant Yi-Lightning sont rares, et se fier à un seul classement peut prêter à confusion. Toutefois, ce développement soulève une question cruciale : les contrôles américains sur les exportations de puces peuvent-ils limiter le développement de l’IA en Chine, ou les entreprises technologiques chinoises trouveront-elles des moyens plus efficaces de développer des technologies d’IA, contrecarrant ainsi ces efforts ?

Au cœur de la course à l’IA entre les États-Unis et la Chine se trouve l’accès à ce que l’on appelle le « compute », c’est-à-dire la puissance de calcul massive nécessaire pour former de grands modèles. L’estimation est que le compute requis pour les meilleurs modèles d’IA générative double tous les six mois. Pour restreindre les ambitions de l’IA chinoise et limiter sa puissance de calcul, les États-Unis ont imposé des contrôles stricts, interdisant l’exportation de puces avancées et des technologies utilisées pour les créer vers la République Populaire de Chine (RPC).

De nombreux experts estiment que la réglementation de la puissance de calcul est essentielle pour encadrer l’IA. Cependant, Pékin n’est pas resté inactif et a trouvé des moyens de contourner les restrictions, notamment en accédant à des puces américaines via l’informatique en nuage, qui n’est pas concernée par les interdictions. Le pays a également fait passer des puces par des sociétés écrans et a constitué des stocks avant que les contrôles d’exportation ne prennent effet. Il a aussi cherché à encourager la production nationale de puces avancées, subventionnant son industrie semiconductrice à hauteur de 48 milliards de dollars (rien qu’en 2024). Bien que ces contournements aient été largement rapportés, une autre manière pour la Chine de rester dans la course à l’IA a reçu moins d’attention.

Au-delà du Compute : l’Obstacle des Algorithmes

Les contrôles à l’exportation peuvent servir de limite de facto à la quantité de compute disponible pour les développeurs d’IA chinois, en rendant plus difficile l’accès aux puces avancées. Pourtant, le compute n’est pas le seul ingrédient dans le développement de l’IA. Même si les développeurs en Chine font face à des restrictions sur les puces de pointe, ils peuvent apporter des améliorations en perfectionnant les algorithmes et les données d’entraînement pour obtenir de meilleurs résultats avec moins de ressources. Nous pourrions qualifier cela d’approche consistant à « travailler intelligemment, pas durement ».

Des chercheurs du Massachusetts Institute of Technology et d’Epoch, une organisation se consacrant à l’étude des tendances en IA, ont estimé que, de 2012 à 2023, le compute nécessaire pour former un grand modèle linguistique jusqu’à un niveau de performance donné a « été divisé par deux en moyenne tous les 8 à 9 mois ». Pour un autre outil d’IA, la « vision par ordinateur », utilisé pour l’entraînement de modèles de classification d’images, Epoch a découvert que la création de meilleurs algorithmes équivalait à doubler le compute tous les neuf mois depuis 2012. Cela a rendu les algorithmes à peu près aussi importants que les augmentations de compute dans la promotion de l’innovation en vision par ordinateur, tandis que, pour les modèles linguistiques, ils étaient environ deux fois moins importants. D’autres études ont également montré que les progrès algorithmiques étaient au moins aussi importants que l’augmentation du compute pour le développement de l’IA.

La Chine a les capacités d’innovation pour tirer parti de ces réalités. Les experts estiment que la Chine n’est en retard que d’environ 18 mois par rapport aux laboratoires occidentaux sur les LLM à la pointe. Le pays produit le plus grand nombre d’articles en apprentissage automatique au monde, et l’article le plus cité en ML a été écrit par des auteurs chinois. Des entreprises chinoises comme Alibaba et DeepSeek développent des modèles qui sont concurrentiels avec ceux produits par Meta. D’ici mi-2024, les principaux développeurs d’IA chinois pourraient atteindre le niveau de GPT-4.

De plus, même une seule innovation peut changer le cours de l’IA. Par exemple, la tendance actuelle de mise à l’échelle du compute a émergé de la popularisation de l’apprentissage profond. L’article d’Epoch sur le progrès algorithmique dans les LLM attribue 20 % des avancées algorithmiques depuis 2017 à l’invention de l’architecture du transformateur (le « T » dans GPT). Ainsi, plutôt que de simplement innover en suivant une tendance préexistante, les chercheurs chinois pourraient réaliser une percée qui les mettrait sur une voie plus rapide que celle des États-Unis.

Cependant, bien que la Chine puisse théoriquement faire des avancées algorithmiques, cela ne signifie pas que cela soit probable. Bien que les universités chinoises publient davantage de recherches en IA, les recherches des organisations américaines sont plus citées. Les laboratoires occidentaux ont également été à l’origine de la plupart des récentes percées.

Dans la mesure où elle reste limitée en puissance de calcul, il pourrait devenir plus difficile pour la Chine d’innover. Cela s’explique par le fait que les progrès en compute et en algorithmes peuvent être interconnectés, certains experts estimant que les améliorations algorithmiques dépendent d’quantités croissantes de compute pour tester et mettre en œuvre les nouvelles idées. Cette pénurie a déjà été un facteur limitant. Par exemple, au moment où OpenAI a publié son modèle de génération de vidéos Sora plus tôt cette année, un laboratoire chinois développait des techniques similaires mais ne pouvait les appliquer qu’à des vidéos de quelques secondes en raison du manque d’accès à une puissance de calcul suffisante.

Un autre contexte où le compute peut devenir un goulot d’étranglement est l’inférence, c’est-à-dire les processus qui se déclenchent lorsque l’utilisateur soumet une demande à ChatGPT ou demande à Dall-E de générer une image. De nombreuses améliorations algorithmiques impliquent l’utilisation de moins de compute pour former le modèle tout en lui permettant d’utiliser plus de compute pendant l’inférence. Cependant, ce compromis peut compliquer le traitement de grandes saisies.

Toutefois, cet obstacle ne rend pas la prolifération d’un modèle moins pratique, et ne freine pas directement son développement initial. En outre, la quantité de compute d’inférence utilisée pour chaque copie d’un modèle est bien inférieure à celle requise pour la formation. Et même en réduisant ce coût, les entreprises trouvent des moyens d’innover, comme c’est le cas avec Yi-Lightning de 01.AI et avec des modèles qui allient des éléments de modèles de transformateurs gourmands en compute avec d’autres architectures pouvant traiter de longues demandes avec moins de ressources.

Conclusion

Les décideurs américains sont confrontés à un défi de taille quant à l’interaction entre progrès algorithmiques et puissance de calcul pour le développement de l’IA. Même si les contrôles d’exportation parviennent à limiter l’accès de la Chine à des puces avancées, des percées en matière d’efficacité pourraient encore permettre aux laboratoires chinois d’acquérir des capacités significatives. La question que l’on doit se poser est de savoir si cela doit être considéré comme un problème, car la pertinence de ces capacités, qu’elles soient relatives ou absolues, peut influencer les décisions. Si l’objectif n’est pas seulement de garder la RPC derrière les États-Unis, mais aussi d’éviter qu’elle ne débloque certaines compétences, le progrès algorithmique représente un potentiel point faible dans les interdictions sur les puces.

Par exemple, si l’on considère le seuil de rapport d’octobre 2023 concernant les capacités AI comme un proxy pour les niveaux de compétence dangereux, la Chine pourrait atteindre l’équivalent de ce niveau d’ici quelques années grâce à des améliorations algorithmiques sans accès à des puces avancées. De plus, des modèles plus petits et spécialisés pourraient déjà poser des risques significatifs, notamment la possibilité de créer des armes biologiques ou chimiques.

Les critiques des restrictions à l’exportation s’inquiètent de l’efficacité de ces mesures pour limiter l’accès de la Chine aux puces, arguant que cela pourrait inciter Pékin à développer des chaînes d’approvisionnement qui évitent les intrants occidentaux. En conséquence, cela nuirait aux entreprises américaines de semiconducteurs en l’absence d’accès aux marchés chinois. Bien que ces impacts fassent encore débat, les alternatives proposées se concentrent souvent sur la fermeture des échappatoires et la mise en œuvre de restrictions ciblées pour limiter les dommages aux entreprises américaines tout en niant plus efficacement l’accès de la Chine au compute. Cependant, dans la mesure où le progrès algorithmique pourrait s’avérer être un facteur significatif dans la course à l’IA entre les États-Unis et la Chine, cette innovation pourrait encore compliquer la situation, car elle ne concernerait pas seulement le contrôle de l’écoulement d’un bien matériel—les puces AI avancées—but aussi le défi, bien plus compliqué, de lrestriction du code ou des algorithmes qui sous-tendent les modèles d’IA.