La société chinoise Moonshot a récemment dévoilé son modèle d’intelligence artificielle ouvert, Kimi K3, qui s’est rapidement hissé en tête des classements. Ce lancement intensifie la concurrence entre les systèmes commerciaux fermés comme OpenAI et Anthropic et les modèles d’IA ouverts.
Kimi K3 est un modèle de grande envergure, intégrant 2,8 trillions de paramètres. Il est capable de traiter à la fois du texte et des images, avec un contexte d’environ 1 million de tokens. Selon les développeurs, la vitesse d’exécution et la performance de Kimi K3 sont pertinentes par rapport à d’autres modèles de sa catégorie.
Une des innovations majeures de Kimi K3 est son architecture, Kimi Delta Attention (KDA), qui permet une gestion plus efficace des requêtes longues. Dans les modèles de langage modernes, un mécanisme d’attention aide à établir des liens entre différentes parties d’un texte, mais l’augmentation de la longueur du contexte entraîne une hausse des données intermédiaires nécessaires.
KDA adopte un mode hybride : au lieu de simplement accroître la mémoire pour gérer l’ensemble du contexte, le modèle utilise trois états de représentation comprimée et un état d’accès complet aux données. Cela permet de conserver des «résumés» des moments clés dans un dialogue, tout en accédant de manière intermittente à la représentation intégrale du contexte. Ce mécanisme réduit la pression sur le KV cache, une mémoire spécifique où est stockée l’information déjà traitée pour éviter de devoir la recalculer à chaque étape.
Cependant, cette optimisation de mémoire ne se traduit pas forcément par une baisse des coûts matériels. Le Kimi K3 emploie également la technologie WideEP, qui aide à répartir les calculs entre différents processeurs, maintenant ainsi un besoin élevé de mémoire à accès rapide HBM.
Le développement de modèles ouverts a suscité des réactions parmi les compétiteurs. Dean W. Ball, responsable du développement stratégique chez OpenAI, a exprimé sur le réseau X que la prolifération des modèles d’IA ouverts pourrait mener à une sorte de «communisme de l’IA», où l’intelligence artificielle serait perçue comme un bien public plutôt qu’un produit commercial. Il a également critiqué les modèles ouverts chinois, qualifiant leur méthodologie comme le ralentissement des investissements importants dans l’infrastructure computationnelle.
Points à retenir
- Le modèle Kimi K3 de Moonshot intègre 2,8 trillions de paramètres pour traiter à la fois texte et images.
- Son architecture KDA permet une gestion efficace des longues requêtes grâce à un approvisionnement hybride.
- Le modèle conserve des résumés clés tout en accédant parfois à l’intégralité des données pour mieux gérer l’information.
- Il utilise également la technologie WideEP pour optimiser la distribution des calculs, demandant ainsi des ressources matérielles conséquentes.
- Dean W. Ball d’OpenAI souligne les implications éthiques d’une prolifération de modèles d’IA ouverts.
L’essor des modèles d’IA ouverts comme Kimi K3 ouvre un débat fascinant sur la nature même de l’intelligence artificielle dans notre société. Est-ce que la mise à disposition d’outils performants pour tous pourrait accéléra la recherche et l’innovation, ou bien cela pourrait-il entraîner des défis éthiques majeurs ? C’est une question qui mérite notre attention et que nous devrions tous envisager avec passion.