Une nouvelle approche dans le domaine des grands modèles de langage, mise au point par les chercheurs de l’Allen Institute for AI (Ai2), offre la possibilité de contrôler l’utilisation des données d’entraînement même après la création du modèle.
Ce modèle inédit, baptisé FlexOlmo, pourrait remettre en question le modèle économique actuel, où les géants de l’intelligence artificielle accumulent sans véritable contrôle des données issues du web, des livres et autres sources, pour ensuite revendiquer l’entière propriété des modèles générés. Aujourd’hui, une fois que les données sont intégrées à un modèle d’IA, les extraire revient à tenter de récupérer les œufs d’un gâteau déjà cuit.
« Classiquement, les données sont soit dedans, soit dehors », explique Ali Farhadi, directeur général de Ai2 basé à Seattle. « Une fois que j’ai entraîné le modèle avec ces données, vous perdez le contrôle. La seule façon de récupérer la main serait de refaire un entraînement coûteux de plusieurs millions de dollars. »
Cette approche novatrice d’Ai2 segmente le processus d’entraînement pour que les détenteurs de données puissent garder la main. Ceux qui souhaitent fournir leur ensemble de données à un modèle FlexOlmo commencent par copier un modèle public appelé “anchor”. Ils entraînent ensuite un second modèle avec leurs propres données, qu’ils fusionnent avec le modèle anchor, avant de transmettre cette version enrichie au constructeur du modèle final.
Concrètement, cela signifie que les données originales ne sont jamais directement transférées. Grâce à cette fusion spécifique des sous-modèles, il devient possible de retirer ultérieurement un ensemble de données de la version finale. Un éditeur de magazine, par exemple, pourrait contribuer avec son archive d’articles, puis demander la suppression de cette partie si un litige survient ou si l’utilisation du modèle ne lui convient plus.
« L’entraînement est complètement asynchrone », précise Sewon Min, chercheur chez Ai2 et responsable technique du projet. « Les propriétaires de données n’ont pas besoin de se coordonner, ils peuvent entraîner leurs sous-modèles de manière indépendante. »
Le modèle FlexOlmo repose sur une architecture dite « mixture of experts », une méthode courante qui combine simultanément plusieurs sous-modèles en un modèle plus puissant. L’innovation majeure d’Ai2 réside dans une nouvelle façon de fusionner des sous-modèles entraînés de façon autonome, grâce à un schéma inédit pour représenter les valeurs dans un modèle, ce qui facilite leur combinaison lors de l’exécution du modèle final.
Pour valider leur méthode, les chercheurs ont constitué Flexmix, un ensemble de données propriétaires issues de livres et sites web. Avec FlexOlmo, ils ont construit un modèle de 37 milliards de paramètres, soit environ un dixième de la taille du plus grand modèle open source de Meta. En comparaison avec plusieurs autres modèles, FlexOlmo a surpassé chaque modèle individuel sur toutes les tâches, avec un score supérieur de 10 % sur les benchmarks courants par rapport à deux autres méthodes de fusion de modèles indépendants.
En somme, ce système vous permet de garder le gâteau tout en retrouvant les œufs, pour reprendre la métaphore d’Ali Farhadi : « Vous pouvez facilement vous désengager du système sans perdre en performance ni en rapidité d’inférence. C’est une toute nouvelle manière d’envisager l’entraînement des modèles. »
Points à retenir
- FlexOlmo introduit une modularité inédite dans l’entraînement des modèles d’IA, permettant aux détenteurs de données de garder un certain contrôle.
- La séparation asynchrone des entraînements évite la complexité des coordinations massives entre contributeurs.
- Grâce à la fusion intelligente de sous-modèles, il est possible de retirer des contributions de la version finale, une innovation juridique et technique majeure à l’heure des litiges liés aux données.
- Avec 37 milliards de paramètres, FlexOlmo montre qu’on peut rivaliser avec les très grands modèles en adoptant une autre stratégie d’assemblage.
- Cette approche donne un coup de fraîcheur à la manière dont on conçoit la propriété et l’usage des données dans l’intelligence artificielle.
En fin de compte, cette avancée pose une question troublante : si on peut vraiment extraire les données après coup, qu’est-ce qui nous empêche demain de défaire notre “gâteau AI” à loisirs ? Au moins, cette innovation nous invite à réfléchir autrement, entre les gourmands de données et les défenseurs des droits. Un compromis entre fidélité technique et justice intellectuelle qui devrait faire sourire – ou frémir – ceux qui croyaient que l’IA, c’était immuable et incontrôlable… Pas vous ?