J’ai créé un agent IA local sur un mini PC : récit captivant de trois jours de défis et de découverte !

En résumé, télécharger un modèle et le faire fonctionner sur son ordinateur nécessite désormais un petit après-midi. La véritable difficulté réside dans l’harmonisation de divers programmes, la gestion de la mémoire disponible et l’évaluation de l’utilité des résultats affichés sur l’écran. J’ai testé un modèle énorme, un modèle de taille moyenne, une carte graphique intégrée, et enfin, Hermes, le logiciel qui transforme une conversation en assistant autonome. Au final, j’ai réussi à créer un agent local capable de gérer la mémoire, d’accéder aux fichiers, d’utiliser un navigateur et d’interagir via un bot Telegram, malgré quelques blocages. Mais en fin de compte, j’ai obtenu un aperçu des nouvelles concernant l’IA parfaitement.

La première réponse: 16 077 tokens

La première confirmation que tout fonctionnait a pris la forme d’un message peu solennel, HERMES_LOCAL_OK, qui a coûté cinq tokens au modèle. Un token est une unité de texte dans laquelle ces programmes fragmentent les mots, et pour générer ces cinq tokens, le système a dû traiter environ 16 077 tokens, soit à peu près une vingtaine de pages d’instructions. Je regardais les compteurs grimper sur l’écran, et pour une fois, il n’y avait peu à interpréter, car aucune requête ne sortait vers OpenAI ou un autre service externe : cette réponse provenait de l’ordinateur situé à un demi-mètre de moi.

Après des jours de téléchargements et de tentatives infructueuses, la dépense de 16 000 tokens pour en générer cinq semble dérisoire, mais cela illustre bien l’état actuel de l’intelligence artificielle domestique en 2026. Le modèle est viable sur un ordinateur domestique et peut même devenir un assistant autonome. Le véritable défi commence lorsqu’on essaie d’y parvenir, car il faut concilier mémoire, espace de stockage, carte graphique, autorisations et une dizaine de programmes qui se mettent à jour chacun de leur côté. Un simple changement d’option d’une version à l’autre peut faire tomber toute la chaîne.

La question initiale était : ce mini PC de 64 Go de mémoire et d’un disque de 1 To peut-il devenir ma machine pour l’intelligence artificielle ? Je souhaitais une machine capable de garder en mémoire les conversations passées, de travailler sur mes fichiers, d’ouvrir le navigateur à ma place et de répondre sur mon téléphone pendant que je ne suis pas dans la même pièce. Les enregistrements à programmer m’importaient peu.

Le système de test, cette scatoline noire, était un ASUS NUC 16 Pro, avec 64 Go de mémoire, un disque de 1 To, Windows et une carte graphique intégrée Intel Arc B390. Les chiffres et vitesses que vous lirez dans les prochaines pages proviennent de ma configuration et ne doivent pas être interprétés comme des performances garanties pour chaque NUC.

La tentation des 744 milliards

Tout a commencé par une promesse difficile à ignorer : faire fonctionner GLM-5.2, un modèle de 744 milliards de paramètres, sur la mémoire d’un ordinateur domestique. Le programme le permettant s’appelle Colibri, et son principe est astucieux. De tels modèles ne requièrent pas leur capacité totale à chaque réponse, car ils sont divisés en sous-modèles spécialisés et n’activent qu’une petite partie à la fois. Colibri exploite cette approche, considérant le disque, la mémoire et la carte graphique comme trois niveaux d’un même entrepôt : il garde à portée de main les éléments fréquemment utilisés et va rechercher les autres au fond de l’entrepôt lorsque nécessaire.

Bien que le slogan “744 milliards de paramètres avec 25 Go de RAM” soit vrai, il ne raconte pas toute l’histoire, car ces 25 Go de mémoire nécessitent 399,8 GiB de fichiers sur le disque. Pour installer le modèle sans stress, au moins 550 GiB d’espace libre sont nécessaires, en tenant compte des programmes, des fichiers temporaires et de la marge pour Windows. Le disque de 1 To était suffisant, mais si je devais utiliser Colibri quotidiennement, j’envisagerais d’acheter un second disque dédié.

Le processus de téléchargement est devenu une partie de l’expérience, car près de 400 GiB de fichiers ne sont pas le type de contenu que l’on souhaite recommencer en cas de problème de connexion à trois quarts du chemin. La procédure devait reprendre là où elle s’était arrêtée, reconnaître les fichiers déjà reçus et s’assurer qu’ils n’étaient pas corrompus. Lorsque j’ai terminé le téléchargement, j’avais déjà appris une première leçon utile : sur une machine comme celle-ci, le disque fait partie des calculs en même temps que le processeur, au lieu de se limiter à stocker des fichiers.

Le premier test a eu lieu à la vitesse d’une télétype

Le premier test complet a occupé environ 43,8 Go de mémoire et a produit 175 tokens en un peu plus de 303 secondes, soit 0,58 token par seconde. Voir un modèle de cette envergure démarrer sur une machine que l’on peut tenir dans une main est impressionnant. Cependant, la lecture des réponses demandait du temps, les mots arrivant un à un comme un télétype, me laissant me demander si le suivant allait jamais apparaître.

Le modèle fonctionnait, c’est indiscutable, mais cela ne signifiait pas qu’il pouvait remplacer ChatGPT, Claude ou Gemini pour le travail quotidien. Colibri reste un outil précieux pour étudier la structure de ces modèles et conserver certaines données en local. Sur mon NUC, un assistant ayant dix ou vingt mille tokens d’instructions aurait pu mettre des dizaines de minutes à lire les commandes, le rendant en pratique inutilisable, sauf à lui passer un ordre le soir et espérer qu’il le réalise le matin sans erreur.

Puis j’ai activé la carte graphique

La prochaine étape semblait évidente, à savoir faire également travailler la carte graphique intégrée, l’Intel Arc B390. Malheureusement, une carte énumérée dans les spécifications n’est pas toujours en mesure d’être utilisée efficacement par un seul programme. La version stable de Colibri ne la prenait pas en charge, et j’ai dû passer à une version expérimentale, encore à compiler manuellement.

J’ai passé une soirée à établir l’environnement de compilation et à chasser une bibliothèque système que le programme ne pouvait pas trouver. Je vous épargne les détails, qui n’ajoutent rien à l’histoire. Quand tout a finalement fonctionné avec la carte graphique impliquée, j’espérais un progrès significatif, mais j’ai obtenu 0,63 token par seconde contre 0,58 avec le seul processeur, avec quelques retardements lorsque je déplaçais un nombre différent de sous-modèles vers la carte.

La carte graphique ne travaillait pas pour rien, comme en témoignaient les consommations, et gains restaient dans la marge d’erreur. Les morceaux du modèle continuaient de circuler entre le disque et la mémoire, et cette circulation consumait tout avantage lié à la capacité de calcul accrue. Depuis ce jour, je regarde d’un œil encore plus critique les TOPS affichés dans les présentations, qui mesurent combien de calculs par seconde un puce peut effectuer : cela compte quand le logiciel sait les utiliser et quand les données arrivent à temps, ce qui n’était pas le cas ici.

Quand j’ai cessé de poursuivre le nombre le plus élevé

À ce stade, j’ai changé de question. Plutôt que de demander combien je pouvais tirer du NUC, je me suis demandé quel modèle pourrait le rendre utile pour moi. J’ai d’abord essayé Qwen 3.6 dans sa version de 35 milliards de paramètres (MoE, c’est-à-dire Mixture of Experts), téléchargé en neuf minutes et installé sans incident, avant de passer à la version de 27 milliards, plus petite sur le papier et plus adaptée à l’utilisation que j’envisageais.

La différence s’est fait sentir avant même de la mesurer. Le NUC n’était pas devenu un centre de données du jour au lendemain, mais désormais modèle, mémoire et carte graphique fonctionnaient ensemble, et les réponses arrivaient à une vitesse qui ressemblait à une conversation. Un des diagnostics continuait à signaler qu’aucune carte graphique n’était détectée, alors que le modèle tournait clairement dessus. J’ai choisi de faire confiance aux tests pratiques plutôt qu’à cette ligne de log, et j’ai eu raison.

Le fichier du modèle était compressé, ce qui est le truc qui permet de tenir quelque chose comme ça dans une vingtaine de Go plutôt qu’en quatre-vingts. Sur mon système, j’ai mesuré 9,5 tokens par seconde dans la lecture des questions et 5,4 dans l’écriture des réponses. Nous sommes encore loin de la vitesse du cloud, mais c’est environ la limite en dessous de laquelle une conversation ne ressemble plus à une conversation, donc pour ce que j’avais à faire, cela fonctionnait parfaitement.

Les performances observées sur mon NUC

Nombres recueillis sur la machine décrite ci-dessus, avec les journaux à l’appui. Ce n’est pas une comparaison de laboratoire et n’a pas la prétention de l’être.

Le composant manquant d’un chat

Avec Qwen, j’avais enfin une intelligence artificielle digne de ce nom à la maison et une interface web pour interagir avec. Cependant, il ne s’agissait que d’un chat comme les autres, avec du texte entrant et sortant. Pour réaliser un véritable travail, il était nécessaire d’ajouter une couche logicielle appelée agent harness, qui gère la mémoire de l’assistant, les outils qu’il peut utiliser et les autorisations que vous lui accordez. J’ai opté pour Hermes Agent de Nous Research, un projet open source qui réunit tous ces éléments dans un même environnement.

La liaison entre ces deux éléments repose sur une convention peu en vue mais essentielle. Le programme qui gère Qwen parle le même langage que les services d’OpenAI, donc Hermes n’a pas besoin de connaître les spécificités de ma carte graphique ou le format du fichier. C’est cette convention, bien plus qu’une interface graphique, qui me permet de changer le modèle sans avoir à redémarrer l’agent.

J’ai attribué au modèle une mémoire de travail de 65 536 tokens, qui est le maximum qu’il peut retenir lors d’une conversation, et ce n’est pas ce qu’il consomme à chaque message. Cependant, Hermes commence avec un manuel très chargé, et ces 16 077 tokens initiaux s’additionnent à chaque fois que j’ouvre une session. Avant que le modèle ne commence à rédiger, je dois attendre qu’il termine de lire, et c’est la période d’attente que personne n’inclut dans ses tableaux.

Le jour des quatre corrections

Racontée a posteriori, l’installation semble presque ordonnée. Ce jour-là, elle était beaucoup moins organisée, et j’ai dû retravailler le programme d’installation quatre fois en quelques heures.

Un des problèmes était un contrôle excessif. Deux paramètres facultatifs manquaient, la configuration était parfaitement valide, mais l’installateur interprétait ce vide comme une erreur et se bloquait. J’ai réécrit cette partie pour que la procédure puisse être relancée autant de fois qu’il le faut sans causer de problèmes. C’est une vertu souvent sous-estimée : si le système fonctionne correctement, la meilleure chose qu’un programme puisse faire est de le laisser tranquille.

Quand il semblait que c’était enfin terminé, la liaison avec le chat passait un paramètre que la nouvelle version n’acceptait plus, et j’ai dû l’enlever. Pendant ce temps, une fenêtre de navigateur s’est ouverte, semblant bloquer encore une fois le tout, mais il suffisait de la fermer : l’installation a finalement abouti.

On pourrait considérer ces incidents comme des aléas normaux, mais ce serait une façon trop simple d’oublier la partie la plus instructive de la semaine. Aucun des blocages n’avait à voir avec l’intelligence du modèle ou la puissance du PC. Tous étaient des décalages entre programmes : une version mise à jour d’un côté et pas de l’autre, un dossier mal placé, un paramètre facultatif erroné. Les composants individuels de l’intelligence artificielle locale sont déjà très performants, mais la façon dont ils s’imbriquent reste un travail artisanal, et c’est là que réside l’éloignement d’un produit pour tous.

Au final, quel établi avais-je créé ?

Sur le NUC, cohabitent deux niveaux. Qwen sert de moteur, et au-dessus, il y a Hermes, qui ajoute l’interface, la mémoire des conversations, l’accès aux fichiers et au terminal, le navigateur et les tâches programmées. J’ai créé un dossier dédié et placé sur le bureau trois raccourcis pour ne pas avoir à le chercher à chaque fois.

Je ne me suis pas fié à la vérification la plus évidente, qui aurait été de demander à l’assistant combien de tokens il avait consommés ; à la place, j’ai consulté les compteurs du programme local avant et après une requête, et ils ont augmenté de 16 077 tokens lus et 5 générés.

La diagnostique interne d’Hermes a passé en revue une liste exhaustive de composants et m’a signalé de nombreux services cloud non configurés. Je ne les ai pas considérés comme des erreurs, car je n’en avais pas besoin pour vérifier le fonctionnement en local. Pour la navigation, le navigateur déjà installé était suffisant, et je ne pariais plus une livre dessus.

Puis je lui ai écrit via Telegram

La phase qui a modifié la nature de l’expérience est survenue lorsque j’ai créé un bot Telegram, restreignant l’accès à mon seul compte, et j’ai demandé à Hermes un récapitulatif des actualités en intelligence artificielle de la semaine pour ma newsletter. L’expliquer demande une ligne, le réaliser requiert de trouver les sources, de les ouvrir une par une, gratter le contenu, le résumer et le renvoyer dans la chat.

Pendant une demi-heure, rien de rassurant ne s’est produit. La première tâche planifiée est restée abrégée et a été annulée d’office. Lors du deuxième essai, l’assistant a annoncé que le modèle ne répondait plus, tandis que le navigateur ouvrait des fenêtres qui restaient obstinément blanches. Aucun des services de recherche payants n’était configuré, donc ma première évaluation a été hâtive et erronée : il manquait un véritable moteur de recherche, sans ça, aucune issue.

J’avais déjà un commande prête pour ajouter un moteur de recherche gratuit, et je ne l’ai pas lancée, plutôt par paresse que par méthode. Dans l’intervalle, Hermes avait recommencé à travailler avec les ressources disponibles, utilisant le navigateur installé, et m’a livré douze nouvelles correctement classées par thème, chacune avec date, source et lien. Le message était si long que Telegram l’a coupé en deux, et sur l’écran de mon téléphone, après tous ces essais infructueux, le résultat semblait disproportionné par rapport à la taille de l’ordinateur qui l’avait généré.

Le récapitulatif préparé par le NUC et transmis via Telegram. Dans le premier message, on trouve les nouvelles sur la sécurité et le début de la section sur les affaires.

Il restait la vérification la plus ennuyeuse de la journée, qui est aussi l’unique qui compte vraiment : un lien peut parfaitement s’ouvrir et mener à une page qui contredit le résumé. J’ai réouvert tous douze liens un à un et ai trouvé de vraies pages, avec des titres et des dates correspondants : le récapitulatif était utilisable.

Ce test m’a forcé à réajuster mon évaluation d’il y a une demi-heure. Sur cette configuration, l’assistant pouvait chercher sans aucun service payant, en passant par le navigateur, lentement certes, mais il y parvenait. Lorsqu’un système est composé de multiples strates, les fenêtres blanches et les messages d’erreur en disent souvent moins qu’il n’y paraît. La tentation de mettre la main à la pâte au premier silence peut risquer de briser quelque chose qui est déjà en train de se remettre sur ses pieds.

Où finit le local

Dire que mes questions et mes calculs restent sur le NUC est correct tant que je travaille avec le modèle et les fichiers que j’ai à domicile. Cependant, un agent ne vit pas dans une cloche en verre : lorsqu’il ouvre un site, la requête sort sur Internet, et quand je lui écris via Telegram, les messages passent par les serveurs de Telegram, comme tous les autres. La notion de “local” indique où le calcul du modèle a lieu, mais ne décrit pas automatiquement le parcours des données, ce qui est une précision moins attractive qu’un slogan sur la confidentialité, mais elle doit être faite.

Il y a également la question des autorisations que vous lui accordez. Hermes fonctionne sous Windows avec les mêmes droits que mon compte. La création d’un dossier séparé, les confirmations requises avant des actions délicates et les points de restauration réduisent les risques potentiels, sans pour autant l’enfermer dans une cage. Un assistant ayant accès au terminal est utile proportionnellement à sa capacité d’interaction avec des éléments réels, et le fait d’avoir supprimé le fournisseur externe ne me libère pas de décider jusqu’où je veux lui permettre d’aller.

Leçons tirées de cette expérience

L’importance du trafic des données

Colibri prouve qu’un modèle de 744 milliards de paramètres peut être livré sur du matériel accessible à tous, mais à 0,58 token par seconde, cette démonstration reste un simple exercice. Qwen 3.6 27B a rendu le NUC bien plus fonctionnel que GLM-5.2, car la taille, la compression, le logiciel et la vitesse de la mémoire jouent tous un rôle. Un géant contraint d’opérer presque exclusivement sur le disque perd face à un modèle bien plus petit qui reçoit les données au bon rythme, sans nécessiter de carte graphique dédiée. Il va simplement plus lentement.

L’attente avant le premier mot

Les 5,4 tokens par seconde de Qwen sont une vitesse respectable, et le manuel d’instructions d’Hermes contenait 16 077 tokens à lire avant d’en générer cinq. Dans les systèmes qui fonctionnent seuls en local, le temps de lecture pèse souvent plus que le temps d’écriture, donc se concentrer seulement sur les tokens générés par seconde ne reflète qu’une partie du tableau.

Les standards invisibles qui soutiennent tout

L’interface web est pratique, et le programme local expose ses fonctions, tout comme les services cloud, car grâce à cela, Hermes traite Qwen comme un fournisseur ordinaire, tout en restant dans le NUC. Je peux remplacer le moteur sans devoir jeter volant, tableau de bord et mémoire de l’agent.

L’installation reste la partie la moins soignée

J’ai revu le programme d’installation à quatre reprises en quelques heures, presque toujours à cause de différences entre versions ou de comportements de Windows. Les téléchargements qui reprennent d’eux-mêmes, les contrôles d’intégrité, les restaurations et les diagnostics honnêtes devraient rester invisibles, si l’intelligence artificielle locale souhaite quitter le domaine des passionnés. Et au sujet des diagnostics trompeurs : une fenêtre blanche et un message d’erreur de connexion semblaient confirmer le même problème, mais ce n’était pas le cas. Lorsque modèle, navigateur et canal distant cohabitent, chaque couche peut paraître inactive tandis qu’une autre est en train de récupérer des informations.

Je n’ai pas trouvé une nouvelle religion

Je n’ai aucune intention de déplacer tout du cloud vers le local, ni vice versa. Sur le NUC, je garde volontiers des documents sensibles, des travaux répétitifs, des mémoires personnelles et des tâches aux coûts prévisibles. Pour les modèles plus puissants, une gestion adéquate de la recherche sur le web, et pour des pics de travail, le cloud conserve un avantage énorme. La solution sensée sera mixte et dirigera chaque tâche là où cela est le plus approprié, une conclusion peu héroïque, mais qui me semble la seule défendable.

L’ordinateur adjacent à mon bureau a changé de métier

Après l’expérience, le chiffre qui m’intéresse le moins est le plus impressionnant, à savoir les 744 milliards de paramètres exécutés sur un mini PC. C’est une belle démonstration technique qui peut prêter à confusion. Ce qui est véritablement nouveau réside dans l’ensemble : un modèle suffisamment puissant, couplé à une mémoire, à des outils, à un navigateur et à une méthode d’accessibilité alors que je suis hors de chez moi. Rassemblés, ces morceaux sont capables d’effectuer et de mener à bien une tâche.

Nous sommes encore loin d’un système général acceptable. Il faut de l’espace sur le disque, de la mémoire libre, de la patience, et une certaine tolérance pour l’utilisation du terminal Windows que je ne peux pas attendre de tout le monde : il faut être un peu “nerd” à l’intérieur, je l’admets. Cependant, cela ne reste plus un passe-temps réservé uniquement aux professionnels de la programmation, car même moi, sexagénaire avec un baccalauréat classique, un diplôme en économie et aucune expérience de programmation, j’ai pu, en quelques jours, faire émerger de cet ordinateur un assistant capable de répondre sur mon téléphone, d’ouvrir des pages et de me proposer un texte à vérifier.

La question qui me préoccupe maintenant ne porte plus sur la faisabilité, car j’ai vu cela de mes propres yeux et, malgré tous ses défauts, cela fonctionne. Elle concerne plutôt les tâches qu’il serait légitime de confier à une machine comme celle-ci, celles qu’il serait plus judicieux de garder dans le cloud, et celles que je ne déléguerais de toute façon ni à l’un ni à l’autre. Concernant cette dernière catégorie, mes idées sont aujourd’hui beaucoup moins nettes que ce qu’elles étaient une semaine auparavant.

Comme vous l’avez peut-être compris, je me suis passionné pour le sujet de l’IA locale ces derniers mois, si bien que j’ai même récemment tenté des expériences avec une DGX Spark (un niveau de performance différent, mais aussi un coût différent).

Puis, si vous souhaitez approfondir ce sujet, j’ai créé un blog dédié aux néophytes, intéressés par l’exploration des modèles locaux, et pourquoi pas en tentant quelques expériences par eux-mêmes. Vous pourrez le trouver ici : RunLocal.blog, n’hésitez pas à y jeter un œil si vous êtes curieux.