Systèmes d’IA : Vers une autonomie accrue et une meilleure supervision
Les systèmes d’intelligence artificielle (IA) gagnent en puissance exponentielle et commencent à automatiser une partie considérable du processus qui leur permet de se développer. Alors que le monde envisage de ralentir le rythme des avancées en matière d’IA, le besoin d’informations par le public devient crucial.
Dans cet article, nous présentons des outils de mesure qui éclaircissent trois aspects essentiels du développement de l’IA :
- La mesure dans laquelle l’IA crée sa propre version, plutôt que d’être construite par des humains.
- Notre capacité à superviser et intervenir dans les actions des agents IA dans les systèmes d’Anthropic.
- Les ressources nécessaires au développement de modèles de plus en plus performants.
Nous fournissons également un aperçu de ces métriques issues d’Anthropic. Il convient de noter que ces chiffres devraient évoluer si un consensus se forme sur le rythme du développement, comme l’a suggéré Dario Amodei, le PDG d’Anthropic. Nous prévoyons d’intégrer des évaluateurs tiers indépendants provenant de plusieurs organisations au sein d’Anthropic, leur donnant accès à nos processus internes, systèmes et données, similaires à ceux de nos équipes d’évaluation des risques. Ces tiers vérifieront nos pratiques de sécurité, rapporteront des incidents, et surveilleront des indicateurs clés comme ceux présentés ici.
Ces mesures sont nécessaires pour améliorer la visibilité des gouvernements, du public et des acteurs tiers sur le rythme du développement de l’IA au sein des laboratoires de pointe. Pour chaque mesure, nous expliquons ce qui a été mesuré, ce que cela a révélé et ce qu’il faudrait pour publier ces mesures régulièrement de manière vérifiable par les autres. Les détails méthodologiques sont disponibles en annexe.
Mesurer l’IA dirigée par l’IA
Pourquoi mesurer l’IA dirigée par l’IA ? Les laboratoires d’IA de pointe utilisent de plus en plus l’IA pour concevoir de futurs modèles. Cette méthode permet de développer des modèles plus performants plus rapidement dans les démocraties et de tester leur sécurité avant leur lancement. Cependant, une I.A qui accélère son propre développement pourrait compliquer la compréhension et le contrôle que les humains ont sur ces systèmes. Il est donc essentiel de partager ces métriques pour déterminer à quel point nous sommes proches d’une amélioration récursive autonome.
Ce que nous avons mesuré. Nous avons élaboré un indice prototype pour évaluer dans quelle mesure la recherche et le développement (R&D) chez Anthropic sont réalisés par Claude, que nous appelons l’Indice d’Automatisation R&D d’Anthropic. Cet indice est constitué d’un inventaire de chaque type de travail de R&D effectué dans l’entreprise, noté selon le niveau d’automatisation de chaque tâche.
Ce que nous avons trouvé. Pour évaluer la mesure dans laquelle l’IA participe à la R&D chez Anthropic, nous avons utilisé une échelle d’évaluation de l’automatisation développée par Epoch AI qui évalue le « Niveau d’Automatisation », allant de AL0 (aucune implication de l’IA) à AL5 (IA fonctionne de manière totalement autonome). Au mois d’août 2026 :
- Claude n’opère pas de manière totalement autonome pour toutes les tâches de R&D mesurées.
- Claude « dirige » 26 % des travaux de R&D d’Anthropic.
- Plus de 90 % du travail est à un niveau où « l’IA collabore » ou plus.
Informations qu’un développeur IA pourrait rapporter aujourd’hui. Tout développeur travaillant à la pointe de la technologie pourrait publier ces mesures régulièrement, en utilisant une méthodologie publique. Cela permettrait de comparer les chiffres dans le temps, voire entre différents laboratoires.
Cependant, deux obstacles se dressent contre cette comparaison inter-laboratoires. Le premier est l’absence d’une méthodologie commune, et le second concerne l’évaluation de nos propres modèles, ce qui pourrait provoquer des biais. Un tiers pourrait vérifier ces mesures ou d’autres modèles de développeurs, avec des garde-fous pour limiter l’échange de données sensibles. Ces mesures pourraient aussi devenir le déclencheur d’exigences plus strictes, telles qu’une fenêtre de test fixe avant l’utilisation d’un nouveau modèle pour des recherches ultérieures.
Mesurer la supervision des agents IA
Pourquoi mesurer la supervision des agents ? Comme d’autres développeurs de pointe, les employés d’Anthropic délèguent de plus en plus de tâches à des agents opérant semi-autonomie, et ces agents peuvent également déléguer entre eux. À mesure que l’automatisation progresse, il est fondamental de garantir que ces agents ne prennent pas de décisions nuisibles pouvant impacter la recherche.
Il est donc nécessaire d’établir des garde-fous et une supervision pour détecter les éventuels problèmes qui pourraient survenir avec le temps. Jusqu’à présent, nos données de surveillance montrent que ces agents n’ont pas souvent de comportement inapproprié, mais lorsque des millions d’agents interagissent, même les événements rares peuvent se produire régulièrement.
Ce que nous avons mesuré. Nous avons mis en place un système qui nous permet de surveiller et d’intervenir sur les actions des agents IA dans les systèmes d’Anthropic. Nous avons considéré trois indicateurs clés : couverture, latence de révision, et taux d’escalade pour suivre et évaluer les activités de ces agents.
Ce que nous avons trouvé. En août 2026, il y avait environ 30 000 agents effectuant des travaux de recherche et d’ingénierie sur notre plateforme interne la plus utilisée. Les mesures suivantes concernent uniquement cette plateforme :
| Moniteurs en ligne | Moniteurs hors ligne | |
| Description | Les moniteurs en ligne vérifient les actions des agents en temps réel pour bloquer des actions dangereuses ou orienter tout comportement inapproprié automatiquement. | Les moniteurs hors ligne examinent les activités des agents a posteriori afin de détecter des comportements dangereux se développant prudemment. |
| Couvreur | 100 % des actions des agents passent par le moniteur en ligne avant leur exécution. | 100 % des actions des agents sont examinées par le moniteur après leur réalisation. |
| Latence de révision | La révision automatisée se produit avant que l’agent n’agisse ; les actions bloquées par des agents sont examinées par des humains dans un délai d’une semaine. | Le moniteur signale environ 100 000 transcriptions par semaine pour révision humaine. |
| Taux de blocage / d’escalade | Nous avons analysé plus d’un milliard de décisions de recherche et d’ingénierie d’agents ; 0,002 % ont été bloquées. | Le moniteur identifie environ un à deux transcriptions pour révision supplémentaire. |
Ce qu’un développeur IA pourrait rapporter aujourd’hui. Tout développeur d’agents dans son propre environnement de recherche pourrait publier les mêmes mesures : couverture, latence de révision et taux d’escalade, permettant ainsi de suivre si la supervision suit le rythme croissant de l’IA dans la recherche et le développement.
Mesurer l’allocation des ressources de calcul
Pourquoi mesurer l’allocation des ressources de calcul ? Généralement, les développeurs d’IA utilisent des ressources de calcul pour construire des modèles plus performants, servir les clients et s’attacher à la sécurité, comme l’audit des réflexions d’un modèle ou l’analyse de l’alignement. Comprendre comment ces ressources sont allouées donne des indications sur les priorités d’un développeur et les évolutions possibles.
De plus, les ressources de calcul sont parmi les entrées les plus vérifiables, d’où leur importance dans une future harmonisation des efforts. Cela pourrait encourager davantage d’entreprises à consacrer plus de ressources à la sécurité et à l’alignement.
Ce que nous avons mesuré. Nous avons examiné comment Anthropic a utilisé ses ressources de calcul du 13 au 20 juillet. Pour ce faire, nous avons trié toutes les charges de travail dans différentes catégories et avons évalué quelle part des ressources de calcul dédiée à la R&D concernait la sécurité.
Ce que nous avons trouvé. Au cours de cette semaine, environ 6 % des ressources de calcul allouées à la R&D étaient destinées à la sécurité, tandis que 12 % des ressources pour l’IA dirigeant la R&D allaient vers la sécurité.
Ce qu’un développeur IA pourrait rapporter aujourd’hui. Tout développeur de pointe pourrait rapporter quelle part de ses ressources est dédiée à la sécurité, avec des définitions de catégorie publiées en accompagnement et une vérification par un tiers indépendant.
Conclusion À mesure que le monde envisage d’harmoniser le développement de l’IA, il est indispensable de réduire le fossé entre les connaissances des laboratoires avancés et celles du public. Cela implique une meilleure mesure des développements en cours, des rapports publics sur ces mesures, et une opportunité pour la société de décider de l’exploitation de ces informations. Nous espérons incarner cette transparence en publiant ces mesures et continuerons à le faire.
Points à retenir
- Les systèmes d’IA deviennent de plus en plus autonomes dans leur développement.
- Des outils de mesure sont développés pour suivre les progrès et la sécurité dans la R&D d’IA.
- La transparence devient cruciale pour maintenir une supervision adéquate des agents IA.
- Un partage de données entre laboratoires pourrait encourager une meilleure collaboration et sécurité.
- Les ressources de calcul sont un indicateur clé des priorités stratégiques des développeurs d’IA.
En tant qu’observateur passionné des évolutions technologiques, je reste partagé entre l’excitation des avancées offertes par l’IA et l’importance croissante de la régulation. Comment garantir que nos innovations servent effectivement l’humanité dans son ensemble ? La route à parcourir est complexe, mais chaque pas vers une plus grande transparence et une responsabilité accrue serait un pas dans la bonne direction.