Jacob Coxon, un chercheur en intelligence artificielle ayant travaillé sur l’entraînement de modèles chez OpenAI, a récemment annoncé sa démission d’Anthropic, préoccupé par le développement risqué de cette technologie. Sur son compte X, il a écrit : “J’ai passé les trois dernières années à faire de la recherche en pré-entraînement tant chez OpenAI qu’Anthropic. Aucune de ces deux entreprises n’agit de manière responsable. Elles se dirigent tout droit vers une superintelligence auto-améliorante et jouent avec nos vies.”
Coxon a lancé un avertissement : “Ne sous-estimez pas la puissance de cette technologie. Bientôt, nous aurons des systèmes surhumains capables de pirater n’importe quoi, de révolutionner des domaines du jour au lendemain et d’acquérir des ressources tangibles.” Il a même affirmé que ceux qui construisent l’IA croient sincèrement qu’elle pourrait provoquer notre extinction d’ici la fin de la décennie. “Ce n’est pas une simple manœuvre marketing — a-t-il averti —. Beaucoup d’exécutifs et de chercheurs modèrent leur langage en public pour avoir l’air sensés, mais je les entends exprimer leurs craintes en privé. Aucune autre activité humaine ne représente un tel niveau de danger.”
“Accepter cette course et entrer dans l’’endgame’ est une prise de risque qu’il ne faut pas aborder à la légère.”
Bien qu’il ait travaillé dans les deux entreprises, Coxon estime qu’Anthropic adopte une approche plus responsable. “Chez OpenAI, beaucoup n’ont pas vraiment intégré les implications civilisationnelles. Chez Anthropic, on comprend mieux les enjeux, mais ils se sentent pris dans une compétition pour être les premiers ; ils pensent qu’ils doivent agir seuls de manière responsable, malgré les risques,” a-t-il déclaré. Pour lui, “accepter cette course et entrer dans l’‘endgame’ est une prise de risque qu’il ne faut pas aborder à la légère.”
Coxon se dit “optimiste quant aux possibilités de coordination”, car des signaux d’alerte, comme l’attaque de Hugging Face par une IA d’OpenAI, ont rendu les accords entre laboratoires américains plus viables. Cependant, il ne croit pas que nous soyons sur la bonne voie pour éviter une course mondiale, ce qui pourrait nécessiter des actions coûteuses, telles qu’une interdiction temporaire d’améliorer les capacités des modèles.
Dans sa réflexion sur sa démission et ses préoccupations, il invite les chercheurs de laboratoire à considérer comment ils se sentiront dans les années à venir : “Souhaitez-vous démarrer une procédure d’apprentissage par renforcement superintelligent sans une compréhension approfondie de la manière dont cela fonctionne ? Devrait-on rester silencieux parce que ‘de toute façon, cela se produit’ ou profiter de ce moment pour demander des conditions différentes ?”
Un de ses collègues, Evan Hubinger, qui étudie les tests de résistance des modèles d’IA chez Anthropic, partage ses inquiétudes. “Jacob a raison, nous croyons réellement que l’IA pourrait mettre fin à tous les humains.” Personnellement, Hubinger estime cette probabilité à plus de 10 % dans la prochaine décennie. “Je pense qu’Anthropic fait de son mieux, mais nous n’avons pas encore de plan pour résoudre le problème de l’alignement avec la superintelligence, et nous ne sommes pas clairement en bonne voie pour y parvenir,” a-t-il ajouté. Ce qui l’inquiète le plus, c’est la capacité de l’IA à s’améliorer en continu : “Je crains la superintelligence qui émerge de l’auto-amélioration récursive, comme nous l’avons dit, elle évolue plus rapidement que prévu.”
Points à retenir
- Jacob Coxon souligne la nécessité d’une responsabilité accrue lors du développement de l’IA.
- Les technologies d’IA pourraient rapidement évoluer vers des systèmes surhumains, posant de sérieux risques.
- Il existe des préoccupations croissantes sur le manque d’alignement entre les objectifs des entreprises et les enjeux civilisationnels.
- Les chercheurs sont encouragés à évaluer leurs responsabilités et à revendiquer des développements plus prudents.
- Evan Hubinger partage une vision pessimiste quant à l’avenir de l’IA sans plan d’alignement clair.
À la lumière de ces réflexions, je ne peux m’empêcher de m’interroger sur l’avenir de cette technologie. Comment devrions-nous naviguer dans cette ère incertaine de l’intelligence artificielle tout en cherchant à maximiser ses bénéfices tout en minimisant ses risques ? Ce débat mérite une attention soutenue et une réflexion collective.