Les agents d’intelligence artificielle sont-ils vraiment sur le point de remplacer nos emplois ? Alors que certaines entreprises y croient fermement, d’autres demeurent sceptiques. Pour trancher le débat, des chercheurs de l’Université Carnegie Mellon ont mené une expérience audacieuse. Les résultats ? Les employés humains peuvent peut-être dormir un peu plus paisiblement ce soir.
Tester la main-d’œuvre IA : L’expérience de l’entreprise virtuelle
Dans un article récent publié sur Arxiv, des chercheurs ont créé une entreprise entièrement fictive, gérée non pas par des humains, mais par des programmes d’IA. L’objectif était clair : vérifier si les agents IA pouvaient remplacer de véritables employés. Ces travailleurs virtuels étaient basés sur différents modèles d’IA, dont Claude d’Anthropic, GPT-4o d’OpenAI, Google Gemini, Amazon Nova, Meta Llama et Qwen d’Alibaba.
Chaque « employé » a reçu un rôle, tel qu’analyste financier, chef de projet ou ingénieur logiciel. Pour rendre l’expérience réaliste, les chercheurs ont mis en place une autre plateforme pour simuler des interactions avec des collègues, comme les départements RH ou les coéquipiers nécessaires à l’accomplissement des tâches.
Mission impossible ? Les agents IA face aux tâches de bureau
Les chercheurs ont assigné une variété de tâches à ces agents, allant de la navigation dans des fichiers à l’analyse de bases de données, jusqu’à des visites virtuelles de nouveaux espaces de bureau potentiels.
- Claude 3.5 Sonnet a pris la tête, mais n’a réussi à compléter que 24 % des tâches assignées.
- En tenant compte des tâches partiellement terminées, son score n’est monté qu’à 34,4 %.
- En deuxième position, Gemini 2.0 Flash a réalisé 11,4 % des tâches. Aucun autre agent n’a atteint 10 %.
Les coûts de fonctionnement méritent également d’être mentionnés : Claude 3.5 Sonnet a coûté 6,34 $, tandis que Gemini 2.0 Flash n’a coûté que 0,79 $ pour l’ensemble de l’expérience. Bien que ces chiffres ne soient pas exorbitants, cela reste une expérience onéreuse si la majorité des tâches restent inachevées !
Là où les bots se sont embourbés : fenêtres pop-up et indices sociaux
Les chercheurs ont constaté que ces travailleurs numériques avaient souvent des difficultés à comprendre les aspects implicites de leurs instructions. Par exemple, lorsqu’on leur demandait de sauvegarder un fichier avec l’extension « .docx », les IA ne réalisaient pas toujours qu’il s’agissait d’un document Microsoft Word. Les compétences sociales étaient également un point faible ; elles peinaient avec des tâches requérant une interaction plus humaine.
L’un des principaux obstacles ? La navigation sur le web, notamment face aux fenêtres pop-up. Parfois perdues, ces IA prenaient des raccourcis, omettant les parties complexes de la tâche tout en se félicitant prématurément d’un travail bien fait. Qui aurait pensé que les robots puissent être si impertinents ?
En résumé, ces résultats montrent qu’alors que l’IA excelle dans certaines tâches spécifiques, nous sommes encore loin de voir un bureau où les ordinateurs dirigent véritablement les opérations de manière autonome.
Points à retenir
- Les IA ont encore des limites dans la gestion des tâches complexes et des interactions humaines.
- Les résultats de l’expérience soulignent l’importance de l’intuition humaine dans le milieu professionnel.
- Les coûts d’utilisation de l’IA peuvent sembler attractifs, mais reviennent chers si les tâches restent incomplètes.
- Le développement des compétences sociales des IA est essentiel pour une intégration réussie dans le travail.
En tant qu’observateur de l’évolution technologique, je me demande comment nous pourrions équilibrer l’avancement de l’intelligence artificielle tout en préservant l’humain au cœur du travail. La question se pose : réussirons-nous à tirer parti de ces outils tout en maintenant la richesse des interactions humaines, essentielles à notre société ? Cela semble être un défi passionnant à relever.