L’intelligence artificielle générative peut sembler magique, mais son développement repose sur un grand nombre d’employés dans des entreprises comme Google et OpenAI, connus sous le nom d’« ingénieurs de prompts » et d’analystes, qui évaluent l’exactitude des réponses des chatbots pour améliorer leur intelligence artificielle.
Cependant, une nouvelle directive interne de Google à l’intention des sous-traitants travaillant sur Gemini, dont les détails ont été révélés par un article de TechCrunch, soulève des inquiétudes quant à la capacité de Gemini à fournir des informations précises sur des sujets sensibles, comme la santé, pour le grand public.
Dans le cadre de l’amélioration de Gemini, les sous-traitants collaborant avec GlobalLogic, une société d’externalisation détenue par Hitachi, sont régulièrement sollicités pour évaluer les réponses générées par l’IA en fonction de critères tels que la « véracité ».
Jusqu’à récemment, ces sous-traitants pouvaient « ignorer » certains prompts, ce qui leur permettait de ne pas évaluer diverses réponses rédigées par l’IA, surtout si le sujet était en dehors de leur domaine d’expertise. Par exemple, un sous-traitant pouvait passer une question spécialisée en cardiologie s’il n’avait pas de formation scientifique.
Cependant, la semaine dernière, GlobalLogic a annoncé un changement initié par Google, stipulant que les sous-traitants ne sont plus autorisés à ignorer de tels prompts, quelle que soit leur expertise individuelle.
Une correspondance interne consultée par TechCrunch montre que les directives précédentes indiquaient : « Si vous n’avez pas d’expertise critique (par exemple, en programmation, en mathématiques) pour évaluer ce prompt, veuillez sauter cette tâche. »
Les nouvelles directives stipulent désormais : « Vous ne devez pas sauter les prompts qui nécessitent des connaissances spécialisées. » Les sous-traitants sont donc invités à « évaluer les parties du prompt qu’ils comprennent » et à indiquer qu’ils n’ont pas de connaissances dans le domaine en question.
Cela a suscité des inquiétudes directes concernant la précision de Gemini sur certains sujets, alors que les sous-traitants doivent parfois évaluer des réponses techniques de l’IA concernant des problèmes tels que les maladies rares, bien qu’ils n’aient pas d’expertise dans ce domaine.
« Je pensais que le fait de passer des prompts visait à améliorer l’exactitude en confiant la tâche à une personne mieux qualifiée ? » a fait remarquer un sous-traitant dans une correspondance interne, comme l’a rapporté TechCrunch.
Désormais, les sous-traitants ne peuvent ignorer des prompts que dans deux cas : s’ils manquent « complètement d’informations », comme le texte intégral du prompt ou de la réponse, ou s’ils contiennent du contenu nuisible nécessitant des formulaires de consentement spéciaux pour une évaluation, selon les nouvelles directives.
Google n’a pas répondu aux demandes de commentaires de TechCrunch avant la publication de l’article.
Bon à savoir
- Les prompt engineers jouent un rôle clé dans l’amélioration de la précision des IA génératives.
- Un équilibre entre expertise technique et évaluation des réponses est essentiel pour garantir la fiabilité des informations fournies par les assistances numériques.
- Le travail des sous-traitants dans ce domaine soulève des questions sur l’importance d’avoir des experts pour chaque domaine sensible, notamment en matière de santé.