Taux d’erreur élevé pour les produits d’intelligence artificielle

Ce n’est pas une révolution technique, c’est une aberration

Je suis un fidèle admirateur de l’émission de HBO “Last Week Tonight with John Oliver”. Le 2 février, j’ai vu une publicité annonçant la reprise de l’émission le 16 février. Pour me le rappeler, je me suis tourné vers Google Calendar et, dans l’espace prévu pour les notes du jour, j’ai écrit : “Reprise de Last Week Tonight”.

Cependant, une fois que j’ai cliqué sur le bouton Enregistrer, Google Calendar a décidé de faire trois choses : (a) supprimer ma note de l’endroit où je l’ai écrite, (b) la déplacer à 19 heures, et (c) la modifier pour indiquer “Last Week resumes”.

Voici donc trois problèmes majeurs.

Tout d’abord, je ne souhaitais pas que ma note soit dans mon emploi du temps. Deuxièmement, l’émission ne passe pas à 19 heures, mais à 23 heures. Troisièmement, à y réfléchir, l’expression “Last Week resumes” est dénuée de sens logique.

Google a pris un rappel tout à fait raisonnable, l’a placé là où je ne le cherchais pas, avant de le rendre à la fois erroné et incohérent.

Ce n’est pas un cas isolé. Google semble détecter toute mention de chiffres lorsque vous entrez un rappel calendrier et part automatiquement à l’assomption qu’il s’agit d’une heure, même quand ce n’est pas le cas.

Pour illustrer, si vous aimez étudier la Bible et que vous rédigez une note pour mardi en indiquant “Lire Jean 3:16”, Google va réécrire votre entrée pour la placer à 15h16 ce mardi, avec la mention “Lire Jean, 15h16”.

Cela témoigne d’un défaut évident et agaçant de Google Calendar depuis plusieurs années. Cela révèle un problème plus large avec l’intelligence artificielle, où l’IA essaye de “vous aider” mais vous fournit parfois de fausses informations, prend de mauvaises décisions à votre place, ou vous laisse sans moyen facile de corriger quelque chose d’évidemment erroné.

Récemment, lorsque DeepSeek, une alternative chinoise à bas coût à ChatGPT et autres modèles de langage américains, a été lancée, ses détracteurs ont signalé que son taux d’erreurs pour les personnes cherchant des nouvelles fiables sur des sujets controversés était de 83 %. Pour comparaison, le taux d’erreur des produits d’intelligence artificielle américains était de 62 %.

Ce n’est pas une révolution technique, c’est une erreur. Ces taux d’information erronée et de désinformation sont ridiculement élevés pour des systèmes qui, si l’on croit l’engouement médiatique, seraient censés révolutionner nos vies.

“L’IA ne fera que s’améliorer”, c’est une phrase que l’on entend souvent de la part de ses défenseurs. Pourtant, dans certains cas, cela ne semble pas vrai. Et à d’autres moments, cela ne pourra pas l’être, car les systèmes de modèles de langage comme ChatGPT ne comprennent pas vraiment les concepts dont ils parlent, les développeurs manquent de données pour les entraîner, tandis que le matériel nécessaire pour faire fonctionner le système consomme une quantité considérable d’électricité précieuse.

Alors permettez-moi de dire quelque chose aux créateurs des systèmes d’IA dans Google Calendar et des produits similaires qui essaient d’insister pour “m’aider” sans mon consentement et sans comprendre ce que j’essaie réellement de faire.

Rendez-vous utile sans m’envahir.

Vous pouvez faire des suggestions facilement ignorables. Mais si vous comptez essayer d’en faire plus sans ma permission, éloignez-vous de ma vie. Si j’ai besoin de votre aide, je saurai demander.

Article original rédigé par : Gene Emery.