Le moteur de recherche ChatGPT d’OpenAI peine à citer correctement les éditeurs de nouvelles, selon une étude menée par le Tow Center for Digital Journalism de l’Université de Columbia.
Le rapport met en lumière des erreurs fréquentes de citation et des attributions incorrectes, suscitant des inquiétudes chez les éditeurs quant à la visibilité de leur marque et au contrôle de leur contenu.
De plus, ces résultats remettent en question l’engagement d’OpenAI en faveur d’un développement responsable de l’IA dans le domaine du journalisme.
Contexte du moteur de recherche ChatGPT
OpenAI a lancé ChatGPT Search le mois dernier, affirmant avoir collaboré de manière approfondie avec l’industrie de l’information tout en tenant compte des retours des éditeurs.
Cela contraste avec le lancement initial de ChatGPT en 2022, où les éditeurs ont découvert que leur contenu avait été utilisé pour former des modèles d’IA sans préavis ni consentement.
À présent, OpenAI permet aux éditeurs de spécifier via le fichier robots.txt s’ils souhaitent être inclus dans les résultats de recherche de ChatGPT.
Cependant, les conclusions du Tow Center suggèrent que les éditeurs risquent d’être victimes de fausses attributions, qu’ils participent ou non.
Problèmes d’exactitude
Le Tow Center a évalué la capacité de ChatGPT Search à identifier les sources de citations provenant de 20 publications.
Parmi les résultats clés, on note :
- Sur 200 requêtes, 153 réponses étaient incorrectes.
- L’IA reconnaissait rarement ses erreurs.
- Des phrases comme “possiblement” n’ont été utilisées que dans sept réponses.
ChatGPT semble souvent privilégier la satisfaction des utilisateurs par rapport à l’exactitude, ce qui pourrait induire les lecteurs en erreur et nuire à la réputation des éditeurs.
Par ailleurs, les chercheurs ont constaté que ChatGPT Search est incohérent lorsqu’on pose la même question plusieurs fois, probablement en raison d’une certaine aléa inhérente à son modèle de langage.
Citation de contenu copié et syndiqué
Les chercheurs ont découvert que ChatGPT Search cite parfois des articles copiés ou syndiqués au lieu des sources originales.
Ce phénomène pourrait être dû à des restrictions imposées par les éditeurs ou à des limitations du système.
Par exemple, lorsqu’on a demandé une citation d’un article du New York Times (actuellement en procès contre OpenAI et bloquant ses robots), ChatGPT a renvoyé à une version non autorisée sur un autre site.
Même avec le MIT Technology Review, qui permet l’accès à ses robots, le chatbot a cité une copie syndiquée plutôt que l’original.
Le Tow Center a constaté que tous les éditeurs courent le risque de malentendus avec ChatGPT Search :
- Activer les robots ne garantit pas la visibilité.
- Bloquer les robots n’empêche pas le contenu de figurer.
Ces questions soulèvent des préoccupations concernant le filtrage de contenu par OpenAI et sa stratégie en matière de journalisme, qui pourraient éloigner les lecteurs des éditeurs d’origine.
Réponse d’OpenAI
OpenAI a répondu aux conclusions du Tow Center en affirmant qu’il soutient les éditeurs grâce à des attributions claires et aide les utilisateurs à découvrir du contenu via des résumés, des citations et des liens.
Un représentant d’OpenAI a déclaré :
“Nous soutenons les éditeurs et les créateurs en aidant 250 millions d’utilisateurs hebdomadaires de ChatGPT à découvrir un contenu de qualité grâce à des résumés, des citations, des liens clairs et des attributions. Nous avons collaboré avec des partenaires pour améliorer l’exactitude des citations en ligne et respecter les préférences des éditeurs, notamment en permettant de gérer leur apparence dans la recherche via le fichier robots.txt. Nous continuerons à améliorer les résultats de recherche.”
Bien que la société ait travaillé à améliorer l’exactitude des citations, OpenAI admet qu’il est difficile de traiter des problèmes spécifiques d’attribution incorrecte.
OpenAI reste déterminé à perfectionner son produit de recherche.
Perspectives d’avenir
Si OpenAI souhaite collaborer avec l’industrie de l’information, il est essentiel qu’il veuille s’assurer que le contenu des éditeurs est représenté de manière précise dans ChatGPT Search.
Les éditeurs ont actuellement peu de pouvoir et observent de près les affaires juridiques contre OpenAI. Les résultats pourraient influencer les droits d’utilisation du contenu et accorder davantage de contrôle aux éditeurs.
Alors que les produits de recherche générative tels que ChatGPT modifient la manière dont les gens interagissent avec l’information, OpenAI doit démontrer son engagement envers un journalisme responsable pour gagner la confiance des utilisateurs.
Image à la Une : Robert Way/Shutterstock
Notre Point de vue
Il est crucial que les entreprises développant des technologies avancées prennent conscience des conséquences de leurs outils sur le paysage médiatique. La question de l’attribution correcte des sources dans des plateformes comme ChatGPT est loin d’être anodine. Une approche plus rigoureuse et respectueuse des contenus publiés ne pourra qu’améliorer la confiance entre les éditeurs et les nouvelles technologies. En tant qu’acteurs du secteur de l’information, nous devons constamment veiller à protéger la qualité et l’intégrité de notre travail face à des innovations qui redéfinissent nos méthodes de travail.
- Source image(s) : www.searchenginejournal.com
- Source : https://www.searchenginejournal.com/chatgpt-search-shows-76-5-error-rate-in-attribution-study/533978/