Outil IA : 1 000 revues douteuses démasquées !

Caractéristiques prédites des revues signalées comme douteuses au seuil de 50 % (n = 1437). Crédit : Science Advances (2025). DOI : 10.1126/sciadv.adt2792

Une équipe d’informaticiens dirigée par l’Université du Colorado à Boulder a développé une nouvelle plateforme d’intelligence artificielle qui identifie automatiquement les revues scientifiques considérées comme « douteuses ».

Cette étude, publiée le 27 août dans la revue Science Advances, aborda une tendance préoccupante dans le monde de la recherche.

Daniel Acuña, auteur principal de l’étude et professeur associé au Département d’informatique, reçoit plusieurs rappels à ce sujet chaque semaine dans sa boîte email : des messages indésirables provenant de personnes prétendant être des éditeurs de revues scientifiques, souvent inconnues de lui, et proposant de publier ses articles — moyennant des frais élevés.

Ces publications sont parfois qualifiées de revues « prédateurs ». Elles visent à convaincre les scientifiques de débourser des centaines, voire des milliers de dollars, pour publier leurs recherches sans une évaluation adéquate.

« Il y a un effort croissant parmi les scientifiques et les organisations pour évaluer ces revues », a déclaré Acuña. « Mais c’est comme un jeu de whac-a-mole. Vous en attrapez une, et une autre apparaît, généralement de la même entreprise. Elles créent simplement un nouveau site et un nouveau nom. »

Le nouvel outil d’IA de son équipe analyse automatiquement les revues scientifiques en évaluant leurs sites web et d’autres données en ligne selon certains critères : ces revues disposent-elles d’un comité éditorial composé de chercheurs reconnus ? Leur site contient-il de nombreuses erreurs grammaticales ?

Acuña insiste sur le fait que l’outil n’est pas infaillible. Il considère que la décision finale sur la réputation d’une revue devrait être prise par des experts humains, et non par des machines.

Cependant, dans une époque où des personnalités éminentes remettent en question la légitimité de la science, il est devenu crucial de freiner la propagation de publications douteuses, souligne-t-il.

« En science, vous ne partez pas de zéro. Vous vous appuyez sur les recherches des autres, » a ajouté Acuña. « Donc, si la base de cette tour s’effondre, toute la structure s’écroule. »

Les enjeux

Lorsque les chercheurs soumettent une nouvelle étude à une publication réputée, celle-ci est généralement soumise à un processus de révision par des pairs. Des experts externes examinent l’étude et en évaluent la qualité — c’est du moins l’objectif.

Un nombre croissant d’entreprises a tenté de contourner ce processus pour en tirer profit. En 2009, Jeffrey Beall, un bibliothécaire de CU Denver, a popularisé le terme « revues prédateurs » pour décrire ces publications.

Souvent, elles ciblent les chercheurs en dehors des États-Unis et d’Europe, notamment en Chine, en Inde et en Iran — des pays où les institutions scientifiques peuvent être récentes, et où la pression, ainsi que les incitations pour les chercheurs à publier, sont fortes.

Acuña a déclaré : « Ils diront, ‘Si vous payez 500 ou 1 000 dollars, nous examinerons votre article.’ En réalité, ils ne fournissent aucun service. Ils se contentent de prendre le PDF et de le publier sur leur site. »

Plusieurs groupes ont tenté de freiner cette pratique. Parmi eux, une organisation à but non lucratif, le Directory of Open Access Journals (DOAJ). Depuis 2003, des bénévoles du DOAJ ont signalé des milliers de revues comme suspectes sur la base de six critères. (Les publications réputées, par exemple, contiennent souvent une description détaillée de leurs politiques de révision par les pairs sur leurs sites.)

Cependant, suivre la propagation de ces publications s’est avéré décourageant pour les humains.

Pour accélérer le processus, Acuña et ses collègues se sont tournés vers l’IA. L’équipe a entraîné son système en utilisant les données du DOAJ, puis a demandé à l’IA d’analyser une liste de près de 15 200 revues en libre accès sur Internet.

Parmi ces revues, l’IA a initialement signalé plus de 1 400 comme potentiellement problématiques.

Acuña et ses collègues ont demandé à des experts humains d’examiner un sous-ensemble de ces revues suspectes. L’IA a commis des erreurs, selon les experts humains, signalant environ 350 publications comme douteuses alors qu’elles étaient probablement légitimes. Cela laissait néanmoins plus de 1 000 revues identifiées comme douteuses par les chercheurs.

« Je pense que cela devrait être utilisé comme un outil d’aide pour pré-sélectionner un grand nombre de revues, » a-t-il indiqué. « Mais ce sont des professionnels humains qui devraient faire l’analyse finale. »

Acuña a ajouté que les chercheurs ne souhaitaient pas que leur système devienne une « boîte noire » comme certaines autres plateformes d’IA.

« Avec ChatGPT, par exemple, vous ne comprenez souvent pas pourquoi il propose quelque chose », a-t-il noté. « Nous avons tenté de rendre notre outil aussi interprétable que possible. »

Leur équipe a par exemple découvert que les revues douteuses publient un nombre anormal d’articles. Elles comptent également des auteurs avec un plus grand nombre d’affiliations que des revues plus légitimes, et des auteurs citant leurs propres recherches, plutôt que celles d’autres scientifiques, à un niveau anormalement élevé.

Le nouveau système d’IA n’est pas accessible au public, mais les chercheurs espèrent le rendre bientôt disponible pour les universités et les maisons d’édition. Acuña voit cet outil comme un moyen de protéger leurs domaines contre les données erronées — ce qu’il appelle un « pare-feu pour la science ».

« En tant qu’informaticien, je fais souvent l’exemple d’un nouveau smartphone qui sort, » a-t-il déclaré. « Nous savons que le logiciel du téléphone comportera des défauts et nous attendons des corrections de bugs à l’avenir. Nous devrions probablement faire de même avec la science. »