Des préprints fiables ? Vers une nouvelle compréhension de la recherche biomédicale

Une étude récemment publiée sur le serveur de préprints bioRxiv indique que les conclusions centrales des préprints biomédicaux changent rarement suite à la révision par les pairs. Ce travail met également en lumière que les articles initialement publiés en tant que préprints sont retirés à un taux significativement inférieur, atteignant environ la moitié de celui des articles ne passant pas par cette étape de pré-publication. Les auteurs avancent que ces résultats suggèrent que les préprints peuvent être une source d’information fiable, bien que certains scientifiques appellent à une interprétation plus mesurée de ces conclusions.

La pratique de la publication de préprints s’est répandue dans le milieu scientifique, mais Ruslan Rust, neuroscientifique à l’Université de Californie du Sud, note qu’il entend souvent des collègues critiquer leur fiabilité. Selon son expérience, la révision par les pairs ne modifie généralement pas de manière significative le contenu des études. Il a donc souhaité examiner cette dynamique dans divers domaines de la recherche biomédicale.

Avec l’aide d’un grand modèle de langage, Rust et son collègue ont extrait les principales conclusions scientifiques à partir des résumés de 72 644 manuscrits biomédicaux publiés sur bioRxiv entre 2018 et 2025. Ils ont ensuite évalué les changements entre ces résumés et leurs versions finales après révision. Selon l’étude, qui n’a pas été supervisée par des pairs, 39,9 % des conclusions principales sont restées inchangées, tandis que 50 % ont subi des révisions mineures. Plus de 10 % ont connu des changements majeurs.

Les conclusions qui ont changé ont souvent adopté un langage plus prudent plutôt qu’un ton assuré post-révision, avec 8,4 % des résultats adoptant un ton plus modéré contre 4,2 % affichant une plus grande assurance.

Le degré de révision varie également selon les disciplines. Des modifications significatives n’étaient présentes que dans 7,2 % des articles en bioinformatique, contre 17,5 % pour ceux en microbiologie.

Les auteurs notent par ailleurs que la fréquence des révisions majeures a diminué au fil du temps, passant de 17 % pour les travaux de 2019 à 5,7 % en 2024. Julian Sienkiewicz, spécialiste des outils d’intelligence artificielle à l’Université de Technologie de Varsovie, fait remarquer qu’une telle baisse pourrait révéler un surcharge des évaluateurs, les rendant moins attentifs à la lecture des manuscrits.

Rust propose que cette tendance témoigne d’un changement dans l’utilisation des préprints, principalement pendant la pandémie de COVID-19 où la pression pour publier rapidement était élevée, entraînant ainsi des révisions substantielles. ces dernières années, certains manuscrits auraient déjà intégré des retours d’évaluateurs dès leur première publication en préprint.

Moins de retraits

Les chercheurs ont également constaté que les articles visibles en préprint sont retirés à un taux de 8,1 pour 10 000, contre 18,7 par 10 000 pour ceux n’ayant pas été prépubliés. Les auteurs mettent en garde contre l’observation de ce phénomène, soulignant qu’une comparaison d’observation ne prouve pas que la publication en tant que préprint réduit la probabilité de retrait.

Sur le réseau professionnel LinkedIn, plusieurs chercheurs ont fait remarquer que les préprints peuvent être soumis à un biais de sélection fort, selon qui les publie et quelles études sont choisies.