À quel point la recherche scientifique peut-elle être considérée comme fiable ? Une récente étude montre que de nombreux résultats ne résistent pas à l’épreuve de la vérification.
Une équipe internationale a analysé, au cours d’un projet de sept ans, des milliers d’études dans les sciences sociales. Les résultats indiquent que seulement la moitié de ces études ont pu être répliquées avec succès.
Un rapport du magazine Nature souligne que 865 chercheurs ont évalué 3 900 travaux portant sur des disciplines telles que la psychologie, l’économie, l’éducation et la sociologie dans le cadre du projet SCORE.
Des résultats souvent vulnérables
Les tests de réplication, où des études entières sont reproduites — c’est-à-dire que de nouvelles données sont collectées et analysées à nouveau — s’avèrent particulièrement exigeants. Selon le rapport, sur 164 études examinées, seulement 49 % ont été confirmées avec une signification statistique. Ces résultats s’alignent sur ceux d’études précédentes. John Ioannidis, métascientifique cité par Nature, souligne que ces problèmes ont déjà été observés dans des travaux à plus petite échelle.
La crise de la réplication ne se limite pas aux sciences sociales. Des études montrent que des résultats similaires sont également présents dans la recherche biomédicale, ce qui peut avoir des conséquences sérieuses, surtout en ce qui concerne le développement de nouveaux médicaments ou traitements. Bien que le projet SCORE se concentre sur des études sociologiques, il révèle un problème plus large au sein de la recherche.
Un manque d’informations cruciales
Cependant, les auteurs mettent en garde contre des conclusions hâtives. Selon Tim Errington du Center for Open Science, qui a participé au projet, « un article unique n’est qu’un morceau du puzzle ».
Un problème central réside dans le fait que de nombreuses études ne sont pas suffisamment documentées. Dans le cadre de l’enquête, des chercheurs ont essayé de reproduire les analyses de données de 600 études. Malheureusement, seulement 145 contenaient suffisamment d’informations. Parmi celles-ci, 53 % ont pu être reproduites exactement. Beaucoup de vérificateurs ont dû faire des hypothèses ou reconstruire des données, ce qui entraîne des risques d’écarts, a-t-il précisé.
Les méthodes influent sur les résultats
Bien que les données soient parfois disponibles, des méthodes d’analyse différentes peuvent mener à des résultats variés. Une évaluation de la robustesse — c’est-à-dire de la stabilité des résultats par rapport à des analyses alternatives — a révélé qu’environ trois quarts des études ont réussi cette épreuve. Toutefois, dans certains cas, une analyse alternative a conduit à des résultats opposés, ce qui est « préoccupant », selon Errington. Cela démontre à quel point les résultats peuvent dépendre des choix méthodologiques.
Vers une amélioration possible
Le projet SCORE a été soutenu par l’agence DARPA des États-Unis. Son objectif est de développer des outils permettant d’évaluer plus efficacement la fiabilité des études, comme le souligne Nature.
Une approche potentielle consiste à rendre les données et les méthodes plus accessibles. Des stratégies qui testent plusieurs voies d’analyse simultanément pourraient également être bénéfiques, selon Tim Errington. D’autres recherches montrent que la situation pourrait s’améliorer : l’économiste Abel Brodeur a récemment examiné des études de 2022 et 2023, révélant que 85 % des travaux étaient statistiquement reproductibles. Cette amélioration serait le résultat de normes plus strictes concernant la divulgation des données et du code. Brodeur attend également que plusieurs études parviennent à des résultats similaires avant de considérer de nouvelles constatations.
Points à retenir
- Une étude internationale a révélé que près de 50 % des résultats des recherches en sciences sociales ne sont pas reproductibles.
- Les tests de réplication, bien que essentiels, sont souvent compliqués et coûteux en termes de ressources.
- Le manque de documentation adéquate des études complique leur vérification et leur reproduction.
- Les méthodes d’analyse peuvent influencer significativement les résultats, ce qui pose la question de la rigueur scientifique.
- Des initiatives émergent visant à améliorer la transparence des données et des méthodes de recherche.
La discussion autour de la fiabilité des recherches scientifiques nous invite à réfléchir sur l’essence même de la science, un domaine en perpétuelle évolution. Il est primordial d’accroître la transparence et l’intégrité dans la recherche, pour garantir des résultats vraiment utiles et applicables. En tant que passionné de sciences, je me demande souvent comment ces défis pourraient être surmontés afin que l’évolution de la connaissance s’appuie sur des bases solides. Qu’attendons-nous pour agir ?