The Reproducibility of Economics Research: A Case Study
Étant donné l’importance de la reproductibilité pour l’éthique scientifique, de plus en plus de revues ont poussé à la transparence de la recherche par le biais de politiques de disponibilité des données. Si l’introduction et la mise en œuvre de telles politiques de données améliorent la disponibilité du code et des données des chercheurs, quel est l’impact sur la reproductibilité? Nous décrivons et présentons les résultats d’un vaste exercice de reproduction dans lequel nous évaluons la reproductibilité des articles de recherche publiés dans l’American Economic Journal: Applied Economics, qui a mis en place une politique de disponibilité des données depuis 2005. Notre taux de succès de réplication est relativement modéré, avec 37,78 % de tentatives de réplication réussies. 68 des 162 tentatives de réplication admissibles ont réussi à reproduire l’analyse de l’article (41,98 %), sous réserve de données non confidentielles. 69 autres tentatives (42,59 %) ont abouti à une réplication partielle. Un total de 98 sur 303 (32,34 %) reposaient sur des données confidentielles ou propriétaires, et n’étaient donc pas reproductibles par ce projet. Nous effectuons également plusieurs analyses bibliométriques des articles reproductibles par rapport aux articles non reproductibles et montrons que les articles reproductibles n’apportent pas de bonus de citation aux auteurs.