L’évaluation par les pairs de la recherche universitaire est la pierre angulaire des publications scientifiques et il est important que ce processus reste objectif, sans parti pris de la part des évaluateurs. Deux types principaux d’évaluation par les pairs sont courants dans le domaine, mais il existe d’autres approches. Dans l’évaluation en simple aveugle, les auteurs ne savent pas qui sont les évaluateurs, tandis que les évaluateurs connaissent l’identité des auteurs. Dans l’évaluation en double aveugle, ni les auteurs ni les évaluateurs ne connaissent le nom des autres, ce qui rend le processus plus anonyme. Traditionnellement, l’évaluation par les pairs en simple aveugle est considérée comme le modèle classique, mais l’évaluation par les pairs en double aveugle est de plus en plus utilisée pour réduire les biais dans le processus d’évaluation par les pairs.
Expérience en physique
Début 2017, l’Institute of Physics (IOP) a donné aux auteurs le choix entre un examen par les pairs en simple aveugle et en double aveugle. Cette option était disponible pour les revues Materials Research Express et Biomedical Physics & Engineering Express. Au cours des sept premiers mois, 20 % des auteurs ont opté pour l’examen en double aveugle. Les auteurs originaires d’Inde, d’Afrique et du Moyen-Orient étaient particulièrement enclins à choisir ce type d’examen.
Les données de l’IOP montrent que le taux de rejet des articles soumis à un examen en double aveugle est plus élevé. Environ 70 % des articles ont été rejetés selon ce modèle, contre environ 50 % dans le cas de l’examen par les pairs en simple aveugle. Ces différences peuvent s’expliquer par le fait que les évaluateurs ont considéré les articles évalués en double aveugle comme étant de moindre qualité ou ont agi de manière plus objective. Malgré cela, les auteurs ayant opté pour une évaluation en double aveugle sont souvent satisfaits du processus, qu’ils jugent plus équitable.
La partialité dans l’évaluation par les pairs est un problème réel et grave. De nombreuses études indiquent que les femmes et les minorités ont moins de chances de publier, de recevoir des financements ou de progresser dans leur carrière. Ces préjugés peuvent être conscients ou inconscients. Dans les publications scientifiques, il se traduit, par exemple, par le fait que les femmes sont moins susceptibles d’être invitées à réviser des articles et que les articles de femmes ont moins de chances d’être cités. La question qui se pose est la suivante : lequel des modèles d’évaluation par les pairs – en simple ou en double aveugle – est le plus efficace pour lutter contre les préjugés ?
Examen en double aveugle et en simple aveugle
La conférence Web Search and Data Mining 2017 a fourni une occasion unique de tester une théorie sur l’objectivité de l’évaluation par les pairs. En informatique, les articles sont souvent publiés pour la première fois (ou exclusivement) lors de conférences à comité de lecture. Les organisateurs de la conférence ont décidé de diviser aléatoirement les évaluateurs en deux groupes : un groupe a travaillé en double aveugle, l’autre en simple aveugle. L’objectif de l’expérience était de déterminer quelle approche entraînait le plus de biais.
Les auteurs de l’étude ont constaté des différences significatives dans le comportement des évaluateurs des deux groupes. Tous les évaluateurs avaient accès aux titres et aux résumés des articles soumis, sur la base desquels ils choisissaient les articles qu’ils voulaient évaluer. Les évaluateurs en simple aveugle ont choisi 22 % d’articles en moins que leurs collègues du groupe d’évaluation en double aveugle. Ils étaient également plus enclins à sélectionner des articles provenant d’universités de premier plan ou de grandes entreprises informatiques, et privilégiaient les auteurs connus lors de l’évaluation de leurs articles.
Les évaluateurs participant à l’évaluation par les pairs en simple aveugle avaient accès à des informations sur les auteurs et leurs institutions, ce qui, selon l’étude, a eu un impact significatif sur leurs décisions. La conférence « Web Search and Data Mining » n’a pas révélé de préjugés à l’encontre des auteurs féminins, mais une méta-analyse incluant des données provenant d’autres études a montré qu’il existait un préjugé significatif à l’encontre des auteurs féminins.
Une expérience menée lors de la conférence Web Search and Data Mining a montré que les évaluateurs en simple aveugle utilisent les informations relatives à l’affiliation institutionnelle des auteurs lorsqu’ils prennent leur décision. S’il est possible que ces informations aident à prendre des décisions plus éclairées, elles sont également susceptibles de désavantager les auteurs d’institutions non prestigieuses. Par exemple, les articles provenant d’universités réputées peuvent avoir reçu des notes plus élevées simplement en raison de la réputation de l’institution, alors que les articles d’auteurs provenant d’institutions moins prestigieuses ont été jugés plus sévèrement, même si la qualité du matériel était similaire. Ainsi, deux articles de qualité égale peuvent être évalués différemment en fonction du statut de l’auteur ou de son institution.
L’évaluation par les pairs
L’évaluation par les pairs en double aveugle crée un faux sentiment de sécurité. Les auteurs connus peuvent être facilement identifiés par le style caractéristique de leur travail, par des références à leurs recherches antérieures ou par leurs méthodes et techniques préférées. Cela signifie que même sans citer de nom, les évaluateurs peuvent deviner qui est l’auteur du document. Il peut donc être plus judicieux de ne pas dissimuler l’identité des auteurs, mais de permettre aux évaluateurs de déterminer eux-mêmes s’il existe un conflit d’intérêts.
Le processus de suppression des informations relatives à l’auteur pour masquer son identité échoue souvent : dans 46 à 73 % des cas, l’auteur est toujours reconnu. Cet écart important peut être lié aux différences dans les méthodes de dissimulation et à la capacité des évaluateurs à analyser les caractéristiques textuelles et stylistiques de l’article. (Source : Smith et al., 2019) Le principal problème n’est pas la capacité à identifier l’auteur, mais le parti pris des évaluateurs envers les auteurs d’un pays, d’une race ou d’un sexe particulier. Dans le même temps, malgré l’accent mis sur les évaluateurs, très peu de choses sont dites sur les préjugés de la part des éditeurs, qui ont en fin de compte le dernier mot dans la prise de décision.
L’évaluation fait partie intégrante du processus de recherche universitaire et il est clair que les préjugés sont présents dans ce processus. Les préjugés des réviseurs sont particulièrement répandus à l’encontre des femmes, des minorités et des chercheurs issus d’institutions moins prestigieuses. Pour tenter de résoudre ce problème, les revues ont de plus en plus recours à l’évaluation par les pairs en aveugle, mais l’évaluation par les pairs en simple aveugle continue de favoriser les auteurs établis. L’évaluation ouverte par les pairs, dans laquelle les noms des auteurs et des évaluateurs sont connus de tous les participants au processus, peut promouvoir la transparence et la responsabilité et réduire le risque de partialité. L’évaluation par les pairs en double aveugle n’est pas non plus une panacée, et de plus en plus de chercheurs préconisent le passage à une évaluation par les pairs ouverte.
Votre opinion sur l’évaluation par les pairs
Quelle est votre opinion sur l’examen par les pairs en simple et en double aveugle ? Pensez-vous que l’évaluation par les pairs en double aveugle est une meilleure alternative à l’évaluation par les pairs en simple aveugle ? Ou peut-être est-il temps de passer à un examen par les pairs ouvert afin de rendre le processus de publication aussi équitable et transparent que possible ? Nous aimerions savoir ce que vous en pensez – partagez vos idées dans les commentaires ci-dessous.
