L’évaluation de la recherche par les pairs est un élément central de la science, qui joue un rôle important dans l’évaluation de l’importance scientifique et de la fiabilité des travaux en cours. Le processus d’évaluation idéal consiste en un examen objectif et équitable du travail, comprenant une analyse complète de la méthodologie, une vérification de la validité des données, une évaluation de la nouveauté et de l’importance des résultats, et des recommandations constructives pour améliorer la qualité de la recherche. Mais en réalité, l’évaluation par les pairs s’écarte souvent de cette norme. Il a été constaté que les préjugés des évaluateurs peuvent influencer considérablement leurs commentaires, mais la manière dont les commentaires non professionnels des évaluateurs affectent les auteurs et leurs carrières de recherche reste mal comprise.
Problèmes liés à l’évaluation par les pairs
Les équipes de recherche dans les domaines des STIM (sciences, technologies, ingénierie et mathématiques) sont souvent confrontées à l’impact négatif d’évaluations non professionnelles. Ces évaluations peuvent réduire l’inspiration scientifique, la productivité et freiner le développement de la carrière. Des études telles que celles de Lee et al. (2013) et de PeerJ (2021) montrent que les évaluations d’aptitude négatives entraînent une perte de confiance, des échecs temporaires et des retards de carrière. Les enquêtes démontrent que les commentaires incorrects des évaluateurs sont plus susceptibles de nuire que d’aider au développement des scientifiques dans les domaines des STIM.
« Publier ne peut pas être rejeté ».
Voici un exemple de perte de confiance : « Cela s’est passé il y a environ 10 ans, mais n’étant pas de langue maternelle anglaise, je me souviens encore de l’expérience. J’avais confiance en la qualité de mon étude et j’étais prêt à accepter les ajustements suggérés par les évaluateurs. Mais j’étais conscient que mon niveau d’anglais laissait à désirer, même si j’avais des coauteurs anglophones qui avaient vérifié le manuscrit avec soin. En conséquence, j’ai reçu des commentaires extrêmement négatifs qui étaient non seulement injustes, mais aussi blessants. L’évaluateur a probablement supposé que nous tous, en tant qu’auteurs du même institut mexicain, avions des compétences médiocres en anglais. Bien que mon co-auteur m’ait conseillé de ne pas le prendre personnellement, une telle critique a durement touché mon moral et ma confiance. Comment pouvais-je espérer réussir dans la science si je ne pouvais pas publier en anglais ?
Critères de critique : preuves statistiques
Pour étudier l’impact des critiques non professionnelles, une enquête a été menée auprès de scientifiques des STIM qui avaient soumis leurs travaux à des revues à comité de lecture en tant que premiers auteurs. Les données ont été collectées par le biais d’une enquête internationale anonyme utilisant la plateforme Qualtrics. L’enquête était accessible à toute personne s’identifiant comme membre de la communauté STEM et ayant publié des travaux dans des revues à comité de lecture. Les participants ont fourni des informations sur l’âge, le sexe, le niveau d’éducation, l’étape de la carrière, le pays de résidence, le domaine d’étude et l’appartenance ethnique.
La pratique montre que les critiques grossières et non constructives qui comprennent des attaques personnelles, des critiques excessives sans suggestions spécifiques d’amélioration ou des commentaires biaisés sont assez courantes. Les évaluateurs sont censés garantir la qualité des publications scientifiques, mais au lieu de critiques constructives, les auteurs reçoivent souvent des attaques personnelles ou simplement des commentaires grossiers. Une étude de PeerJ portant sur 1106 scientifiques de 46 pays et de 14 domaines scientifiques a révélé que plus de la moitié des personnes interrogées avaient fait l’objet d’évaluations « non professionnelles », et que nombre d’entre elles avaient reçu plus d’une évaluation de ce type.
Dans certains cas, les commentaires étaient personnels, manquaient de critiques constructives ou étaient impolis. Par exemple, un auteur a reçu une critique qui mentionnait les expressions « rouge à lèvres sur un cochon » et « absurdité alléchante ». L’universitaire espagnole Romero-Olivares a été rejetée une fois, sous prétexte que son nom de famille « sonnait espagnol » et que l’article était donc rédigé dans un mauvais anglais. Ces cas confirment que l’examen par les pairs est loin d’être toujours destiné à évaluer objectivement les contributions scientifiques.
Causes de la partialité des évaluateurs
Les preuves de plus en plus nombreuses de la partialité de l’évaluation par les pairs montrent qu’elle dépend de facteurs tels que la nationalité, l’affiliation institutionnelle, le sexe, les opinions politiques et même les préférences personnelles des évaluateurs. Par exemple, un auteur qui s’appelle « Joan » au lieu de « John » peut être confronté à une réaction négative de la part de l’évaluateur. Les femmes scientifiques ou celles appartenant à des groupes ethniques différents sont plus susceptibles de déclarer que les évaluations non professionnelles affectent négativement leur confiance en soi et leur développement de carrière.
Conséquences des évaluations inappropriées
Les commentaires erronés des évaluateurs peuvent avoir des conséquences négatives à long terme sur les carrières universitaires. La psychologue Denise Sekakwaptewa, de l’université du Michigan, note que de telles situations confirment le danger des stéréotypes et leurs effets psychologiques néfastes. Le fait de considérer les femmes ou les non-Européens comme moins intelligents peut être source de stress et nuire à l’estime de soi.
Romero-Olivares, comme beaucoup d’autres universitaires, estime que la personnalisation des commentaires des évaluateurs est préjudiciable aux chercheurs débutants, car elle favorise les préjugés de leurs pairs. Elle soutient l’introduction d’une évaluation par les pairs en double aveugle, où l’identité des auteurs et des évaluateurs reste inconnue, ce qui pourrait réduire les préjugés.
Les évaluations inappropriées peuvent également entraver l’établissement de contacts scientifiques et de réseaux, et réduire les chances d’être superviseur d’étudiants ou de collègues débutants. Par exemple, un jeune scientifique a fait remarquer qu’après avoir reçu des commentaires extrêmement négatifs, ses collègues ont commencé à remettre en question la qualité de ses recherches, ce qui a entraîné une diminution des offres de collaboration et un retard dans sa carrière. Outre l’aléa moral, de tels commentaires peuvent avoir un impact sur les perspectives professionnelles des jeunes scientifiques.
Conclusion
Que doivent faire les auteurs confrontés à des évaluations incorrectes ? Tout d’abord, il est important de rester patient. Lorsque l’on lit des commentaires, il ne faut pas se concentrer sur les premières lignes négatives ; il est préférable de lire l’ensemble de la critique et de comprendre son message général. Deuxièmement, vous devez défendre votre travail sur un ton modéré et équilibré, afin de ne pas nuire davantage à votre carrière. Des enquêtes ont montré que les principaux dommages sont causés par des émotions négatives et une baisse de l’estime de soi ; il est donc important de repenser l’attitude face à la critique et de poursuivre l’activité scientifique.
Les rédacteurs en chef des revues doivent également être prêts à rejeter les critiques inappropriées et à prendre des mesures à l’encontre des évaluateurs qui posent problème. Ces mesures peuvent inclure un avertissement aux évaluateurs, une exclusion temporaire ou permanente de la base d’évaluateurs et une formation obligatoire à l’éthique de l’évaluation. Il est nécessaire d’introduire des règles de comportement claires pour les évaluateurs, en indiquant les conséquences possibles en cas de violation de ces règles. La création de telles conditions contribuera à améliorer la qualité des publications scientifiques et à protéger les auteurs contre les critiques injustifiées.
