L’examen par les pairs des publications scientifiques joue un rôle essentiel pour garantir la qualité de la recherche et maintenir les normes scientifiques. Selon les données Global State of Peer Review issues des statistiques de mai-juillet 2018, trouver un évaluateur pour une publication scientifique devient de plus en plus difficile d’année en année, alors même que le nombre d’articles publiés augmente rapidement.
Responsabilité de l’auteur de l’article dans la recherche d’un évaluateur
La plupart des revues internationales ne demandent pas aux auteurs de choisir un évaluateur : elles disposent de bases de données et de logiciels qui sélectionnent automatiquement les évaluateurs en fonction de leur spécialisation scientifique et de leur expérience. Ces systèmes analysent les publications et d’autres paramètres pour trouver des évaluateurs appropriés. Les évaluateurs, quant à eux, travaillent pour l’éditeur, et non pour les auteurs. Alors pourquoi les éditeurs tiennent-ils compte des « souhaits » des auteurs ? Tout d’abord, pour élargir les bases de données des évaluateurs. Deuxièmement, dans certains cas, il est demandé à un auteur de trouver un évaluateur parce qu’une revue donnée manque d’experts dans un type de recherche particulier. Il convient de noter que les évaluations reçues d’un expert présélectionné sont le plus souvent positives. Par exemple, Matt Hodgkinson, responsable de la recherche chez Hindawi, a noté que les neuf études dont il avait connaissance sur le sujet montraient que les évaluateurs suggérés par les auteurs étaient plus indulgents que ceux choisis par les éditeurs.
Comment aborder judicieusement la recherche d’un relecteur ?
La première chose à retenir est qu’un relecteur est un expert indépendant dans votre domaine scientifique. Il est fort probable que vous choisirez un spécialiste qui sera plus enclin à donner une évaluation positive de votre travail et de ses résultats. Toutefois, ce critère de sélection doit être considéré avec prudence et ne doit pas être considéré comme une base.
Examinons de plus près les règles suivantes de sélection éthique des évaluateurs :
- Recherchez les publications disponibles dans votre domaine d’étude afin de trouver des universitaires susceptibles d’évaluer votre travail ;
- Dressez une liste d’évaluateurs provenant d’institutions différentes, de domaines connexes et ayant des points de vue différents sur le domaine de recherche ;
- Assurez-vous que les évaluateurs potentiels sont des experts dans votre domaine ;
- Ne vous précipitezpas et faites preuve de rigueur lorsque vous faites des suggestions. Votre liste de recommandations peut être le point de départ de votre sélection finale ;
- NE PAS suggérer des experts que vous connaissez personnellement ;
- NE PAS dresser la liste des évaluateurs potentiels qui travaillent pour la revue que vous visez ;
- NE PAS suggérer des évaluateurs parce qu’ils soutiendront votre travail ;
- NE PAS suggérer des évaluateurs qui travaillent dans la même institution que vous ;
- NE PAS dresser la liste des évaluateurs d’un seul pays. Il est important d’avoir une vision large.
Une analyse plus détaillée de ces conseils est disponible ici.
Si un éditeur vous a demandé de suggérer un évaluateur pour une publication dans une grande revue, essayez d’utiliser la base de données JANE pour effectuer une recherche. La recherche est conçue pour correspondre à votre requête.
Éviter le scandale : expériences négatives des pays leaders en matière de publication
On sait que les leaders en termes de nombre de publications sont les États-Unis et la Chine. Entre 2013 et 2017, les États-Unis ont fourni près de 33 % des revues et publié 25,4 % des articles sur l’ensemble des publications mondiales. Parallèlement, les pays en développement ont contribué à 19 % des recensions et publié 29 % de tous les articles. La Chine s’est également distinguée : elle a publié 13,8 % des articles scientifiques au cours de la période, mais seulement 8,8 % des comptes rendus. Malgré cela, la Chine a dépassé le Royaume-Uni en ce qui concerne le nombre d’évaluations par les pairs réalisées par ses scientifiques en 2015, selon l’étude.
Entre 2012 et 2016, plus de 500 articles ont été retirés en raison d’une évaluation par les pairs compromise, falsifiée ou fausse. Les auteurs ont en effet fourni de fausses adresses électroniques pour les évaluateurs existants ou des experts totalement fictifs. L’offre a été faite sur la base de la compétence de l’examinateur à évaluer leur travail. Les statistiques pour cette période montrent que les cinq premiers pays en termes de nombre de révisions retirées sont la Chine avec 276, Taiwan avec 73, l’Iran avec 65, la Corée du Sud avec 33 et le Pakistan avec 19 publications.
La Chine affiche les pires performances en termes d’objectivité des examens. Ces conclusions ont été tirées en comparant la Chine aux cinq premiers pays en termes de publications scientifiques au cours des cinq dernières années, à l’aide de l’Index Nature. L’indice suit les publications dans près de 70 revues sur la mesure de l’activité de recherche de haute qualité d’un pays.
Cet exemple illustre les effets négatifs que peut avoir un manque de contrôle sur le processus d’évaluation par les pairs et l’importance d’adhérer à des normes éthiques. BioMed Central a retiré 43 publications avant d’authentifier 50 autres articles scientifiques qui soulevaient des soupçons de faux examen par les pairs (impliquant éventuellement des sociétés tierces offrant un tel service sur une base commerciale). Quant à Nature, quelque 110 évaluations dans plusieurs revues ont été enregistrées. En outre, 16 évaluations sont produites par Elsevier.
Les éditeurs considèrent que le droit de choisir les évaluateurs est contraire à l’éthique
Si les éditeurs veulent montrer à la communauté universitaire la valeur qu’ils apportent au processus de publication, ils doivent mettre en place des processus d’évaluation solides qui incluent l’examen minutieux des évaluateurs, la prévention des conflits d’intérêts et la garantie de l’objectivité de l’évaluation.
En 2016, le Fonds national suisse de la recherche scientifique (FNS) a modifié sa politique pour interdire aux demandeurs de subventions de demander à des évaluateurs potentiels d’évaluer leurs demandes de financement.
Les raisons de la décision du FNS sont exposées dans une étude publiée, qui a révélé que les évaluateurs recommandés par les demandeurs de subventions étaient quatre fois plus susceptibles de donner des évaluations favorables que les évaluateurs sélectionnés au hasard par le personnel éditorial.
L’Organisation néerlandaise de la recherche scientifique (NWO), les National Institutes of Health des États-Unis et la Fondation Alfred P. Sloan découragent également les demandeurs de subventions de suggérer des évaluateurs.
« Ce serait contraire à l’éthique », a déclaré un porte-parole de la NWO. « Avant que l’ONM ne prenne contact avec les évaluateurs recommandés, un membre du personnel vérifie si la personne est impliquée dans la proposition de recherche et si elle est liée d’une manière ou d’une autre au demandeur de subvention.
Exemple d’une politique assouplie, le processus de sélection des évaluateurs peut être décrit comme un compromis. Hindawi, qui publie plus de 230 revues en libre accès, indique que les auteurs ne sont jamais autorisés à recommander des évaluateurs, mais qu’ils peuvent spécifier ceux qu’ils préféreraient que l’éditeur ne contacte pas.
PLOS ONE, la plus grande revue publiée par la Public Library of Science (PLOS), a la même politique, tandis que les six autres revues publiées par PLOS permettent aux auteurs de suggérer des réviseurs et de demander des exceptions.
Alors pourquoi d’autres bailleurs de fonds et éditeurs universitaires permettent-ils encore aux chercheurs de suggérer des évaluateurs pour évaluer leurs travaux ? Après tout, il est clair que l’utilisation de telles évaluations laisse le processus ouvert à la partialité et à la mauvaise conduite. Springer Nature, le deuxième plus grand éditeur scientifique (ainsi que Nature Index, un éditeur indépendant sur le plan éditorial), continue de prendre en considération les évaluateurs suggérés par les auteurs. « Les auteurs peuvent suggérer des évaluateurs indépendants appropriés. Toutefois, la décision de prendre en compte ou non ces évaluateurs reste à la discrétion de l’éditeur, et la décision de l’éditeur de sélectionner les évaluateurs est définitive », a déclaré un porte-parole de Springer Nature.
Les deux côtés de la médaille : défis et avantages
Les problèmes liés à l’évaluation par les pairs gâchent et compliquent le processus de publication et de demande de subventions. Ces problèmes comprennent les conflits d’intérêts, le manque d’évaluateurs qualifiés, la falsification des évaluations et la partialité dans l’évaluation des articles. Les difficultés vont des évaluations réalisées par une personne associée au chercheur à des évaluations complètement fabriquées. En outre, certaines évaluations sont effectuées par des agences externes qui offrent une assistance pour la révision de la langue et l’approbation des articles par les auteurs. En tant qu’auteur n’ayant pas l’intention d’obtenir une évaluation de substitution, il convient d’être prudent lors de la recherche d’une agence proposant ses services : certaines peuvent travailler pour le compte d’évaluateurs fabriqués de toutes pièces.
Y a-t-il des avantages à se voir proposer un évaluateur par les auteurs ? Le chercheur connaît mieux que quiconque les subtilités de son travail. Par conséquent, l’avantage est qu’il sait quelles sont les personnes les mieux placées pour juger son travail. Toutefois, les chercheurs savent également quels évaluateurs sont les plus susceptibles de considérer le document de manière favorable.
Un autre avantage pour les auteurs est la correction linguistique. Tous les scientifiques ne maîtrisent pas l’anglais scientifique et, dans tous les cas, ils ont recours à l’aide d’un tiers pour corriger le texte. Ainsi, l’évaluateur recommandé peut examiner le travail d’un point de vue scientifique et linguistique. Cela évite au rédacteur de lire un document complexe ou mal rédigé et lui permet de gagner du temps lors des révisions ultérieures.
Quelles conclusions peut-on tirer ?
Sur la base des approches existantes en matière d’évaluation d’articles scientifiques, ainsi que de leurs avantages et inconvénients, nous pouvons recommander un « juste milieu ». Ni l’auteur ni le rédacteur en chef ne doivent s’en remettre entièrement au choix d’un tiers. Si l’auteur peut choisir un évaluateur sur la base de son évaluation positive, l’éditeur, s’il a ses propres intérêts, peut choisir un spécialiste ayant un point de vue plus critique. À cet égard, la prise en compte de la liste des évaluateurs indésirables établie par l’auteur semble être une idée très judicieuse.
