De nombreux scientifiques paniquent à l’évocation du mot « statistiques » et commencent à se souvenir frénétiquement de ce qu’est un test t. J’en sais quelque chose moi-même, car chaque fois que je dois traiter des données, mon introduction aux statistiques repart de zéro. Vous devez accepter le fait que si vous faites de la science, quel que soit le domaine et le niveau, vous ne pouvez pas éviter les statistiques. Un traitement statistique correct des données, tel que l’utilisation de techniques d’analyse de régression pour tester l’influence des facteurs ou l’application d’un bootstrap pour évaluer la fiabilité des résultats, ajoute de la crédibilité à vos résultats et à vous en tant qu’auteur de l’étude. En publiant des statistiques erronées, non seulement vous induisez en erreur ceux qui tenteront de reproduire vos expériences, mais vous mettez également en péril votre réputation et celle de toute votre équipe de recherche. De temps en temps, nous entendons parler de nouvelles études qui réfutent les résultats d’études antérieures. C’est pourquoi, dans cet article, nous examinerons de plus près une étude récente sur les erreurs statistiques les plus courantes à éviter.
Erreurs statistiques courantes
Tamar R Makin et Jean-Jacques Orban de Xivry ont décidé de compiler dans un article les erreurs statistiques que vous avez probablement tous rencontrées en lisant des articles de recherche, en les soumettant à un examen par les pairs ou en rédigeant vos propres articles. Dans une interview accordée à Nature Index, l’un des auteurs, Orban de Xivry, a expliqué que ces erreurs sont si fréquentes en raison de l’attitude de la communauté scientifique à l’égard des publications. Aujourd’hui, c’est le nombre de publications, et non leur qualité, qui compte le plus. Dans leur quête d’un indice de citation, les scientifiques excluent les résultats qui gâchent l’image statistique, même s’il s’agit d’une étude de grande qualité. Par exemple, dans un cas, les chercheurs ont laissé de côté des données qui ne montraient pas d’effet attendu afin d’augmenter la signification statistique de leurs résultats.
Qu’est-ce qui distingue cet article de nombreux autres articles similaires ? Les auteurs ont souligné que de nombreuses erreurs vont souvent de pair et s’influencent mutuellement. Au lieu de se contenter d’énumérer les erreurs, Makin et Orban de Xivry ont expliqué comment identifier, éviter et corriger ces erreurs à différents stades de la rédaction. Voici quelques exemples d’inexactitudes statistiques détaillées dans l’article.
Absence de contrôle des conditions
Commençons par l’une des erreurs les plus courantes : l’absence de conditions de contrôle, de groupe de contrôle ou de méthode de contrôle appropriés. Par exemple, dans une étude sur les effets d’un nouveau médicament sur des patients, l’absence d’un groupe de contrôle recevant un placebo a conduit à des conclusions erronées sur son efficacité car il n’a pas été possible de séparer les effets réels du médicament de ceux causés par d’autres facteurs. L’effet d’un facteur sur le groupe expérimental doit être étudié à différents moments avec un groupe de contrôle qui n’est pas affecté par le facteur.
Erreurs possibles : non seulement le groupe témoin n’est pas exposé au facteur étudié, mais il est également maintenu dans des conditions différentes de celles du groupe expérimental ; la répartition en double aveugle des sujets entre les groupes expérimental et témoin n’est pas respectée, de sorte que les chercheurs, sachant quels sujets sont affectés par le facteur étudié, ont tendance à exagérer l’effet de l’exposition ; souvent, le groupe témoin est trop petit. Si la conception de l’expérience ne permet pas de séparer les changements naturels qui se produisent au cours d’une expérience chronique des changements qui se sont produits sous l’influence du facteur étudié, les conclusions de l’expérience doivent être présentées comme provisoires. Dans certains cas, lors d’expositions multifactorielles, les chercheurs oublient de prendre en compte les changements qui se produisent sous l’effet de chaque facteur individuel et se concentrent uniquement sur les effets combinés. L’influence mutuelle des facteurs passe également souvent inaperçue.
Fausses corrélations
L’établissement de fausses corrélations est une autre erreur fréquente. Les corrélations sont un outil important en science pour évaluer l’importance de la relation entre deux valeurs. L’utilisation de mesures paramétriques telles que le coefficient de corrélation de Pearson repose sur des hypothèses qu’il est important de prendre en compte, faute de quoi elles conduisent à l’établissement de fausses corrélations. La présence de plusieurs valeurs qui se distinguent pour l’un des deux indicateurs peut conduire à l’établissement de corrélations incorrectes.
Les évaluateurs doivent être particulièrement attentifs aux corrélations qui ne sont pas accompagnées d’un diagramme de dispersion. Dans la plupart des cas, les méthodes statistiques permettant d’établir des corrélations, telles que le bootstrap ou l’analyse des valeurs manquantes, doivent être privilégiées, car elles sont moins sensibles aux valeurs exceptionnelles.
Petit échantillon
Un échantillon trop petit conduit à une surestimation de l’effet, car dans ce cas, seul un effet très fort du stimulus peut être observé. Il est recommandé d’utiliser un échantillon d’au moins 30 à 50 participants pour obtenir une puissance statistique suffisante et des résultats fiables. Avec une signification statistique égale à 0,05, 5 % de tous les tests donneront un résultat élevé sans aucun effet. En outre, il est facile de passer à côté d’un effet dans un petit échantillon, et la distribution de l’échantillon est plus susceptible de s’écarter de la norme. Il est possible d’éviter les erreurs en répétant l’expérience plusieurs fois ou en incluant un groupe de contrôle adéquat dont la taille permet d’observer les changements avec une fiabilité suffisante.
Autres erreurs et conseils
Les exemples ci-dessus montrent que pour mettre en place une expérience et rédiger un article correctement, un scientifique doit être capable de manipuler au moins les bases de la statistique. Outre les erreurs susmentionnées, il est courant d’interpréter la comparaison de deux effets sans les comparer directement, de gonfler les unités d’analyse et de ne pas éliminer l’effet des comparaisons multiples. Le « data pulling » ou « p-hacking » est également une violation grave qui était autrefois courante dans les essais cliniques. Au cours d’un essai clinique, les scientifiques pouvaient passer de l’étude d’un processus à l’étude d’un processus entièrement différent sur la base des résultats.
Visualisation des données
La visualisation des données est également un aspect important du traitement des données. En choisissant le mauvais graphique, vous pouvez induire votre public en erreur en modifiant les conclusions. Par exemple, l’utilisation d’un diagramme circulaire pour montrer l’évolution temporelle des données au lieu d’un graphique linéaire peut donner une fausse impression de stabilité d’un processus, alors qu’un graphique linéaire est mieux à même de montrer la dynamique du changement dans le temps. Les diagrammes circulaires ne conviennent que pour montrer une dispersion de valeurs dont la somme est égale à 100 %. Les diagrammes en barres sont utiles pour comparer les valeurs entre les différents groupes.
Après avoir lu cet article, vous vous dites peut-être qu’il est plus facile de ne pas utiliser de statistiques du tout, parce qu’il est si facile de faire des erreurs. À la grande déception de tous, ce n’est pas une option, c’est pourquoi je vais essayer d’énumérer quelques conseils de base qui nous aideront, vous et moi, à réduire la probabilité d’erreurs statistiques. Tout d’abord, lorsque vous planifiez votre recherche, identifiez les questions auxquelles vous essayez de répondre, car cela vous aidera à éviter les problèmes liés aux effets des comparaisons multiples. Essayez de réfléchir à la manière dont vous allez traiter les données avant de commencer à les collecter. Lorsque vous rédigez votre article, ne cachez rien afin que d’autres scientifiques puissent reproduire vos expériences avec des résultats similaires. Expliquez pourquoi vous avez choisi une méthode particulière pour traiter vos résultats, ce qui aidera les lecteurs et les évaluateurs à apprécier votre travail. Ajoutez toujours une marge d’erreur à vos graphiques. Si vous n’êtes pas sûr de la méthode d’analyse statistique à utiliser pour vos données, consultez un expert.
Malheureusement, même s’il ne s’agit pas du premier ou du dernier article sur les erreurs statistiques, de nombreux scientifiques tombent encore dans les mêmes pièges. En psychologie, par exemple, il n’est pas rare que des articles scientifiques paraissent sur des phénomènes inexistants, dont les preuves ont été obtenues grâce à des erreurs statistiques commises soit dans la conception de l’expérience, soit dans le traitement des résultats obtenus. La seule chose que nous puissions faire est de contrôler la validité statistique de nos propres résultats et de fournir un accès ouvert au processus de recherche, aux résultats et à leur traitement. Bien entendu, si vous essayez de prouver un phénomène délibérément pseudo-scientifique, l’utilisation correcte des statistiques non seulement ne vous sauvera pas, mais vous nuira.
Quelles sont les erreurs de traitement statistique que vous avez rencontrées ? Faites-nous en part dans les commentaires et n’oubliez pas de partager cet article avec vos amis et collègues.
