Accueil / Science & conscience / Le foot peut surprendre

Le foot peut surprendre

Publié en ligne le 7 octobre 2019 - Intégrité scientifique - Désinformation - Expertise

L’analyse statistique d’un même ensemble de données peut-elle conduire à des résultats opposés ? Il semble que ce soit possible. C’est du moins ce que conclut une étude publiée dans une revue de sciences sociales et supervisée par une équipe de Charlottesville, Virginia, aux États-Unis [1].

Des conclusions différentes à partir d’un même ensemble de données

Une même base de données a été envoyée à 29 équipes de statisticiens. Elle rassemblait des informations relatives à 2 053 joueurs de football des premières ligues d’Angleterre, d’Allemagne, de France et d’Espagne et à leurs interactions avec 3 147 arbitres sur plusieurs saisons sportives : nombre de matches joués, position dans l’équipe, poids, taille, nationalité des arbitres et le nombre de cartons jaunes et rouges donnés par les arbitres à chacun des joueurs (le carton rouge sanctionne une faute sévère, et le joueur est expulsé du terrain). Au total, 146 028 interactions joueurs–arbitres ont été enregistrées.

La même question a été posée à chacune des équipes de statisticiens : les arbitres de football sont-ils plus susceptibles de donner des cartons rouges aux joueurs de couleur foncée qu’aux joueurs de couleur claire ? La couleur de la peau a été classée de 1 (peau très claire) à 5 (peau très foncée) par des évaluateurs sur la base de photographies des joueurs.

Au terme de l’étude, vingt équipes de chercheurs sur les 29 (69 %) ont constaté un effet positif statistiquement significatif et neuf équipes (31 %) n’ont pas observé de relation significative.

© Vitalii Shcherbyna et Valter Dias | Dreamstime.com

Une analyse plus complexe qu’elle n’en a l’air

Toute recherche nécessite de concevoir un plan d’analyse : les chercheurs doivent faire des hypothèses, décider quelles sont les données pertinentes à inclure, choisir les tests statistiques appropriés, etc. Les questions sont nombreuses et complexes : faut-il traiter chaque décision de carton rouge comme une observation indépendante des autres ? Comment prendre en compte le fait que certains arbitres donnent plus de cartons rouges que d’autres ? Faut-il tenir compte de l’ancienneté d’un arbitre, de sa plus grande fréquentation avec certains joueurs sur le terrain, du fait que les cartons rouges sont plus souvent distribués dans certains championnats que dans d’autres ? Quel impact a le fait que la proportion de joueurs à la peau sombre varie selon les ligues, selon les positions des joueurs sur le terrain ?

Voilà autant de choix, parfois subjectifs, qui vont façonner les résultats obtenus. Et la bonne foi des statisticiens n’est pas remise en cause, comme le soulignent les auteurs de l’étude :  « Il peut être difficile d’éviter d’importantes variations dans les résultats des analyses de données complexes, même pour des experts ayant des intentions honnêtes. »

L’analyse des analyses

L’étude est allée plus loin que ce simple constat de divergences des résultats. Elle a cherché à voir si la disparité des réponses pouvait être expliquée par des facteurs relatifs aux équipes de statisticiens. Des données socio-culturelles avaient été recueillies, ainsi que l’opinion des participants sur la question posée. Ainsi, par exemple, la question suivante a été posée à différentes étapes du processus d’analyse :  « Quelle est, selon vous, la probabilité que les arbitres de football tendent à donner plus de cartons rouges aux joueurs à la peau foncée ?  » Ceci a permis d’écarter l’influence d’un biais de confirmation (risque de favoriser une interprétation conforme aux aprioris) et a également mis en évidence la tendance à la rationalisation (adapter ses croyances aux résultats obtenus). De même, le niveau d’expertise ne permet pas facilement d’expliquer la variation des résultats des analyses.

Une étude originale à plus d’un titre

Cette recherche est originale à plusieurs titres, au-delà du sujet traité. La publication a été signée par les 65 auteurs américains, européens et asiatiques (tous les statisticiens impliqués plus les superviseurs de l’étude) et les vingt pages de l’article sont bien écrites. Toutes les données de cette recherche qui a duré vingt mois sont accessibles : c’est un gage de qualité et de transparence. C’est rare, car beaucoup de chercheurs ont tendance à cacher leurs données sources.

Les auteurs soulignent, dans le résumé de l’étude, que  « la stratégie d’analyse des données en “crowdsourcing”, stratégie dans laquelle de nombreuses équipes de recherche sont recrutées pour étudier simultanément la même question de recherche, rend transparente la façon dont des choix analytiques défendables, mais subjectifs, influencent les résultats de recherche. » Et, à partir de la même base et de la même question de recherche, des résultats différents, parfois statistiquement significatifs, parfois non, ont été obtenus.

Ainsi, se fier aux résultats d’une seule équipe analysant une base de données non partagée n’est pas satisfaisant. Des variations de méthodologie sont possibles et acceptables. La bonne pratique consiste à faire un plan d’analyse et choisir les tests statistiques avant d’avoir les données. Des équipes auraient-elles tendance à faire plusieurs analyses avant de choisir celle qui leur plaît ? La transparence dans toute recherche est la base de la qualité.

Référence

1 Silberzhan R et al., “Many analysts, one data set : making transparent how variations in analytic choices affect results”, Adv Meth Pract in Psychol Sci, 2018, 1 :337-356.

Retrouvez plus d’informations sur le thème de l’intégrité scientifique sur le blog :
https://www.redactionmedicale.fr/


Publié dans le n° 328 de la revue


Partager cet article


L' auteur

Hervé Maisonneuve

Médecin de santé publique, il est consultant en rédaction scientifique et anime le blog Rédaction Médicale et (...)

Plus d'informations

]