Le paradoxe de Simpson, ou l’art de pouvoir dire tout et son contraire

Il y a trois sortes de mensonges : « les mensonges, les sacrés mensonges et les statistiques », disait Mark Twain. Mais peut-on vraiment faire dire n’importe quoi aux chiffres ? En 1951, Edward Simpson, statisticien britannique, montre qu’un même phénomène observé à l’intérieur de plusieurs groupes, s’inverse lorsque les groupes sont combinés en un seul. Des chiffres exacts peuvent conduire à des résultats contradictoires selon leur présentation, ce qui est fréquent en sciences sociales. Avec un risque de fâcheuses erreurs d’interprétation.

En 1973, par exemple, l’Université américaine Berkeley était poursuivie pour discrimination envers les filles. Globalement, 35 % des candidates avaient été admises contre 44 % des candidats, alors même que les résultats d’admission des candidates étaient meilleurs dans la majorité des départements d’enseignement.

Il n’y avait pas d’erreur. Les filles avaient été nombreuses à postuler pour les départements les plus sélectifs, où leurs résultats étaient à peine plus faibles que ceux des garçons. Dans les autres, elles avaient été très largement retenues. Mais les départements sélectifs ont eu plus de poids puisqu’elles y avaient postulé en masse. La fusion des résultats les a donc désavantagées. Explication : le sexe et les admissions étaient liés à une autre variable, le département universitaire.

Biais de sélection à corriger

De même, une étude¹ portant sur les malades hospitalisés du Covid a révélé que le vaccin réduisait la mortalité chez les plus de 50 ans et chez les moins de 50 ans, mais que, pour la population globale, la mortalité était plus élevée chez les vaccinés.

Explication : le taux de vaccination était de 95 % pour les plus de 50 ans, et de seulement 40 % chez les moins de 50 ans. Comparer leur taux de mortalité revenait à comparer une population âgée et une population jeune. Dire que « le taux de mortalité était plus élevé chez les vaccinés » était donc biaisé par la différence de taux de vaccination selon les classes d’âge. Regrouper les données introduit un biais de sélection qu’il faut corriger, car les statistiques sont utilisées comme outil d’aide à la décision.

1. “SARS-CoV-2 variants of concern and variants under investigation in England”, Public Health England, 2021.