« Il y a trois sortes de mensonges : les petits mensonges, les gros mensonges et les statistiques », disait Mark Twain. Les statistiques font partie des éléments les plus fragiles de nos argumentaires. Elles sont un élément-choc, brutal, expéditif, que l’on jette à la volée pour clouer son adversaire. On ne doit pas laisser le temps de l’examiner. Et puis ça serait bête qu’on y trouve un paradoxe de Simpson…

Le paradoxe de Simpson est un paradoxe classique des études statistiques.  Techniquement, il est une contradiction entre le résultat global et la combinaison des résultats partiels. Je sais, ça n’en a peut-être pas l’air, mais c’est bien le loup des études statistiques. Il est la source d’erreur la plus fréquente. Chercher à le démasquer est souvent long et ennuyeux. Ne comptez pas sur sa découverte pour vous faire des amis. Vous ne pourrez bientôt plus jeter un œil sur la moindre statistique sans aussitôt flairer sa présence.

Car le paradoxe de Simpson n’est pas un truquage. Tous les chiffres qu’il vous donne sont justes ; c’est la conclusion que l’on en tire qui est fausse.

Je vais tenter de vous le décrire une première fois dans sa version la plus simple. Admettons que vous ayez contracté une hernie discale et que vous cherchez le meilleur hôpital qui pourrait prendre en charge votre opération. Vous allez saisir des études sur les taux de succès de chaque établissement. Dans notre exemple, il n’y en a que deux : l’un affiche 66% de réussite, et l’autre 76%. Bien entendu, l’hésitation n’est pas longue : vous choisissez le second.

Vous êtes ainsi tombé dans le piège. C’est un cas d’école : il y a une cause (la qualité du travail chirurgical) et une conséquence (la proportion de réussite). Mais vous oubliez qu’il existe un élément tiers, que l’on appelle le facteur de confusion. Il est lié aux causes et modifie la conséquence dans un sens contraire. La proportion de réussite d’un bon hôpital incite tous les cas les plus difficiles à se diriger vers les meilleurs hôpitaux. Lesquels se retrouvent avec une moindre proportion de réussite sur le long terme.

En séparant les cas difficiles et les cas faciles, selon un critère arbitraire (par exemple, la taille de l’hernie), nous avons trouvé le facteur de confusion. Nous découvrons que dans le premier hôpital, 82% des patients sont des cas difficiles, tandis qu’ils ne représentent que 10% du second hôpital. Maintenant, appliquons cette séparation pour les taux de réussite, sans changer l’étude. Parmi les seuls cas difficiles, le premier hôpital est désigné comme plus efficace (63% contre 49%). Et je vous garde le meilleur pour la fin : parmi les seuls cas faciles, le premier hôpital est également désigné comme le plus efficace (90% contre 82%).

C’est l’élément le plus surprenant du paradoxe. Même en comprenant les rouages logiques, il est toujours bizarre de voir que l’analyse globale préfère le second hôpital ; quand l’analyse séparée désigne le premier pour les cas faciles comme difficiles. Tous ces chiffres sont inventés mais ils sont possibles mathématiquement et pourraient être tirés d’une vraie étude.

Peut-être estimez-vous le piège un peu grossier. Détrompez-vous. Dans un but pédagogique, je l’ai présenté sous une forme simple ; car la pertinence de la distinction entre cas faciles et cas difficiles paraît évidente. Et pourtant, le facteur de confusion est loin d’être toujours aussi visible. Il nécessite parfois une grande expertise dans le domaine. Un simple déséquilibre entre deux ou plusieurs catégories ignorées, et même pas mentionnées sur le papier, une simple question oubliée dans le sondage, suffit pour maquiller le cadavre. Dès lors, la conclusion obtenue est exactement l’inverse de celle à laquelle on devrait aboutir…

Ce que le paradoxe de Simpson montre, c’est que les statistiques non truquées font plus encore de mal à la compréhension que les statistiques truquées. Elles ne suffisent jamais pour appuyer ses arguments. A notre époque où chacun réutilise à son gré des chiffres du monde entier grâce au numérique, la tentation est bien facile. « Les chiffres sont des êtres fragiles, qui à force d’être torturés, finissent par avouer tout ce qu’on veut leur faire dire » disait Albert Sauvy. J’avais longtemps pensé que cette citation dénonçait la facilité avec laquelle on pouvait truquer les chiffres. Mais le mal est plus profond : notre propre incapacité à les comprendre. Ainsi, lorsqu’on annonce un taux de succès de 66% et de 76% pour deux hôpitaux, aussi intuitive que cela puisse paraître, cela ne veut pas dire que le second est meilleur que le premier.

Au-delà du seul paradoxe de Simpson, les statistiques ne décrivent d’ailleurs aucun lien de causalité. Ils n’établissent que des corrélations entre des grandeurs diverses, lesquelles nous éclairent sur un possible lien causal. Mais même lorsque cette corrélation est maximale, toute déduction hâtive peut nous duper. Aussi le monde des statistiques est-il plein de bonnes études où vingt pages de brillants calculs sont détruites en trois lignes de conclusion malheureuse.

Kolbe

>> Vous avez aimé ? Partagez ! Réagissez ! 😉