EXPERIENCE

A VOUS DE DECIDER !

Vous êtes élu(e) à la tête d'une région
et vous devez prendre une décision
sur la mise en place de repas BIOGM
dans les cantines scolaires.

Le débat fait rage parmi vos administrés,
entre les partisans du BIOGM et les autres.

Pour y voir plus clair, vous commandez
une étude à un organisme indépendant pour savoir si le BIOGM,
comme on l'entend dire, a bien un effet positif
sur l'apprentissage du français chez les enfants*.

*situation et données totalement fictives

Après plusieurs mois d'enquête, sur des centaines d'enfants de la Région, les résultats sont enfin publiés !

On mesure la réussite ou l'échec à un test de français réalisé sur des enfants mangeant soit dans des cantines BIOGM soit dans des cantines NON BIOGM.

Résultats du test de Français selon le type de cantine

Cantines BIOGM	Cantines NON BIOGM
Résultats du test de Français : Réussite : 320 enfants Echec : 260 enfants	Résultats du test de Français : Réussite : 300 enfants Echec : 360 enfants

Calculez le pourcentage de réussite dans chacun des cas puis prenez votre décision : au vu des résultats, quel choix faut-il faire pour les repas afin d'améliorer les résultats en Français ?

REPONSE

Pourcentages de réussite au test de français :

Cantines BIOGM	Cantines NON BIOGM
55,2 %	45,5 %

Au vu de ces pourcentages, le BIOGM améliore
les résultats en français.

Un de vos adjoints vous fait remarquer que le fonctionnement des écoles est bien différent entre les villes et les campagnes.
Il serait utile de différencier le lieu d'habitation pour l'analyse des données.

Vous demandez alors à l'organisme d'enquête de
vous donner les chiffres par type de commune.

Résultats du test de Français pour les VILLES

Cantines BIOGM	Cantines NON BIOGM
Résultats du test de Français : Réussite : 280 enfants Echec : 140 enfants	Résultats du test de Français : Réussite : 160 enfants Echec : 40 enfants

Calculez les pourcentage de réussite puis prenez votre décision : au vu des résultats, quel choix faut-il faire pour les repas
POUR LES VILLES ?

REPONSE

Pourcentages de réussite au test de français POUR LES VILLES :

Cantines BIOGM	Cantines NON BIOGM
66,7 %	80 %

Au vu de ces pourcentages, le BIOGM réduit
les résultats en français POUR LES VILLES.

Résultats du test de Français pour les CAMPAGNES

Cantines BIOGM	Cantines NON BIOGM
Résultats du test de Français : Réussite : 40 enfants Echec : 120 enfants	Résultats du test de Français : Réussite : 140 enfants Echec : 320 enfants

Calculez les pourcentage de réussite puis prenez votre décision : au vu des résultats, quel choix faut-il faire pour les repas
POUR LES CAMPAGNES ?

REPONSE

Pourcentages de réussite au test de français POUR LES CAMPAGNES :

Cantines BIOGM	Cantines NON BIOGM
25 %	30,4 %

Au vu de ces pourcentages, le BIOGM réduit
les résultats en français POUR LES CAMPAGNES.

Vous êtes perplexe... Les résultats se contrarient entre eux !

	Cantines BIOGM	Cantines NON BIOGM
Chiffres globaux	Réussite : 320 enfants Echec : 260 enfants	Réussite : 300 enfants Echec : 360 enfants
Ville	Réussite : 280 enfants Echec : 140 enfants	Réussite : 160 enfants Echec : 40 enfants
Campagne	Réussite : 40 enfants Echec : 120 enfants	Réussite : 140 enfants Echec : 320 enfants

Pas d'erreur : les cantines BIOGM obtiennent de meilleurs scores globalement alors que séparément, le BIOGM est moins bon à la fois pour les villes et pour les campagnes !!!

Malgré l'enquête indépendante,
impossible de se mettre d'accord...

Paradoxe de Simpson

Le paradoxe de Simpson est un effet statistique qui modifie l'effet observé selon la manière dont on regroupe ou sépare des ensembles de données. Ce résultat est lié à des différences d'effectifs ou à la présence de variables intermédiaires.

Ici, les variables "type de cantine" et 'localisation" ne sont pas indépendantes et conduisent à des groupes avec des effectifs biaisés. Il y a plus de cantines Biogm dans les villes et plus de cantines non Biogm dans les campagnes. Pour pouvoir interpréter correctement, il faudrait savoir pourquoi la répartition des cantines n'est pas la même en ville et dans les campagnes.
C'est la compréhension de cette variable cachée et plus largement du modèle théorique sous jacent à l'expérience qui peut permettre de décider sans risque de se tromper, plutôt que de ne se fier qu'aux chiffres bruts, surtout si les variables sont définies à posteriori, une fois les données globales obtenues.

"Paradox and error arise only when the problem is stripped of its causal context and analysed merely in statistical terms, or when non-causal concepts like symmetry and collapsibility are allowed to guide the analysis."
Hernán, M.A., Clayton, D., & Keiding, N. (2011). The Simpson's paradox unraveled. International Journal of Epidemiology, 40(3): 780–785.

Le paradoxe de Simpson sur le blog "Science Etonnante"
et en vidéo sur la chaîne Youtube
Le paradoxe de Simpson et l'épidémie de Covid
Le paradoxe de Simpson sur Wikipédia

FIN DE L'ACTIVITE