Analyses statistiques / 2011

Différences filles/garçons

Toutes les comparaisons ont été faites par analyse de la variance (ANOVA). Pour les scores qui ne permettent pas une analyse paramétrique, le test de Kruskal-Wallis a été utilisé.

Un seul score distingue significativement les filles des garçons (au seuil de ,05), en faveur des garçons : le sous-test « Représentation des quantités ».

SourceDFFp
Sexe14,900,030
Erreur63——
Total64——

ANOVA sur le sous-test « Représentation des quantités » (ReprQtt). Hypothèse nulle (H0) : les moyennes des filles et des garçons sont égales dans la population.

Ce résultat isolé résiste-t-il à une correction pour comparaisons multiples ? ajout 2026

Ce sous-test n'est pas le seul à avoir été comparé entre filles et garçons : treize variables l'ont été au total. Or chaque test statistique, pris isolément, a par convention 5 % de chances de déclarer « significatif » un effet qui n'existe pas (un « faux positif »). C'est le sens du seuil p < ,05, popularisé dans les années 1920 par le statisticien Ronald Fisher comme un compromis pratique, et non comme une loi absolue. Ces 5 % ne valent que pour un seul test. Dès qu'on en répète plusieurs, la probabilité qu'au moins un d'entre eux franchisse le seuil par le seul hasard augmente vite. Pour n tests indépendants, elle vaut 1 − (0,95)ⁿ, soit environ 50 % pour les 13 tests réalisés ici. Autrement dit, même si aucune des treize variables ne présentait de vraie différence entre les sexes, il y avait presque une chance sur deux qu'au moins l'une d'elles apparaisse « significative ».

Voici toutes les variables testées, de la plus significative à la moins significative (valeurs recalculées à partir des données brutes de 2011, N = 65) :

Sous-testFp
Représentation des quantités4,90,030
Subitizing1,33,253
Total MathEval1,31,258
Cpter0,83,365
Dénombrement0,81,371
ScoreCpter0,69,410
Écriture des nombres0,66,421
Additions0,37,544
Soustractions0,19,665
Lecture des nombres0,01,918
Temps de passation0,01,927
CptineCplt0,01,942
Comptine0,00,956

Verdict : pour 13 tests, le seuil de Bonferroni est de ,05/13, soit ,00385. La valeur p de la représentation des quantités (,030) ne le franchit pas. La correction de Benjamini-Hochberg (FDR), pourtant moins sévère, impose le même seuil au résultat le plus significatif du lot : elle ne le retient donc pas non plus. Ce résultat ne résiste à aucune des deux corrections. Si un seul test avait été réalisé, et non treize, une valeur p de ,030 serait restée significative.

Cela ne veut pas dire que l'effet n'existe pas : un échantillon plus large pourrait le confirmer, ou non. Cela veut dire qu'en l'état, ce résultat isolé ne peut pas être présenté comme une découverte établie. C'est une piste, et non une conclusion. Voir le résumé sur la page Analyses statistiques.

On peut voir la même chose autrement. Si aucune des treize variables ne présentait de vraie différence entre les sexes, combien devrait-on en trouver « significatives » par pur hasard ? Considérons chaque test comme une pièce truquée qui aurait 5 % de chances de tomber sur « significatif » (loi binomiale, 13 essais). Trouver 0 ou 1 résultat significatif est alors le scénario le plus probable (respectivement 51,3 % et 35,1 % de chances, soit 86,5 % au total). Le résultat obtenu ici (1 sur 13) se situe donc exactement dans les limites du simple bruit statistique : aucun effet réel n'est nécessaire pour l'expliquer.

S'agit-il alors d'un artefact dû aux particularités de cet échantillon ? C'est l'hypothèse la plus probable : sur treize comparaisons, en trouver une à p = ,03 par pur hasard n'a rien d'exceptionnel. C'est même le scénario le plus probable en l'absence de correction.