Analyses statistiques / 2011

Validité externe

La validité du test est évaluée par rapport à deux critères externes : l'appréciation globale de l'enseignant et le test de dépistage de 3e maternelle (GSM en France), c'est-à-dire l'Inizan ou le test expérimental selon le groupe d'enfants.

1. « Total MathEval » et appréciation de l'enseignant

Analyse de la variance (ANOVA)

Au test MathEval, les moyennes des enfants que l'enseignant considère comme très faibles, moyens ou très forts sont bien distinctes :

Groupe (enseignant)NMoyenne MathEvalÉcart-typeMédianeIC 95% de la moyenne
Faible1067,217,2662[54,9 ; 79,5]
Moyen4287,9816,1088,5[83,0 ; 93,0]
Très fort13115,0827,49105[98,5 ; 131,7]
Ensemble6590,223,6990

Intervalle de confiance à 95 % de la moyenne (loi de Student : moyenne ± t(seuil, ddl) × écart-type / √n). ajout 2026 Les groupes extrêmes sont de petite taille, et pourtant les trois intervalles ne se chevauchent pas (79,5 < 83,0 et 93,0 < 98,5) : la séparation entre les groupes n'est pas un artefact dû à la petite taille de l'échantillon.

SourceDFSSMSF
Classt (groupe enseignant)213542,96771,4518,76
Erreur6222381,5360,99
Total6435924,4

p = 4,3 × 10⁻⁷ : le résultat est très hautement significatif.

Test non paramétrique de Kruskal-Wallis

Ce test, utilisé par les auteurs du Tedi-Math, compare les médianes plutôt que les moyennes. Ici aussi, les médianes des trois groupes diffèrent de manière extrêmement significative.

Indice de Kappa

Contrairement à l'ANOVA et au test de Kruskal-Wallis, l'indice de Kappa mesure l'accord entre l'appréciation de l'enseignant et le résultat à MathEval pour chaque enfant. Il donne ainsi une idée plus intuitive de la portée psychologique du phénomène, par opposition à sa portée statistique.

Sur les 65 enfants testés, 23 (soit 35 %) ne sont pas classés de la même manière par leur note totale à MathEval et par l'appréciation de l'enseignant. L'indice de Kappa est de ,41, à la limite entre un accord faible et un accord modéré. Cela confirme qu'un résultat statistiquement significatif n'est pas forcément significatif sur le plan psychologique : il faut rester prudent dans l'interprétation des indices statistiques.

KappaInterprétation
< 0Désaccord
0,00 – 0,20Accord très faible
0,21 – 0,40Accord faible
0,41 – 0,60Accord modéré
0,61 – 0,80Accord fort
0,81 – 1,00Accord presque parfait

L'enseignant est-il plus proche de MathEval, ou des autres tests de dépistage ?

Un Kappa de ,41 entre MathEval et l'enseignant pourrait laisser penser que MathEval s'accorde mal avec un critère de référence. Mais l'enseignant n'est pas non plus un instrument validé : rien n'indique, à priori, que son jugement soit plus proche de la réalité que celui de MathEval. Le même calcul de Kappa a été appliqué aux deux tests de dépistage indépendants, en reconstituant des groupes dans les mêmes proportions que ceux de l'enseignant :

Comparaison avec l'enseignantNAccordKappa
« Total MathEval »6565%,41
Test Jod — sous-test Nombres4847,9%,03
Test Jod — total4866,7%,38
Test d'Inizan1586,7%,68(*)

(*) À interpréter avec une extrême prudence : sur ces 15 enfants, un seul est classé « faible » par l'enseignant. Il suffirait qu'un enfant change de groupe pour que ce Kappa varie fortement.

L'accord de MathEval avec l'enseignant (,41) est donc comparable ou supérieur à celui des deux tests de dépistage spécialisés. Seul le test d'Inizan fait exception, mais son échantillon est ici bien trop restreint pour conclure. Une fois converti en trois groupes, le sous-test « Nombres » du Jod, en particulier, ne s'accorde presque pas avec l'enseignant (Kappa ,03), alors que sa corrélation avec le score total à MathEval est de ,40 (voir la page Corrélations). Cela rappelle que le passage d'une échelle continue à trois catégories fait perdre beaucoup d'information : un Kappa bas, pris isolément, ne signifie pas forcément une mauvaise validité.

Intervalles de confiance des corrélations avec les critères externes ajout 2026

Voici les corrélations entre le score total à MathEval et chacun des critères externes, avec leur intervalle de confiance à 95 % (transformation z de Fisher) :

ComparaisonrNIC 95%
Total MathEval vs Classt. enseignant,6165[,43 ; ,74]
Total MathEval vs Test Inizan,5315[,02 ; ,82]
Total MathEval vs JodTot,3848[,11 ; ,60]
Total MathEval vs JodNb,4048[,13 ; ,61]

L'intervalle du test d'Inizan ([,02 ; ,82]) chiffre la fragilité déjà signalée pour le Kappa : avec 15 enfants seulement, la vraie corrélation pourrait être presque nulle comme très forte. Un échantillon aussi petit ne permet pas de trancher.

2. « Total MathEval » et test de dépistage de 3e maternelle

Les résultats totaux à MathEval ont été répartis en trois catégories (faible, moyen, fort), selon les mêmes pourcentages que l'appréciation de l'enseignant : 11 % (faible), 69 % (moyen) et 20 % (fort), sur les 48 enfants de cette analyse.

TestSeuil de signifiance (p)
ANOVA,008
Kruskal-Wallis,07

La validité externe se confirme ou non selon le test statistique utilisé : elle est significative avec l'ANOVA (,008), mais pas avec le test de Kruskal-Wallis au seuil habituel de ,05 (,07). L'analyse par groupe montre que les moyennes et les médianes des groupes moyen et fort sont assez proches. Le test repère très bien les enfants les plus faibles, mais distingue moins bien les enfants moyens des enfants forts. Cela ne doit pas inquiéter outre mesure : le rôle d'un test de dépistage est justement de repérer les enfants susceptibles d'être en difficulté.

3. Validité externe du test expérimental de 3e maternelle

Quarante-huit enfants ont passé un test expérimental mis au point par des collègues d'un centre PMS du Brabant wallon.

a) Validité externe globale

Les trois groupes établis par les enseignants (faibles, moyens, forts) se distinguent aussi au test expérimental, par leurs moyennes comme par leurs médianes. Les différences sont significatives au seuil de ,001, quel que soit le test statistique utilisé.

b) Pouvoir prédictif des sous-tests spécifiques

Deux sous-tests du test expérimental ont un lien avec les mathématiques : l'un évalue le vocabulaire spatial, l'autre le concept de nombre.

Sous-testANOVA (p)Kruskal-Wallis (p)Significatif ?
« Nombres »,0013,037Oui, aux deux tests
« Spatial »,0335,11À l'ANOVA seulement

Le sous-test « Nombres » prédit donc mieux le niveau en mathématiques que le sous-test « Spatial ». Cela confirme que le contenu mathématique d'une épreuve compte pour sa valeur prédictive.