Validité externe
La validité du test est évaluée par rapport à deux critères externes : l'appréciation globale de l'enseignant et le test de dépistage de 3e maternelle (GSM en France), c'est-à-dire l'Inizan ou le test expérimental selon le groupe d'enfants.
1. « Total MathEval » et appréciation de l'enseignant
Analyse de la variance (ANOVA)
Au test MathEval, les moyennes des enfants que l'enseignant considère comme très faibles, moyens ou très forts sont bien distinctes :
| Groupe (enseignant) | N | Moyenne MathEval | Écart-type | Médiane | IC 95% de la moyenne |
|---|---|---|---|---|---|
| Faible | 10 | 67,2 | 17,26 | 62 | [54,9 ; 79,5] |
| Moyen | 42 | 87,98 | 16,10 | 88,5 | [83,0 ; 93,0] |
| Très fort | 13 | 115,08 | 27,49 | 105 | [98,5 ; 131,7] |
| Ensemble | 65 | 90,2 | 23,69 | 90 |
Intervalle de confiance à 95 % de la moyenne (loi de Student : moyenne ± t(seuil, ddl) × écart-type / √n). ajout 2026 Les groupes extrêmes sont de petite taille, et pourtant les trois intervalles ne se chevauchent pas (79,5 < 83,0 et 93,0 < 98,5) : la séparation entre les groupes n'est pas un artefact dû à la petite taille de l'échantillon.
| Source | DF | SS | MS | F |
|---|---|---|---|---|
| Classt (groupe enseignant) | 2 | 13542,9 | 6771,45 | 18,76 |
| Erreur | 62 | 22381,5 | 360,99 | |
| Total | 64 | 35924,4 |
p = 4,3 × 10⁻⁷ : le résultat est très hautement significatif.
Test non paramétrique de Kruskal-Wallis
Ce test, utilisé par les auteurs du Tedi-Math, compare les médianes plutôt que les moyennes. Ici aussi, les médianes des trois groupes diffèrent de manière extrêmement significative.
Indice de Kappa
Contrairement à l'ANOVA et au test de Kruskal-Wallis, l'indice de Kappa mesure l'accord entre l'appréciation de l'enseignant et le résultat à MathEval pour chaque enfant. Il donne ainsi une idée plus intuitive de la portée psychologique du phénomène, par opposition à sa portée statistique.
Sur les 65 enfants testés, 23 (soit 35 %) ne sont pas classés de la même manière par leur note totale à MathEval et par l'appréciation de l'enseignant. L'indice de Kappa est de ,41, à la limite entre un accord faible et un accord modéré. Cela confirme qu'un résultat statistiquement significatif n'est pas forcément significatif sur le plan psychologique : il faut rester prudent dans l'interprétation des indices statistiques.
| Kappa | Interprétation |
|---|---|
| < 0 | Désaccord |
| 0,00 – 0,20 | Accord très faible |
| 0,21 – 0,40 | Accord faible |
| 0,41 – 0,60 | Accord modéré |
| 0,61 – 0,80 | Accord fort |
| 0,81 – 1,00 | Accord presque parfait |
L'enseignant est-il plus proche de MathEval, ou des autres tests de dépistage ?
Un Kappa de ,41 entre MathEval et l'enseignant pourrait laisser penser que MathEval s'accorde mal avec un critère de référence. Mais l'enseignant n'est pas non plus un instrument validé : rien n'indique, à priori, que son jugement soit plus proche de la réalité que celui de MathEval. Le même calcul de Kappa a été appliqué aux deux tests de dépistage indépendants, en reconstituant des groupes dans les mêmes proportions que ceux de l'enseignant :
| Comparaison avec l'enseignant | N | Accord | Kappa |
|---|---|---|---|
| « Total MathEval » | 65 | 65% | ,41 |
| Test Jod — sous-test Nombres | 48 | 47,9% | ,03 |
| Test Jod — total | 48 | 66,7% | ,38 |
| Test d'Inizan | 15 | 86,7% | ,68(*) |
(*) À interpréter avec une extrême prudence : sur ces 15 enfants, un seul est classé « faible » par l'enseignant. Il suffirait qu'un enfant change de groupe pour que ce Kappa varie fortement.
L'accord de MathEval avec l'enseignant (,41) est donc comparable ou supérieur à celui des deux tests de dépistage spécialisés. Seul le test d'Inizan fait exception, mais son échantillon est ici bien trop restreint pour conclure. Une fois converti en trois groupes, le sous-test « Nombres » du Jod, en particulier, ne s'accorde presque pas avec l'enseignant (Kappa ,03), alors que sa corrélation avec le score total à MathEval est de ,40 (voir la page Corrélations). Cela rappelle que le passage d'une échelle continue à trois catégories fait perdre beaucoup d'information : un Kappa bas, pris isolément, ne signifie pas forcément une mauvaise validité.
Intervalles de confiance des corrélations avec les critères externes ajout 2026
Voici les corrélations entre le score total à MathEval et chacun des critères externes, avec leur intervalle de confiance à 95 % (transformation z de Fisher) :
| Comparaison | r | N | IC 95% |
|---|---|---|---|
| Total MathEval vs Classt. enseignant | ,61 | 65 | [,43 ; ,74] |
| Total MathEval vs Test Inizan | ,53 | 15 | [,02 ; ,82] |
| Total MathEval vs JodTot | ,38 | 48 | [,11 ; ,60] |
| Total MathEval vs JodNb | ,40 | 48 | [,13 ; ,61] |
L'intervalle du test d'Inizan ([,02 ; ,82]) chiffre la fragilité déjà signalée pour le Kappa : avec 15 enfants seulement, la vraie corrélation pourrait être presque nulle comme très forte. Un échantillon aussi petit ne permet pas de trancher.
2. « Total MathEval » et test de dépistage de 3e maternelle
Les résultats totaux à MathEval ont été répartis en trois catégories (faible, moyen, fort), selon les mêmes pourcentages que l'appréciation de l'enseignant : 11 % (faible), 69 % (moyen) et 20 % (fort), sur les 48 enfants de cette analyse.
| Test | Seuil de signifiance (p) |
|---|---|
| ANOVA | ,008 |
| Kruskal-Wallis | ,07 |
La validité externe se confirme ou non selon le test statistique utilisé : elle est significative avec l'ANOVA (,008), mais pas avec le test de Kruskal-Wallis au seuil habituel de ,05 (,07). L'analyse par groupe montre que les moyennes et les médianes des groupes moyen et fort sont assez proches. Le test repère très bien les enfants les plus faibles, mais distingue moins bien les enfants moyens des enfants forts. Cela ne doit pas inquiéter outre mesure : le rôle d'un test de dépistage est justement de repérer les enfants susceptibles d'être en difficulté.
3. Validité externe du test expérimental de 3e maternelle
Quarante-huit enfants ont passé un test expérimental mis au point par des collègues d'un centre PMS du Brabant wallon.
a) Validité externe globale
Les trois groupes établis par les enseignants (faibles, moyens, forts) se distinguent aussi au test expérimental, par leurs moyennes comme par leurs médianes. Les différences sont significatives au seuil de ,001, quel que soit le test statistique utilisé.
b) Pouvoir prédictif des sous-tests spécifiques
Deux sous-tests du test expérimental ont un lien avec les mathématiques : l'un évalue le vocabulaire spatial, l'autre le concept de nombre.
| Sous-test | ANOVA (p) | Kruskal-Wallis (p) | Significatif ? |
|---|---|---|---|
| « Nombres » | ,0013 | ,037 | Oui, aux deux tests |
| « Spatial » | ,0335 | ,11 | À l'ANOVA seulement |
Le sous-test « Nombres » prédit donc mieux le niveau en mathématiques que le sous-test « Spatial ». Cela confirme que le contenu mathématique d'une épreuve compte pour sa valeur prédictive.
