Collaborer

Un regard critique sur le test

Pourquoi

Chaque épreuve traduit un choix théorique ou une hypothèse de conception, et certains de ces choix n'ont jamais été vérifiés. Un regard critique permet de les mettre à l'épreuve et, si les observations le justifient, de modifier le test en conséquence.

Quoi

Deux sujets, volontairement précis pour montrer ce qu'on peut faire de l'instrument.

1. Les portes du test sont-elles justifiées ?

MathEval est un système expert : les questions posées à un enfant dépendent de ses réussites précédentes, et certains parcours ne sont donc jamais suivis. Six règles décident ainsi, d'après un résultat, de ne pas poser certaines épreuves :

• la comptine s'arrête avant 6 : la chaîne numérique (intrabornes) et tout le calcul mental sont déclarés non testables ;
• le dénombrement ne dépasse pas 9 : le test s'arrête là, sans le sens des nombres ni le calcul mental ;
• la comptine ne va pas jusqu'à 15 : les comptages par 2, 5 et 10 ne sont pas posés ;
• en 2^e primaire, un enfant qui dénombre dix-neuf ronds d'emblée est crédité d'un coup des 9 ronds, du principe cardinal, des 19 ronds et de la non-pertinence de l'ordre, sans que ces épreuves lui soient posées ;
• un effondrement en additions concrètes met fin au test, avant les soustractions, le transcodage et la numération ;
• un score de lecture inférieur à 4 (sur les nombres à deux chiffres) empêche que la numération décimale soit posée.

Ces six règles sont des hypothèses — l'épreuve d'après serait échouée de toute façon —, et elles n'ont jamais été vérifiées. Le test permet maintenant de les vérifier : dans un mode particulier, dit « portes ouvertes », les épreuves normalement sautées sont posées quand même, et le rapport dit, pour chacune des six règles, ce que le test ordinaire aurait décidé et ce que l'enfant a obtenu au-delà ; le fichier de scores garde la trace de chaque cas dans une colonne dédiée. Comme aucune épreuve n'est plus sautée, ces passations servent aussi à calculer la difficulté des questions réelles du test par la théorie de la réponse à l'item (voir Calibrer les items par IRT).

L'analyse ne se limite pas à un simple comptage des enfants qui réussissent malgré tout derrière une de ces règles : il faut départager les épreuves entre elles, pour pouvoir, si les observations le justifient, modifier certaines de ces six règles — le protocole de correction précis reste à construire avec l'étudiant qui reprend ce sujet.

Les mêmes données permettent aussi de vérifier ceci : dans un test adaptatif, deux enfants suivent rarement le même parcours, et leurs scores ne sont comparables que si la difficulté des items suit une hiérarchie stable — un enfant qui réussit un item difficile devrait réussir les plus faciles. On peut compter les cas où ce n'est pas vrai. L'argument, et ce qu'il laisse ouvert, est exposé sur la page Portée et limites.

La marche à suivre — le fichier de scores, la fiche de l'enfant, l'envoi de la copie sans les noms — est sur le site du test.

Ouvrir « Vérifier les portes du test » sur le site du test →

2. Le test couvre-t-il ce que les modèles décrivent ?

Chaque épreuve opérationnalise des concepts issus de la recherche. Pour la chaîne numérique et le dénombrement, l'opérationnalisation est directe : les stades de Fuson, Richards et Briars et les principes de Gelman et Gallistel sont exactement ce que les épreuves mesurent. Le sens des nombres est plus discutable : deux épreuves — comparer deux nombres, situer un nombre sur une ligne — pour le code analogique du modèle du triple code de Dehaene ; d'autres épreuves devraient peut-être s'y ajouter, et la théorie a bougé depuis 2010. Un travail critique sur ce que ces épreuves mesurent réellement, sur ce qui manque et sur ce qu'il faudrait changer m'intéresserait autant qu'une validation — et je modifierais le test en conséquence.

Comment

Pour le premier sujet, la marche à suivre est sur le site du test (bouton ci-dessus). Pour le second, ou pour toute autre idée, écrivez-moi par la page Contact. Ces deux sujets sont loin d'épuiser la question : une question à laquelle je n'ai pas pensé, une critique du test, un usage que je n'imagine pas sont les bienvenus. Je propose du matériel et un interlocuteur, pas un cahier des charges. La clause de non-dérivation de la licence n'entrave pas ce travail — j'en donne l'autorisation à qui l'entreprend, y compris pour une version modifiée du test si le protocole l'exige.