Collaborer

Calibrer les items par la théorie de la réponse à l'item (IRT)

Pourquoi

MathEval est un système expert : l'ordre dans lequel les items sont posés à un enfant, et la difficulté qu'on leur suppose, reposent sur un jugement clinique. L'IRT permet de vérifier ce jugement avec des chiffres plutôt qu'avec une impression — et, le cas échéant, de corriger l'ordre de difficulté d'une épreuve.

Quoi

Un sujet de mémoire. Il y a deux façons de recueillir les réponses de nombreux enfants, selon les items visés :

• Les questions du test lui-même. Leur difficulté se calcule à partir des passations du test faites en mode « portes ouvertes », où le résultat d'une épreuve ne ferme pas les suivantes : aucune réponse ne manque du fait des règles du test, et l'on voit comment les épreuves s'emboîtent. Ce mode est décrit dans Un regard critique sur le test.
• Des questions candidates, que le test ne pose pas encore, dans les domaines où l'on peut en proposer beaucoup plus : calcul mental, dictée et lecture de nombres, comparaison, numération décimale. C'est le rôle d'une épreuve parallèle, qui passe d'un domaine au suivant sans que le résultat de l'un ferme les autres.

Ce n'est pas le test clinique : aucun rapport n'est rédigé, et les réponses vont dans un fichier à part, sans nom d'enfant.

Ce que le calcul cherche à comprendre

Le niveau de difficulté de chaque question. La proportion d'enfants qui réussissent une question, à niveau égal, dit si elle est facile, moyenne ou difficile — donc si l'ordre dans lequel le test les pose est le bon. Avec peu d'enfants, cette proportion est trop incertaine : si trois enfants sur cinq réussissent une question, on ne peut pas savoir si elle est facile ou moyenne. Il faut plusieurs centaines d'enfants par question pour une estimation stable. C'est aussi pourquoi un fichier de quelques enfants ne suffit pas : c'est un travail collectif, et chaque enfant testé est le bienvenu.

La règle d'arrêt de l'épreuve parallèle

Dans chaque domaine, les questions sont rangées en paliers de difficulté croissante. Les additions, par exemple, en ont sept : de « deux chiffres plus un chiffre, sans passage de la dizaine » jusqu'aux nombres à quatre chiffres. Un palier contient deux sortes de questions : des questions repères, déjà présentes dans le test, et des questions candidates, nouvelles, ajoutées pour avoir plus de matière.

L'enfant reçoit toutes les questions d'un palier. À la fin du palier, l'épreuve compte les seules questions repères réussies : si l'enfant en a réussi au moins la moitié (arrondie au-dessus), il passe au palier suivant ; sinon, le domaine s'arrête et l'épreuve passe au domaine suivant. Les questions candidates ne comptent jamais pour avancer. Un palier de dix repères en demande donc cinq ; un palier de deux repères en demande un.

Pourquoi. Ne jamais donner à un enfant des questions manifestement hors de sa portée au seul motif de recueillir des données.

Ce que cela implique. Les questions difficiles ne sont posées qu'aux enfants qui ont réussi les précédentes : on ne saura donc pas si un enfant qui a échoué un palier aurait réussi le suivant. Le calcul de difficulté s'accommode de ces réponses manquantes, parce qu'elles dépendent de réponses déjà données ; mais l'épreuve ne peut pas dire si l'ordre des paliers tient pour les enfants qui s'arrêtent tôt. Cette question-là relève du mode « portes ouvertes », où rien n'est sauté (voir Un regard critique sur le test). Entre deux domaines, en revanche, l'épreuve ne s'arrête jamais : le résultat d'un domaine ne ferme pas les suivants.

Ce qu'on attend de ce travail

Une évaluation de la théorie de réponse à l'item appliquée au test, sans chercher l'exhaustivité. Elle dira d'abord si l'ordre de difficulté choisi pour chaque épreuve tient, et donc s'il y a des modifications à apporter. Si elles sont peu nombreuses, elles sont apportées. Si elles sont très nombreuses, la question de la construction même du test se posera de nouveau.

Qui

Un étudiant en neuropsychologie, logopédie ou orthophonie, avec l'appui de son encadrant, ayant accès à plusieurs classes — ou plusieurs étudiants qui mettent leurs passations en commun.

Comment

Rien à convenir avec moi avant de commencer : chaque enfant testé est le bienvenu. La marche à suivre — de l'accord de l'école à l'envoi du fichier — est décrite pas à pas sur le site du test, et l'épreuve elle-même explique à l'écran ce qu'il faut faire avant de commencer. Une question, un problème : la page Contact.

Ouvrir « Calibrer les items par IRT » sur le site du test →

Se tester soi-même

Deux pages permettent de vérifier ce que l'on a retenu de MathEval et de la façon de faire passer le test. Vérifier vos connaissances propose vingt questions à choix multiple sur le test lui-même, avec la correction aussitôt et la page à relire. Le questionnaire complet couvre aussi la dyscalculie et l'état de la recherche, avec des questions ouvertes. Chaque page de procédure du site du test se termine, elle aussi, par quelques questions pour s'auto-évaluer. Rien n'est enregistré ni envoyé : c'est pour vous.