Les tests cérébraux en ligne sont-ils fiables ?

Ce qu’est la fiabilité, en une image

Imagine 50 personnes qui passent le même test aujourd’hui puis la semaine prochaine. Si ceux qui ont eu un bon score aujourd’hui ont encore un bon score la semaine prochaine, et que les plus bas restent bas, le test est fiable. Les chercheurs le résument par un coefficient test retest, souvent une corrélation intraclasse, de 0 pour du bruit pur à 1 pour un classement parfaitement stable.

La fiabilité n’est pas la justesse au sens courant. Un test peut être très fiable et mesurer quelque chose d’étroit. Mais un test peu fiable ne peut pas dire grand chose d’une personne, parce que ton score changerait si tu le repassais demain.

La fiabilité tâche par tâche

Les chiffres ci-dessous viennent d’études test retest publiées. Ils ne viennent pas tous du même format que les jeux de ce site, c’est pour ça que la tâche parente est nommée.

Tâche	Fiabilité	Conditions
Temps de réaction simple, laboratoire	0,83	48 adultes, trois séances hebdomadaires (Woods et al., 2015b)
Temps de réaction simple, téléphone personnel	0,83	55 adultes, trois séances hebdomadaires (Van Patten et al., 2021)
Erreurs de commission du go/no-go	0,76	Laboratoire, deux séances (Hedge et al., 2018)
Contrôle de l’impulsion sur téléphone	0,68 à 0,80	Temps, puis score composite (Van Patten et al., 2021)
Mémoire de travail sur téléphone	0,88	Score composite, trois semaines (Van Patten et al., 2021)
Trail Making A informatisé	0,87	50 adultes, trois séances (Woods et al., 2015c)
Empan de Corsi informatisé	0,85	Jeunes adultes, 20 minutes d’écart (Morawietz et al., 2024)
Coût Stroop	0,60 et 0,66	Deux études en laboratoire (Hedge et al., 2018)
Coût flanker	0,40 et 0,57	Deux études en laboratoire (Hedge et al., 2018)

Le paradoxe de la fiabilité

Les effets Stroop et flanker font partie des résultats les plus solides de la psychologie. Presque tout le monde les montre. C’est justement le problème pour mesurer une personne. Quand tout le monde a à peu près le même effet, les écarts entre personnes sont petits face au bruit d’un jour à l’autre, et le classement ne tient pas d’une séance à la suivante.

Hedge, Powell et Sumner ont testé sept tâches classiques et trouvé des fiabilités de 0 à 0,82, étonnamment basses pour des tâches aussi utilisées, et ont montré que ça venait du faible écart entre personnes plutôt que d’une mauvaise mesure (Hedge et al., 2018). La leçon pour une app qui note est simple. Noter ce qui reste stable, garder le reste comme des jeux.

Test de temps de réactionJoue le test, 20 s, sans compte ni cookie

Ton appareil change ton score

Les tests en ligne tournent sur du matériel que personne ne contrôle. Les écrans tactiles classiques ajoutent de 50 à 200 ms de latence (Van Patten et al., 2021). Sur 59 587 visiteurs de TestMyBrain.org, les personnes sur mobile, surtout sur Android, étaient plus lentes aux tests de temps de réaction que celles sur ordinateur, même à âge, genre et niveau d’études égaux (Passell et al., 2021). Un score ne se compare qu’à des scores pris sur des appareils proches.

La pratique gonfle les premières séances

Les scores montent quand on répète un test (Scharfen et al., 2018a). Sur 68 études de tests de mémoire de travail, le gain entre la première et la deuxième séance était d’environ un quart d’écart type, et les scores continuaient de monter jusqu’à la quatrième séance (Scharfen et al., 2018b). Un gros bond après tes premières parties vient surtout du test qui devient familier.

Faire la moyenne aide beaucoup. Chez 219 adultes qui ont passé de courts tests sur leur smartphone de nombreuses fois, les scores moyens atteignaient une fiabilité de 0,97 ou plus, comparable aux évaluations en laboratoire (Sliwinski et al., 2018).

Comment Headgame en tient compte

La carte ne note que des tâches dont la fiabilité, ou celle d’une tâche parente proche, est connue et bonne, le temps de réaction simple, la grille de Schulte, la mémoire de séquence, le test du chimpanzé et le go/no-go. Stroop et flanker restent des jeux libres. Chaque stat fait la moyenne de tes deux meilleures séances de la semaine, jamais d’un seul matin, et l’app corrige selon le type d’écran. La méthode complète est sur la page science.