¿Son fiables los test cerebrales online?

Qué significa fiabilidad, en una imagen

Imagina a 50 personas que hacen el mismo test hoy y otra vez la semana que viene. Si quienes sacaron una puntuación alta hoy también la sacan la semana próxima, y quienes sacaron una baja siguen abajo, el test es fiable. Los investigadores lo resumen con un coeficiente test retest, a menudo una correlación intraclase, que va de 0 para el ruido puro a 1 para una clasificación perfectamente estable.

La fiabilidad no es exactitud en el sentido cotidiano. Un test puede ser muy fiable y medir algo muy concreto. Pero un test que no es fiable no puede decir gran cosa de una persona, porque tu resultado cambiaría si lo repitieras mañana.

Fiabilidad por tarea

Las cifras de abajo vienen de estudios test retest publicados. No todas usan el mismo formato que los juegos de este sitio, por eso se indica la tarea de origen.

Tarea	Fiabilidad	Condiciones
Tiempo de reacción simple, laboratorio	0,83	48 adultos, tres sesiones semanales (Woods et al., 2015b)
Tiempo de reacción simple, teléfonos personales	0,83	55 adultos, tres sesiones semanales (Van Patten et al., 2021)
Errores de comisión del go/no-go	0,76	Laboratorio, dos sesiones (Hedge et al., 2018)
Control de impulsos en teléfonos	De 0,68 a 0,80	Tiempos, luego puntuación compuesta (Van Patten et al., 2021)
Memoria de trabajo en teléfonos	0,88	Puntuación compuesta, tres semanas (Van Patten et al., 2021)
Trail Making A, informatizado	0,87	50 adultos, tres sesiones (Woods et al., 2015c)
Amplitud de bloques de Corsi, informatizada	0,85	Adultos jóvenes, con 20 minutos de intervalo (Morawietz et al., 2024)
Coste Stroop	0,60 y 0,66	Dos estudios de laboratorio (Hedge et al., 2018)
Coste flanker	0,40 y 0,57	Dos estudios de laboratorio (Hedge et al., 2018)

La paradoja de la fiabilidad

Los efectos Stroop y flanker están entre los resultados más sólidos de la psicología. Casi todo el mundo los muestra. Ese es justo el problema para medir a una persona. Cuando todos tienen casi el mismo efecto, las diferencias entre personas son pequeñas comparadas con el ruido del día a día, y la clasificación no se mantiene de una sesión a otra.

Hedge, Powell y Sumner evaluaron siete tareas clásicas y encontraron fiabilidades de 0 a 0,82, sorprendentemente bajas para tareas tan usadas, y demostraron que se debía a la poca variación entre personas y no a una mala medición (Hedge et al., 2018). La lección para una app que puntúa es sencilla. Puntúa lo que se mantiene estable y deja el resto como juegos.

Test de reacciónJuega el test, 20 s, sin cuenta ni cookies

Tu dispositivo cambia tu resultado

Los tests online funcionan en un hardware que nadie controla. Las pantallas táctiles convencionales añaden de 50 a 200 ms de latencia (Van Patten et al., 2021). Entre 59.587 visitantes de TestMyBrain.org, quienes usaban dispositivos móviles, sobre todo Android, fueron más lentos en los tests de tiempo de reacción que quienes usaban ordenador, incluso teniendo en cuenta la edad, el género y el nivel de estudios (Passell et al., 2021). Un resultado solo se puede comparar con resultados obtenidos en dispositivos parecidos.

La práctica infla las primeras sesiones

Los resultados suben cuando repites un test (Scharfen et al., 2018a). En 68 estudios sobre tests de memoria de trabajo, la subida de la primera a la segunda sesión fue de alrededor de un cuarto de desviación típica, y los resultados siguieron subiendo hasta la cuarta sesión (Scharfen et al., 2018b). Un gran salto tras tus primeras partidas es sobre todo el test volviéndose familiar.

Promediar ayuda mucho. En 219 adultos que hicieron tests breves en su smartphone muchas veces, las puntuaciones medias alcanzaron una fiabilidad de 0,97 o más, comparable a la de las evaluaciones de laboratorio (Sliwinski et al., 2018).

Cómo tiene Headgame todo esto en cuenta

La carta solo puntúa tareas cuya fiabilidad propia, o la de una tarea pariente cercana, se sabe que es buena, el tiempo de reacción simple, la cuadrícula de Schulte, la memoria de secuencia, el test del chimpancé y el go/no-go. Stroop y flanker siguen siendo juegos libres. Cada stat promedia tus dos mejores sesiones de la semana, nunca una sola mañana, y la app corrige según el tipo de pantalla. El método completo está en la página de ciencia.