Sind Online-Gehirntests genau?

Was Reliabilität bedeutet, in einem Bild

Stell dir 50 Menschen vor, die heute denselben Test machen und nächste Woche noch einmal. Wenn die, die heute gut abschneiden, auch nächste Woche gut abschneiden und die Schwächeren schwächer bleiben, ist der Test zuverlässig. Forschende fassen das in einem Test-Retest-Koeffizienten zusammen, oft einer Intraklassenkorrelation, von 0 für reines Rauschen bis 1 für eine vollkommen stabile Rangfolge.

Reliabilität ist nicht Genauigkeit im Alltagssinn. Ein Test kann sehr zuverlässig sein und etwas Enges messen. Aber ein Test, der nicht zuverlässig ist, kann über eine einzelne Person wenig sagen, weil sich dein Ergebnis ändern würde, wenn du ihn morgen noch einmal machst.

Reliabilität je Aufgabe

Die Zahlen unten stammen aus veröffentlichten Test-Retest-Studien. Nicht alle haben dasselbe Format wie die Spiele auf dieser Seite, deshalb ist jeweils die verwandte Aufgabe genannt.

Das Reliabilitätsparadox

Der Stroop- und der Flanker-Effekt gehören zu den robustesten Ergebnissen der Psychologie. Fast alle zeigen sie. Genau das ist das Problem, wenn man eine einzelne Person messen will. Wenn alle fast denselben Effekt haben, sind die Unterschiede zwischen Menschen klein im Vergleich zum Rauschen von Tag zu Tag, und die Rangfolge hält von einer Sitzung zur nächsten nicht.

Hedge, Powell und Sumner testeten sieben klassische Aufgaben und fanden Reliabilitäten von 0 bis 0,82, überraschend niedrig für so verbreitete Aufgaben. Sie zeigten, dass das an der geringen Streuung zwischen Menschen lag und nicht an schlechter Messung (Hedge et al., 2018). Die Lehre für eine App mit Wertung ist einfach. Bewerte, was stabil bleibt, und lass den Rest Spiele sein.

Dein Gerät verändert dein Ergebnis

Online-Tests laufen auf Hardware, die niemand kontrolliert. Herkömmliche Touchscreens fügen 50 bis 200 ms Latenz hinzu (Van Patten et al., 2021). Bei 59.587 Besuchern von TestMyBrain.org waren Menschen auf Mobilgeräten, besonders auf Android-Handys, in Reaktionstests langsamer als Menschen am Computer, auch nach Berücksichtigung von Alter, Geschlecht und Bildung (Passell et al., 2021). Ein Ergebnis lässt sich nur mit Ergebnissen auf ähnlichen Geräten vergleichen.

Übung bläht die ersten Sitzungen auf

Die Ergebnisse steigen, wenn du einen Test wiederholst (Scharfen et al., 2018a). Über 68 Studien zu Arbeitsgedächtnistests lag der Zuwachs von der ersten zur zweiten Sitzung bei etwa einer Viertel Standardabweichung, und die Ergebnisse stiegen weiter bis zur vierten Sitzung (Scharfen et al., 2018b). Ein großer Sprung nach deinen ersten Spielen heißt vor allem, dass dir der Test vertraut wird.

Mitteln hilft sehr. Bei 219 Erwachsenen, die viele Male kurze Tests auf ihrem Smartphone machten, erreichten die Durchschnittswerte eine Reliabilität von 0,97 oder mehr, vergleichbar mit Untersuchungen im Labor (Sliwinski et al., 2018).

Wie Headgame all das berücksichtigt

Die Karte bewertet nur Aufgaben, deren eigene Reliabilität oder die einer eng verwandten Aufgabe nachweislich gut ist, also einfache Reaktionszeit, das Schulte-Raster, das Sequenzgedächtnis, den Schimpansen-Test und Go/No-Go. Stroop und Flanker bleiben freie Spiele. Jeder Wert mittelt deine zwei besten Sitzungen der Woche, nie einen einzelnen Morgen, und die App berücksichtigt den Bildschirmtyp. Die ganze Methode steht auf der Wissenschaftsseite.

Quellen

1. Van Patten R., Iverson G.L., Muzeau M.A., VanRavenhorst-Bell H.A. (2021). Test-retest reliability and reliable change estimates for four mobile cognitive tests administered virtually in community-dwelling adults. Frontiers in Psychology 12, 734947. PMC8566921. doi.org/10.3389/fpsyg.2021.734947
2. Sliwinski M.J., Mogle J.A., Hyun J. et al. (2018). Reliability and validity of ambulatory cognitive assessments. Assessment 25(1), 14 to 30. PMC5690878. doi.org/10.1177/1073191116643164
3. Hedge C., Powell G., Sumner P. (2018). The reliability paradox. Behavior Research Methods 50(3), 1166 to 1186. PMC5990556. doi.org/10.3758/s13428-017-0935-1
4. Woods D.L., Wyma J.M., Yund E.W., Herron T.J. (2015). The effects of repeated testing, simulated malingering, and traumatic brain injury on high-precision measures of simple visual reaction time. Frontiers in Human Neuroscience 9, 540. PMC4637414. doi.org/10.3389/fnhum.2015.00540
5. Woods D.L., Wyma J.M., Herron T.J., Yund E.W. (2015). The effects of aging, malingering, and traumatic brain injury on computerized Trail-Making Test performance. PLoS One 10(6), e0124345. PMC4465490. doi.org/10.1371/journal.pone.0124345
6. Morawietz C. et al. (2024). Consistency of spatial ability performance in children, adolescents, and young adults. Frontiers in Psychology 15, 1365941. PMC10938598. doi.org/10.3389/fpsyg.2024.1365941
7. Passell E., Strong R.W., Rutter L.A. et al. (2021). Cognitive test scores vary with choice of personal digital device. Behavior Research Methods 53(6), 2544 to 2557. PMC8568735. doi.org/10.3758/s13428-021-01597-3
8. Scharfen J., Peters J.M., Holling H. (2018). Retest effects in cognitive ability tests, a meta-analysis. Intelligence 67, 44 to 66. doi.org/10.1016/j.intell.2018.01.003
9. Scharfen J., Jansen K., Holling H. (2018). Retest effects in working memory capacity tests, a meta-analysis. Psychonomic Bulletin and Review 25, 2175 to 2199. doi.org/10.3758/s13423-018-1461-6