In vielen –insbesondere explorativen– statistischen Untersuchungen werden oft viele Hypothesen gleichzeitig geprüft. Dies kann etwa der Fall sein, wenn man mehrere Behandlungen ("treatments") gegen eine Kontrollgruppe testet. Ein Extremfall ist die Genomanalyse, in welcher oft mehrere tausend Gene auf einen Zusammenhang mit einer bestimmten Krankheit getestet werden. Wenn jedoch viele Einzeltests zu einem gegebenen $alpha$-Niveau (also der Fehler erster Art; in der Regel 5%) durchgeführt werden, erhöht sich die Chance für die Gesamtzahl der Hypothesen zufällig ein signifikantes Ergebnis zu bekommen. Man spricht hierbei von "Alphafehler-Kumulierung". Bei 1000 durchgeführten Hypothesentests z.B. würde man im Mittel 1000*5%=50 signifikante Ergebnisse erwarten, auch wenn überhaupt kein Zusammenhang besteht. Die untere Grafik illustriert dieses Problem. Man kann sich zwar bei jedem einzelnen Test zu 95% darauf verlassen, dass der "Knoten" hält bzw. man kein fehlerhaftes signifikantes Ergebnis bekommt, jedoch summieren sich die Fehler bei mehreren durchgeführten Hypothesen stark auf, so dass das Signifikanzniveau von 5% stark überschritten wird. Dies führt bei dann zu einer selektiven Darstellung und Überinterpretation der Analyseergebnisse in Veröffentlichungen.
|
Vor einigen Jahren hatte etwa eine Studie für Aufsehen gesorgt, nach der angeblich der Verzehr von Müsli die Chance auf männlichen Nachwuchs steigern würde:
Hier wurden 740 Frauen bezüglich 133 Lebensmitteln befragt und es wurden 266 Signifikanztests (2 pro Lebensmittel) durchgeführt. Dabei ist nicht überraschend, dass signifikante Effekte zu verzeichnen waren, schließlich würde man durchschnittliche 13,3 signifikante Ergebnisse zum Niveau $alpha=0.05$ erwarten.
...
