In vielen –insbesondere explorativen– statistischen Untersuchungen werden oft viele Hypothesen gleichzeitig geprüft. Dies kann etwa der Fall sein, wenn man mehrere Behandlungen ("treatments") gegen eine Kontrollgruppe testet. Ein Extremfall ist die Genomanalyse, in welcher oft mehrere tausend Gene auf einen Zusammenhang mit einer bestimmten Krankheit getestet werden. Wenn jedoch viele Einzeltests zu einem gegebenen $alpha$-Niveau (also der Fehler erster Art; in der Regel 5%) durchgeführt werden, erhöht sich die Chance für die Gesamtzahl der Hypothesen zufällig ein signifikantes Ergebnis zu bekommen. Man spricht hierbei von "Alphafehler-Kumulierung". Bei 1000 durchgeführten Hypothesentests z.B. würde man im Mittel 1000*5%=50 signifikante Ergebnisse erwarten, auch wenn überhaupt kein Zusammenhang besteht. Die untere Grafik illustriert dieses Problem. Man kann sich zwar bei jedem einzelnen Test zu 95% darauf verlassen, dass der "Knoten" hält bzw. man kein fehlerhaftes signifikantes Ergebnis bekommt, jedoch summieren sich die Fehler bei mehreren durchgeführten Hypothesen stark auf, so dass das Signifikanzniveau von 5% stark überschritten wird.
|
Vor einigen Jahren hatte eine Studie für Aufsehen gesorgt, nach der angeblich der Verzehr von Müsli die Chance auf männlichen Nachwuchs steigern würde:
...
