In vielen –insbesondere explorativen– statistischen Untersuchungen werden oft viele Hypothesen gleichzeitig geprüft. Dies kann etwa der Fall sein, wenn man mehrere Behandlungen ("treatments") gegen eine Kontrollgruppe testet. Ein Extremfall ist die Genomanalyse, in welcher oft mehrere tausend Gene auf einen Zusammenhang mit einer bestimmten Krankheit getestet werden. Wenn jedoch viele Einzeltests zu einem gegebenen $alpha$-Niveau (also der Fehler erster Art; in der Regel 5%) durchgeführt werden, erhöht sich die Chance für die Gesamtzahl der Hypothesen zufällig ein signifikantes Ergebnis zu bekommen. Man spricht hierbei von "Alphafehler-Kumulierung". Bei 1000 durchgeführten Hypothesentests z.B. würde man im Mittel 1000*5%=50 signifikante Ergebnisse erwarten, auch wenn überhaupt kein Zusammenhang besteht. Die untere Grafik
Vor einigen Jahren hatte eine Studie für Aufsehen gesorgt, nach der angeblich der Verzehr von Müsli die Chance auf männlichen Nachwuchs steigern würde:
Einen verständlichen Übersichtsartikel hat das deutsche Ärzteblatt veröffentlicht. Dieser ist unter der folgenden URL zu finden: http://www.aerzteblatt.de/pdf.asp?id=67473.
Eng verwandt mit dem multiplen Testproblem ist der sogenannte Bestätigungsfehler ("confirmation Bias") in veröffentlichten Studien. Es werden nämlich bevorzugt Studien veröffentlicht, die das gewünschte Ergebnis liefern bzw. die formulierte Hypothese bestätigen. Dies wird einerseits durch die Autoren selber als auch durch die Fachzeitschrift begünstigt. Wenn in Folge also z.B. 20 Studien zur gleichen Fragestellung durchgeführt werden, aber nur eine davon ein signifikantes Ergebnis brachte und nur dieses veröffentlicht wurde kann dies zu Fehlschlüssen führen. Ein lesenswerter Artikel mit vielen Beispielen über dieses weit verbreitete Problem findet sich in der Online-Ausgabe von Spektrum: http://www.spektrum.de/news/jede-menge-murks/1181463.