In vielen –insbesondere explorativen– statistischen Untersuchungen werden oft viele Hypothesen gleichzeitig geprüft. Dies kann etwa der Fall sein, wenn man mehrere Behandlungen ("treatments") gegen eine Kontrollgruppe testet. Ein Extremfall ist die Genomanalyse, in welcher oft mehrere tausend Gene auf einen Zusammenhang mit einer bestimmten Krankheit getestet werden. Wenn jedoch viele Einzeltests zu einem gegebenen $alpha$-Niveau (also der Fehler erster Art; in der Regel 5%) durchgeführt werden, erhöht sich die Chance für die Gesamtzahl der Hypothesen zufällig ein signifikantes Ergebnis zu bekommen. Man spricht hierbei von "Alphafehler-Kumulierung". Bei 1000 durchgeführten Hypothesentests z.B. würde man im Mittel 1000*5%=50 signifikante Ergebnisse erwarten, auch wenn überhaupt kein Zusammenhang besteht. Die untere Grafik illustriert dieses Problem. Man kann sich zwar bei jedem einzelnen Test zu 95% darauf verlassen, dass der "Knoten" hält bzw. man kein fehlerhaftes signifikantes Ergebnis bekommt, jedoch summieren sich die Fehler bei mehreren durchgeführten Hypothesen stark auf, so dass das Signifikanzniveau von 5% stark überschritten wird. Dies führt bei dann zu einer selektiven Darstellung und Überinterpretation der Analyseergebnisse in Veröffentlichungen.
Vor einigen Jahren hatte etwa eine Studie für Aufsehen gesorgt, nach der angeblich der Verzehr von Müsli die Chance auf männlichen Nachwuchs steigern würde:
Hier wurden 740 Frauen bezüglich 133 Lebensmitteln befragt und es wurden 266 Signifikanztests (2 pro Lebensmittel) durchgeführt. Dabei ist nicht überraschend, dass signifikante Effekte zu verzeichnen waren, schließlich würde man durchschnittliche 13,3 signifikante Ergebnisse zum Niveau $alpha=0.05$ erwarten.
Einen verständlichen Übersichtsartikel hat das deutsche Ärzteblatt veröffentlicht. Dieser ist unter der folgenden URL zu finden: http://www.aerzteblatt.de/pdf.asp?id=67473.
Eng verwandt mit dem multiplen Testproblem ist der sogenannte Bestätigungsfehler ("confirmation Bias") in veröffentlichten Studien. Es werden nämlich bevorzugt Studien veröffentlicht, die das gewünschte Ergebnis liefern bzw. die formulierte Hypothese bestätigen. Dies wird einerseits durch die Autoren selber als auch durch die Fachzeitschrift begünstigt. Wenn in Folge also z.B. 20 Studien zur gleichen Fragestellung durchgeführt werden, aber nur eine davon ein signifikantes Ergebnis brachte und nur dieses veröffentlicht wurde kann dies zu Fehlschlüssen führen. Ein lesenswerter Artikel mit vielen Beispielen über dieses weit verbreitete Problem findet sich in der Online-Ausgabe von Spektrum: http://www.spektrum.de/news/jede-menge-murks/1181463.
