...
In vielen –insbesondere explorativen– statistischen Untersuchungen werden oft viele Hypothesen gleichzeitig geprüft. Dies kann etwa der Fall sein, wenn man mehrere Behandlungen ("treatments") gegen eine Kontrollgruppe testet. Ein Extremfall ist die Genomanalyse, in welcher oft mehrere tausend Gene auf einen Zusammenhang mit einer bestimmten Krankheit getestet werden. Wenn jedoch viele Einzeltests zu einem gegebenen $alpha$-Niveau (also der Fehler erster Art; in der Regel 5%) durchgeführt werden, erhöht sich die Chance für die Gesamtzahl der Hypothesen zufällig ein signifikantes Ergebnis zu bekommen. Man spricht hierbei von "Alphafehler-Kumulierung". Bei 1000 durchgeführten Hypothesentests z.B. würde man im Mittel 1000*5%=50 signifikante Ergebnisse erwarten, auch wenn überhaupt kein Zusammenhang besteht. Die untere Grafik illustriert dieses Problem. Man kann sich zwar bei jedem einzelnen Test zu 95% darauf verlassen, dass der "Knoten" hält bzw. man kein fehlerhaftes signifikantes Ergebnis bekommt, jedoch summieren sich die Fehler bei mehreren durchgeführten Hypothesen stark auf, so dass das Signifikanzniveau von 5% stark überschritten wird. Dies führt bei dann zu einer selektiven Darstellung und Überinterpretation der Analyseergebnisse in Veröffentlichungen.
|
(aus Beck-Bornholdt und Dubben, 1999)
Vor einigen Jahren hatte etwa eine Studie für Aufsehen gesorgt, nach der angeblich der Verzehr von Müsli die Chance auf männlichen Nachwuchs steigern würde:
...
Um die Irrtumswahrscheinlichkeit für alle untersuchten Hypothesen korrekt zu kontrollieren wurde die "Family Wise Error Rate" (FWER) definiert. Die FWER ist dabei definiert durch Wahrscheinlichkeit mindestens eine der Testhypothese fälschlicherweise abzulehnen. Findet man nach der Kontrolle der FWER signifikante Effekte, so kann man sich zu 95% sicher sein (für $alpha=0.05$), dass alle gefundenen signifikanten Ergebnisse korrekt sind.
Ein sehr einfaches Verfahren um die FWER zu kontrollieren ist die Bonferroni-Korrektur. Diese kann man immer anwenden, jedoch ist sie sehr konservativ in dem Sinne, dass die Sicherheit in der Regel größer als die veranschlagten 95% ist. Man kann es selbst anwenden, indem man das Signifikanzniveau $\alpha$ durch die Anzahl der durchgeführten Tests teilt. Führt man z.B. 4 Hypothesentests zum 5%-Niveau durch muss der p-Wert einer Einzelhypothese also kleiner als 1,25% sein, um ein signifikantes Ergebnis anzuzeigen.
Einen verständlichen Übersichtsartikel hat das deutsche Ärzteblatt veröffentlicht. Dieser ist unter der folgenden URL zu finden: http://www.aerzteblatt.de/pdf.asp?id=67473.
...
