...
False Discovery Rate (FDR)
Die FWER ist eine sehr strenge Korrektur, die insbesondere bei einer sehr hohen Anzahl von Hypothesentests viele Nullhypothesen fälschlicherweise nicht ablehnt (hoher Fehler 2. Art). Insbesondere in Genomanalysen führt dies zu wenigen bis gar keinen signifikanten Effekten. Ein statistischer Hypothesentest lässt sich aber auch auf multiple Tests erweitern, indem man die erwartete Anteil (z.B. 5%) an fälschlicherweise abgelehnten Hypothesen kontrolliert. Dieses Kriterium wird als "False Discovery Rate" bezeichnet und ist wesentlich weniger strikt als die FWER. Wenn ich bei der FDR z.B. 100 signifikante Ergebnisse habe kann man bei einem Signifikanzniveau von $alpha=5%$ davon ausgehen, dass davon im Mittel 100*5% = 5 Hypothesen fälschlicherweise abgelehnt wurden, während bei der FWER 95% Sicherheit besteht, dass alle signifikanten Ergebnisse korrekt sind. Für die FDR existiert das Benjamini–Hochberg-Verfahren, welches ähnlich wie das Bonferroni-Holm-Verfahren für die FWER funktioniert und ebenfalls in der Funktion p.adjust() in R enthalten ist.
Einen verständlichen Übersichtsartikel hat das deutsche Ärzteblatt veröffentlicht. Dieser ist unter der folgenden URL zu finden: http://www.aerzteblatt.de/pdf.asp?id=67473.
...
Eng verwandt mit dem multiplen Testproblem ist der sogenannte Bestätigungsfehler ("confirmation Bias") in veröffentlichten Studien. Es werden nämlich bevorzugt Studien veröffentlicht, die das gewünschte Ergebnis liefern bzw. die formulierte Hypothese bestätigen. Dies wird einerseits durch die Autoren selber als auch durch die Fachzeitschrift begünstigt. Wenn in Folge also z.B. 20 Studien zur gleichen Fragestellung durchgeführt werden, aber nur eine davon ein signifikantes Ergebnis brachte und nur dieses veröffentlicht wurde kann dies zu Fehlschlüssen führen. Ein lesenswerter Artikel mit vielen Beispielen über dieses weit verbreitete Problem findet sich in der Online-Ausgabe von Spektrum: http://www.spektrum.de/news/jede-menge-murks/1181463. Generell ist anzumerken, dass auch ein nicht-signifikantes Ergebnis ein Ergebnis darstellt. Es sollte dabei auch beachtet werden, dass nicht signifikant keinesfalls heißt, dass kein Effekt vorliegt, sondern nur, dass dieser nicht nachgewiesen werden kann. Mit größerer Fallzahl oder einem besseren Studiendesign könnte in einer Folgeuntersuchung möglicherweise doch noch ein Effekt nachgewiesen werden. Auf keinen Fall sollte versucht werden mit fragwürdigen Methoden (willkürliche Fallauswahl oder Weglassen von Kontrollvariablen) irgendwie ein signifikantes Ergebnis zu erzwingen.
