...
Es existieren 2 Verallgemeinerungen derdes Fehlers erster Art (Irrtumswahrscheinlichkeit) auf multiple Hypothesen. Die zumeist verwendete "Family Wise Error Rate" (FWER) ist die strengere und konservativere Verallgemeinerung und ist für inferenzstatistische Fragestellungen geeignet, während die später eingeführte und weniger strenge "False Discovery Rate" (FDR) eher auf explorative Analysen abzielt.
Family Wise Error Rate (FWER)
...
Ein sehr einfaches Verfahren um die FWER zu kontrollieren ist die Bonferroni-Korrektur. Diese kann man immer anwenden, jedoch ist sie sehr konservativ in dem Sinne, dass die Sicherheit in der Regel größer als die veranschlagten 95% ist. Man kann es selbst anwenden, indem man das Signifikanzniveau $\alpha$ durch die Anzahl der durchgeführten Tests teilt. Führt man z.B. 4 Hypothesentests zum 5%-Niveau durch muss der p-Wert einer Einzelhypothese also kleiner als 1,25% sein, um ein signifikantes Ergebnis anzuzeigen. Bei sehr vielen Tests wird das Signifikanzniveau gegen das getestet wird sehr klein, daher gibt es weitere Verfahren, die weniger konservativ sind. Das Bonferroni-Holm-Verfahren lässt sich wie das Standard-Bonferroni-Verfahren immer anwenden und ist diesem immer überlegen und daher immer vorzuziehen. Es ist etwas komplizierter, aber immer noch per Hand berechenbar. Alternativ gibt es in R die Funktion p.adjust(), welche unkorrigierte p-Werte in korrigierte umwandelt (und neben der Bonfferoni- und Bonfferoni-Holm-Korrektur noch andere Verfahren anbietet). Daneben gibt es noch andere Verfahren, die für bestimmte Spezialanwendungen optimal sind. Für die einfaktorielle Varianzanalyse existiert z.B. eine Vielzahl von multiplen Korrekturmethoden. SPSS z.B. SPSS bietet bietet eine große Anzahl von Auswahlmöglichkeiten. Am wichtigsten sind aber die Tukey- und die Dunnett-Korrektur. Erstere führt alle möglichen Paarvergleiche durch und korrigiert die p-Werte, während letztere für den Vergleich mehrere Behandlungen gegen eine Kontrollgruppe (many-to-one) gedacht ist.
False Discovery Rate (FDR)
...
