Multiples Testen von Hypothesen

Wenn viele Hypothesen gleichzeitig getestet werden, häufen sich falsch positive Ergebnisse an; Multiple-Testing-Verfahren kontrollieren den Gesamtfehler auf Kosten einer gewissen Power.

Definition

Multiples Testen von Hypothesen ist das gleichzeitige Testen mehrerer Hypothesen mit Verfahren, die ein globales Fehlerkriterium kontrollieren, wie die Wahrscheinlichkeit einer falschen Ablehnung oder den erwarteten Anteil falscher Ablehnungen.

Scope

Dieses Thema behandelt das Multiplizitätsproblem und die Inflation falsch positiver Ergebnisse, die familienbezogene Fehlerrate (Family-Wise Error Rate) und Verfahren zu ihrer Kontrolle wie Bonferroni, Holm und Sidak, die Falsch-Entdeckungs-Rate (False Discovery Rate) und das Benjamini-Hochberg-Verfahren, die Unterscheidung zwischen schwacher und starker Kontrolle, Abhängigkeiten zwischen Tests sowie den Kompromiss zwischen Fehlerkontrolle und Detektionspower bei umfangreichen Tests.

Core questions

• Warum erhöht das Testen vieler Hypothesen die Wahrscheinlichkeit, mindestens ein falsch positives Ergebnis zu erhalten?
• Wie kontrollieren die Bonferroni- und Holm-Verfahren die familienbezogene Fehlerrate?
• Was ist die Falsch-Entdeckungs-Rate, und wie kontrolliert das Benjamini-Hochberg-Verfahren diese?
• Wie beeinflusst die Abhängigkeit zwischen Tests diese Garantien?

Key theories

Kontrolle der familienbezogenen Fehlerrate

Das Bonferroni-Verfahren begrenzt die Wahrscheinlichkeit einer falschen Ablehnung, indem es das Signifikanzniveau auf die Tests aufteilt; das Holm-Schritt-abwärts-Verfahren erreicht dieselbe Kontrolle mit größerer Power.

Falsch-Entdeckungs-Rate und Benjamini-Hochberg

Anstatt jede falsche Ablehnung zu verhindern, kontrolliert die Falsch-Entdeckungs-Rate den erwarteten Anteil der Ablehnungen, die falsch sind; das Benjamini-Hochberg-Schritt-aufwärts-Verfahren kontrolliert diese und ist bei einer großen Anzahl von Tests wesentlich mächtiger.

Clinical relevance

Die Kontrolle multipler Tests ist unerlässlich in genomweiten Assoziationsstudien, der Neurobildgebung und beim Hochdurchsatz-Screening, wo Tausende von Hypothesen gleichzeitig getestet werden und Methoden zur Kontrolle der Falsch-Entdeckungs-Rate bestimmen, welche Befunde als Entdeckungen berichtet werden.

History

Die Auseinandersetzung mit multiplen Vergleichen geht auf Tukey und die Arbeiten zur simultanen Inferenz Mitte des 20. Jahrhunderts zurück. Holm führte sein schrittweises familienbezogenes Verfahren 1979 ein, und Benjamini und Hochbergs Artikel zur Falsch-Entdeckungs-Rate von 1995 revolutionierte das Testen im großen Maßstab.

Debates

Familienbezogene Fehlerrate versus Falsch-Entdeckungs-Rate

Die Kontrolle der Wahrscheinlichkeit einer falschen Ablehnung ist konservativ und kostet Power, während die Kontrolle des erwarteten Anteils falscher Entdeckungen mächtiger ist, aber einige falsch positive Ergebnisse toleriert; welches Kriterium angemessen ist, hängt von den Kosten der Fehler in der Anwendung ab.

Key figures

• Yoav Benjamini
• Yosef Hochberg
• Sture Holm
• John W. Tukey

Seminal works

• benjaminiHochberg1995

Frequently asked questions

Warum nicht einfach das übliche Signifikanzniveau für jeden Test verwenden?

Weil bei vielen Tests die Wahrscheinlichkeit, dass mindestens eine wahre Nullhypothese abgelehnt wird, schnell ansteigt; zum Beispiel ergeben zwanzig unabhängige Tests auf dem Fünf-Prozent-Niveau eine Wahrscheinlichkeit von ungefähr vierundsechzig Prozent für ein falsch positives Ergebnis.

Ist die Falsch-Entdeckungs-Rate immer besser als Bonferroni?

Nicht immer. Die Falsch-Entdeckungs-Rate bietet bei vielen Tests mehr Power, toleriert aber einige falsche Entdeckungen; wenn selbst ein falsch positives Ergebnis kostspielig ist, wird eine familienbezogene Kontrolle wie Bonferroni oder Holm bevorzugt.