Likelihood-Ratio-Tests

Der Likelihood-Ratio-Test vergleicht, wie gut die Daten unter einem eingeschränkten Nullmodell im Vergleich zum vollständigen Modell passen, und seine Verteilung bei großen Stichproben macht ihn zu einem universellen Testwerkzeug.

Definition

Der verallgemeinerte Likelihood-Ratio-Test verwirft die Nullhypothese, wenn das Verhältnis der maximierten Likelihood unter der Nullhypothese zur maximierten Likelihood über den gesamten Parameterraum klein ist, äquivalent dazu, wenn das Zweifache ihres negativen Logarithmus groß ist.

Scope

Dieses Thema behandelt die verallgemeinerte Likelihood-Ratio-Statistik für zusammengesetzte Hypothesen, Wilks' Theorem, dass das Zweifache des negativen Log-Likelihood-Verhältnisses asymptotisch Chi-Quadrat-verteilt ist mit Freiheitsgraden, die der Anzahl der Einschränkungen entsprechen, die asymptotisch äquivalenten Wald- und Score- (Rao-) Tests, die Beziehungen und Unterschiede zwischen den dreien sowie die Regularitätsbedingungen und Ausnahmen wie Parameter an einer Grenze.

Core questions

• Wie wird die verallgemeinerte Likelihood-Ratio-Statistik für zusammengesetzte Hypothesen konstruiert?
• Warum ist das Zweifache des negativen Log-Likelihood-Verhältnisses asymptotisch Chi-Quadrat-verteilt, wie in Wilks' Theorem?
• Wie verhalten sich die Wald- und Score-Tests zum Likelihood-Ratio-Test?
• Wann versagt die Standard-Chi-Quadrat-Approximation?

Key theories

Wilks' Theorem

Unter der Nullhypothese und Regularitätsbedingungen konvergiert das Zweifache des negativen Logarithmus des Likelihood-Verhältnisses zu einer Chi-Quadrat-Verteilung, deren Freiheitsgrade der Anzahl der durch die Nullhypothese auferlegten Restriktionen entsprechen.

Wald-, Score- und Likelihood-Ratio-Trinität

Der Wald-Test verwendet den Abstand der Schätzung von der Nullhypothese, der Score-Test verwendet den Gradienten der Log-Likelihood an der Nullhypothese, und der Likelihood-Ratio-Test verwendet die Differenz der Maxima; alle drei teilen die gleiche asymptotische Chi-Quadrat-Verteilung.

Clinical relevance

Likelihood-Ratio-, Wald- und Score-Tests sind die Standard-Signifikanztests, die von Software für Regressionskoeffizienten, Vergleiche verschachtelter Modelle und die Güte der Anpassung ausgegeben werden, was sie zu den alltäglichen Inferenzwerkzeugen in Epidemiologie, Ökonometrie und den experimentellen Wissenschaften macht.

History

Wilks etablierte die asymptotische Chi-Quadrat-Verteilung der Likelihood-Ratio-Statistik im Jahr 1938. Wald führte seinen Test 1943 und Rao den Score-Test 1948 ein, und die asymptotische Äquivalenz der drei wurde Mitte des 20. Jahrhunderts geklärt.

Key figures

• Samuel S. Wilks
• Abraham Wald
• Calyampudi Radhakrishna Rao
• Aad van der Vaart

Seminal works

• casella2002

Frequently asked questions

Wann stimmen die Wald-, Score- und Likelihood-Ratio-Tests nicht überein?

Sie sind asymptotisch äquivalent, können sich aber in endlichen Stichproben unterscheiden; die Likelihood-Ratio- und Score-Tests sind im Allgemeinen zuverlässiger als der Wald-Test, wenn die Likelihood weit von quadratisch entfernt ist oder Schätzungen nahe einer Grenze liegen.

Was sind die Freiheitsgrade in Wilks' Theorem?

Sie entsprechen der Anzahl der unabhängigen Einschränkungen, die die Nullhypothese den Parametern auferlegt, d.h. der Dimensionsdifferenz zwischen dem vollständigen und dem eingeschränkten Modell.