Maximum-Likelihood-Schätzung

Die Maximum-Likelihood-Schätzung wählt den Parameterwert, unter dem die beobachteten Daten am wahrscheinlichsten sind, und bietet ein allgemeines, asymptotisch optimales Verfahren zur Schätzung.

Definition

Der Maximum-Likelihood-Schätzer ist der Wert des Parameters, der die Likelihood-Funktion maximiert, d. h. die Wahrscheinlichkeit oder Dichte der beobachteten Daten, betrachtet als Funktion des Parameters.

Scope

Dieses Thema behandelt die Likelihood- und Log-Likelihood-Funktionen, die Score-Gleichungen und die Fisher-Information, die Existenz und Berechnung von Maximum-Likelihood-Schätzern, die Invarianzeigenschaft unter Reparametrisierung und die Theorie großer Stichproben, die Konsistenz, asymptotische Normalität und asymptotische Effizienz begründet, zusammen mit den Regularitätsbedingungen, die diese Ergebnisse erfordern, und häufigen Fehlern wie Rand- und nicht-regulären Fällen.

Core questions

• Wie ist die Likelihood-Funktion definiert und warum wird sie maximiert und nicht die Wahrscheinlichkeit des Parameters?
• Was sind die Score-Gleichungen und wie fließt die Fisher-Information in die Lösung ein?
• Unter welchen Regularitätsbedingungen ist der Maximum-Likelihood-Schätzer konsistent und asymptotisch normalverteilt?
• Wann versagt die Maximum-Likelihood-Methode, z. B. bei nicht-regulären oder Randwertproblemen?

Key theories

Likelihood-Prinzip und der Score

Die Inferenz wird durch die Likelihood-Funktion bestimmt; das Nullsetzen des Scores, ihrer Ableitung, liefert die Schätzgleichungen, deren Lösung der Maximum-Likelihood-Schätzer ist.

Asymptotische Effizienz

Unter Regularitätsbedingungen ist der Maximum-Likelihood-Schätzer konsistent, asymptotisch normalverteilt mit einer Varianz, die der inversen Fisher-Information entspricht, und asymptotisch effizient, wobei er im Grenzwert die Cramer-Rao-Schranke erreicht.

Clinical relevance

Maximum Likelihood ist die Standard-Schätzmethode für Regressionen, verallgemeinerte lineare Modelle, gemischte Modelle, Überlebensanalysen und die meisten probabilistischen Modelle des maschinellen Lernens, wobei die Minimierung eines negativen Log-Likelihood-Verlusts der Maximierung der Likelihood entspricht.

History

Fisher formalisierte die Maximum-Likelihood-Methode und bewies ihre Effizienz in Arbeiten von 1912 bis in die 1920er Jahre. Wald formulierte 1949 strenge Konsistenzbedingungen, und Le Cams Arbeit Mitte des Jahrhunderts klärte die lokale asymptotische Theorie, die den modernen Effizienzresultaten zugrunde liegt.

Key figures

• Ronald A. Fisher
• Abraham Wald
• Lucien Le Cam
• Aad van der Vaart

Seminal works

• lehmannCasella1998

Frequently asked questions

Liefert die Maximum-Likelihood-Methode immer einen unverzerrten Schätzer?

Nein. Maximum-Likelihood-Schätzer können in endlichen Stichproben verzerrt sein, zum Beispiel die Maximum-Likelihood-Varianz einer Normalverteilung; die Verzerrung verschwindet typischerweise mit zunehmender Stichprobengröße.

Warum maximiert man die Log-Likelihood anstelle der Likelihood?

Der Logarithmus ist monoton steigend, daher hat er denselben Maximierer, aber er wandelt Produkte in Summen um, was die Differenzierung vereinfacht und die numerische Stabilität verbessert.