Bias-Varianz und Overfitting

Der Bias-Varianz-Kompromiss erklärt, wie die Modellkomplexität den Vorhersagefehler steuert, wobei Overfitting und Underfitting die beiden Fehlermodi sind, die ein Lernender ausbalancieren muss.

Definition

Der Bias-Varianz-Kompromiss ist das Prinzip, dass der erwartete Vorhersagefehler sich in Bias, den Fehler, der entsteht, wenn ein Modell zu einfach ist, um die Wahrheit zu erfassen, und Varianz, den Fehler, der entsteht, wenn ein Modell zu empfindlich auf die jeweilige Trainingsstichprobe reagiert, zerlegt, wobei die Modellkomplexität den Fehler zwischen den beiden verschiebt.

Scope

Dieses Thema behandelt die Zerlegung des erwarteten Vorhersagefehlers in Bias, Varianz und irreduzibles Rauschen; die Bedeutung von Overfitting und Underfitting; und die Rolle der Regularisierung bei der Verschiebung des Gleichgewichts. Es behandelt auch die klassische U-förmige Fehlerkurve und neuere Beobachtungen des Double Descent bei stark überparametrisierten Modellen.

Core questions

• Wie zerlegt sich der erwartete Fehler in Bias, Varianz und Rauschen?
• Was kennzeichnet Overfitting im Vergleich zu Underfitting?
• Wie verschiebt die Regularisierung das Bias-Varianz-Gleichgewicht?
• Warum können sehr flexible Modelle trotz hoher Kapazität manchmal generalisieren?

Key theories

Bias-Varianz-Zerlegung

Für den quadratischen Fehler teilt sich der erwartete Fehler in quadrierten Bias, Varianz und irreduzibles Rauschen auf, wodurch explizit wird, wie vereinfachende Annahmen die Varianz auf Kosten des Bias reduzieren und umgekehrt.

Overfitting und Regularisierung

Overfitting tritt auf, wenn ein Modell Rauschen statt Signal erfasst; Regularisierung bestraft Komplexität, um die Varianz zu reduzieren, wobei ein kleiner Anstieg des Bias gegen eine größere Abnahme der Varianz eingetauscht wird.

Jenseits des klassischen Kompromisses

In sehr überparametrisierten Regimen kann der Fehler nach dem Interpolationspunkt, dem Double-Descent-Phänomen, erneut abnehmen, was das klassische Bild einer einzelnen U-förmigen Kurve verkompliziert.

Clinical relevance

Der Bias-Varianz-Kompromiss ist das praktische Herzstück der Modellbildung und leitet die Wahl der Modellgröße, der Regularisierungsstärke und der Anzahl der Merkmale, um den Fehler bei neuen Daten zu minimieren; die Diagnose, ob ein Modell Underfitting oder Overfitting aufweist, ist ein routinemäßiger und wesentlicher Schritt im angewandten maschinellen Lernen.

History

Die Bias-Varianz-Zerlegung wurde für neuronale Netze und das Lernen von Geman und Kollegen um 1992 artikuliert und wurde zu einer Standardlinse in Statistik und maschinellem Lernen. Die Regularisierungstheorie formalisierte die Komplexitätskontrolle, und die jüngsten Double-Descent-Ergebnisse haben eine Neubetrachtung des Kompromisses für moderne überparametrisierte Modelle angestoßen.

Key figures

• Stuart Geman
• Trevor Hastie
• Christopher Bishop

Seminal works

• hastie2009
• bishop2006
• geman1992

Frequently asked questions

Was ist der Unterschied zwischen Overfitting und Underfitting?

Underfitting liegt vor, wenn ein Modell zu einfach ist, um das zugrunde liegende Muster zu erfassen, was zu hohem Bias und schlechter Leistung selbst bei Trainingsdaten führt. Overfitting liegt vor, wenn ein Modell so flexibel ist, dass es das Rauschen in den Trainingsdaten anpasst, was zu hoher Varianz und schlechter Leistung bei neuen Daten führt.

Wie hilft die Regularisierung?

Die Regularisierung fügt eine Strafe für die Modellkomplexität hinzu, die extreme oder zahlreiche Parameter entmutigt. Dies reduziert die Varianz, in der Regel auf Kosten eines geringen Anstiegs des Bias, und senkt somit den Gesamtfehler bei ungesehenen Daten, wenn die Komplexität sonst zu hoch wäre.