Bootstrap und Resampling

Der Bootstrap schätzt die Stichprobenverteilung einer Statistik durch Resampling der beobachteten Daten, wobei unlösbare Formeln durch Berechnungen ersetzt werden.

Definition

Der Bootstrap ist eine Resampling-Methode, die die Stichprobenverteilung einer Statistik annähert, indem sie die beobachtete Stichprobe als Population behandelt und wiederholt Stichproben daraus zieht, üblicherweise mit Zurücklegen, um Standardfehler, Konfidenzintervalle und Bias zu schätzen.

Scope

Dieses Thema behandelt den nichtparametrischen Bootstrap durch Resampling mit Zurücklegen, den parametrischen Bootstrap, das Jackknife und seine Schätzungen von Bias und Varianz, Permutationstests, Bootstrap-Standardfehler und die Perzentil-, Bias-korrigierten und Bootstrap-t-Konfidenzintervalle, die Konsistenz des Bootstrap und seine Genauigkeit höherer Ordnung mittels Edgeworth-Entwicklungen sowie bekannte Fälle, wie das Stichprobenmaximum, bei denen der gewöhnliche Bootstrap versagt.

Core questions

• Wie nähert das Resampling der Daten die Stichprobenverteilung einer Statistik an?
• Wie werden Bootstrap-Konfidenzintervalle konstruiert und wie unterscheiden sich Perzentil- und Bootstrap-t-Intervalle?
• Wann ist der Bootstrap konsistent und wann versagt er?
• Wie verwendet ein Permutationstest Resampling, um einen exakten verteilungsfreien Test zu erhalten?

Key theories

Das Bootstrap-Prinzip

Die Annäherung der unbekannten Population durch die empirische Verteilung und das Resampling daraus ermöglicht es, die Stichprobenvariabilität fast jeder Statistik durch Simulation zu schätzen, selbst wenn keine geschlossene Verteilungsformel existiert.

Bootstrap-Konsistenz und -Genauigkeit

Für glatte Statistiken ist der Bootstrap konsistent, und durch Edgeworth-Entwicklungen sind bestimmte Bootstrap-Intervalle genauer als die Normalapproximation; für nicht-glatte Funktionale wie das Maximum kann er versagen.

Clinical relevance

Der Bootstrap liefert Standardfehler und Konfidenzintervalle für komplexe Schätzer, wie Mediane, Korrelationen und maschinelle Lernvorhersagen, wo analytische Formeln nicht verfügbar sind, und Permutationstests liefern exakte Signifikanzbewertungen, die in der Genomik und bei randomisierten Experimenten weit verbreitet sind.

History

Quenouille und Tukey entwickelten das Jackknife in den 1950er Jahren. Efron führte den Bootstrap 1979 ein, vereinheitlichte und erweiterte diese Resampling-Ideen, und Halls Arbeit in den 1980er und 1990er Jahren etablierte seine Genauigkeit höherer Ordnung durch Edgeworth-Entwicklungen.

Key figures

• Bradley Efron
• Robert Tibshirani
• Peter Hall
• Maurice Quenouille

Seminal works

• efron1979

Frequently asked questions

Erzeugt der Bootstrap neue Informationen aus dem Nichts?

Nein. Er verwendet die bereits in der Stichprobe vorhandenen Informationen wieder, um die Stichprobenvariabilität zu approximieren; er kann eine schlechte oder voreingenommene Stichprobe nicht verbessern, und seine Genauigkeit hängt davon ab, dass die ursprüngliche Stichprobe die Population gut repräsentiert.

Wann versagt der Bootstrap?

Er kann bei Statistiken versagen, die nicht-glatt von der Verteilung abhängen, wie das Stichprobenmaximum oder Parameter an einer Grenze; in solchen Fällen werden stattdessen modifizierte Schemata wie Subsampling oder der m-aus-n-Bootstrap verwendet.