Receiver Operating Characteristic Kurve

Eine Receiver Operating Characteristic (ROC)-Kurve stellt die Sensitivität eines Tests gegen seine Falsch-positiv-Rate (eins minus Spezifität) über jeden möglichen Entscheidungsschwellenwert dar. Sie fasst zusammen, wie ein Test, der auf einer kontinuierlichen oder ordinalen Messung basiert, zwischen Personen mit und ohne eine Erkrankung diskriminiert, unabhängig von einem einzelnen Schwellenwert, und ihre umschlossene Fläche verdichtet diese Diskriminierung zu einer einzigen Zahl.

Definition

Eine Receiver Operating Characteristic Kurve ist die grafische Darstellung der Sensitivität (True-Positive-Rate) versus der Falsch-positiv-Rate (eins minus Spezifität), die entsteht, wenn der Entscheidungsschwellenwert eines Tests über seinen gesamten Bereich variiert wird.

Scope

Dieser Eintrag definiert die ROC-Kurve, erklärt, wie sie durch das Durchlaufen des diagnostischen Schwellenwerts erzeugt wird, beschreibt die Fläche unter der Kurve (AUC) als schwellenwertunabhängige Zusammenfassung der Diskriminierung und weist auf ihre Ursprünge in der Signalentdeckungstheorie hin. Es handelt sich um ein methodisches Thema, das keine Empfehlungen zur Verwendung eines bestimmten Tests oder Schwellenwerts gibt.

Key concepts

• Kompromiss zwischen Sensitivität und Falsch-positiv-Rate
• Entscheidungsschwellenwert (Cut-off)
• Fläche unter der Kurve (AUC)
• Schwellenwertunabhängige Diskriminierung
• Signalentdeckungstheorie
• Vergleich konkurrierender Tests

Mechanisms

Für einen Test, der einen kontinuierlichen oder ordinalen Wert liefert, ergibt jeder Kandidatenschwellenwert ein Paar aus Sensitivität und Falsch-positiv-Rate; das Verbinden dieser Paare über alle Schwellenwerte zeichnet die ROC-Kurve im Einheitsquadrat. Eine Kurve, die sich der oberen linken Ecke annähert, deutet auf eine starke Diskriminierung hin, während die Diagonale einem Test entspricht, der nicht besser als der Zufall ist. Die Fläche unter der Kurve fasst die Leistung über alle Schwellenwerte zusammen und kann als die Wahrscheinlichkeit interpretiert werden, dass der Test einem zufällig ausgewählten erkrankten Subjekt einen höheren Wert zuweist als einem zufällig ausgewählten nicht erkrankten. Da sie aus Sensitivität und Spezifität und nicht aus zeilenweisen Zählungen berechnet wird, beschreiben die Kurve und ihre Fläche die Diskriminierung unabhängig von der Prävalenz der Erkrankung, obwohl die Wahl eines Betriebsschwellenwerts für die Anwendung immer noch eine Abwägung der Kosten von falsch Positiven gegenüber falsch Negativen erfordert. Der Rahmen stammt aus der Signalentdeckungstheorie, wo derselbe Kompromiss zwischen Treffern und Fehlalarmen analysiert wird.

Clinical relevance

Die ROC-Analyse ist ein Standardwerkzeug zum Vergleich diagnostischer Tests und zur Untersuchung, wie gut ein kontinuierlicher Marker erkrankte von nicht erkrankten Probanden trennt, bevor ein Schwellenwert festgelegt wird. Das Konzept unterstützt die kritische Bewertung diagnostischer Evidenz; es charakterisiert die Testdiskriminierung und ist keine Grundlage für individuelle diagnostische oder Behandlungsentscheidungen.

Epidemiology

ROC-Kurven und die Fläche unter ihnen werden häufig verwendet, um die diskriminierende Leistung diagnostischer Marker und Vorhersagemodelle zu berichten und zu vergleichen. Da die Fläche die Diskriminierung, aber nicht die Kalibrierung oder die praktischen Konsequenzen eines gewählten Schwellenwerts zusammenfasst, fördern Berichtsstandards wie STARD eine klare Beschreibung, wie Schwellenwerte und Genauigkeit bestimmt wurden.

Evidence & guidelines

Die STARD-Erklärung behandelt die Berichterstattung über die diagnostische Genauigkeit, einschließlich der Definition und Berichterstattung von Testschwellenwerten und Genauigkeitsmaßen wie der Fläche unter der ROC-Kurve.

History

Die ROC-Analyse entstand in der Mitte des 20. Jahrhunderts in der Signalentdeckungstheorie, um den Kompromiss zwischen Treffern und Fehlalarmen zu charakterisieren, und wurde in den 1970er Jahren an die medizinische Entscheidungsfindung und die diagnostische Bildgebung angepasst. Metz's Darstellung von 1978 legte ihre Grundprinzipien für die Medizin dar, Hanley und McNeils Arbeit von 1982 klärte die Bedeutung und den statistischen Umgang mit der Fläche unter der Kurve, und Swets's Synthese von 1988 fasste ROC-Methoden als einen allgemeinen Ansatz zur Messung der diagnostischen Genauigkeit zusammen.

Debates

Ist die Fläche unter der Kurve eine ausreichende Zusammenfassung der Testleistung?

Die Fläche fasst die Diskriminierung über alle Schwellenwerte hinweg zusammen, ignoriert jedoch die Kalibrierung und die unterschiedlichen Kosten von falsch Positiven und falsch Negativen, sodass sie ein irreführendes alleiniges Kriterium sein kann, wenn ein spezifischer Betriebspunkt wichtig ist.

Key figures

• Charles Metz
• James Hanley
• Barbara McNeil
• John Swets

Seminal works

• metz-1978
• hanley-mcneil-1982
• swets-1988

Frequently asked questions

Was bedeutet die Fläche unter der ROC-Kurve?

Es ist die Wahrscheinlichkeit, dass der Test einem zufällig ausgewählten erkrankten Subjekt einen höheren Wert zuweist als einem zufällig ausgewählten nicht erkrankten; 0,5 deutet auf keine Diskriminierung hin und 1,0 auf perfekte Trennung.

Warum sollte man eine ROC-Kurve anstelle einer einzelnen Sensitivität und Spezifität verwenden?

Ein einzelnes Paar legt einen Schwellenwert fest, während die ROC-Kurve den gesamten Kompromiss über alle Schwellenwerte hinweg zeigt, was den Vergleich von Tests und die bewusste Wahl eines Betriebspunkts ermöglicht.