Testvalidierung und Leistungsbewertung

Testvalidierung und Leistungsbewertung ist der Arbeitsbereich, durch den ein molekularer Test nachweislich das misst, was er vorgibt, reproduzierbar ist und den klinischen Nutzen unterstützt, für den er vorgesehen ist. Sie unterscheidet zwischen analytischer Validierung (misst der Assay den Analyten korrekt?) und klinischer Validierung (spiegelt das Ergebnis den klinischen Zustand wider?) und quantifiziert die Leistung mit Metriken wie Genauigkeit, Präzision, Sensitivität, Spezifität und Nachweisgrenzen.

Definition

Testvalidierung ist der dokumentierte Prozess, durch den mittels systematischer Experimente nachgewiesen wird, dass ein Labortest genau und reproduzierbar funktioniert und für seinen beabsichtigten klinischen Zweck geeignet ist; Leistungsbewertung ist die fortlaufende Messung und Überprüfung dieser Eigenschaften.

Scope

Der Eintrag behandelt die Konzepte und Metriken, die zur Etablierung und Dokumentation der Leistung molekularer Tests vor dem klinischen Einsatz und zu deren Überprüfung danach verwendet werden: analytische versus klinische Validität, die Standard-Leistungsmerkmale und die besonderen Überlegungen für hochkomplexe Assays und ihre Bioinformatik-Pipelines. Es handelt sich um ein methodisches Thema und gibt keine Anweisungen zur Diagnose oder Behandlung von Patienten.

Core questions

• Was ist der Unterschied zwischen analytischer und klinischer Validität?
• Welche Leistungsmerkmale müssen für einen molekularen Test etabliert werden?
• Wie werden Nachweis- und Quantifizierungsgrenzen bestimmt?
• Wie werden die Sequenzierung und die Bioinformatik-Pipeline validiert, nicht nur der Wet-Bench-Assay?

Key concepts

• Analytische Validität
• Klinische Validität
• Genauigkeit und Richtigkeit
• Präzision (Wiederholbarkeit und Reproduzierbarkeit)
• Analytische Sensitivität und Nachweisgrenze
• Analytische Spezifität
• Berichtbarer und messbarer Bereich
• Validierung der Bioinformatik-Pipeline
• Eignung für den beabsichtigten Verwendungszweck

Mechanisms

Die Validierung erfolgt durch geplante Experimente unter Verwendung charakterisierter Proben. Die Genauigkeit wird durch Vergleich mit einer Referenzmethode oder bekannten Proben beurteilt; die Präzision durch wiederholte Messungen unter Wiederholbarkeits- und Reproduzierbarkeitsbedingungen; die analytische Sensitivität durch Bestimmung der Nachweisgrenze; und die analytische Spezifität durch Testen auf Interferenzen und Kreuzreaktivität (Jennings et al., 2009). Quantitative molekulare Assays können mit demselben klinisch-chemischen Rahmen validiert werden, der auch für andere Messgrößen verwendet wird, wie für Droplet-Digital-PCR-Flüssigbiopsie-Assays gezeigt (Milosevic et al., 2018). Für die Next-Generation-Sequenzierung muss die Computer-Pipeline, die Varianten identifiziert und filtert, zusammen mit den Laborschritten validiert werden (Roy et al., 2018). Die klinische Validität, die sich davon unterscheidet, fragt, wie gut das Ergebnis den klinischen Zustand klassifiziert.

Clinical relevance

Ob ein molekulares Ergebnis in der Patientenversorgung vertrauenswürdig ist, hängt von der Validierungs- und Leistungsarbeit ab, die dahintersteht; undokumentierte oder schwache Leistungsmerkmale untergraben die Interpretation. Dieser Eintrag erklärt, wie Labore dieses Vertrauen herstellen, und ist kein Leitfaden für die Anordnung oder das Handeln bei spezifischen Tests.

Evidence & guidelines

Die Validierungspraxis ist in professionellen Leitlinien kodifiziert, einschließlich der AMP/CAP-Prinzipien zur Validierung molekularer Pathologietests und Sequenzierungspipelines (Jennings et al., 2009; Roy et al., 2018) und CLSI-Konsensdokumenten (CLSI EP28). Diese bieten die experimentellen Designs und Akzeptanzkriterien, denen Labore unter Akkreditierung folgen.

History

Mit der Ausweitung der klinischen molekularen Testung passten professionelle Organisationen etablierte klinisch-chemische und labormedizinische Validierungsprinzipien an molekulare Assays an und erweiterten sie dann auf die massiv parallele Sequenzierung und ihre Bioinformatik, wodurch die heute verwendeten geschichteten Validierungsstandards entstanden (Jennings et al., 2009; Roy et al., 2018).

Debates

Wie sollte die Validierung auf hochkomplexe, Multi-Target-Assays skaliert werden?

Die Etablierung der Leistung für jede mögliche Variante, die durch breite Sequenzierungspanels nachweisbar ist, ist unpraktisch, daher stützen sich Leitlinien auf repräsentative Validierung und Pipeline-Validierung; wie viel ausreichend ist, bleibt eine aktive Diskussion.

Seminal works

• jennings-2009
• roy-2018

Frequently asked questions

Was ist der Unterschied zwischen analytischer Validität und klinischer Validität?

Analytische Validität bezieht sich darauf, ob der Assay den Analyten genau und reproduzierbar misst; klinische Validität bezieht sich darauf, ob das Ergebnis tatsächlich dem klinischen Zustand entspricht, den der Test erkennen soll.

Warum benötigt die Next-Generation-Sequenzierung eine Pipeline-Validierung?

Da die gemeldeten Varianten von der Software abhängen, die Reads ausrichtet und Varianten identifiziert, kann die Bioinformatik-Pipeline Fehler einführen und muss zusammen mit dem Laborverfahren validiert werden.