महत्वपूर्ण मूल्यांकन उपकरण और चेकलिस्ट

महत्वपूर्ण मूल्यांकन उपकरण संरचित साधन हैं — चेकलिस्ट, स्केल और सिग्नलिंग-प्रश्न फ्रेमवर्क — जो एक समीक्षक को किसी अध्ययन की वैधता, परिणामों और प्रयोज्यता के माध्यम से एक स्पष्ट और दोहराने योग्य तरीके से मार्गदर्शन करते हैं। विशेषज्ञ निर्णय को प्रश्नों के एक परिभाषित सेट में बदलकर, वे मूल्यांकन को अधिक पारदर्शी, समीक्षकों के बीच अधिक सुसंगत और रिपोर्ट करने में आसान बनाते हैं।

Definition

एक महत्वपूर्ण मूल्यांकन उपकरण वस्तुओं या डोमेन का एक पूर्वनिर्धारित सेट है, जिसे अक्सर प्रश्नों के रूप में व्यक्त किया जाता है, जिसे एक समीक्षक किसी व्यक्तिगत अध्ययन पर लागू करता है ताकि उसके पूर्वाग्रह के जोखिम, उसके परिणामों की व्याख्यात्मकता और उसकी प्रयोज्यता के बारे में एक स्पष्ट, मानदंड-आधारित निर्णय लिया जा सके।

Scope

यह विषय मूल्यांकन उपकरणों के परिवारों और उनके पीछे के तर्क को शामिल करता है: सामान्य चेकलिस्ट (जैसे CASP श्रृंखला और उपयोगकर्ता मार्गदर्शिकाएँ), डिज़ाइन-विशिष्ट पूर्वाग्रह-जोखिम उपकरण (जैसे यादृच्छिक परीक्षणों के लिए RoB 2 और नैदानिक सटीकता अध्ययनों के लिए QUADAS-2), और सरल चेकलिस्ट, सारांश गुणवत्ता स्केल और डोमेन-आधारित निर्णय उपकरणों के बीच का अंतर। यह संदर्भ-शैक्षणिक है और नैदानिक निर्णयों के लिए किसी एक उपकरण का समर्थन नहीं करता है।

Core questions

• किस प्रकार के मूल्यांकन उपकरण मौजूद हैं, और चेकलिस्ट, स्केल और डोमेन-आधारित उपकरण कैसे भिन्न हैं?
• अधिकांश मूल्यांकन उपकरण सार्वभौमिक के बजाय डिज़ाइन-विशिष्ट क्यों होते हैं?
• सारांश गुणवत्ता स्कोर और डोमेन-आधारित पूर्वाग्रह-जोखिम निर्णय के बीच क्या अंतर है?
• उपकरण का चुनाव उसी अध्ययन के मूल्यांकन को कितना प्रभावित करता है?

Key concepts

• सामान्य मूल्यांकन चेकलिस्ट (CASP, उपयोगकर्ता मार्गदर्शिकाएँ)
• डिज़ाइन-विशिष्ट पूर्वाग्रह-जोखिम उपकरण (RoB 2, QUADAS-2)
• सिग्नलिंग प्रश्न
• डोमेन-आधारित निर्णय बनाम सारांश गुणवत्ता स्कोर
• मूल्यांकन की अंतर-रेटर विश्वसनीयता
• मूल्यांकन निर्णयों की पुनरुत्पादकता

Mechanisms

मूल्यांकन उपकरण साक्ष्य-आधारित चिकित्सा के सामान्य वैधता-परिणाम-प्रयोज्यता तर्क को एक विशेष डिज़ाइन के लिए महत्वपूर्ण ठोस वस्तुओं में परिवर्तित करते हैं। CASP और JAMA उपयोगकर्ता मार्गदर्शिकाएँ जैसी सामान्य चेकलिस्ट किसी भी पेपर के लिए पाठक को उन्हीं तीन प्रश्नों के माध्यम से ले जाती हैं (Guyatt 1993; Greenhalgh 1997)। आधुनिक डोमेन-आधारित उपकरण वस्तुओं को पूर्वाग्रह डोमेन में समूहित करके आगे बढ़ते हैं — उदाहरण के लिए RoB 2 यादृच्छिक परीक्षणों का मूल्यांकन यादृच्छिकीकरण प्रक्रिया, इच्छित हस्तक्षेपों से विचलन, गुम परिणाम डेटा, परिणाम का माप, और रिपोर्ट किए गए परिणाम का चयन जैसे डोमेन में करता है, सिग्नलिंग प्रश्नों के माध्यम से प्रति-डोमेन और समग्र निर्णय तक पहुँचता है (Sterne 2019)। QUADAS-2 नैदानिक सटीकता अध्ययनों पर समान डोमेन-और-सिग्नलिंग-प्रश्न वास्तुकला लागू करता है (Whiting 2011)। संख्यात्मक सारांश स्केल से डोमेन-आधारित निर्णय में बदलाव इस बात के प्रमाण को दर्शाता है कि चेकलिस्ट वस्तुओं का मनमाना भार भ्रामक हो सकता है, और यह कि पारदर्शी प्रति-डोमेन तर्क अधिक रक्षात्मक है।

Clinical relevance

इन उपकरणों का उपयोग चिकित्सकों, छात्रों और व्यवस्थित समीक्षकों द्वारा व्यक्तिगत अध्ययनों के मूल्यांकन को स्पष्ट और लेखापरीक्षण योग्य बनाने के लिए किया जाता है। वे वर्णन करते हैं कि अनुसंधान की विश्वसनीयता का आकलन कैसे किया जाता है; वे साक्ष्य को चित्रित करते हैं और स्वयं किसी भी व्यक्तिगत रोगी का निदान या उपचार करने का आधार नहीं हैं।

Evidence & guidelines

सौ से अधिक मूल्यांकन उपकरणों की एक व्यवस्थित समीक्षा में सामग्री में पर्याप्त विषमता पाई गई और किसी भी अध्ययन डिज़ाइन के लिए कोई एकल मान्य स्वर्ण मानक नहीं मिला, जो इस बात पर जोर देता है कि उपकरण का चुनाव स्वयं एक कार्यप्रणाली संबंधी निर्णय है (Katrak 2004)। समकालीन अभ्यास डिज़ाइन-विशिष्ट, डोमेन-आधारित उपकरणों का पक्षधर है — यादृच्छिक परीक्षणों के लिए RoB 2 और नैदानिक सटीकता अध्ययनों के लिए QUADAS-2 को कोचरन और अन्य व्यवस्थित-समीक्षा मार्गदर्शन में व्यापक रूप से समर्थन प्राप्त है (Sterne 2019; Whiting 2011) — और इन निर्णयों को एक एकल सारांश गुणवत्ता स्कोर में परिवर्तित करने से हतोत्साहित करता है।

History

प्रारंभिक मूल्यांकन सहायक कथात्मक पठन मार्गदर्शिकाएँ थीं; 1990 के दशक की मैकमास्टर उपयोगकर्ता मार्गदर्शिकाएँ और उसके बाद की CASP चेकलिस्ट ने चिकित्सकों को स्पष्ट, अध्ययन-प्रकार-विशिष्ट प्रश्न सेट दिए (Guyatt 1993; Greenhalgh 1997)। जैसे-जैसे व्यवस्थित समीक्षा परिपक्व हुई, क्षेत्र सरल चेकलिस्ट और संख्यात्मक गुणवत्ता स्केल से डोमेन-आधारित पूर्वाग्रह-जोखिम उपकरणों की ओर बढ़ा, जिसका उदाहरण नैदानिक अध्ययनों के लिए QUADAS-2 (Whiting 2011) और यादृच्छिक परीक्षणों के लिए संशोधित RoB 2 (Sterne 2019) हैं, जो इस बात के बढ़ते प्रमाण को दर्शाता है कि सारांश स्कोर अविश्वसनीय हो सकते हैं।

Debates

गुणवत्ता स्कोर बनाम डोमेन-आधारित निर्णय

कई मूल्यांकन वस्तुओं को एक एकल संख्यात्मक गुणवत्ता स्कोर में संपीड़ित करना मनमाने भार पर निर्भर करता है और भ्रामक रैंकिंग उत्पन्न कर सकता है; वर्तमान कार्यप्रणाली संबंधी सहमति सारांश स्केल पर पारदर्शी, प्रति-डोमेन पूर्वाग्रह-जोखिम निर्णयों का पक्षधर है।

एक सार्वभौमिक स्वर्ण-मानक उपकरण का अभाव

विभिन्न सामग्री वाले उपकरणों का प्रसार और किसी भी डिज़ाइन के लिए कोई मान्य संदर्भ उपकरण नहीं होने का मतलब है कि उपकरण के आधार पर उसी अध्ययन का अलग-अलग मूल्यांकन किया जा सकता है, जिससे पुनरुत्पादकता के बारे में चिंताएँ बढ़ जाती हैं।

Key figures

• Julian Higgins
• Jonathan Sterne
• Penny Whiting
• Gordon Guyatt
• Trisha Greenhalgh

Seminal works

• katrak-2004
• sterne-2019-rob2
• whiting-2011-quadas2

Frequently asked questions

क्या प्रत्येक अध्ययन के लिए एक महत्वपूर्ण मूल्यांकन उपकरण सबसे अच्छा है?

नहीं। क्योंकि विभिन्न डिज़ाइन विभिन्न पूर्वाग्रहों के प्रति प्रवृत्त होते हैं, अधिकांश मूल्यांकन डिज़ाइन-विशिष्ट उपकरणों के साथ किया जाता है, और एक व्यवस्थित समीक्षा में कोई एकल स्वर्ण-मानक उपकरण नहीं मिला जो सभी प्रकार के अध्ययनों में काम करता हो।

कई क्षेत्रों ने गुणवत्ता स्कोर से दूरी क्यों बना ली है?

सारांश गुणवत्ता स्कोर मनमाने भार के साथ वस्तुओं को जोड़ते हैं और अध्ययनों को भ्रामक रूप से रैंक कर सकते हैं। RoB 2 और QUADAS-2 जैसे डोमेन-आधारित उपकरण इसके बजाय प्रत्येक प्रकार के पूर्वाग्रह के लिए एक पारदर्शी निर्णय देते हैं, जो अधिक रक्षात्मक और पुनरुत्पादनीय है।