اعتبار و پایایی اندازهگیری
اعتبار و پایایی دو ویژگی اصلی هستند که تعیین میکنند آیا میتوان به یک معیار کیفیت اعتماد کرد یا خیر. اعتبار به این موضوع میپردازد که آیا یک معیار واقعاً جنبهای از کیفیت را که ادعا میکند اندازهگیری میکند، ثبت میکند یا خیر؛ پایایی به این موضوع میپردازد که آیا معیار در صورت تکرار کاربرد تحت شرایط یکسان، نتایج ثابتی تولید میکند یا خیر. یک معیار باید هم پایا و هم معتبر باشد تا نتایج آن توجیهکننده قضاوتها در مورد کیفیت یا تصمیمگیری برای اقدام باشد.
Definition
پایایی (Reliability) درجهای است که یک معیار نتایج سازگار و قابل تکرار را در کاربردهای مکرر، ارزیابان یا آیتمها به دست میدهد؛ اعتبار (Validity) درجهای است که یک معیار به طور دقیق سازه زیربنایی، در اینجا جنبهای از کیفیت مراقبتهای بهداشتی، را که قصد ارزیابی آن را دارد، منعکس میکند.
Scope
این مدخل اشکال اصلی اعتبار و پایایی را که در مورد شاخصها و ابزارهای کیفیت کاربرد دارند، آمارهای معمول مورد استفاده برای کمیسازی آنها، و اینکه چرا هر دو ویژگی برای اندازهگیریهایی که پیامدهایی دارند مهم هستند، پوشش میدهد. این یک مرجع روششناختی است و آستانههای امتیازدهی بالینی را برای هیچ ابزار خاصی ارائه نمیدهد.
Core questions
- معتبر بودن یک معیار کیفیت به چه معناست و اعتبار چگونه ارزیابی میشود؟
- پایایی چگونه از اعتبار متمایز میشود و چرا هر دو ضروری هستند؟
- کدام آمارها سازگاری درونی و توافق بین ارزیابان را کمیسازی میکنند؟
- اعتبار یا پایایی ضعیف چگونه قضاوتها در مورد کیفیت را گمراه میکند؟
Key concepts
- اعتبار محتوا
- اعتبار سازه
- اعتبار ملاک
- سازگاری درونی (آلفای کرونباخ)
- پایایی بین ارزیابان (کاپای کوهن)
- پایایی آزمون-بازآزمون
- خطای اندازهگیری و تغییرات تصادفی
Key theories
- نظریه کلاسیک پایایی آزمون
- نظریه کلاسیک آزمون، اندازهگیری مشاهدهشده را مجموع یک مقدار واقعی و خطای تصادفی در نظر میگیرد، بنابراین پایایی نسبت واریانس مشاهدهشدهای است که به تفاوتهای واقعی نسبت داده میشود تا خطا. ضریب آلفای کرونباخ یکی از اشکال این را به عنوان سازگاری درونی بین آیتمهایی که قصد اندازهگیری یک سازه را دارند، عملیاتی میکند.
Mechanisms
پایایی با بررسی سازگاری اندازهگیری در تکرارها ارزیابی میشود: سازگاری درونی بین آیتمها، توافق بین ارزیابان، و ثبات در طول زمان زمانی که وضعیت زیربنایی تغییر نکرده است. آلفای کرونباخ سازگاری درونی را برای مقیاسهای چند آیتمی خلاصه میکند، در حالی که کاپای کوهن توافق بین دو ارزیاب را در قضاوتهای طبقهبندی، با تصحیح توافق تصادفی، کمیسازی میکند. اعتبار با جمعآوری شواهدی ارزیابی میشود که معیار سازه مورد نظر خود را منعکس میکند: اعتبار محتوا (پوشش جامع مفهوم)، اعتبار سازه (روابط مورد انتظار با سایر معیارها)، و اعتبار ملاک (توافق با یک استاندارد مرجع). یک معیار میتواند پایا باشد اما نامعتبر، یعنی به طور مداوم چیز اشتباهی را اندازهگیری کند، اما نمیتواند بدون پایایی معتبر باشد، زیرا خطای تصادفی حداکثر میزان ردیابی هدف توسط یک معیار را محدود میکند.
Clinical relevance
قبل از اینکه یک شاخص کیفیت یا ابزار گزارششده توسط بیمار برای گزارشدهی، اعتباربخشی یا انگیزهبخشی استفاده شود، اعتبار و پایایی آن باید مشخص شود تا تفاوتهای مشاهدهشده، تغییرات واقعی در کیفیت را منعکس کنند نه نویز اندازهگیری. این ویژگیها برای تفسیر هر برنامه اندازهگیری کیفیت محوری هستند. این مدخل ویژگیهای اندازهگیری را توضیح میدهد و منبعی برای قوانین امتیازدهی بالینی برای بیماران منفرد نیست.
Evidence & guidelines
مبانی آماری از ضریب آلفای کرونباخ و کاپای کوهن نشأت میگیرد، با راهنماییهای کاربردی برای اندازهگیری سلامت که در متن استراینر و نورمن یکپارچه شده است. راهنمایی طبقهبندی شاخصها این ویژگیها را در اندازهگیری کیفیت قرار میدهد. این منابع به دلیل محتوای روششناختی خود ذکر شدهاند و دستورالعملهای بالینی نیستند.
History
مفاهیم اعتبار و پایایی در اواسط قرن بیستم در روانسنجی رسمیت یافتند، با آلفای کرونباخ در سال ۱۹۵۱ و کاپای کوهن در سال ۱۹۶۰ که به ابزارهای استاندارد تبدیل شدند. با پذیرش ابزارهای گزارششده توسط بیمار و شاخصهای کیفیت در مراقبتهای بهداشتی، این اصول روانسنجی به اندازهگیری مراقبتهای بهداشتی منتقل شده و در راهنماهای عملی مانند کتاب استراینر و نورمن تدوین شدند.
Debates
- آیا آلفای کرونباخ معیار کافی برای پایایی است؟
- آلفا به طور گسترده گزارش میشود اما به تعداد آیتمها بستگی دارد و یک بعد زیربنایی واحد را فرض میکند؛ آلفای بالا میتواند نشاندهنده افزونگی باشد تا اندازهگیری خوب، و یکبعدی بودن یا اعتبار را اثبات نمیکند، که منجر به درخواست برای شواهد مکمل میشود.
Key figures
- Lee Cronbach
- Jacob Cohen
- David Streiner
- Geoffrey Norman
Related topics
Seminal works
- cronbach-1951
- cohen-1960
- streiner-norman-2015
Frequently asked questions
- آیا یک معیار میتواند پایا باشد اما معتبر نباشد؟
- بله. یک معیار میتواند نتایج بسیار ثابتی ارائه دهد در حالی که به طور مداوم چیز اشتباهی را ثبت میکند. پایایی برای اعتبار ضروری است اما آن را تضمین نمیکند؛ یک معیار باید همچنین نشان دهد که سازهای را که ادعا میکند ارزیابی میکند، منعکس میکند.
- چرا هنگام ارزیابی توافق بین ارزیابان، برای شانس تصحیح میشود؟
- دو ارزیاب گاهی اوقات صرفاً به دلیل شانس با هم توافق خواهند کرد، به خصوص با دستههای کم. کاپای کوهن توافق مشاهدهشده را برای توافق مورد انتظار بر حسب شانس تنظیم میکند و تخمین صادقانهتری از پایایی واقعی ارائه میدهد.