Ölçüm Geçerliliği ve Güvenilirliği
Geçerlilik ve güvenilirlik, bir kalite ölçütünün güvenilir olup olmadığını belirleyen iki temel özelliktir. Geçerlilik, bir ölçütün iddia ettiği kalite yönünü gerçekten yakalayıp yakalamadığı ile ilgilidir; güvenilirlik ise, ölçütün aynı koşullar altında tekrar tekrar uygulandığında tutarlı sonuçlar üretip üretmediği ile ilgilidir. Bir ölçütün sonuçları, kalite hakkında yargıları veya eylem kararlarını haklı çıkarmadan önce hem güvenilir hem de geçerli olması gerekmektedir.
Tanım
Güvenilirlik, bir ölçütün tekrarlanan uygulamalar, değerlendiriciler veya maddeler arasında tutarlı, tekrarlanabilir sonuçlar verme derecesidir; geçerlilik ise, bir ölçütün değerlendirmeyi amaçladığı temel yapıyı (burada sağlık hizmeti kalitesinin bir yönü) ne kadar doğru yansıttığı derecesidir.
Kapsam
Bu madde, kalite göstergeleri ve araçlarına uygulandığı şekliyle geçerlilik ve güvenilirliğin başlıca biçimlerini, bunları nicelendirmek için yaygın olarak kullanılan istatistikleri ve sonuçları olan ölçümler için her iki özelliğin neden önemli olduğunu ele almaktadır. Bu, metodolojik bir referanstır ve belirli bir araç için klinik puanlama eşikleri sağlamamaktadır.
Temel sorular
- Bir kalite ölçütünün geçerli olması ne anlama gelmektedir ve geçerlilik nasıl değerlendirilmektedir?
- Güvenilirlik geçerlilikten nasıl ayırt edilmektedir ve her ikisi neden gereklidir?
- Hangi istatistikler iç tutarlılığı ve değerlendiriciler arası uyumu nicelendirmektedir?
- Düşük geçerlilik veya güvenilirlik, kalite hakkındaki yargıları nasıl yanıltmaktadır?
Anahtar kavramlar
- İçerik geçerliliği
- Yapı geçerliliği
- Ölçüt geçerliliği
- İç tutarlılık (Cronbach alfa)
- Değerlendiriciler arası güvenilirlik (Cohen kappa)
- Test-tekrar test güvenilirliği
- Ölçüm hatası ve rastgele varyasyon
Temel kuramlar
- Klasik güvenilirlik test kuramı
- Klasik test kuramı, gözlemlenen bir ölçümü gerçek bir değer ile rastgele hatanın toplamı olarak çerçevelemektedir; bu nedenle güvenilirlik, gözlemlenen varyansın hatadan ziyade gerçek farklılıklara atfedilebilen oranıdır. Cronbach'ın alfa katsayısı, bunun bir biçimini, aynı yapıyı ölçmeyi amaçlayan maddeler arasındaki iç tutarlılık olarak işlevselleştirmektedir.
Mekanizmalar
Güvenilirlik, ölçümün tekrarlar arasındaki tutarlılığının incelenmesiyle değerlendirilmektedir: maddeler arası iç tutarlılık, değerlendiriciler arası uyum ve temel durum değişmediğinde zaman içindeki istikrar. Cronbach alfa, çok maddeli ölçekler için iç tutarlılığı özetlerken, Cohen kappa, kategorik yargılarda iki değerlendirici arasındaki uyumu şans uyumunu düzelterek nicelendirmektedir. Geçerlilik, ölçütün amaçlanan yapıyı yansıttığına dair kanıtların biriktirilmesiyle değerlendirilmektedir: içerik geçerliliği (kavramın kapsamlı bir şekilde ele alınması), yapı geçerliliği (diğer ölçümlerle beklenen ilişkiler) ve ölçüt geçerliliği (bir referans standartla uyum). Bir ölçüt, güvenilir ancak geçersiz olabilir, yani sürekli olarak yanlış şeyi ölçebilir; ancak güvenilir olmadan geçerli olamaz, çünkü rastgele hata, bir ölçütün hedefini ne kadar iyi takip edebileceğini sınırlamaktadır.
Klinik önem
Bir kalite göstergesi veya hasta tarafından bildirilen bir araç raporlama, akreditasyon veya teşvikler için kullanılmadan önce, geçerliliği ve güvenilirliği belirlenmelidir, böylece gözlemlenen farklılıklar, ölçüm gürültüsü yerine kalitedeki gerçek varyasyonu yansıtabilir. Bu özellikler, herhangi bir kalite ölçüm programını yorumlamak için merkezi öneme sahiptir. Bu madde, ölçüm özelliklerini açıklamaktadır ve bireysel hastalar için klinik puanlama kuralları kaynağı değildir.
Kanıt ve kılavuzlar
İstatistiksel temeller Cronbach'ın alfa katsayısı ve Cohen'in kappasından gelmektedir; sağlık ölçümü için uygulamalı rehberlik ise Streiner ve Norman'ın metninde birleştirilmiştir. Gösterge sınıflandırma rehberliği, bu özellikleri kalite ölçümü içinde konumlandırmaktadır. Bu kaynaklar metodolojik içerikleri nedeniyle alıntılanmaktadır ve klinik direktifler değildir.
Tarihçe
Geçerlilik ve güvenilirlik kavramları, yirminci yüzyılın ortalarında psikometri içinde resmileştirilmiştir; Cronbach'ın 1951 alfa katsayısı ve Cohen'in 1960 kappası standart araçlar haline gelmiştir. Sağlık hizmetleri, hasta tarafından bildirilen araçları ve kalite göstergelerini benimsedikçe, bu psikometrik ilkeler sağlık hizmeti ölçümüne taşınmış ve Streiner ve Norman'ınki gibi pratik rehberlerde kodlanmıştır.
Tartışmalar
- Cronbach alfa, güvenilirliğin yeterli bir ölçütü müdür?
- Alfa yaygın olarak rapor edilmekle birlikte, madde sayısına bağlıdır ve tek bir temel boyut varsaymaktadır; yüksek alfa, iyi bir ölçümden ziyade fazlalığı yansıtabilir ve tek boyutluluğu veya geçerliliği sağlamamaktadır, bu da tamamlayıcı kanıt çağrılarına yol açmaktadır.
Öne çıkan isimler
- Lee Cronbach
- Jacob Cohen
- David Streiner
- Geoffrey Norman
İlgili konular
Temel eserler
- cronbach-1951
- cohen-1960
- streiner-norman-2015
Sıkça sorulan sorular
- Bir ölçüt güvenilir ancak geçerli olmayabilir mi?
- Evet. Bir ölçüt, sürekli olarak yanlış şeyi yakalarken oldukça tutarlı sonuçlar verebilir. Güvenilirlik geçerlilik için gereklidir ancak onu garanti etmez; bir ölçütün ayrıca değerlendirmeyi iddia ettiği yapıyı yansıttığı da gösterilmelidir.
- Değerlendiriciler arası uyumu değerlendirirken neden şans faktörü için düzeltme yapılmaktadır?
- İki değerlendirici, özellikle az kategori olduğunda, bazen tamamen şans eseri anlaşacaktır. Cohen kappa, gözlemlenen uyumu şans eseri beklenen uyuma göre ayarlayarak, gerçek güvenilirliğin daha dürüst bir tahminini sağlamaktadır.