Genelleştirilebilirlik Kuramı (G-Kuramı)

Cronbach'ın alfa katsayısı, ölçüm hatalarının tüm kaynaklarını - puanlayıcı farklılıkları, görev farklılıkları, deneme farklılıkları - tek bir hata terimine toplar, bu da birden çok hata kaynağı mevcut olduğunda şişirilmiş veya yanıltıcı bir güvenilirlik tahmini verebilir. G-Kuramı her bir kaynağı ayırır, her birinin ne kadar katkıda bulunduğunu gösterir ve alternatif tasarımların güvenilirliğini modellemenize olanak tanır. Alfa, kişiler-madde kesişen tasarımına sahip tek bir faset için uygulanan G-Kuramı'nın özel bir durumudur.

G-çalışması, mevcut bir veri kümesini analiz ederek kişiler ve her ölçüm faseti için varyans bileşenlerini tahmin eder. D-çalışması, bu tahmin edilen bileşenleri kullanarak farklı sayıda faset düzeyinde (örneğin, üç yerine iki puanlayıcı veya on yerine beş görev) beklenen güvenilirlik katsayısını tahmin eder. G-çalışması tanımlar; D-çalışması planlar.

Kararlar göreli olduğunda (bireyleri sıralama veya birbirleriyle karşılaştırma, norm referanslı testlerde olduğu gibi) E-rho-kare'yi (G-katsayısı) rapor edin. Kararlar mutlak olduğunda (her kişiyi sabit bir standartla karşılaştırma, ölçüt referanslı yeterlilik testleri veya geçme-kalma belgelendirmelerinde olduğu gibi) Phi'yi rapor edin. Phi, hata terimine ek varyans bileşenleri dahil ettiği için her zaman E-rho-kare'ye eşit veya ondan düşüktür.

Tek bir kural yoktur, ancak kararlı varyans bileşeni tahminleri genellikle en az 30 kişi ve her faset için en az iki ila üç düzey gerektirir. Tam kesişen tasarımlar (her kişinin her puanlayıcı tarafından her görevde puanlanması) idealdir ancak maliyetlidir; iç içe geçmiş tasarımlar daha pratiktir ancak tahminleri karmaşıklaştırır. Tam bir çalışma öncesinde pilot bir örneklemle G-çalışmasını çalıştırmak ve varyans bileşenleri etrafındaki güven aralıklarını incelemek iyi bir uygulamadır.