Bilgisayarlı Uyarlanabilir Test Güvenilirlik Analizi
Computerized Adaptive Test Reliability Analysis · Ayrıca şöyle bilinir: CAT reliability, adaptive test reliability, IRT-based reliability estimation, marginal reliability in CAT
KYT güvenilirlik analizi, her adayın kendine özgü, bireysel olarak uyarlanmış bir madde alt kümesi aldığı bilgisayarlı uyarlanabilir testlerde ölçüm hassasiyetini nicelleştirir. Tek bir klasik katsayı yerine, hassasiyeti her yetenek düzeyinde ölçümün koşullu standart hatası olarak ve yetenek dağılımı boyunca küresel bir özet olarak marjinal güvenilirlik olarak ifade etmek için madde tepki teorisini kullanır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
YTT tabanlı madde seçimi tarafından yönlendirilen bir bilgisayarlı uyarlanabilir test uyguladığınızda KYT güvenilirlik analizini kullanın: yüksek bahisli lisans sınavları, büyük ölçekli eğitim değerlendirmeleri, madde bankalarıyla klinik semptom ölçümü ve psikolojik özellik değerlendirmesi. Tüm adaylar farklı madde setleri yanıtladığı için uygun çerçevedir, bu da ortak bir madde setinden hesaplanan klasik güvenilirlik katsayılarını uygulanamaz hale getirir. KYT güvenilirlik analizini sabit form testlerine (bunun yerine Cronbach'ın alfası, McDonald'ın omegası veya test-tekrar test güvenilirliğini kullanın) veya doğrulanmış bir YTT modeline dayanmayan uyarlanabilir testlere UYGULAMAYIN. KYT güvenilirlik analizi ayrıca kalibre edilmiş, yeterince büyük bir madde bankası gerektirir; zayıf madde kapsamına sahip seyrek bankalar belirli yetenek bölgelerinde şişirilmiş CSEM üretecektir.
Güçlü yönler & sınırlılıklar
- Tek bir popülasyon ortalamalı değer yerine her yetenek düzeyinde hassasiyet tahminleri sağlar, ölçümün güçlü veya zayıf olduğu yerleri ortaya çıkarır.
- Marjinal güvenilirlik, uyarlanabilir seçim algoritmasıyla doğal olarak bütünleşir ve durdurma kuralının hedeflenen bir hassasiyet düzeyine ayarlanmasına izin verir.
- Eşdeğer güvenilirliği sağlamak için sabit form testlerinden daha verimlidir: her madde birey için maksimum düzeyde bilgilendirici olduğu için daha az maddeye ihtiyaç duyulur.
- Şeffaf çerçeve — CSEM profilleri ve test bilgi eğrileri, test kullanıcılarına ve düzenleyicilere raporlanabilen doğrudan yorumlanabilir grafiklerdir.
- Çok boyutlu KYT'ye vektör değerli yetenek tahminleri kullanıldığında doğal olarak genişler.
- İyi kalibre edilmiş, büyük bir madde bankası gerektirir; kötü kalibre edilmiş hassasiyet tahminlerini yapay olarak şişirir.
- Marjinal güvenilirlik, norm örnekleminin yetenek dağılımına duyarlıdır — farklı bir dağılıma sahip yeni bir popülasyona uygulandığında tahminler farklı olacaktır.
- Klasik katsayılardan daha karmaşık hesaplanması ve iletilmesi; birçok uygulayıcı ve paydaş CSEM ve test bilgi eğrilerine aşina değildir.
- Her seferinde test-tekrar test kararlılığını doğrudan tahmin etmez — ayrı uzunlamasına güvenilirlik çalışmaları hala gereklidir.
SSS
KYT için Cronbach'ın alfasını kullanabilir miyim?
Hayır. Cronbach'ın alfas, tüm adayların aynı maddelere cevap verdiğini varsayar; bir KYT'de her kişi farklı bir alt küme alır, bu nedenle ortak madde varsayımı ihlal edilir. Bunun yerine YTT tabanlı marjinal güvenilirliği ve CSEM profilini kullanın.
CSEM ile klasik ölçüm hatası arasındaki fark nedir?
Klasik SEM, tüm puanlara uygulanan tek bir sabittir. CSEM, yetenek düzeyinin bir fonksiyonu olarak değişir — test bilgisinin yüksek olduğu yerlerde daha küçüktür (daha hassas) ve düşük olduğu yerlerde daha büyüktür. Bu, uyarlanabilir bir testteki hassasiyetin daha dürüst ve bilgilendirici bir açıklamasıdır.
Bir CSEM durdurma eşiğini nasıl seçerim?
Eşik, puanların amaçlanan kullanımına uyacak şekilde ayarlanmalıdır. Yüksek bahisli kararlar tipik olarak 0.30'un altındaki CSEM değerleri gerektirir (0.90'ın üzerindeki marjinal güvenilirliğe karşılık gelir). Daha düşük bahisli uygulamalar 0.40–0.45'e kadar kabul edebilir. Pilot simülasyonları ve operasyonel veriler nihai seçimi bilgilendirmelidir.
Marjinal güvenilirlik teste kimin girdiğine bağlı mı?
Evet. Marjinal güvenilirlik, yerel hassasiyet değerlerinin ağırlıklı ortalamasıdır, ağırlıklar örneklemdeki yetenek dağılımıyla orantılıdır. Test daha dar veya farklı bir yetenek aralığına sahip bir gruba uygulandığında, madde bankası değişmese bile marjinal güvenilirlik farklı olacaktır.
Madde bankasının ne kadar büyük olması gerekiyor?
Operasyonel KYT programları, yüksek hassasiyeti yetenek ölçeği boyunca korurken yeterli madde seçimi ve maruz kalma kontrolüne izin vermek için yaygın olarak yapıda madde başına en az 150–500 kalibre edilmiş maddeden oluşan madde bankaları kullanır.
Kaynaklar
- Weiss, D. J. (1984). Application of computerized adaptive testing to educational problems. Journal of Educational Measurement, 21(4), 361–375. DOI: 10.1111/j.1745-3984.1984.tb01040.x ↗
- Embretson, S. E. & Reise, S. P. (2000). Item Response Theory for Psychologists. Lawrence Erlbaum Associates. ISBN: 978-0805828191
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Computerized Adaptive Test Reliability Analysis. ScholarGate. https://scholargate.app/tr/psychometrics/computerized-adaptive-test-reliability-analysis
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Madde Yanıt Kuramı (MYK) Temelli Bilgisayarlı Uyarlanabilir Test (BUT-MYK)Psikometri↔ karşılaştır
- Ayırt Edici Madde Fonksiyonu (DIF)Psikometri↔ karşılaştır
- Madde Yanıt Teorisi (MYT)Psikometri↔ karşılaştır
- Test-Tekrar GüvenilirliğiPsikometri↔ karşılaştır