Bilgisayarlı Uyarlanır Test Test-Tekrar Test Güvenilirliği
Computerized Adaptive Test Test-Retest Reliability · Ayrıca şöyle bilinir: CAT temporal stability, adaptive test retest reliability, CAT score consistency, computerized adaptive testing reliability
Bilgisayarlı uyarlanır test (CAT) test-tekrar test güvenilirliği, aynı sınananların iki ayrı zamanda bir CAT'yi tamamlamasıyla elde edilen yetenek tahminlerinin tutarlılığını ölçer. Uyarlanır algoritmalar her sınananın madde setini bireysel olarak uyarladığı için, geleneksel güvenilirlik çerçevelerinin, yönetimler arasındaki örtüşmeyen madde maruziyetlerini hesaba katacak şekilde uyarlanması gerekir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Zaman içinde kararlı puanlar veren uyarlanır bir aracın, özellikle klinik tarama, lisanslama veya eğitim yerleştirme bağlamlarında bir CAT dağıtmadan önce, bu kararlılığı göstermeniz gerektiğinde CAT test-tekrar test güvenilirliğini kullanın. Özellikle madde bankasının yönetimler arasındaki madde örtüşmesini sınırlayacak kadar büyük olduğu ve hedef yapı için makul bir kararlılık aralığının gerekçelendirilebildiği durumlarda uygundur. Ölçülen özelliğin kısa süreler içinde - ruh hali durumları, akut semptomlar - hızla dalgalandığı biliniyorsa, test-tekrar testi tek güvenilirlik kanıtı olarak kullanmayın, çünkü gerçek yapı değişimi katsayıyı baskılayacak ve araç kalitesi hakkında yanıltıcı sonuçlara yol açacaktır.
Güçlü yönler & sınırlılıklar
- Zaman içinde puan kararlılığına ilişkin doğrudan kanıt sağlar; bu, tek bir CAT yönetiminden elde edilen kararlar için en ilgili güvenilirlik biçimidir.
- Teta tahminleriyle çalışarak ve madde yanıt teorisi kalibrasyonu tarafından oluşturulan metriği koruyarak uyarlanır testin benzersiz psikometrik zorluğunu hesaba katar.
- Ölçümün koşullu standart hatası ile birleştirildiğinde, zayıflatma düzeltmesi, gerçek puan varyansını ölçüm hatası varyansından ayırmaya olanak tanır.
- Uygulayıcılar tarafından yaygın olarak anlaşılır ve zamansal tutarlılık kanıtı gerektiren akreditasyon kurumları ve klinik düzenleyiciler tarafından kabul edilebilir.
- Veri toplama işlemini kaynak yoğun hale getiren ve katılımcı tutma oranına bağlı hale getiren ikinci bir tam yönetim gerektirir.
- Ek bir kontrol veya çıpa noktalarına sahip bir boylamsal tasarım olmadan, gerçek puan değişimini ölçüm güvensizliğinden ayıramaz.
- Yönetimler arasındaki zaman aralığının seçimi keyfidir ve optimal aralık yapıya göre değişir, bu da çalışmalar arasındaki karşılaştırmaları zorlaştırır.
- Teta tahminlerinin korelasyonu, uyarlanır tasarımın kasıtlı olarak yarattığı sınananlar arasındaki kesinlikteki heterojenliği göz ardı eder.
SSS
Neden CAT güvenilirliğini tahmin etmek için Cronbach'ın alfa veya KR-20 kullanamıyorum?
Cronbach'ın alfa ve KR-20, tek bir yönetim içindeki içsel tutarlılığı ölçer. Bir CAT'de farklı sınananlar farklı maddeler alırlar, bu nedenle geleneksel yolla tüm örneklem üzerinde hesaplanabilecek tek bir sabit madde seti yoktur. Her seçilen maddenin katkıda bulunduğu madde bilgisi kullanılarak her uyarlanır yönetim içinde içsel tutarlılık hesaplanabilir, ancak bu zamansal kararlılığı yakalamaz. Test-tekrar test korelasyonu, yönetimler arasındaki puan tutarlılığını değerlendirmek için gereklidir.
CAT güvenilirlik tahminleri için ne kadar büyük bir örnekleme ihtiyacım var?
Pearson korelasyonu için, kabul edilebilir kesinlik elde etmek üzere yaygın olarak en az 100 sınananlık bir örneklem önerilir. 50'den az katılımcı ile 0.85 korelasyonu etrafındaki %95 güven aralığı 0.20 puandan fazla yayılabilir, bu da tahminin yorumlanmasını zorlaştırır. Korelasyon testi için güç analizi, belirli bir istenen kesinlik için gerekli N'yi bilgilendirebilir.
CAT güvenilirlik çalışmaları için uygun bir tekrar test aralığı nedir?
Aralık, belirli maddeler üzerindeki hafıza etkilerinin dağılması için yeterince uzun - tipik olarak en az iki hafta - ancak ölçülen yapıda gerçek değişimin olası olmayacağı kadar kısa olmalıdır. Genel bilişsel yetenek veya kişilik boyutları gibi kararlı yapılar için, iki ila dört haftalık aralıklar standarttır. Tedavi veya çevresel değişime duyarlı yapılar için daha kısa bir aralık veya ek tasarım kontrolleri gereklidir.
Zayıflatma düzeltmesi her zaman tahmini iyileştirir mi?
Zayıflatma, her iki teta tahminindeki ölçüm hatasından kaynaklanan zayıflatmayı giderir ve bu nedenle güvenilirlik katsayısını gerçek puan korelasyonuna doğru yükseltir. Ancak, düzeltme, ölçümün koşullu standart hatalarındaki örnekleme hatasını büyütür ve küçük örneklemlerde düzeltilmiş katsayı 1.0'ı aşabilir veya kararsız hale gelebilir. Hem gözlemlenen hem de düzeltilmiş korelasyonları güven aralıklarıyla birlikte bildirin.
Test-tekrar test güvenilirliği ile anlaşma aynı mı?
Hayır. Pearson veya Spearman korelasyonu sıra tutarlılığını yakalar ancak yönetimler arasındaki sistematik ortalama kaymalarına karşı duyarsızdır. Eğer teta puanları yönetimler arasında tüm sınananlar için yukarı doğru kayarsa - belki bir pratik etkisi veya mevsimsel varyasyon nedeniyle - korelasyon yüksek kalabilirken puanlar sistematik olarak yanlı olabilir. Korelasyonu, ortalama farklar için eşleştirilmiş örneklem testi ve klinik bağlamlar için hem sıra hem de mutlak anlaşmaya duyarlı olan bir intrakorelasyon katsayısı ile destekleyin.
Kaynaklar
- Weiss, D. J. (2004). Computerized adaptive testing for effective and efficient measurement in counseling and education. Measurement and Evaluation in Counseling and Development, 37(2), 70–84. DOI: 10.1080/07481756.2004.11909751 ↗
- Computerized adaptive testing. Wikipedia. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Computerized Adaptive Test Test-Retest Reliability. ScholarGate. https://scholargate.app/tr/psychometrics/computerized-adaptive-test-test-retest-reliability
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Bilgisayarlı Uyarlanabilir Test (BUT)Psikometri↔ karşılaştır
- Cronbach'ın Alfa Katsayısı (Güvenilirlik Analizi)İstatistik↔ karşılaştır
- Madde Yanıt Teorisi (MYT)Psikometri↔ karşılaştır
- Test-Tekrar GüvenilirliğiPsikometri↔ karşılaştır