Çok Düzeyli Test-Tekrar Test Güvenilirliği
Multilevel Test-Retest Reliability · Ayrıca şöyle bilinir: hierarchical test-retest reliability, multilevel ICC reliability, nested test-retest reliability, ML-TRT reliability
Çok düzeyli test-tekrar test güvenilirliği, bir ölçüm aracının, gözlemlerin daha yüksek düzeyli birimler (kliniklerdeki hastalar veya sınıflardaki öğrenciler gibi) içinde iç içe olduğu durumlarda, tekrarlanan uygulamalar arasında aynı puanları ne kadar tutarlı bir şekilde ürettiğini tahmin eder. Çok düzeyli modellerden türetilen sınıf içi korelasyon katsayılarını kullanarak toplam puan varyansını düzeyler arasında bölümlere ayırır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Tekrarlanan ölçümlerin tanımlanabilir daha yüksek düzeyli kümeler içinde iç içe olduğu ve bu yapıyı dürüstçe hesaba katan bir güvenilirlik tahminine ihtiyacınız olduğunda çok düzeyli test-tekrar test güvenilirliğini kullanın. Tipik uygulamalar arasında farklı bölgelerdeki klinik araç doğrulama, okullardaki eğitim değerlendirmeleri ve kişiler içinde iç içe geçmiş ekolojik anlık değerlendirme verileri bulunur. Anlamlı bir kümelenme olmadığında tek düzeyli test-tekrar test ICC'sinin basit bir ikamesi olarak kullanmayın — eklenen karmaşıklık gereksizdir. Ayrıca küme boyutları çok küçük olduğunda (küme başına beş birimden az), varyans bileşenleri kötü tahmin edildiğinde veya kişi başına iki olaydan az olduğunda da kaçının.
Güçlü yönler & sınırlılıklar
- Ölçüm hatasını düzeyler arasında doğru bir şekilde bölümlere ayırır, göz ardı edilen kümelenmenin neden olduğu güvenilirlik tahminlerinin şişirilmesini veya küçültülmesini önler.
- Düzeye özgü güvenilirlik katsayıları sağlar, bir aracın kişiler arasında mı yoksa zamanlar arasında mı daha kararlı olduğunu ortaya koyar.
- Dengesiz tasarımları (eşit olmayan küme boyutları, eksik olaylar) liste bazında silme yapmadan REML tahmini aracılığıyla ele alır.
- Koşullu güvenilirliği (örneğin, demografik alt gruplar içindeki güvenilirlik) incelemek için her düzeyde kovaryatları dahil edebilir.
- Üç veya daha fazla düzeye doğrudan genişler, büyük ölçekli eğitim veya klinik araştırmalarda yaygın olan karmaşık iç içe tasarımları barındırır.
- Kararlı varyans bileşeni tahminleri için yeterli küme sayısı (genellikle en az 20-30 küme) ve küme boyutu gerektirir; küçük tasarımlar ICC etrafında geniş güven aralıkları üretir.
- REML tahmini yinelemelidir ve kötü belirtilmiş veya seyrek modellerde yakınsayamayabilir.
- Birden fazla ICC'yi (kişiler arası, kişi içi, küme düzeyinde) aynı anda yorumlamak, tek bir güvenilirlik katsayısı raporlamaktan daha karmaşıktır.
- Rastgele etkilerin normal dağıldığını varsayar; ihlaller, özellikle az sayıda küme olduğunda varyans bileşenlerini yanlı hale getirebilir.
- Yazılım uygulaması paketler arasında değişir ve farklı varsayılan parametrelendirmeler aynı veriler için aynı olmayan ICC değerleri üretebilir.
SSS
Çok düzeyli test-tekrar test güvenilirliği, sıradan test-tekrar test güvenilirliğinden nasıl farklıdır?
Sıradan test-tekrar test güvenilirliği (tek düzeyli ICC) tüm gözlemleri bağımsız olarak ele alır. Çok düzeyli test-tekrar test güvenilirliği, kişilerin kümeler (örneğin, klinikler, okullar) içinde iç içe geçmesini açıkça modeller, varyansı düzeyler arasında bölümlere ayırır ve her düzeyde ayrı güvenilirlik tahminleri verir. Kümelenmiş veriler üzerinde tek düzeyli bir ICC kullanmak, kümelenme yapısına bağlı olarak tahmini şişirir veya küçültür.
Hangi ICC biçimini rapor etmeliyim — tutarlılık mı yoksa uyum mu?
Uyum ICC'si, puanların mutlak değeri önemli olduğunda uygundur, örneğin klinik bir karar puanın bir eşiği geçmesine bağlı olduğunda. Tutarlılık ICC'si, yalnızca sıralamanın önemli olduğu durumlarda uygundur. Uyum, ölçüm doğrulama bağlamlarında daha muhafazakar ve genellikle daha savunulabilir bir seçimdir.
Kaç olay ve kümeye ihtiyacım var?
Evrensel bir kural yoktur, ancak simülasyon çalışmaları, kararlı varyans bileşeni tahminleri için kişi başına en az iki olay, en az 20-30 küme ve küme başına en az beş ila on kişi önermektedir. Daha az küme, geniş güven aralıklarına ve potansiyel olarak yanlı rastgele etki tahminlerine yol açar.
Sıralı verilerle çok düzeyli test-tekrar test güvenilirliği kullanabilir miyim?
Standart REML tabanlı çok düzeyli güvenilirlik sürekli yanıtları varsayar. Sıralı öğeler için, çok düzeyli bir polikorik veya sıralı probit modeli daha uygundur. Alternatif olarak, madde düzeyindeki güvenilirlik, kategorik göstergeler kullanılarak çok düzeyli bir doğrulayıcı faktör analizi çerçevesinde tahmin edilebilir.
Çok düzeyli test-tekrar test güvenilirliğini hangi yazılımlar tahmin edebilir?
Yaygın seçenekler arasında R'deki lme4 ve psych paketleri (varyans bileşenlerinden manuel ICC hesaplamasına izin verir), çok düzeyli CFA tabanlı güvenilirlik için Mplus ve SPSS karma modelleri bulunur. Güven aralıkları, küçük örneklemlerde asimptotik yaklaşımlardan ziyade her zaman bootstrap veya olabilirlik oranı profillemesi yoluyla elde edilmelidir.
Kaynaklar
- Shrout, P. E. & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428. DOI: 10.1037/0033-2909.86.2.420 ↗
- Liljequist, D., Elfving, B. & Skavberg Roaldsen, K. (2019). Intraclass correlation: A discussion and demonstration of basic features. PLOS ONE, 14(7), e0219854. DOI: 10.1371/journal.pone.0219854 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Multilevel Test-Retest Reliability. ScholarGate. https://scholargate.app/tr/psychometrics/multilevel-test-retest-reliability
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Doğrulayıcı faktör analizi (DFA)Psikometri↔ karşılaştır
- Cronbach'ın Alfa Katsayısı (Güvenilirlik Analizi)İstatistik↔ karşılaştır
- Genelleştirilebilirlik Kuramı (G-Kuramı)Psikometri↔ karşılaştır
- Çok Düzeyli ModellemeAraştırma istatistiği↔ karşılaştır
- Test-Tekrar GüvenilirliğiPsikometri↔ karşılaştır