Bilgisayarlı Uyarlanabilir Testlerde (CAT) Yapı Geçerliği
Construct Validity in Computerized Adaptive Testing · Ayrıca şöyle bilinir: CAT construct validity, adaptive test construct validation, CAT validity evidence, construct validity evidence in CAT
Bilgisayarlı uyarlanabilir testlerde yapı geçerliği, bir CAT aracının ürettiği gizil özellik tahminlerinin gerçekten amaçlanan psikolojik veya eğitsel yapıyı ölçüp ölçmediğini değerlendirir. Uyarlanabilir algoritmalar her bir sınava girene bireysel olarak madde seçtiği için, toplanan geçerlik kanıtları, CAT uygulamalarına özgü değişken madde maruziyeti ve Madde Tepki Kuramı (MTK) tabanlı puanlamayı hesaba katmalıdır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Psikolojik, eğitsel veya klinik bir yapıyı ölçmeyi amaçlayan bir CAT aracını geliştirirken veya değerlendirirken bu çerçeveyi kullanın. Yüksek riskli kararlar — sertifikasyon, teşhis veya yerleştirme gibi — CAT puanlarından verilecekse bu esastır. Geçerlik kanıtları operasyonel dağıtımdan önce biriktirilmeli ve madde havuzu önemli ölçüde değiştiğinde, test yeni bir popülasyona uygulandığında veya puanlama modeli revize edildiğinde güncellenmelidir. Bir CAT'nin yalnızca MTK modelinin kalibrasyon verilerine uyması nedeniyle yapısal olarak geçerli kabul edilmesi uygun değildir; uyum geçerlilik için gereklidir ancak yeterli değildir. Testin yalnızca ölçüt referanslı olduğu ve yapı yorumunun amaçlanan kullanım olmadığı durumlarda bu yaklaşım tek başına bir değerlendirme olarak uygun değildir.
Güçlü yönler & sınırlılıklar
- Öğe maruziyetinin sınava girenlere göre değiştiği CAT'nin özel ölçüm bağlamına birleşik geçerlik çerçevesini uyarlar.
- MTK tabanlı psikometrik uyum kanıtlarını yapısal, yakınsak ve ayrımcı geçerlik kaynaklarıyla tutarlı bir paket halinde bütünleştirir.
- Teta tahminleri, değişken madde setleri boyunca ortak bir aralıklı ölçekte bulunur, bu da standart korelasyonel geçerlik analizlerini mümkün kılar.
- Hem madde düzeyinde (DIF) hem de puan düzeyinde geçerlik değerlendirmesine olanak tanır.
- Tek bir geçerlik kaynağının savunulabilir puan yorumu için yetersiz olduğu yüksek riskli ölçüm bağlamlarını destekler.
- Geçerlik kanıtları sonradan toplanır ve bir yapı teorisine bağlı ilkeli madde geliştirmesinin yerini tam olarak tutamaz.
- DIF taraması ve yapısal analizler, uzmanlaşmış popülasyonlar için mevcut olmayabilecek büyük, çeşitli kalibrasyon ve geçerleme örnekleri gerektirir.
- Her sınava girenin madde seti benzersiz olduğundan, bazı geleneksel test düzeyindeki içsel tutarlılık indeksleri (örn. alfa katsayısı) doğrudan uygulanamaz ve MTK tabanlı güvenilirlik analoğu ile değiştirilmelidir.
- CAT'de yapı geçerliği, tek seferlik bir sertifikasyon değil, devam eden bir süreçtir; havuz güncellemeleri boyunca geçerlik kanıtlarını sürdürmek kaynak yoğundur.
- Çok boyutlu geçerlik tehditleri, uyarlanabilir algoritma tek bir özellik tahmini için optimize edildiğinde tespit edilmesi daha zordur.
SSS
İyi bir MTK modeli uyumu, CAT'nin yapı geçerliğine sahip olduğu anlamına mı gelir?
Hayır. MTK modeli uyumu, madde tepki örüntülerinin puanlama için kullanılan matematiksel modelle tutarlı olduğunu gösterir. Modellenen yapının amaçlanan psikolojik yapıyla örtüşüp örtüşmediğini ele almaz. Yapı geçerliği ek kanıt gerektirir: içsel faktör yapısı, ilgili dışsal ölçütlerle yakınsama ve ilgisiz olanlardan ayrım.
Sınava girenler arasında maddeler değiştiğinde bir CAT için içsel tutarlılığı nasıl hesaplarım?
Klasik alfa katsayısı, sabit bir madde seti varsaydığı için doğrudan uygulanamaz. CAT'de uygun güvenilirlik analoğu, bazen test bilgi fonksiyonu olarak adlandırılan MTK tabanlı marjinal güvenilirliktir. Bu, beklenen a posteriori (EAP) güvenilirlik tahmini ile desteklenebilir.
Bir CAT'de küçük bir örneklemle yapı geçerliğini değerlendirebilir miyim?
Küçük örneklemler iki sorun yaratır: MTK parametre tahminleri kararsız hale gelir, bu da puan ölçeğini zayıflatır ve dışsal geçerlik analizleri istatistiksel gücü kaybeder. KBY veya MTK uyumu yoluyla yapısal kanıt genellikle en az birkaç yüz yanıtlayıcı gerektirir; DIF analizleri, anlamlı farklı işlevselliği tespit etmek için yeterince büyük alt grup boyutları (genellikle grup başına n ≥ 200) gerektirir.
Madde havuzunu güncellersem yapı geçerliğine ne olur?
Maddeler eklemek veya çıkarmak, havuzun etkili yapı kapsamını değiştirebilir, özellikle madde seçim algoritmasının maruziyet kontrolleri hangi maddelerin aslında uygulandığını değiştirirse. Yapı geçerliği kanıtları yeniden doğrulanmalıdır — en azından güncellenmiş havuzun içsel yapısı ve yeni maddelerin DIF durumu, revize edilmiş aracı dağıtmadan önce kontrol edilmelidir.
CAT'de yapı geçerliği, sabit formlu bir testteki yapı geçerliğinden farklı mıdır?
Kavramsal çerçeve aynıdır, ancak uygulama farklıdır. Kişiselleştirilmiş madde setleri nedeniyle, puan düzeyindeki analizler (korelasyonlar, alt puanların faktör yapıları) doğrudan uygulanabilirken, madde düzeyindeki analizler farklı maruziyeti ve MTK ölçeğini hesaba katmalıdır. DIF analizleri, sabit bir set yerine tüm havuz maddelerini kapsamalıdır ve güvenilirlik, klasik indeksler yerine bilgi fonksiyonu aracılığıyla ifade edilir.
Kaynaklar
- Messick, S. (1989). Validity. In R. L. Linn (Ed.), Educational Measurement (3rd ed., pp. 13–103). American Council on Education / Macmillan. link ↗
- van der Linden, W. J. & Glas, C. A. W. (Eds.). (2010). Elements of Adaptive Testing. Springer. ISBN: 978-0387854595
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Construct Validity in Computerized Adaptive Testing. ScholarGate. https://scholargate.app/tr/psychometrics/computerized-adaptive-test-construct-validity
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Bilgisayarlı Uyarlanabilir Testler (BUT) için Yakınsak GeçerlilikPsikometri↔ karşılaştır
- Madde Yanıt Kuramı (MYK) Temelli Bilgisayarlı Uyarlanabilir Test (BUT-MYK)Psikometri↔ karşılaştır
- Bilgisayarlı Uyarlanabilir Test Ölçüm DeğişmezliğiPsikometri↔ karşılaştır
- Doğrulayıcı faktör analizi (DFA)Psikometri↔ karşılaştır
- Yapısal GeçerlikPsikometri↔ karşılaştır
- Ayırt Edici Madde Fonksiyonu (DIF)Psikometri↔ karşılaştır