Bilgisayarlı Uyarlanabilir Test (BUT) Uygulamasında Ayırt Edici Geçerlilik
Discriminant Validity in Computerized Adaptive Testing · Ayrıca şöyle bilinir: CAT discriminant validity, adaptive test divergent validity, CAT scale differentiation, CAT construct separation
Bilgisayarlı uyarlanabilir test (BUT) uygulamasında ayırt edici geçerlilik, BUT ile uygulanan bir ölçeğin, ilgili ancak kavramsal olarak farklı yapılardan ayırt edici bir şekilde kendi amacına hizmet eden yapıyı ölçtüğünü doğrulayan değerlendirme sürecidir. Uyarlanabilir madde seçme mekanizması her katılımcı için madde setini değiştirmesine rağmen, BUT'tan elde edilen puanların kavramsal olarak farklı ölçeklerden elde edilen puanlarla aşırı derecede örtüşmediğine dair kanıt sunulmalıdır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
BUT aracının geçerliliği değerlendirilirken ve hedef yapının kavramsal olarak diğer ölçülen özelliklere (örneğin, anksiyete yakın depresyon, öz-yeterlilik yakın motivasyon, iş bağlılığı yakın iş tatmini) bitişik olduğu durumlarda ayırt edici geçerlilik değerlendirmesi kullanın. BUT'un mevcut araçların yanı sıra farklı bir ölçüm olarak önerildiği ölçek geliştirme çalışmalarında esastır. Henüz uygun kriter ölçeklerin bulunmadığı yepyeni bir BUT bankası olduğunda bu prosedürü uygulamayın — bu durumda önce içerik geçerliliği ve yakınsak geçerlilik oluşturulmalıdır. Ayrıca, farklı yapılar arasındaki mütevazı bir korelasyonu ayırt edici geçerlilik başarısızlığı olarak ele almaktan kaçının; bitişik yapılar arasındaki teorik örtüşme beklenir ve kabul edilmelidir.
Güçlü yönler & sınırlılıklar
- BUT'tan elde edilen yapı puanlarının ilgili ölçümlerden farklılaşmasını doğrudan ele alır, uyarlanabilir puanların yorumlayıcı değerini destekler.
- MTK tabanlı theta tahminleri, hangi maddelerin uygulandığına bakılmaksızın ortak bir ölçekte olduğundan, katılımcılar arası karşılaştırmaları anlamlı kılar.
- Psikometrik gözden geçirenlerin aşina olduğu yerleşik çerçevelere (MTMM, HTMT, AVE) gömülebilir.
- Uyarlanabilir uygulama, katılımcı yükünü azaltırken geçerlilik analizi için yeterince hassas puanlar üretir.
- Çeşitli BUT bağlamlarında uygulanabilir: eğitim başarısı, klinik belirti değerlendirmesi, örgütsel davranış ölçekleri.
- Hem BUT hem de karşılaştırma ölçeklerinde eş zamanlı olarak ölçülen harici bir kriter örneği gerektirir, bu da lojistik olarak zorlayıcı olabilir.
- Theta tahmin hassasiyeti, madde bankası kalitesine bağlıdır; seyrek veya kötü kalibre edilmiş bir banka, ölçüm hatasını artırır ve geçerlilik korelasyonlarını yapay olarak zayıflatır.
- HTMT ve AVE kriterleri yansıtıcı AFA modelleri için geliştirilmiştir; MTK tabanlı BUT puanlarına uygulanmaları dikkatli bir gerekçe gerektirir.
- Katılımcılar arasındaki değişken madde maruziyeti, korelasyon analizlerinde standart hata tahminini karmaşıklaştırabilir.
- Yapıların popülasyonda gerçekten ilişkili olduğu durumlarda, ayırt edici geçerlilik kıstaslarına (HTMT < 0.85) ulaşmak gerçekçi olmayabilir.
SSS
Ham BUT puanlarını neden kriter puanlarıyla ilişkilendirerek ayırt edici geçerliliği değerlendiremiyorum?
Bir BUT'ta farklı katılımcılar farklı maddelere yanıt verdiği için, ham puanlar bireyler arasında doğrudan karşılaştırılabilir değildir. MTK tabanlı theta tahminleri, hangi özel maddelere yanıt verdiklerine bakılmaksızın tüm katılımcıları aynı gizli özellik ölçeğine yerleştirir, bu da onları geçerlilik korelasyon analizleri için uygun puanlar haline getirir.
BUT tabanlı ayırt edici geçerlilik için hangi HTMT eşiğini kullanmalıyım?
Yaygın olarak atıfta bulunulan eşikler HTMT < 0.85 (muhafazakar) veya HTMT < 0.90'dır (liberal). Ancak, teorik olarak ilişkili olması beklenen yapılar (örneğin, anksiyete ve genel sıkıntı) için, 0.90'a daha yakın bir eşik daha savunulabilir. Seçim teorik olarak motive edilmeli ve şeffaf bir şekilde raporlanmalıdır.
Ayırt edici geçerlilik, farklı madde işleyişinden (DIF) farklı mıdır?
Evet, tamamen farklı soruları ele alırlar. Ayırt edici geçerlilik, toplam BUT puanının (theta) bir yapıyı ölçek düzeyinde diğerinden ayırt edip etmediğini sorar. DIF, BUT bankasındaki bireysel maddelerin, gizli özellik kontrol edildikten sonra alt gruplar (örneğin, cinsiyet, etnik köken) için farklı performans gösterip göstermediğini sorar, bu da bir adalet ve madde düzeyinde endişedir.
Ayırt edici geçerliliği değerlendirmek için sabit formlu bir karşılaştırma ölçeğine ihtiyacım var mı?
Zorunlu değil. Ayırt edici geçerlilik, başka bir BUT ölçeğine, sabit formlu bir ankete veya gözlemci tarafından derecelendirilen kriter ölçümlerine karşı değerlendirilebilir. Önemli olan, karşılaştırma aracının formatından bağımsız olarak, teorik olarak farklı bir yapı için geçerli bir puan sağlamasıdır.
Ayırt edici geçerliliği BUT madde bankası geliştirme sırasında mı, yoksa banka tamamlandıktan sonra mı değerlendirebilirim?
Resmi olarak, ayırt edici geçerlilik banka kalibre edildikten ve BUT algoritması çalışır duruma geldikten sonra değerlendirilir, çünkü uyarlanabilir uygulamadan gerçek theta tahminlerine ihtiyacınız vardır. Ancak, geliştirme sırasında ön madde düzeyindeki analizler (örneğin, tam bankanın faktör yapısı) potansiyel yapı örtüşmesini erken tespit edebilir.
Kaynaklar
- Weiss, D. J. (2004). Computerized adaptive testing for effective and efficient measurement in counseling and education. Measurement and Evaluation in Counseling and Development, 37(2), 70–84. DOI: 10.1080/07481756.2004.11909751 ↗
- Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56(2), 81–105. DOI: 10.1037/h0046016 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Discriminant Validity in Computerized Adaptive Testing. ScholarGate. https://scholargate.app/tr/psychometrics/computerized-adaptive-test-discriminant-validity
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Bilgisayarlı Uyarlanabilir Testlerde (CAT) Yapı GeçerliğiPsikometri↔ karşılaştır
- Bilgisayarlı Uyarlanabilir Testler (BUT) için Yakınsak GeçerlilikPsikometri↔ karşılaştır
- Yakınsak GeçerlilikPsikometri↔ karşılaştır
- Ayrışım GeçerliliğiPsikometri↔ karşılaştır
- Madde Yanıt Teorisi (MYT)Psikometri↔ karşılaştır