Bilgisayarlı Uyarlanabilir Test Madde Analizi
Computerized Adaptive Test Item Analysis · Ayrıca şöyle bilinir: CAT item analysis, adaptive item calibration, IRT-based CAT item evaluation, adaptive item parameter estimation
Bilgisayarlı uyarlanabilir test madde analizi, uyarlanabilir test ortamlarında kullanılmak üzere tasarlanmış maddeleri değerlendirir ve kalibre eder. Sabit form analizinin aksine, uyarlanabilir uygulamada doğası gereği var olan rastgele olmayan madde maruziyetini dikkate alır ve yetenek sürekliliği boyunca madde parametrelerini, bilgi fonksiyonlarını ve maruziyet oranlarını tahmin etmek için madde tepki teorisini kullanır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Uyarlanabilir test dağıtımı için bir madde bankası oluştururken, doğruluğunu sağlarken veya bakımını yaparken CAT madde analizini kullanın. Operasyonel bir CAT başlatmadan önce gereklidir — tüm maddeler yeterli uyuma, kabul edilebilir maruziyet oranlarına ve hedef yetenek aralığında yeterli bilgiye sahip olarak IRT ile kalibre edilmelidir. Ayrıca, bozulmuş maddeleri emekliye ayırmak ve parametre kararlılığını değerlendirmek için periyodik banka denetimleri sırasında da kullanın. Maddeler uyarlanabilir olarak uygulandığında tek analiz olarak standart klasik test teorisi madde istatistiklerini (zorluk indeksi p, nokta-biserial r) ikame etmeyin: her madde yetenek seçilmiş bir alt örneklem tarafından görüldüğü için, klasik istatistikler örnekleme bağımlıdır ve yanıltıcıdır. CAT madde analizi, madde havuzu çok küçük olduğunda (genellikle birkaç yüz madde minimum gereklidir) veya sabit formlu bir test yerine uyarlanabilir dağıtım planlandığında uygun değildir.
Güçlü yönler & sınırlılıklar
- IRT madde parametreleri teorik olarak aday örneklemleri arasında değişmezdir, bu da kalibrasyon sonuçlarının farklı uygulamalar ve popülasyonlar arasında taşınabilir olmasını sağlar.
- Madde bilgi fonksiyonları, her maddenin en çok katkıda bulunduğu yetenek aralığını belirler, bu da madde seçiminin ölçüm hedefleriyle hassas bir şekilde eşleştirilmesini sağlar.
- Maruziyet oranı analizi, az sayıda yüksek bilgi maddesinin aşırı kullanımını önleyerek test güvenliğini ve adaletini korur.
- Periyodik banka denetimleri, puana uygunluklarını etkilemeden önce parametre sürüklenmesini, uyumsuz maddeleri ve içerik dengesi sorunlarını yakalar.
- CAT simülasyon çalışmalarıyla doğrudan entegre olur, uyarlanabilir algoritma performansının operasyon öncesi değerlendirilmesine olanak tanır.
- Büyük kalibrasyon örnekleri gerektirir — bir 3PL madde için kararlı IRT parametre tahminleri genellikle madde başına 500–1000 yanıt gerektirir.
- CAT ile uygulanan saha testi maddeleri yalnızca yetenek eşleşmesi yapılmış adaylar tarafından görülür, bu da sağlam başlangıç kalibrasyonu için gereken örneklem çeşitliliğini sınırlar.
- Maruziyet kontrol yöntemleri ortalama test verimliliğini azaltır; güvenlik ve ölçüm hassasiyeti arasında denge kurmak sürekli bir ödünleşmedir.
- Parametre sürüklenmesi tespiti, uzunlamasına veriler ve uygulamalar arasındaki istatistiksel karşılaştırmalar gerektirir, bu da analitik karmaşıklığı artırır.
SSS
IRT tabanlı CAT madde analizinin yanı sıra klasik madde analizi kullanabilir miyim?
Klasik istatistikler (p-değeri, nokta-biserial) tanımlayıcı özetler olarak hesaplanabilir, ancak maddeler uyarlanabilir olarak uygulandığında banka kararları için güvenilir kılavuzlar değildir, çünkü her madde temsili olmayan bir yetenek alt örneği tarafından yanıtlanır. IRT parametreleri birincil analiz aracıdır; klasik istatistikler en fazla ikincil, keşifsel bir rol oynar.
Bir CAT bankasında kaç maddeye ihtiyacım var?
Pratik kılavuzlar bağlama göre değişir, ancak operasyonel programlar tipik olarak birkaç yüz ila birkaç bin maddeden oluşan bankaları sürdürür. Daha büyük bankalar daha sıkı maruziyet kontrolü, daha iyi içerik taslak kapsamı ve maddeler emekliye ayrıldığında daha fazla dayanıklılık sağlar. Hedef yetenek aralığı için çok küçük bir banka, tekrarlanan madde seçimine zorlayacak, maruziyeti artıracak ve test güvenliği riskini artıracaktır.
Madde parametresi sürüklenmesi nedir ve neden önemlidir?
Parametre sürüklenmesi, bir maddenin IRT parametrelerinin (özellikle zorluk) uygulamalar arasında değiştiği zamandır, genellikle madde içeriği koçluk veya sızıntı yoluyla adaylar tarafından bilindiği için. Kalibrasyon dalgaları boyunca uyum testleriyle sürüklenmeyi izlemek, zaman içinde puan karşılaştırılabilirliğini sürdürmek için gereklidir.
CAT madde analizi için yaygın olarak hangi yazılımlar kullanılır?
BILOG-MG ve flexMIRT yaygın olarak kullanılan ticari kalibrasyon programlarıdır. R paketleri mirt, TAM ve catR, açık kaynak IRT kalibrasyonu, madde uyum analizi ve CAT simülasyonunu destekler. catSurv ve irtoys ek uyarlanabilir test yardımcı programları sağlar.
CAT madde analizi standart IRT madde analizinden farklı mıdır?
IRT modelleri ve tahmin yöntemleri aynıdır, ancak CAT madde analizi maruziyet oranı izleme, banka yönetimi kararları, kalibrasyon döngüleri arasında bağlama ve eşitleme ve uyarlanabilir motorda kullanılan özel madde seçim algoritmasıyla entegrasyon ekler. Bu unsurların sabit formlu IRT analizinde karşılığı yoktur.
Kaynaklar
- van der Linden, W. J. & Glas, C. A. W. (Eds.) (2000). Computerized Adaptive Testing: Theory and Practice. Kluwer Academic Publishers. ISBN: 978-0792365556
- Embretson, S. E. & Reise, S. P. (2000). Item Response Theory for Psychologists. Lawrence Erlbaum Associates. ISBN: 978-0805828191
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Computerized Adaptive Test Item Analysis. ScholarGate. https://scholargate.app/tr/psychometrics/computerized-adaptive-test-item-analysis
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Bilgisayarlı Uyarlanabilir Test Güvenilirlik AnaliziPsikometri↔ karşılaştır
- Doğrulayıcı faktör analizi (DFA)Psikometri↔ karşılaştır
- Ayırt Edici Madde Fonksiyonu (DIF)Psikometri↔ karşılaştır
- Madde Yanıt Teorisi (MYT)Psikometri↔ karşılaştır
- Rasch ModeliPsikometri↔ karşılaştır