Dijital Program Değerlendirmesi — Programların Dijital Veri ve Yöntemler Kullanılarak Değerlendirilmesi

Öğrenme analitiği, özellikle eğitim platformlarına odaklanmış bir alt alandır — öğrenme süreçlerini anlamak ve iyileştirmek için öğrenci davranış verilerini kullanır. Dijital program değerlendirmesi daha geniş bir kapsam ve amaca sahiptir: herhangi bir program türüne (sağlık, sosyal hizmetler, hükümet, eğitim) uygulanır, programın değeri ve liyakati hakkında bir yargı oluşturma konusundaki klasik değerlendirme hedefini korur ve paydaş tanımlı başarı kriterlerine karşı açıkça karşılaştırma gerektirir. Öğrenme analitiği, dijital program değerlendiricilerinin kullanabileceği bir araçtır, ancak değerlendirme aynı zamanda paydaş katılımını, etik incelemeyi, karma yöntem veri entegrasyonunu ve analitik ötesine geçen sonuç önerilerini de içerir.

Dikkatle. Satıcı tarafından sağlanan analitikler bir başlangıç noktasıdır, bağımsız veri toplama ve kalite güvencesinin yerini tutmaz. Platform metrikleri ürün yönetimi için tasarlanmıştır ve değerlendirme yapılarınızla uyumlu olmayabilir, belirli kullanıcı segmentlerini dışlayabilir ve hesaplama metodolojilerini bildirimde bulunmaksızın değiştirebilirler. Mümkün olduğunda, ham günlük verilerine erişim talep edin, temel metrikleri bağımsız kaynaklarla doğrulayın ve değerlendirmenin gerçekten ölçmesi gerekeni ölçtüğünden emin olmak için birincil verilerle (anketler, görüşmeler, değerlendirmeler) destekleyin.

Bu, yargı bölgesine ve kurumsal kurallara bağlıdır. Birçok bağlamda, program katılımı için bilgilendirilmiş onay, davranışsal günlük verilerinin araştırma veya değerlendirme amaçlı kullanımı için otomatik olarak kapsamaz. GDPR (AB), FERPA (ABD eğitimi) ve HIPAA (ABD sağlığı) belirli kısıtlamalar getirir. En iyi uygulama, değerlendirme verilerinin kullanımını ilk bilgilendirilmiş onay sürecinde ele almak, gerekirse IRB veya etik kurul incelemesi almak ve verileri mümkün olan en erken aşamada anonimleştirmektir. Herhangi bir katılımcı verisini toplamadan veya analiz etmeden önce kurumsal inceleme ofisinize danışın.

Dijital olmayan katılımcılar kritik bir alt grubu temsil eder: ulaşılması en zor olanlar, daha düşük dijital okuryazarlığa veya erişime sahip olabilirler ve program tarafından en az hizmet alanlar olabilirler. Bunları değerlendirmeden hariç tutmak, program performansının iyimser ve eşitsiz bir resmini üretir. Çevrimdışı katılımcılar için sonuçları yakalamak üzere ek geleneksel veri toplama — telefon anketleri, yüz yüze görüşmeler, kağıt kayıtları — kullanın ve ayrıştırılmış sonuçları açıkça raporlayın. Dijital ve dijital olmayan katılımcıları karşılaştıran bir eşitlik analizi, genellikle dijital program değerlendirmelerinde en çok politika ile ilgili bulgulardan biridir.

Evet ve dijital sunum, rastgeleleştirmeyi yüz yüze ortamlardan daha kolay hale getirebilir. Platform altyapısı, kullanıcıları ölçekte ve düşük maliyetle program veya kontrol koşullarına (veya A/B testi için alternatif program sürümlerine) rastgele atayabilir. Ancak, potansiyel olarak faydalı bir programı esirgeme konusundaki etik endişeler, koşullar arasındaki yayılma (birbiriyle konuşan kullanıcılar) ve kontrol koşullarındaki aşınma dikkatlice yönetilmelidir. Tam rastgeleleştirme uygulanamadığında, regresyon süreksizliği veya kesintili zaman serisi gibi yarı-deneysel tasarımlar, platform günlük verilerine uygulandığında uygun alternatiflerdir.