Öz-denetimli Aktif Öğrenme
Self-supervised Active Learning (SSL-AL hybrid label-efficient framework) · Ayrıca şöyle bilinir: SSL-AL, self-supervised active learning, semi-supervised active learning with self-supervision, label-efficient self-supervised learning
Öz-denetimli Aktif Öğrenme (ÖDAÖ), etiket-az makine öğrenmesi paradigmasıdır; bu paradigmada model, etiketsiz veriler üzerinde öz-denetimli hedefler kullanılarak önceden eğitilir, ardından aktif öğrenme edinme fonksiyonu kullanılarak en bilgilendirici etiketler için stratejik olarak bir insan oracle'ı sorgulanır. Sonuç, tam denetimli yaklaşımların gerektirdiği etiketleme maliyetinin bir kesriyle güçlü tahmin performansı elde edilmesidir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Etiketli verilerin kıt veya pahalı olduğu — tıbbi görüntüleme, nadir olay tespiti, özel metin etiketleme — ancak büyük bir etiketsiz örnek havuzunun mevcut olduğu durumlarda ÖDAÖ'yü kullanın. Etiket başına örnek maliyetinin yüksek olduğu ve etiketsiz havuzun ilk etiket bütçesinden en az bir büyüklük mertebesi daha büyük olduğu durumlarda en faydalıdır. Etiketlemenin ucuz ve bol olduğu (standart denetimli öğrenme daha basittir), önemli bir etiketsiz havuzun bulunmadığı, ön eğitim ve hedef veri arasındaki alan kaymasının adaptasyon olmadan şiddetli olduğu veya ekibin yinelemeli yeniden eğitim döngülerini çalıştırmak için altyapıya sahip olmadığı durumlarda bundan kaçının.
Güçlü yönler & sınırlılıklar
- Rekabetçi doğruluğa ulaşmak için gereken etiketli örnek sayısını önemli ölçüde azaltır.
- Öz-denetimli ön eğitim, her aşağı akış aktif öğrenme adımını iyileştiren güçlü bir başlatma sağlar.
- Modüler: herhangi bir öz-denetimli omurga (karşılaştırmalı, üretken, maskeli) herhangi bir edinme fonksiyonu ile eşleştirilebilir.
- Bilgisayarlı görü ve NLP'de yaygın olan büyük etiketsiz havuzlara ölçeklenir.
- ÖDAÖ gömmelerine dayanan edinme fonksiyonları, rastgele özelliklere dayananlardan daha güvenilirdir.
- Önemli bir etiketsiz havuz ve yinelemeli yeniden eğitim için altyapı gerektirir, bu da mühendislik karmaşıklığı ekler.
- Öz-denetimli ön eğitim, özellikle büyük görsel dönüştürücüler için hesaplama açısından pahalı olabilir.
- Performans, öz-denetimli hedef ve edinme fonksiyonunun seçimine büyük ölçüde bağlıdır — tüm görevlerde tek bir en iyi kombinasyon yoktur.
- Sıralı oracle sorguları, otomatik işlem hatlarını yavaşlatan bir etiketleme iş akışı bağımlılığı oluşturur.
SSS
Aktif öğrenme için hangi öz-denetimli yöntem en iyisidir?
Karşılaştırmalı yöntemler (SimCLR, MoCo) ve maskelenmiş otokodlama (MAE, BERT) en yaygın seçeneklerdir. Karşılaştırmalı yöntemler genellikle belirsizlik ve çeşitlilik tabanlı edinmeyi iyileştiren daha ayırt edici gömmeler üretir, ancak en iyi seçim modaliteye ve göreve bağlıdır.
Edinme fonksiyonunu nasıl seçerim?
Belirsizlik örneklemesi (entropi) basit ve hızlıdır ancak gereksiz örnekler seçebilir. Çekirdek küme veya BADGE gibi çeşitlilik farkındalığı olan stratejiler, etiket bütçesi küçük olduğunda veya sınıflar dengesiz olduğunda tercih edilir. Hesaplama gücü izin veriyorsa, bir grup modlu sorgu stratejisinde belirsizlik ve çeşitliliği birleştirmek genellikle her ikisinden de daha iyi performans gösterir.
Her etiketleme grubu ne kadar büyük olmalı?
Tur başına daha küçük gruplar (bütçenin %1-5'i), modelin hızla uyum sağlamasına ve bir sonraki turda daha iyi puanlar üretmesine olanak tanır, ancak yeniden eğitim ek yükünü artırır. Daha büyük gruplar ek yükü azaltır ancak uyarlanabilir faydadan ödün verir. Yaygın bir pratik uzlaşma, eşit grup boyutlarıyla 5-10 turdur.
İnce ayar sırasında etiketsiz havuz kullanılır mı?
Kullanılabilir. Her aktif öğrenme turundan sonra, etiket verimliliğini daha da artırmak için etiketsiz havuz, sahte etiketleme veya tutarlılık düzenlemesi (yarı denetimli ince ayar) yoluyla dahil edilebilir. Bu isteğe bağlıdır ancak genellikle faydalıdır.
ÖDAÖ, tablo verileri için çalışır mı?
Öz-denetimli ön eğitim, görüntüler veya metinler için olduğundan daha az olgun olsa da, tablo verileri için SCARF ve TabNet tabanlı karşılaştırmalı öğrenme gibi yöntemler umut vaat etmiştir. Aktif öğrenme kendisi tablo verilerinde iyi çalışır, bu nedenle ÖDAÖ uygulanabilir ancak öz-denetimli hedefin dikkatli seçilmesini gerektirir.
Kaynaklar
- Bengar, J. Z., van de Weijer, J., Twardowski, B., & Raducanu, B. (2021). Reducing Label Effort: Self-Supervised Meets Active Learning. In Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), pp. 1631–1639. link ↗
- Zhan, X., Wang, Q., Huang, K.-H., Xiong, H., Dou, D., & Chan, A. B. (2022). A comparative survey of deep active learning. arXiv preprint arXiv:2203.13450. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Self-supervised Active Learning (SSL-AL hybrid label-efficient framework). ScholarGate. https://scholargate.app/tr/machine-learning/self-supervised-active-learning
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Aktif ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Etiket YayılımıMakine öğrenmesi↔ karşılaştır
- Öz-denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Yarı denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Transfer LearningMakine öğrenmesi↔ karşılaştır