Aktif Öğrenme ile Öz-Denetimli Öğrenme
Active Learning with Self-supervised Representation Learning · Ayrıca şöyle bilinir: AL-SSL, active self-supervised learning, self-supervised active learning, query-based self-supervised learning
Aktif öğrenme ile öz-denetimli öğrenmenin birleştirilmesi, etiketlenmemiş verileri öz-denetimli ön eğitim yoluyla zengin temsiller oluşturmak için kullanır, ardından insan etiketlemesi için en bilgilendirici örnekleri seçmek üzere aktif sorgu stratejisi kullanır ve sıkı bir etiketleme bütçesi altında model performansını en üst düzeye çıkarır. Bu hibrit yaklaşım, etiketlenmiş verinin kıt olduğu ancak büyük etiketlenmemiş veri havuzlarının bulunduğu durumlarda özellikle güçlüdür.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Büyük bir etiketlenmemiş veri kümeniz ve manuel etiketleme için katı bir bütçeniz varsa ve ham özellikler öz-denetimli ön eğitimin önemli temsili değer kattığı kadar karmaşıksa (görüntüler, metin, ses, yüksek boyutlu sinyaller), bu kombinasyonu kullanın. Tıbbi görüntüleme, belge sınıflandırma ve uzak algılama gibi uzman etiketlemenin pahalı olduğu alanlarda üstündür. Etiketlenmiş veri kümeniz zaten büyük ve temsili ise, veri alanı SSL ön eğitiminin çok az fayda sağladığı basit tablo verileri ise veya hesaplama bütçesi ciddi şekilde kısıtlıysa — büyük kodlayıcıların SSL ön eğitimi hesaplama açısından yoğundur — KULLANMAYIN. Ayrıca, etiketlenmemiş havuz etiketlenmiş verilere kıyasla küçükse kaçının.
Güçlü yönler & sınırlılıklar
- Sadece denetimli veya sadece aktif öğrenme yaklaşımlarına kıyasla hedeflenen bir doğruluğa ulaşmak için gereken etiket sayısını önemli ölçüde azaltır.
- Öz-denetimli temsiller, en başından itibaren anlamlı gömme mesafeleri ve belirsizlik tahminleri sağlayarak aktif sorguların kalitesini artırır.
- Alanlar arasında iyi aktarılır: bir alandaki etiketlenmemiş veriler üzerinde önceden eğitilmiş öz-denetimli bir kodlayıcı, ilgili bir hedef alandaki aktif öğrenmeyi başlatabilir.
- Geleneksel aktif öğrenme edinme işlevlerinin ham özellikler üzerinde kötü performans gösterdiği yüksek boyutlu yapılandırılmamış verileri (görüntüler, metin, ses) işler.
- İki paradigma birbirini güçlendirir: daha iyi temsiller sorgu seçimini iyileştirir; daha iyi etiketlenmiş veriler temsilleri iyileştirir.
- Öz-denetimli ön eğitim, özellikle Vision Transformers gibi büyük kodlayıcı mimarileri için hesaplama açısından pahalı olabilir.
- Aktif öğrenme, sıralı veri alımını getirir, paralelliği zorlaştırır ve genel etiketleme iş akışını uzatır.
- Öz-denetimli ön eğitim alanı ve hedef görev alanı önemli ölçüde farklılaşırsa, kodlayıcı temsilleri sorgu seçimi için yanıltıcı olabilir.
- Dikkatli tasarım gerektirir: edinme işlevi, kodlayıcı mimarisi ve gömme uzayı ile uyumlu olmalıdır.
SSS
Her aktif öğrenme turundan sonra öz-denetimli ön eğitimi yeniden çalıştırmam gerekiyor mu?
Zorunlu değil. En yaygın uygulama, tam etiketlenmemiş havuz üzerinde bir kez ön eğitim yapmak, ardından kodlayıcıyı her yeni etiketlenmiş yığınla artımlı olarak ince ayar yapmaktır. Her turda tam SSL ön eğitimini yeniden çalıştırmak hesaplama açısından imkansızdır; bazı çalışmalar AL döngüsü sırasında temsilleri uyarlamak için hafif SSL güncellemeleri (örneğin, çevrimiçi karşıtsal öğrenme) kullanır.
Hangi aktif öğrenme edinme işlevi SSL ile en iyi şekilde çalışır?
Çekirdek küme seçimi, BADGE (Batch Active learning by Diverse Gradient Embeddings) ve kümeleme tabanlı çeşitlilik örneklemesi gibi gömme tabanlı stratejiler, SSL gömme uzayının anlamlı geometrisinden yararlandıkları için en iyi şekilde çalışır. Softmax çıktıları üzerindeki düz entropi örneklemesi de SSL'den fayda sağlar ancak rastgeleye göre daha az kazanç sağlar.
Bu, yarı denetimli öğrenmeden nasıl farklıdır?
Yarı denetimli öğrenme, eğitim sırasında tüm etiketlenmemiş verileri pasif olarak kullanır. SSL ile aktif öğrenme etkileşimlidir: bir oracle'a etiketleme için sunulacak etiketlenmemiş örnekleri stratejik olarak seçer ve modeli yalnızca bu seçilen etiketlerle günceller. Temel fark, sıralı, bütçe farkındalığı olan etiketleme döngüsüdür.
Tablo verileri bu yaklaşıma uygun mu?
Genellikle hayır. Tablo verileri üzerinde öz-denetimli ön eğitim, doğal bir artırma veya yama maskeleme stratejisi olmadığı için görüntülere veya metinlere kıyasla mütevazı bir fayda sağlar. Tablo verileri için, geleneksel bir denetimli model (örneğin, lojistik regresyon veya rastgele orman) ile düz aktif öğrenme genellikle daha verimli ve yorumlanabilirdir.
Hangi metrikleri raporlamalıyım?
Yalnızca nihai doğruluk yerine, etiketleme bütçesinin (oracle sorgularının sayısı) bir fonksiyonu olarak doğruluğu (veya F1, AUC) raporlayın. Rastgele örnekleme taban çizgisini ve mümkünse tam denetimli bir üst sınırı dahil edin. Bu etiketleme verimliliği eğrisi, herhangi bir aktif öğrenme değerlendirmesinin birincil katkısıdır.
Kaynaklar
- Bengar, J. Z., van de Weijer, J., Fuentes, L. L., & Raducanu, B. (2022). Class-Balanced Active Learning for Image Classification. Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 3082–3091. link ↗
- Wang, K., Zhang, D., Li, Y., Zhang, R., & Lin, L. (2016). Cost-Effective Active Learning for Deep Image Classification. IEEE Transactions on Circuits and Systems for Video Technology, 27(12), 2591–2600. DOI: 10.1109/TCSVT.2016.2589879 ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Active Learning with Self-supervised Representation Learning. ScholarGate. https://scholargate.app/tr/machine-learning/active-learning-self-supervised-learning
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Aktif ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Az sayıda örnekle öğrenmeMakine öğrenmesi↔ karşılaştır
- Çevrimiçi ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Öz-denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Yarı denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Transfer LearningMakine öğrenmesi↔ karşılaştır