Öz-denetimli Öğrenme
Self-supervised Learning (Pretext-task Representation Learning) · Ayrıca şöyle bilinir: SSL, self-supervised pre-training, pretext-task learning, unsupervised representation learning
Öz-denetimli öğrenme (SSL), etiketlenmemiş verilerden doğrudan kendi denetleyici sinyalini, metinlerdeki maskelenmiş kelimeleri tahmin etmek, görüntüleri döndürmek veya artırılmış görünümleri karşılaştırmak gibi yardımcı bir ön görev (pretext task) tanımlayarak üreten ve öğrenilen temsilleri, minimum etiketli örnekle aşağı akış görevleri için güçlü bir başlangıç noktası olarak kullanan bir makine öğrenmesi paradigmasıdır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+29 tane daha
Ne zaman kullanılır
Hedef alanınızda büyük bir etiketlenmemiş veri kümesine sahip olduğunuz ancak etiketlemenin pahalı veya yavaş olduğu durumlarda öz-denetimli öğrenmeyi seçin — tıbbi görüntüleme, NLP, uydu görüntüleri ve bilimsel verilerde yaygındır. Büyük ölçekli temel modeller (BERT, GPT, DINO) oluştururken veya aşağı akış etiketli kümeler küçük olduğunda standart yaklaşımdır. Etiketlenmemiş küme çok küçükse (birkaç bin örneğin altında), ön görev aşağı akış göreviyle eşleşmiyorsa veya hesaplama kaynakları ciddi şekilde kısıtlıysa SSL'den kaçının — bu durumlarda, mevcut etiketler üzerindeki denetimli öğrenme veya genel bir kontrol noktasından geleneksel transfer öğrenmesi daha pratiktir.
Güçlü yönler & sınırlılıklar
- Etiketlenmemiş verilerin büyük miktarlarını kullanır, bu da onu büyük küme ön eğitimi için en ölçeklenebilir yaklaşım haline getirir.
- Az miktarda ince ayar verisiyle birçok aşağı akış görevine iyi aktarılan genel amaçlı temsiller üretir.
- İnsan etiketleri yerine veri yapısından denetim üreterek etiketleme maliyetini önemli ölçüde azaltır.
- En son teknoloji temel modeller (BERT, GPT, DINO, MAE) öz-denetimli hedeflere dayanmaktadır.
- Çapraz modal ön görevler (örneğin, CLIP) tasarlayarak doğal olarak çok modlu verileri işler.
- Herhangi bir ince ayar yapmadan alma, kümeleme ve anomali tespiti için kullanışlı zengin gömülmeler (embeddings) sağlar.
- Büyük modellerin ön eğitimi, önemli miktarda hesaplama (günlerce haftalarca GPU/TPU) ve büyük etiketlenmemiş kümeler gerektirir.
- Ön görev tasarımı önemsiz değildir; kötü seçilmiş bir görev, iyi aktarılmayan temsiller üretebilir.
- İnce ayar kararlılığı, öğrenme oranı ve çözülmemiş katman sayısı hassas olabilir.
- Değerlendirme dolaylıdır: ön görev performansı, aşağı akış görevi performansını garanti etmez.
- Ön eğitim kümesi ile hedef alan arasındaki alan farkı kazanımları sınırlayabilir.
SSS
Öz-denetimli ve denetimsiz öğrenme arasındaki fark nedir?
Her ikisi de etiketlenmemiş verileri kullanır, ancak öz-denetimli öğrenme, veri yapısından belirli bir denetleyici sinyal oluşturur (örneğin, maskelenmiş belirteçler, artırılmış görünümler) ve tanımlanmış bir kayıp fonksiyonuyla eğitilir. Klasik denetimsiz öğrenme (kümeleme, PCA) ise herhangi bir açık tahmin hedefi olmadan yapı bulur.
Sıfırdan ön eğitime ihtiyacım var mı yoksa mevcut bir kontrol noktasını kullanabilir miyim?
Çoğu uygulamalı proje için, halka açık bir kontrol noktasını (örneğin, Hugging Face'ten BERT, Meta'dan DINO) ince ayarlamak, sıfırdan ön eğitime göre çok daha pratiktir. Sıfırdan ön eğitim, yalnızca alanınız çok özel olduğunda (örneğin, klinik metin) ve mevcut kontrol noktaları iyi aktarılmadığında haklı çıkar.
Ne kadar etiketlenmemiş veri gerekiyor?
Ön eğitim için ne kadar çoksa o kadar iyidir, ancak etkili alan-özel SSL, daha küçük modeller için on binlerce etiketlenmemiş örnekle gösterilmiştir. Eşik, model boyutuna ve ön görev karmaşıklığına büyük ölçüde bağlıdır.
Karşılaştırmalı bir ön görev nedir?
Karşılaştırmalı ön görevler (SimCLR, MoCo), aynı örneğin iki farklı şekilde artırılmış görünümünü oluşturur ve kodlayıcıyı, görünümlerin temsil alanında benzer olmasını, diğer örneklerin temsillerinden farklı olmasını sağlayacak şekilde eğitir. Bu, modeli artırmaya karşı değişmez hale getirirken anlamsal içeriği korumayı öğretir.
Öz-denetimli öğrenme tablo verileri için uygun mu?
Evet, ancak kazanımlar görüntü veya metin için olduğundan daha azdır. SCARF, TabNet ön eğitimi ve maskelenmiş özellik tahmini gibi yaklaşımlar, etiketli tablo verilerinin az olduğu durumlarda fayda sağlamıştır, ancak makul etiket kullanılabilirliğine sahip tipik tablo veri kümeleri için, denetimli topluluk yöntemleri hala baskındır.
Kaynaklar
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Self-supervised Learning (Pretext-task Representation Learning). ScholarGate. https://scholargate.app/tr/machine-learning/self-supervised-learning
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Az sayıda örnekle öğrenmeMakine öğrenmesi↔ karşılaştır
- Yarı denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Transfer LearningMakine öğrenmesi↔ karşılaştır