Öz Denetimli Metrik Öğrenimi
Self-supervised Metric Learning · Ayrıca şöyle bilinir: self-supervised representation learning with metric loss, contrastive self-supervised learning, unsupervised metric learning, SSML
Öz denetimli metrik öğrenimi, anlamsal olarak benzer öğelerin vektör uzayında birbirine yakın olmasını sağlamak için bir sinir kodlayıcıyı eğitir. Bu eğitim, insan etiketleri yerine otomatik olarak oluşturulan sözde etiketleri kullanır. Öz denetimli ön görevleri karşılaştırmalı veya üçlü tabanlı metrik hedeflerle birleştirerek, geri çağırma, kümeleme ve az örneklemle sınıflandırma için uygulanabilir, aktarılabilir ve etiket açısından verimli temsiller üretir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Etiketli verilerin az veya pahalı olduğu, ancak büyük miktarda etiketsiz verinin bulunduğu durumlarda idealdir — görüntü geri çağırma, tıbbi görüntüleme, ses parmak izi veya bilimsel veri kümeleri. Ayrıca, iyi bir gömülü uzayın göreve özgü bir sınıflandırıcıdan daha değerli olduğu az örneklemle öğrenme kıyaslamaları için de uygundur. Anlamlı bir benzerlik kavramının alan artırmalarıyla kodlanabildiği durumlarda kullanın. Veri kümesi denetimli öğrenmenin yeterli olacağı kadar küçük olduğunda, artırma tasarımı belirsiz olduğunda (artırma değişmezlikleri ile görev semantiği arasındaki uyumsuzluk performansı düşürecektir) veya model kararlarının tam olarak yorumlanabilirliği gerektiğinde kaçının — öğrenilen gömülü temsiller opaktır.
Güçlü yönler & sınırlılıklar
- İnsan etiketli verilere ihtiyaç duymadan güçlü temsiller elde eder, açıklama maliyetini önemli ölçüde azaltır.
- Öğrenilen gömülü temsiller görevler arasında iyi aktarılır: geri çağırma, kümeleme, az örneklemle sınıflandırma ve anomali tespiti.
- Veri hacmiyle sorunsuz bir şekilde ölçeklenir — daha fazla etiketsiz örnekle performans artmaya devam eder.
- Herhangi bir türevlenebilir kodlayıcı mimarisiyle uyumludur (CNN'ler, Transformer'lar, grafik ağları).
- Sonraki etiketli kümeler küçük olduğunda karşılaştırmalı ön eğitim genellikle tamamen denetimli eğitimden daha iyi performans gösterir.
- Performans, veri artırmalarının seçimine ve kalitesine oldukça duyarlıdır; kötü artırma tasarımı, bilgilendirici olmayan gömülü temsillerle sonuçlanır.
- Yeterli negatif sağlamak için büyük parti boyutları veya bellek bankaları gerektirir, bu da önemli GPU belleği talep eder.
- Ön eğitim, özellikle büyük kodlayıcılar için denetimli temel çizgilere kıyasla hesaplama açısından pahalıdır.
- Gömülü uzay doğrudan yorumlanabilir değildir; modelin ne öğrendiğini anlamak için sorgulama deneyleri gereklidir.
- Yanlış negatifler (anlamsal olarak benzer öğelerin negatif olarak ele alınması) sık olduğunda negatif örnekleme yanıltıcı olabilir.
SSS
Metrik öğrenimi ile öz denetimli metrik öğrenimi arasındaki fark nedir?
Geleneksel metrik öğrenimi, pozitif ve negatif ilişkileri tanımlamak için etiketli çiftler veya üçlüler gerektirir. Öz denetimli metrik öğrenimi, veri artırma veya ön görevler kullanarak bu ilişkileri otomatik olarak oluşturur ve ön eğitim sırasında insan etiketlerine olan ihtiyacı ortadan kaldırır.
Hangi karşılaştırmalı kaybı kullanmalıyım: NT-Xent, üçlü veya başka bir şey?
NT-Xent (InfoNCE), parti tabanlı eğitim için en yaygın olarak doğrulanmış seçimdir ve SimCLR tarafından kullanılır. Üçlü kayıp, açık çapa-pozitif-negatif üçlüleri tanımlanabildiğinde tercih edilir. Büyük ölçekli geri çağırma için, zor negatif madenciliği olan marj tabanlı kayıplar genellikle daha verimlidir.
Artırma stratejisi ne kadar önemlidir?
Kritik derecede önemlidir. Artırmalar, modelin neyi eşdeğer olarak ele aldığını tanımlar. Eğer artırma, sonraki görev için ayırt edici olan bir özelliği bozarsa (örn. rengin önemli olduğu durumlarda rengi kaldırmak), model tam olarak yanlış şeylere karşı değişmez olacaktır. Artırma tasarımında alan uzmanlığı esastır.
Öz denetimli metrik öğrenimi tablo verilerine uygulanabilir mi?
Evet, ancak vizyondakinden daha az olgundur. Tablo verileri için artırmalar arasında özellik maskeleme, karıştırma (mixup) ve gürültü ekleme bulunur. Etiketsiz veri avantajı yapılandırılmış tablolar için daha az belirgin olduğundan, denetimli temel çizgilere göre performans kazanımları vizyondakinden daha küçüktür.
Etiketli veri olmadan öğrenilen gömülü temsillerin kalitesini nasıl değerlendiririm?
Yaygın denetimsiz vekil ölçütler arasında küçük bir etiketli sorgu kümesindeki k-en yakın komşu doğruluğu, kümeleme kalitesi (siluet skoru, NMI) ve Wang ve Isola (2020) tarafından önerilen hizalama/tekdüzelik metrikleri bulunur. Ayrılmış etiketli bir bölme üzerindeki doğrusal bir sorgu, standart denetimli değerlendirmedir.
Kaynaklar
- Chen, T., Kornblith, S., Norouzi, M., & Hinton, G. (2020). A Simple Framework for Contrastive Learning of Visual Representations. Proceedings of the 37th International Conference on Machine Learning (ICML 2020), PMLR 119, 1597–1607. link ↗
- Khosla, P., Tian, Y., Wang, X., Liu, C., Krishnan, D., Isola, P., & Tian, Y. (2020). Supervised Contrastive Learning. Advances in Neural Information Processing Systems (NeurIPS 2020), 33, 18661–18673. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Self-supervised Metric Learning. ScholarGate. https://scholargate.app/tr/machine-learning/self-supervised-metric-learning
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Ölçüm ÖğrenmesiMakine öğrenmesi↔ karşılaştır
- Öz-denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Siamese Sinir AğıDerin öğrenme↔ karşılaştır