Çevrimiçi Kendi Kendine Gözetimli Öğrenme
Online Self-supervised Learning (Continual Self-supervised Representation Learning from Streaming Data) · Ayrıca şöyle bilinir: online SSL, continual self-supervised learning, streaming self-supervised learning, incremental self-supervised learning
Çevrimiçi Kendi Kendine Gözetimli Öğrenme (çevrimiçi KKGÖ), insan etiketleri yerine otomatik olarak oluşturulan denetleyici sinyalleri (ön görevler) kullanarak etiketlenmemiş veriler üzerinde sıralı veya akış halinde gelen sinir ağlarını eğitir. Yeni veriler akarken modeli sürekli güncelleyerek, tam veri kümesini depolamaya gerek kalmadan sürekli gelişen temsiller sağlar — bu, gerçek zamanlı sistemler, uç cihazlar ve gizlilik kısıtlamalı ortamlar için kritiktir.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Etiketli veri kıt veya yok olduğunda, veriler sürekli bir akış olarak geldiğinde (sensör beslemeleri, video, günlükler) ve tam veri kümesini çevrimdışı eğitim için depolamak depolama, hesaplama veya gizlilik kısıtlamaları nedeniyle uygulanamadığında çevrimiçi KKGÖ'yü kullanın. Robotik, otonom sistemler, tıbbi izleme ve zamanla dağılımların kaydığı herhangi bir senaryo için uygundur. Bellekte tutulabilen statik veriler olduğunda kullanmayın — standart (çevrimdışı) KKGÖ veya denetimli öğrenme, genellikle daha az mühendislik karmaşıklığıyla daha iyi temsiller sağlar. Çevrimiçi güncelleme sinyalinin anlamlı yapıyı öğrenmek için çok seyrek olduğu çok küçük veri kümeleri için bundan kaçının.
Güçlü yönler & sınırlılıklar
- Maliyetli manuel ek açıklamaya olan ihtiyacı ortadan kaldırarak etiketlenmemiş akış verileri üzerinde çalışır.
- Bellek açısından verimli: eğitim için tüm veri kümesini depolamayı gerektirmez.
- Dağılım kayması ve durağan olmayan ortamlara doğal olarak uyum sağlar.
- Öğrenilen temsiller, minimum etiketli veri ile aşağı akış denetimli görevlere aktarılır.
- Verilerin depolanamadığı veya merkezileştirilemediği gizlilik koruyucu ayarlarla uyumludur.
- Plastisite (yeni veri öğrenme) ve stabilite (eski bilgiyi koruma) arasındaki dengeyi ayarlamak önemsiz değildir ve veri kümesine özgüdür.
- Tam veri kümesi mevcut olduğunda, büyük ölçekli çevrimdışı KKGÖ ön eğitiminin performansının genellikle gerisinde kalır.
- Tekrar arabelleği tasarımı, örnek seçimi ve arabellek boyutu ek hiperparametreler getirir.
- Değerlendirme, model durumu sürekli değiştiği için standart KKGÖ'den daha zordur.
SSS
Çevrimiçi KKGÖ standart (çevrimdışı) KKGÖ'den nasıl farklıdır?
Standart KKGÖ önce büyük, sabit bir veri kümesi toplar, sonra üzerinde birçok epok boyunca eğitir. Çevrimiçi KKGÖ, verileri geldiği gibi sıralı olarak işler ve modeli artımlı olarak günceller, tüm geçmişi tekrar ziyaret etmeden — bu da onu tam veri kümesinin hiçbir zaman bir kerede mevcut olmadığı akış veya gizlilik kısıtlamalı ortamlar için uygun hale getirir.
Her zaman bir tekrar arabelleği gerekli midir?
Her zaman değil. Bazı çevrimiçi KKGÖ yöntemleri (damıtma veya yavaş hareket eden hedef ağlar kullananlar gibi) geçmiş örnekleri depolamadan unutmayı azaltabilir. Ancak, küçük bir tekrar arabelleği genellikle temsil kalitesini artırır; ödünleşme depolama maliyeti ve unutmaya karşı dirençtir.
Çok küçük veri akışlarıyla çevrimiçi KKGÖ kullanılabilir mi?
Seyrek veri akışları öğrenmeyi zorlaştırır çünkü karşılaştırmalı öğrenme gibi ön görevler, kullanışlı negatif çiftler oluşturmak için yeterli yığın içi çeşitliliğe ihtiyaç duyar. Çok küçük mini yığınlar veya çok yavaş varış oranları temsil kalitesini düşürür; mümkünse önce çevrimdışı ön eğitimle modeli önyüklemeyi düşünün.
Temsilleri zaman içinde nasıl değerlendiririm?
Sabit, tutulmuş etiketli bir küme üzerinde periyodik doğrusal tarama değerlendirmeleri kullanın — kodlayıcıyı düzenli aralıklarla dondurun ve üzerine hafif bir doğrusal sınıflandırıcı eğitin. Doğrusal tarama doğruluğunu zaman içinde izlemek, hem öğrenme ilerlemesini hem de önceki dağılımların herhangi bir feci unutulmasını ortaya çıkarır.
Çevrimiçi ortamda hangi ön görevler en iyi şekilde çalışır?
Momentum tabanlı kendi kendine damıtma hedefleri (BYOL tarzı) ve kümeleme tabanlı hedefler (OBoW tarzı), mini yığın boyutuna daha az duyarlı oldukları için standart karşılaştırmalı öğrenmeden daha kararlı olma eğilimindedir. En iyi seçim veri modallığına ve donanım bütçesine bağlıdır.
Kaynaklar
- Gidaris, S., Bursuc, A., Komodakis, N., Perez, P., & Cord, M. (2021). OBoW: Online Bag-of-Visual-Words Generation for Self-Supervised Learning. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 6830–6840. link ↗
- Fini, E., Da Costa, V. G. T., Alameda-Pineda, X., Ricci, E., Alahari, K., & Mairal, J. (2022). Self-Supervised Models are Continual Learners. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 9621–9630. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Online Self-supervised Learning (Continual Self-supervised Representation Learning from Streaming Data). ScholarGate. https://scholargate.app/tr/machine-learning/online-self-supervised-learning
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Çevrimiçi ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Öz-denetimli ÖğrenmeMakine öğrenmesi↔ karşılaştır
- Transfer LearningMakine öğrenmesi↔ karşılaştır