Öz-Denetimli ve Temsil Öğrenimi
Öz-denetimli ve temsil öğrenimi, etiketlenmemiş verilerden, verinin kendisinden tahmin görevleri türeterek faydalı özellikler oluşturmakta ve birçok sonraki probleme aktarılabilen temsiller üretmektedir.
Tanım
Öz-denetimli öğrenme, bir modeli, etiketleri girdiden otomatik olarak türetilen görevler üzerinde eğitmektedir; örneğin, verinin gizli bir kısmını tahmin etmek veya iki artırılmış görünümü aynı öğe olarak tanımak gibi. Bu sayede model, daha sonraki denetimli görevler için kullanılabilir genel amaçlı temsiller öğrenmektedir.
Kapsam
Bu konu, insan etiketleri olmadan temsil öğrenimini kapsamaktadır: girdileri sıkıştıran ve yeniden oluşturan otokodlayıcılar, ilişkili görünümleri bir araya getiren ve ilişkisiz olanları ayıran karşılaştırmalı yöntemler ile etiketlenmemiş veriyi denetimli sinyallere dönüştüren ön metin veya maskeli tahmin görevleri bu kapsamdadır. Ayrıca, iyi temsillerin neden önemli olduğu ve önceden eğitilmiş özelliklerin görevler arasında nasıl aktarıldığı da ele alınmaktadır.
Temel sorular
- Etiketlenmemiş veriden denetimli tarzda eğitim sinyalleri nasıl üretilebilir?
- Öğrenilmiş bir temsili faydalı ve aktarılabilir kılan nedir?
- Karşılaştırmalı ve yeniden yapılandırıcı hedefler nasıl farklılık gösterir?
- Büyük etiketlenmemiş veri kümeleri üzerinde ön eğitim yapmak, sonraki görevlere neden yardımcı olmaktadır?
Temel kuramlar
- Representation learning
- Öğrenilmiş bir temsilin kalitesi, sınıflandırıcının seçiminden ziyade genellikle performansı belirlemektedir; bu nedenle, varyasyonun temel faktörlerini ayrıştıran özellikler öğrenmek merkezi bir hedeftir.
- Autoencoding and reconstruction
- Otokodlayıcılar, girdilerini bir darboğaz aracılığıyla yeniden yapılandırarak kompakt kodlar öğrenmekte; gürültü giderici otokodlayıcılar gibi varyantlar ise bozulmuş girdileri yeniden yapılandırarak sağlam özellikler öğrenmektedir.
- Pretraining and transfer
- Öz-denetimli hedeflerle geniş etiketlenmemiş veri kümeleri üzerinde önceden eğitilmiş modeller, az etiketli veriyle birçok sonraki göreve aktarılabilen geniş ölçüde faydalı özellikler öğrenmektedir; bu durum, modern sistemler için merkezi bir paradigma oluşturmaktadır.
Klinik önem
Öz-denetimli ön eğitim, modern dil ve görüntü sistemlerinin temelini oluşturmaktadır; bu sayede modeller, sınırlı etiketlere sahip belirli görevlere uyarlanmadan önce geniş etiketlenmemiş veri kümelerinden bilgi edinebilmektedir. Bu yaklaşım, güçlü performans için gereken etiketli veri miktarını önemli ölçüde azaltmakta ve yapay zekadaki son gelişmelerin önemli bir nedeni olarak görülmektedir.
Tarihçe
Temsil öğrenimi, 2000'li yıllarda otokodlayıcılardan ve derin ağların denetimsiz ön eğitiminden gelişmiştir. Dildeki maskeli tahmin ve görüntüdeki karşılaştırmalı öğrenme dahil olmak üzere öz-denetimli hedefler, daha sonra güçlü genel amaçlı temsiller öğrenme yeteneğine sahip olduğunu kanıtlamış ve büyük modelleri ön eğitmek için baskın yaklaşım haline gelmiştir.
Öne çıkan isimler
- Yoshua Bengio
- Geoffrey Hinton
- Yann LeCun
İlgili konular
Temel eserler
- bengio2013
- goodfellow2016
- lecun2015
Sıkça sorulan sorular
- Öz-denetimli öğrenme, denetimsiz öğrenmeden nasıl farklıdır?
- Öz-denetimli öğrenme, modelin hedefleri veriden otomatik olarak üretilen denetimli tarzda bir hedefle eğitildiği bir denetimsiz öğrenme biçimidir; örneğin, girdinin bir kısmını gizleyerek ve onu tahmin ederek. İnsan etiketleri kullanmamasına rağmen, öğrenmeyi hala bir tahmin görevi olarak ele almaktadır.
- İyi bir temsil neden bu kadar değerlidir?
- Veriler, temel yapılarını yakalayan bir temsile kodlandığında, basit modeller bile iyi performans gösterebilmekte ve aynı temsil birçok göreve hizmet edebilmektedir. Etiketlenmemiş veriden bu tür aktarılabilir özellikler öğrenmek, ön eğitimi bu kadar etkili kılan temel faktördür.