İnce Ayarlı Vision Transformer
Fine-Tuned Vision Transformer (ViT with Task-Specific Adaptation) · Ayrıca şöyle bilinir: Fine-Tuned ViT, ViT fine-tuning, Vision Transformer transfer learning, ViT downstream adaptation
İnce Ayarlı Vision Transformer (Fine-Tuned Vision Transformer), görüntüleri sabit boyutlu yamalara ayıran ve bunları öz-dikkat katmanları aracılığıyla işleyen büyük, önceden eğitilmiş bir ViT modelini, nispeten küçük etiketli bir veri kümesi kullanarak yeni bir görüntü sınıflandırma veya tanıma görevine uyarlar. Büyük ölçekli ön eğitim sırasında öğrenilen zengin temsilleri kullanarak bilgisayarlı görmede son teknoloji doğruluğa ulaşır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
+3 tane daha
Ne zaman kullanılır
Yüzlerce ila on binlerce etiketli örneğe sahip bir görüntü sınıflandırma veya tanıma göreviniz olduğunda ve üst düzey doğruluk gerektirdiğinizde ve uygun bir önceden eğitilmiş kontrol noktası mevcut olduğunda (örneğin, HuggingFace veya timm'den) İnce Ayarlı ViT'yi kullanın. Tıbbi görüntüleme, uzaktan algılama, ince taneli tür tanıma ve belge görüntü analizi için idealdir. Hedef alan ön eğitim alanından kökten farklıysa ve sınıf başına yaklaşık 100'den az örneğiniz varsa, çıkarımın ciddi bellek kısıtlamaları olan kenar cihazlarda çalışması gerekiyorsa (ViT-B yaklaşık 330 MB ağırlık gerektirir) veya ek sonradan araçlar olmadan kolayca yorumlanabilir özellik atıfları gerekiyorsa kaçının.
Güçlü yönler & sınırlılıklar
- Görüntü sınıflandırma kıyaslamalarında son teknoloji doğruluk, genellikle CNN tabanlı modelleri geride bırakır.
- İnce ayar yaparken güçlü veri verimliliği: önceden eğitilmiş temsiller sınırlı etiketli verilerle iyi genelleme yapar.
- Öz-dikkat yoluyla küresel bağlam modellemesi, yerel evrişim filtrelerinin kaçırdığı uzun menzilli bağımlılıkları yakalar.
- Birçok alanı kapsayan büyük önceden eğitilmiş kontrol noktası ekosistemi (ViT-B, ViT-L, ViT-H, DeiT, Swin).
- Dikkat haritaları, tahminleri yönlendiren görüntü bölgelerinin yorumlanabilir görselleştirmelerini sağlar.
- Sınıflandırma, tespit ve segmentasyon dahil olmak üzere çeşitli görme görevlerine aktarılan esnek mimari.
- Yüksek bellek ve hesaplama gereksinimleri: ViT-B/16 önemli GPU RAM gerektirir; ViT-L/16 ve daha büyük modeller çoklu GPU kurulumları gerektirir.
- İyi eşleşen bir önceden eğitilmiş kontrol noktası gerektirir; alan uyumsuzluğu (örneğin, doğal görüntüler - X-ışınları) ön eğitimin faydasını azaltabilir.
- Agresif düzenleme olmadan çok küçük ince ayar veri kümesinde performans keskin bir şekilde düşer (sınıf başına yaklaşık 100'den az örnek).
- Pencereleme veya hiyerarşik varyantlar olmadan çok yüksek çözünürlüklü görüntülerin işlenmesini pahalı hale getiren karesel öz-dikkat karmaşıklığı.
- Hiperparametre hassasiyeti: öğrenme oranı programı, katman bazlı azalma ve artırma seçimleri nihai doğruluğu önemli ölçüde etkiler.
SSS
Bir ViT'yi ince ayarlamak için ne kadar etiketli veriye ihtiyacım var?
ViT'ler ön eğitimden önemli ölçüde fayda sağlar ve güçlü artırma ve düzenleme ile ince ayar yapıldığında sınıf başına birkaç yüz etiketli örnek kadar azıyla iyi performans gösterebilir. Çok küçük veri kümeleri için (sınıf başına 50'den az örnek), CNN tabanlı modeller veya dondurulmuş ViT özelliklerinin doğrusal sorgulanması daha güvenilir olabilir.
Tüm modeli mi yoksa yalnızca sınıflandırma başlığını mı ince ayarlamalıyım?
Tam ince ayar (kodlayıcı için küçük bir öğrenme oranıyla tüm katmanlar) genellikle en iyi doğruluğu sağlar. Yalnızca başlık eğitimi (doğrusal sorgulama) daha hızlı ve daha güvenlidir, ancak daha düşük doğruluk sağlar. Orta bir yol, erken katmanları dondurmak ve yalnızca son birkaç transformatör bloğunu ince ayarlamaktır.
Hangi ViT varyantını seçmeliyim?
ViT-B/16, doğruluk ve hesaplama arasında bir denge sağlayan pratik bir varsayılan değerdir. ViT-L/16 veya ViT-H/14, çok daha yüksek maliyetle daha yüksek doğruluk sağlar. Kısıtlı kaynaklar için DeiT-Small veya Swin-Tiny, daha düşük bellek kullanımıyla rekabetçi doğruluk sunar. Hedef görevinize yakın bir alanda önceden eğitilmiş bir kontrol noktası seçin.
Küçük bir ince ayar setinde aşırı uyumu nasıl önlerim?
Güçlü veri artırma (RandAugment, CutMix, mixup) uygulayın, ısınma ile bir kosinüs öğrenme oranı programı kullanın, dropout ve stokastik derinlik ekleyin ve doğrulama kaybına dayalı erken durdurmayı kullanın. Katman bazlı öğrenme oranı azalması — erken katmanlar için daha düşük oranlar — önceden eğitilmiş özellikleri korumaya da yardımcı olur.
İnce Ayarlı ViT, görüntü sınıflandırması dışındaki görevler için kullanılabilir mi?
Evet. İnce ayarlı ViT omurgaları, nesne tespiti (örneğin, ViTDet), anlamsal segmentasyon (SETR) ve görüntü üretimi için güç sağlar. Anahtar, sınıflandırma başlığını göreve uygun bir kod çözücü veya tahmin başlığı ile değiştirmek ve uçtan uca ince ayar yapmaktır.
Kaynaklar
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR 2021). link ↗
- Zhai, X., Kolesnikov, A., Houlsby, N., & Beyer, L. (2022). Scaling Vision Transformers. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2022), pp. 12104-12113. link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Fine-Tuned Vision Transformer (ViT with Task-Specific Adaptation). ScholarGate. https://scholargate.app/tr/deep-learning/fine-tuned-vision-transformer
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- BERT Tabanlı SınıflandırmaDerin öğrenme↔ karşılaştır
- İnce Ayarlı Evrişimsel Sinir AğıDerin öğrenme↔ karşılaştır
- Görüntü SınıflandırmaDerin öğrenme↔ karşılaştır
- Semantik SegmentasyonDerin öğrenme↔ karşılaştır
- Vision TransformerDerin öğrenme↔ karşılaştır