Açıklanabilir Vision Transformer
Explainable Vision Transformer (XViT / ViT with Post-hoc Attribution) · Ayrıca şöyle bilinir: XViT, Interpretable ViT, Explainable ViT, Transparent Vision Transformer
Açıklanabilir Vision Transformer (Explainable Vision Transformer), Vision Transformer'ların (ViT) güçlü görüntü tanıma performansını, tahminleri yönlendiren görüntü bölgelerini vurgulayan ilgili yayılım (relevance propagation), dikkat yayılımı (attention rollout) veya gradyan ağırlıklı dikkat (gradient-weighted attention) gibi atıf teknikleriyle birleştirir. Bu yaklaşım, araştırmacıların ve uygulayıcıların doğruluktan ödün vermeden model kararlarını denetlemelerine ve şeffaflık gereksinimlerini karşılamalarına olanak tanır.
Tam yöntemi oku
Bu bölümü okumak için ücretsiz hesapla giriş yapın.
Yöntem haritası
İlişkili yöntemlerin komşuluğu — keşfetmek için bir düğüm seçin.
Ne zaman kullanılır
Hem güçlü görsel tanıma doğruluğu hem de tahminleri gerekçelendirme veya denetleme yeteneği istediğinizde Açıklanabilir ViT'yi kullanın — örneğin tıbbi görüntülemede, otonom sistemlerde veya şeffaflık düzenlemelerine tabi herhangi bir ortamda. Basit bir ViT'nin zaten yeterli doğruluk sağladığı ve kalan görevin hata ayıklama, yanlılık denetimi veya düzenleyici uyumluluk için atıf haritaları üretmek olduğu durumlarda uygundur. ViT'yi ince ayar yapmak için veri kümesinin çok küçük olduğu (genellikle birkaç binin altında alana özgü görüntü), daha basit bir CNN'in GradCAM ile yeterli olacağı veya dağıtım ortamının transformer dikkat çıkarma ve geri geçiş atıfının çıkarım yükünü (inference overhead) destekleyemeyeceği durumlarda kaçının.
Güçlü yönler & sınırlılıklar
- En yeni küresel özellik modellemesini (ViT) ince taneli, uzamsal olarak hassas açıklamalarla birleştirir.
- Transformer'lar için özel olarak tasarlanmış ilgili yayılım yöntemleri, ham dikkat görselleştirmesinden daha iyi sadakat kıyaslamaları sunar.
- Açıklama granülerliği kontrol edilebilir: kullanım durumuna bağlı olarak parça düzeyinde haritalar veya katman bazında yayılım.
- Önceden eğitilmiş ViT kontrol noktalarıyla (ImageNet, CLIP, DINO) uyumludur — mimari değişikliği gerektirmez.
- Hem sınıfa özgü açıklamaları hem de bir veri kümesi genelindeki küresel özellik önem analizini destekler.
- Transformer dikkat çıkarma ve geri geçiş gradyan hesaplaması, çıkarım zamanında önemli bellek ve gecikme yükü ekler.
- Yetersiz veri nedeniyle altta yatan ViT'nin yetersiz eğitilmesi durumunda atıf kalitesi düşer — kötü bir modelin açıklamaları bilgilendirici değildir.
- Aynı tahmin için farklı atıf yöntemleri (yayılım, Chefer yayılımı, GradCAM uyarlaması) görünüşte farklı ısı haritaları üretebilir, bu da yöntem seçimini önemsiz hale getirir.
- Açıklama sadakatinin değerlendirilmesi, standart doğruluk metriklerinin ötesinde ek kıyaslama protokolleri gerektirir, bu da doğrulama çabasını artırır.
SSS
Ham dikkat görselleştirmesi açıklama ile aynı şey midir?
Hayır. Ham dikkat ağırlıkları, modelin bilgiyi nereye yönlendirdiğini gösterir, son sınıf tahminine hangi jetonların olumlu katkıda bulunduğunu değil. Sınıfa özgü, sadık atıflar üretmek için gradyan ağırlıklı veya ilgili yayılım yöntemleri gereklidir.
Modeli açıklanabilir hale getirmek için ViT'yi yeniden eğitmem gerekir mi?
Genellikle hayır. Çoğu atıf yöntemi sonradan uygulanır ve mimariyi değiştirmeden veya yeniden eğitmeden herhangi bir önceden eğitilmiş veya ince ayarlı ViT üzerinde çalışır. Yalnızca modelin ileri geçişine ve gradyan yöntemleri için geri geçişine erişmeniz gerekir.
Isı haritasının güvenilir olduğunu nasıl anlarım?
Pertürbasyon tabanlı sadakat testleri kullanın: ısı haritasına göre en ilgili parçaları giderek maskeleyin ve doğruluk düşüş hızını ölçün. Sadık bir açıklama, yüksek ilgili parçalar kaldırıldığında hızlı bir doğruluk düşüşüne neden olmalıdır.
Açıklanabilir ViT video veya 3B verilere uygulanabilir mi?
Evet. ViT'nin zamansal ve hacimsel varyantları (örneğin, Video Swin Transformer, ViT-3D), zamansal veya hacimsel parça boyutuna genişletilmiş aynı atıf çerçeveleriyle birleştirilebilir, ancak hesaplama maliyeti önemli ölçüde artar.
Bu, bir CNN üzerindeki GradCAM ile nasıl karşılaştırılır?
CNN üzerindeki GradCAM, son evrişimsel katmandan kaba özellik haritası aktivasyonları üretir. Transformer atıf yöntemleri tüm katmanlarda ve başlıklarda çalışır, genellikle daha uzamsal olarak hassas ve sınıfa duyarlı açıklamalar sağlar, ancak hesaplama açısından daha ağırdır ve transformer'a özgü uygulama gerektirir.
Kaynaklar
- Chefer, H., Gur, S., & Wolf, L. (2021). Transformer interpretability beyond attention visualization. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 782–791. DOI: 10.1109/CVPR46437.2021.00084 ↗
- Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., … Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. In International Conference on Learning Representations (ICLR). link ↗
Bu sayfayı kaynak gösterin
ScholarGate. (2026, June 3). Explainable Vision Transformer (XViT / ViT with Post-hoc Attribution). ScholarGate. https://scholargate.app/tr/deep-learning/explainable-vision-transformer
Hangi yöntem?
Bu yöntemi en yakın akrabalarının yanına koyup yan yana okuyun — kütüphane kitapları masaya serer; seçim sizindir.
- Görüntü SınıflandırmaDerin öğrenme↔ karşılaştır
- Öz-denetimli Görsel TransformerDerin öğrenme↔ karşılaştır
- Semantik SegmentasyonDerin öğrenme↔ karşılaştır
- Vision TransformerDerin öğrenme↔ karşılaştır