Machine learningDeep learning / NLP / CV

טרנספורמר ראייה (Vision Transformer) למידה חצי-מפוקחת

טרנספורמר ראייה למידה חצי-מפוקחת (Semi-supervised Vision Transformer) מיישם את ארכיטקטורת תשומת הלב העצמית מבוססת-טלאים (patch-based self-attention) של ViT במצבים בהם רק חלק קטן מהתמונות מתויגות, תוך ניצול מאגרי מידע גדולים של תמונות לא מתויגות באמצעות תיוג-מדומה (pseudo-labeling), רגולריזציית עקביות (consistency regularization), או משימות-קדם למידה עצמית (self-supervised pretext tasks) לפני כוונון עדין (fine-tuning) על קבוצת התמונות המתויגות הקטנה. גישה זו משיגה דיוק קרוב ללמידה מפוקחת (near-supervised accuracy) גם כאשר תמונות מתויגות הן נדירות.

פתיחה ב-MethodMindבקרובוידאובקרובDownload slides

קראו את השיטה במלואה

לחברים בלבד

התחברו עם חשבון חינמי כדי לקרוא חלק זה.

התחברות

Method map

The neighbourhood of related methods — select a node to explore.

מקורות

  1. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Dehghani, M., Minderer, M., Heigold, G., Gelly, S., Uszkoreit, J., & Houlsby, N. (2021). An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. International Conference on Learning Representations (ICLR 2021). link
  2. Zhai, X., Kolesnikov, A., Houlsby, N., & Beyer, L. (2022). Scaling Vision Transformers. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 12104–12113. link

איך לצטט עמוד זה

ScholarGate. (2026, June 3). Semi-supervised Vision Transformer (Semi-supervised ViT). ScholarGate. https://scholargate.app/he/deep-learning/semi-supervised-vision-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side
ScholarGateSemi-supervised Vision Transformer (Semi-supervised Vision Transformer (Semi-supervised ViT)). אוחזר בתאריך 2026-06-15 מתוך https://scholargate.app/he/deep-learning/semi-supervised-vision-transformer · מערך נתונים: https://doi.org/10.5281/zenodo.20539026