আধা-পর্যবেক্ষণাধীন ভিশন ট্রান্সফরমার

আধা-পর্যবেক্ষণাধীন ভিশন ট্রান্সফরমার (Semi-supervised Vision Transformer) ViT-এর প্যাচ-ভিত্তিক স্ব-মনোযোগ (self-attention) স্থাপত্যকে এমন পরিস্থিতিতে প্রয়োগ করে যেখানে ছবির একটি ক্ষুদ্র অংশ লেবেলযুক্ত থাকে। এটি ছদ্ম-লেবেলিং (pseudo-labeling), সামঞ্জস্যপূর্ণ নিয়মিতকরণ (consistency regularization), বা স্ব-পর্যবেক্ষণাধীন পূর্বপ্রস্তুতিমূলক কার্য (self-supervised pretext tasks) ব্যবহার করে বৃহৎ লেবেলবিহীন কর্পোরা থেকে সুবিধা লাভ করে, এবং তারপর অল্প লেবেলযুক্ত সেটের উপর ফাইন-টিউনিং (fine-tuning) করে। এই পদ্ধতিটি লেবেলযুক্ত ছবির অভাব থাকা সত্ত্বেও প্রায়-পর্যবেক্ষণাধীন (near-supervised) নির্ভুলতা অর্জন করে।