یادگیری خودنظارتی و بازنمایی

یادگیری خودنظارتی و بازنمایی، با ابداع وظایف پیش‌بینی از خود داده‌ها، ویژگی‌های مفیدی را از داده‌های بدون برچسب ایجاد می‌کنند و بازنمایی‌هایی تولید می‌کنند که به بسیاری از مسائل پایین‌دستی قابل انتقال هستند.

Definition

یادگیری خودنظارتی، یک مدل را بر روی وظایفی آموزش می‌دهد که برچسب‌های آن‌ها به طور خودکار از ورودی استخراج می‌شوند، مانند پیش‌بینی یک بخش پنهان از داده یا تشخیص دو نمای تقویت‌شده به عنوان یک مورد مشابه، به طوری که مدل بازنمایی‌های عمومی قابل استفاده برای وظایف نظارت‌شده بعدی را یاد می‌گیرد.

Scope

این موضوع به یادگیری بازنمایی‌ها بدون برچسب‌های انسانی می‌پردازد: رمزگذار-رمزگشاهای خودکار (autoencoders) که ورودی‌ها را فشرده و بازسازی می‌کنند، روش‌های کنتراستیو (contrastive) که نماهای مرتبط را به هم نزدیک و نماهای نامرتبط را از هم دور می‌کنند، و وظایف پیش‌متنی یا پیش‌بینی ماسک‌شده (masked-prediction) که داده‌های بدون برچسب را به سیگنال‌های نظارت‌شده تبدیل می‌کنند. این موضوع به این می‌پردازد که چرا بازنمایی‌های خوب اهمیت دارند و چگونه ویژگی‌های از پیش آموزش‌دیده در وظایف مختلف منتقل می‌شوند.

Core questions

• چگونه می‌توان سیگنال‌های آموزشی به سبک نظارت‌شده را از داده‌های بدون برچسب تولید کرد؟
• چه چیزی یک بازنمایی یادگرفته شده را مفید و قابل انتقال می‌کند؟
• اهداف کنتراستیو و بازسازی‌کننده چه تفاوتی با هم دارند؟
• چرا پیش‌آموزش بر روی مجموعه‌های بزرگ داده‌های بدون برچسب به وظایف پایین‌دستی کمک می‌کند؟

Key theories

یادگیری بازنمایی

کیفیت یک بازنمایی یادگرفته شده، به جای انتخاب طبقه‌بندی‌کننده، اغلب عملکرد را تعیین می‌کند، بنابراین یادگیری ویژگی‌هایی که عوامل زیربنایی تغییر را از هم جدا می‌کنند، یک هدف اصلی است.

رمزگذاری خودکار و بازسازی

رمزگذار-رمزگشاهای خودکار با بازسازی ورودی‌های خود از طریق یک گلوگاه، کدهای فشرده را یاد می‌گیرند، و انواع مختلفی مانند رمزگذار-رمزگشاهای خودکار حذف نویز، با بازسازی ورودی‌های خراب شده، ویژگی‌های مقاوم را یاد می‌گیرند.

پیش‌آموزش و انتقال

مدل‌های از پیش آموزش‌دیده بر روی مجموعه‌های بزرگ داده‌های بدون برچسب با اهداف خودنظارتی، ویژگی‌های به طور گسترده مفید را یاد می‌گیرند که با داده‌های برچسب‌گذاری شده کم به بسیاری از وظایف پایین‌دستی منتقل می‌شوند، که یک پارادایم اصلی در سیستم‌های مدرن است.

Clinical relevance

پیش‌آموزش خودنظارتی، اساس سیستم‌های زبان و بینایی مدرن است و به مدل‌ها اجازه می‌دهد تا دانش را از مجموعه‌های بزرگ داده‌های بدون برچسب جذب کنند، قبل از اینکه برای وظایف خاص با برچسب‌های محدود سازگار شوند؛ این امر به طور چشمگیری داده‌های برچسب‌گذاری شده مورد نیاز برای عملکرد قوی را کاهش می‌دهد و دلیل اصلی پیشرفت‌های اخیر در هوش مصنوعی است.

History

یادگیری بازنمایی از رمزگذار-رمزگشاهای خودکار و پیش‌آموزش بدون نظارت شبکه‌های عمیق در دهه ۲۰۰۰ رشد کرد. اهداف خودنظارتی، از جمله پیش‌بینی ماسک‌شده در زبان و یادگیری کنتراستیو در بینایی، بعدها ثابت کردند که قادر به یادگیری بازنمایی‌های قدرتمند و عمومی هستند و به رویکرد غالب برای پیش‌آموزش مدل‌های بزرگ تبدیل شدند.

Key figures

• Yoshua Bengio
• Geoffrey Hinton
• Yann LeCun

Seminal works

• bengio2013
• goodfellow2016
• lecun2015

Frequently asked questions

یادگیری خودنظارتی چه تفاوتی با یادگیری بدون نظارت دارد؟

یادگیری خودنظارتی شکلی از یادگیری بدون نظارت است که در آن مدل با یک هدف به سبک نظارت‌شده آموزش می‌بیند که اهداف آن به طور خودکار از داده‌ها تولید می‌شوند، به عنوان مثال با پنهان کردن بخشی از ورودی و پیش‌بینی آن. این روش از برچسب‌های انسانی استفاده نمی‌کند اما همچنان یادگیری را به عنوان پیش‌بینی چارچوب‌بندی می‌کند.

چرا یک بازنمایی خوب اینقدر ارزشمند است؟

هنگامی که داده‌ها به بازنمایی‌ای کدگذاری می‌شوند که ساختار اساسی آن‌ها را به تصویر می‌کشد، حتی مدل‌های ساده نیز می‌توانند عملکرد خوبی داشته باشند، و همان بازنمایی می‌تواند برای بسیاری از وظایف مفید باشد. یادگیری چنین ویژگی‌های قابل انتقالی از داده‌های بدون برچسب چیزی است که پیش‌آموزش را بسیار مؤثر می‌کند.