Online Self-supervised Learning (Continual Self-supervised Representation Learning from Streaming Data)

یادگیری خودنظارتی سنتی، مجموعه بزرگی از داده‌های بدون برچسب را جمع‌آوری کرده و همه آن‌ها را به یکباره آموزش می‌دهد. یادگیری خودنظارتی آنلاین این فرض را حذف می‌کند: داده‌ها یکی یکی یا به صورت دسته‌های کوچک وارد می‌شوند، بسیار شبیه به جریان دوربین یا فید سنسور، و مدل باید قبل از حرکت به داده‌های بعدی، بازنمایی‌های مفیدی از هر بخش بیاموزد. چالش این است که بدون طراحی دقیق، مدل ممکن است دانش قبلی را هنگام تطبیق با داده‌های جدید به طور فاجعه‌باری فراموش کند — بنابراین روش‌های یادگیری خودنظارتی آنلاین مکانیسم‌هایی را برای حفظ بازنمایی‌های گذشته در حالی که همچنان از ورودی‌های جدید به‌روز می‌شوند، ایجاد می‌کنند.