Online Self-supervised Learning

Traditionelles Self-supervised Learning sammelt einen großen Pool unbeschrifteter Daten und trainiert auf diesen auf einmal. Online-SSL hebt diese Annahme auf: Daten treffen einzeln oder in kleinen Mini-Batches ein, ähnlich einem Kamerastream oder einer Sensor-Feed, und das Modell muss nützliche Repräsentationen aus jedem Block lernen, bevor es weitermacht. Die Herausforderung besteht darin, dass das Modell ohne sorgfältiges Design früheres Wissen katastrophal vergessen kann, während es sich an neue Daten anpasst – daher integrieren Online-SSL-Methoden Mechanismen, um vergangene Repräsentationen beizubehalten und gleichzeitig von neuen Ankünften zu lernen.