Ensemble Self-supervised Learning (Combining Multiple Self-supervised Models or Objectives)

자기지도 학습은 모델이 입력의 한 부분을 다른 부분으로부터 예측하도록 가르치는 것으로, 레이블이 필요하지 않습니다. 하지만 어떤 단일 사전 과제(pretext task)라도 맹점이 있습니다. 이미지 회전을 예측하도록만 훈련된 모델은 텍스처 단서를 학습하지만 의미론적 구조는 놓칩니다. 여러 자기지도 목표를 결합하거나 여러 인코더를 병렬로 훈련하는 것은 상호 보완적인 지식을 가진 전문가 패널을 갖는 것과 같습니다. 데이터에 대한 그들의 결합된 관점은 단일 관점보다 더 풍부하고 안정적이며, 마침내 레이블이 도입될 때 풀링된 표현은 더 잘 전이됩니다.