Machine learningDeep learning / NLP / CV

Self-supervised Transformer

Self-supervised Transformer는 인간이 주석을 단 레이블 대신 마스크된 토큰 예측 또는 다음 문장 예측과 같은 자동으로 구성된 감독 신호를 사용하여 사전 훈련된 Transformer 네트워크입니다. 결과 표현은 다운스트림 작업에 대해 미세 조정되거나 탐색됩니다. BERT, GPT 및 ViT(마스크 이미지 모델링 모드의 Vision Transformer)는 이 패러다임의 가장 널리 알려진 구현입니다.

MethodMind에서 열기곧 제공동영상곧 제공Download slides

방법 전문 읽기

회원 전용

무료 계정으로 로그인하면 이 섹션을 읽을 수 있습니다.

로그인

Method map

The neighbourhood of related methods — select a node to explore.

Self-supervised Transformer

BERT 기반 분류 파인튜닝 트랜스포머 RoBERTa 기반 분류 자가 지도 합성곱 신경망 문장 임베딩 설명 가능한 트랜스포머 자기 지도 GRU 자기 지도 학습 문장 임베딩 준지도 학습 트랜스포머 약지도 트랜스포머

출처

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗

이 페이지 인용 방법

ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/ko/deep-learning/self-supervised-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

이 방법을 참조하는 항목

설명 가능한 트랜스포머 자가 지도 합성곱 신경망 자기 지도 GRU 자기 지도 학습 문장 임베딩 준지도 학습 트랜스포머 약지도 트랜스포머

이 페이지에서 오류를 발견하셨나요? 신고하거나 수정을 제안하세요 →