준지도 학습 트랜스포머

준지도 학습 트랜스포머 아키텍처는 소량의 레이블이 지정된 데이터와 함께 대량의 레이블이 지정되지 않은 데이터를 활용하여 강력한 시퀀스 모델을 학습시킵니다. BERT로 대표되는 지배적인 패턴은 먼저 마스크된 토큰 예측과 같은 자기 지도 학습 목표를 사용하여 레이블이 지정되지 않은 데이터에 대해 트랜스포머를 사전 학습한 다음, 레이블이 지정된 작업에 대해 미세 조정합니다. 이 두 단계 접근 방식은 강력한 성능을 달성하는 데 필요한 레이블이 지정된 데이터를 극적으로 줄입니다.