T5 (Text-to-Text Transfer Transformer)
T5는 Raffel 등이 2020년 Google Brain에서 소개하고 Journal of Machine Learning Research (Vol. 21, No. 140)에 게재한 통합된 sequence-to-sequence 딥러닝 프레임워크입니다. 이 프레임워크는 분류, 번역, 요약, 질의응답 등 모든 자연어 처리(NLP) 작업을 텍스트-투-텍스트 문제로 재구성합니다. 즉, 입력과 출력 모두 항상 문자열이며, 단일 인코더-디코더 Transformer를 한 번 사전 훈련하고 일관된 인터페이스로 다양한 작업에 대해 미세 조정할 수 있습니다. T5는 span-corruption 사전 훈련 방식과 C4 코퍼스를 도입했으며, 가장 큰 변형(110억 개 파라미터)은 발표 당시 광범위한 NLP 벤치마크에서 최첨단 성능을 달성했습니다.
방법 전문 읽기
무료 계정으로 로그인하면 이 섹션을 읽을 수 있습니다.
Method map
The neighbourhood of related methods — select a node to explore.
출처
- Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140), 1–67. link ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. link ↗
이 페이지 인용 방법
ScholarGate. (2026, June 3). T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. ScholarGate. https://scholargate.app/ko/deep-learning/t5
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
Compare side by side →