ScholarGate
Trợ lý
Machine learning

T5 (Text-to-Text Transfer Transformer)

T5 là một khuôn khổ học sâu thống nhất theo chuỗi-đến-chuỗi được giới thiệu bởi Raffel và cộng sự tại Google Brain vào năm 2020, được công bố trên Tạp chí Nghiên cứu Học máy (Tập 21, Số 140). Nó tái định hình mọi tác vụ xử lý ngôn ngữ tự nhiên (NLP) — phân loại, dịch thuật, tóm tắt, trả lời câu hỏi, và nhiều hơn nữa — thành một bài toán văn bản-văn bản: cả đầu vào và đầu ra luôn là các chuỗi ký tự, cho phép một mô hình Transformer mã hóa-giải mã duy nhất được tiền huấn luyện một lần và tinh chỉnh trên nhiều tác vụ với một giao diện nhất quán. T5 giới thiệu phương pháp tiền huấn luyện che lấp các đoạn văn bản (span-corruption) và tập dữ liệu C4, và biến thể lớn nhất của nó (11 tỷ tham số) đã đạt được kết quả tiên tiến trên một loạt các tiêu chuẩn NLP tại thời điểm công bố.

Mở trong MethodMindSắp ra mắtVideoSắp ra mắtDownload slides

Đọc toàn bộ phương pháp

Chỉ dành cho thành viên

Đăng nhập bằng tài khoản miễn phí để đọc phần này.

Đăng nhập

Method map

The neighbourhood of related methods — select a node to explore.

T5 (Text-to-Text Transfer Transformer)
Cơ chế chú ý (Attention…Transfer Learning

Nguồn tài liệu

  1. Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140), 1–67. link ↗
  2. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
  3. Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. link ↗

Cách trích dẫn trang này

ScholarGate. (2026, June 3). T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. ScholarGate. https://scholargate.app/vi/deep-learning/t5

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →

ScholarGate — T5 (Text-to-Text Transfer Transformer) (T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer). Truy cập ngày 2026-06-15 từ https://scholargate.app/vi/deep-learning/t5 · Bộ dữ liệu: https://doi.org/10.5281/zenodo.20539026