T5 (Text-to-Text Transfer Transformer)
Το T5 είναι ένα ενοποιημένο πλαίσιο βαθιάς μάθησης ακολουθίας-προς-ακολουθία που εισήχθη από τους Raffel et al. στο Google Brain το 2020, δημοσιευμένο στο Journal of Machine Learning Research (Τόμος 21, Αρ. 140). Αναδιατυπώνει κάθε εργασία ΕΦΛ — ταξινόμηση, μετάφραση, περίληψη, απάντηση ερωτήσεων και άλλα — ως πρόβλημα κειμένου-προς-κείμενο: τόσο η είσοδος όσο και η έξοδος είναι πάντα συμβολοσειρές χαρακτήρων, επιτρέποντας σε έναν μόνο κωδικοποιητή-αποκωδικοποιητή Transformer να προεκπαιδευτεί μία φορά και να βελτιστοποιηθεί για διάφορες εργασίες με μια συνεπή διεπαφή. Το T5 εισήγαγε την προεκπαίδευση με διαταραχή διαστημάτων (span-corruption) και το σώμα κειμένων C4, και η μεγαλύτερη παραλλαγή του (11 δισεκατομμύρια παράμετροι) πέτυχε αποτελέσματα αιχμής σε ένα ευρύ φάσμα δεικτών ΕΦΛ κατά τη στιγμή της δημοσίευσης.
Διαβάστε ολόκληρη τη μέθοδο
Συνδεθείτε με δωρεάν λογαριασμό για να διαβάσετε αυτή την ενότητα.
Method map
The neighbourhood of related methods — select a node to explore.
Πηγές
- Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140), 1–67. link ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. link ↗
Πώς να παραπέμψετε σε αυτή τη σελίδα
ScholarGate. (2026, June 3). T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. ScholarGate. https://scholargate.app/el/deep-learning/t5
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Μηχανισμός ΠροσοχήςΒαθιά Μάθηση↔ compare
- Εκμάθηση μεταφοράςΜηχανική Μάθηση↔ compare
Εντοπίσατε πρόβλημα σε αυτή τη σελίδα; Αναφέρετέ το ή προτείνετε διόρθωση →