Fine-Tuned Transformer
Fine-tuning a Transformer adapts a large pre-trained model — such as BERT, GPT, or ViT — to a specific downstream task by continuing gradient-based training on a labelled target dataset. This two-stage paradigm (pre-train then fine-tune) consistently achieves state-of-the-art results across NLP and computer vision tasks with far less task-specific data than training from scratch.
Registro de origen
Citas copiadas textualmente del registro de origen del método. No se infiere ninguna verificación a nivel de afirmación de ellas.
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 30. · URL
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of deep bidirectional transformers for language understanding. Proceedings of NAACL-HLT 2019, 4171–4186. · URL
Afirmaciones curadas
Afirmaciones persistidas en el libro mayor de evidencia, cada una con su propia evaluación.
Esta vista no inventa una evaluación de afirmación si el libro mayor no tiene ninguna.
Métodos relacionados
Generado a partir del grafo de métodos y mostrado como relaciones sugeridas por la máquina; no se infiere ninguna afirmación de evidencia.