Transformer yang Disesuaikan Halus

Menyesuaikan Transformer secara halus mengadaptasi model besar yang telah dilatih sebelumnya — seperti BERT, GPT, atau ViT — ke tugas hilir tertentu dengan melanjutkan pelatihan berbasis gradien pada kumpulan data target berlabel. Paradigma dua tahap ini (pra-latih lalu sesuaikan halus) secara konsisten mencapai hasil mutakhir di seluruh tugas NLP dan visi komputer dengan data spesifik tugas yang jauh lebih sedikit daripada melatih dari awal.