Transformer Semi-terawasi
Pembelajaran semi-terawasi dengan arsitektur Transformer memanfaatkan sejumlah besar data tak berlabel bersama dengan sejumlah kecil data berlabel untuk melatih model sekuensial yang kuat. Pola dominan — dicontohkan oleh BERT — pertama-tama melakukan pra-pelatihan Transformer pada data tak berlabel menggunakan tujuan swa-terawasi seperti prediksi token yang ditutupi, kemudian menyempurnakannya pada tugas berlabel. Pendekatan dua tahap ini secara dramatis mengurangi data berlabel yang dibutuhkan untuk mencapai kinerja yang kuat.
Baca metode selengkapnya
Masuk dengan akun gratis untuk membaca bagian ini.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Sumber
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Cara menyitasi halaman ini
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/id/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Klasifikasi Berbasis BERTPembelajaran Mendalam↔ compare
- Transformer yang Disesuaikan HalusPembelajaran Mendalam↔ compare
- Klasifikasi Berbasis RoBERTaPembelajaran Mendalam↔ compare
- Transformer yang dilatih mandiriPembelajaran Mendalam↔ compare
- Convolutional Neural Network Semi-terawasiPembelajaran Mendalam↔ compare
Dirujuk oleh
Menemukan masalah di halaman ini? Laporkan atau usulkan perbaikan →