Transformery z uczeniem półnadzorowanym
Uczenie półnadzorowane z wykorzystaniem architektur Transformerów wykorzystuje duże ilości danych nieetykietowanych obok niewielkiego zbioru danych etykietowanych do trenowania potężnych modeli sekwencyjnych. Dominujący wzorzec – czego przykładem jest BERT – najpierw wstępnie trenuje Transformera na danych nieetykietowanych przy użyciu celów samonadzorowanych, takich jak przewidywanie zamaskowanych tokenów, a następnie dostraja go do zadania etykietowanego. To dwuetapowe podejście znacząco redukuje ilość danych etykietowanych potrzebnych do osiągnięcia silnej wydajności.
Przeczytaj pełny opis metody
Zaloguj się na bezpłatne konto, aby przeczytać tę sekcję.
Method map
The neighbourhood of related methods — select a node to explore.
+5 more
Źródła
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Zoph, B., Ghiasi, G., Lin, T.-Y., Cui, Y., Liu, H., Cubuk, E. D., & Le, Q. V. (2020). Rethinking Pre-training and Self-training. Advances in Neural Information Processing Systems (NeurIPS), 33, 3833–3845. link ↗
Jak cytować tę stronę
ScholarGate. (2026, June 3). Semi-supervised Learning with Transformer Architectures. ScholarGate. https://scholargate.app/pl/deep-learning/semi-supervised-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Klasyfikacja oparta na BERTUczenie głębokie↔ compare
- Dostrojony TransformerUczenie głębokie↔ compare
- Klasyfikacja oparta na RoBERTaUczenie głębokie↔ compare
- Samo-nadzorowany TransformerUczenie głębokie↔ compare
- Półnadzorowana konwolucyjna sieć neuronowaUczenie głębokie↔ compare
Cytowana przez
Widzisz błąd na tej stronie? Zgłoś go lub zaproponuj poprawkę →