Önfelügyelt Transformer
Az önfelügyelt Transformer egy olyan Transformer hálózat, amelyet automatikusan konstruált felügyeleti jelek – mint például maszkolt token-predikció vagy következő mondat predikció – felhasználásával előképzett, ember által annotált címkék helyett. A kapott reprezentációkat ezután finomhangolják vagy lekérdezik a lefelé irányuló feladatokon. A BERT, a GPT és a ViT (Vision Transformer maszkolt kép-módban) a paradigma legismertebb megvalósításai.
A teljes módszer elolvasása
Jelentkezzen be ingyenes fiókkal a szakasz elolvasásához.
Módszertérkép
A rokon módszerek környezete — válasszon ki egy csomópontot a felfedezéshez.
Források
- Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Proceedings of NAACL-HLT 2019, 4171–4186. DOI: 10.18653/v1/N19-1423 ↗
- Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Advances in Neural Information Processing Systems, 30. link ↗
Hogyan hivatkozzon erre az oldalra
ScholarGate. (2026, June 3). Self-supervised Transformer (Pretraining with Self-generated Supervision). ScholarGate. https://scholargate.app/hu/deep-learning/self-supervised-transformer
Melyik módszer?
Állítsa e módszert a hozzá legközelebb álló rokonai mellé, és olvassa őket egymás mellett — a könyvtár az asztalra teszi a könyveket; a választás az Öné.
- BERT-alapú osztályozásMélytanulás↔ összehasonlítás
- Finomhangolt TransformerMélytanulás↔ összehasonlítás
- RoBERTa-alapú osztályozásMélytanulás↔ összehasonlítás
- Önfelügyelt konvolúciós neurális hálózatMélytanulás↔ összehasonlítás
- MondatbeágyazásokMélytanulás↔ összehasonlítás
Hivatkozik rá
Hibát talált ezen az oldalon? Jelentse, vagy javasoljon javítást →