Mehanizam pažnje
Mehanizam pažnje, koji su Bahdanau, Cho i Bengio uveli 2015. godine, a Luong, Pham i Manning usavršili iste godine, omogućava dekoderu sekvence da dinamički nauči na koje izlaze enkodera treba da se fokusira u svakom koraku. Pre Transformera, značajno je poboljšao kvalitet mašinskog prevođenja oslobađajući modele kompresije celog ulaza u jedan fiksni vektor.
Pročitajte celu metodu
Prijavite se besplatnim nalogom da biste pročitali ovaj odeljak.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Izvori
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/sr/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- BERT fine-tuningDuboko učenje↔ compare
- GPT fino-podešavanjeDuboko učenje↔ compare
- Slučajna šumaMašinsko učenje↔ compare
- Višeglava sopstvena pažnjaDuboko učenje↔ compare
- XGBoostMašinsko učenje↔ compare
Citirana u
Uočili ste grešku na ovoj stranici? Prijavite je ili predložite ispravku →