Attention Mechanism (Bahdanau / Luong Attention)
Običan enkoder-dekoder komprimira cijelu ulaznu sekvencu u jedan fiksni vektorski kontekst, što postaje usko grlo za duge sekvence. Pažnja uklanja to usko grlo: u svakom izlaznom koraku dekoder gleda unatrag preko svih stanja enkoderera i izračunava ponderiranu mješavinu, snažno se oslanjajući na nekoliko pozicija koje su važne za riječ koju treba proizvesti. To je poput prevoditelja koji baci pogled na najrelevantnije izvorne riječi, umjesto da pokušava zapamtiti cijelu rečenicu odjednom.
Pročitajte cijelu metodu
Prijavite se besplatnim računom kako biste pročitali ovaj odjeljak.
Karta metoda
Okruženje srodnih metoda — odaberite čvor za istraživanje.
+3 više
Izvori
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Kako citirati ovu stranicu
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/hr/deep-learning/attention-mechanism
Koja metoda?
Postavite ovu metodu uz njoj najsrodnije i pročitajte ih jednu uz drugu — knjižnica vam knjige stavlja na stol; izbor je na vama.
- Prilagođavanje BERT-a (BERT Fine-Tuning)Duboko učenje↔ usporedi
- Prilagođavanje GPT modela (GPT Fine-Tuning)Duboko učenje↔ usporedi
- Slučajna šumaStrojno učenje↔ usporedi
- Višeglava samopažnjaDuboko učenje↔ usporedi
- XGBoostStrojno učenje↔ usporedi
Citirana u
Uočili ste pogrešku na ovoj stranici? Prijavite je ili predložite ispravak →