Attention Mechanism (Bahdanau / Luong Attention)
Egy egyszerű enkóder-dekóder az egész bemeneti szekvenciát egyetlen rögzített kontextusvektorba préseli, ami hosszú szekvenciák esetén szűk keresztmetszetté válik. A figyelem eltávolítja ezt a szűk keresztmetszetet: minden kimeneti lépésnél a dekóder visszatekint az összes enkóder állapotra, és súlyozott keveréket számít, erősen támaszkodva azokra a kevés pozícióra, amelyek az éppen előállítandó szó szempontjából fontosak. Ez olyan, mintha egy fordító visszatekintene a legrelevánsabb forrás szavakra, ahelyett, hogy megpróbálná egyszerre megjegyezni a teljes mondatot.
A teljes módszer elolvasása
Jelentkezzen be ingyenes fiókkal a szakasz elolvasásához.
Módszertérkép
A rokon módszerek környezete — válasszon ki egy csomópontot a felfedezéshez.
+3 további
Források
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Hogyan hivatkozzon erre az oldalra
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/hu/deep-learning/attention-mechanism
Melyik módszer?
Állítsa e módszert a hozzá legközelebb álló rokonai mellé, és olvassa őket egymás mellett — a könyvtár az asztalra teszi a könyveket; a választás az Öné.
- BERT finomhangolásMélytanulás↔ összehasonlítás
- GPT finomhangolásMélytanulás↔ összehasonlítás
- Véletlen erdőGépi tanulás↔ összehasonlítás
- Multi-Head Self-AttentionMélytanulás↔ összehasonlítás
- XGBoostGépi tanulás↔ összehasonlítás
Hivatkozik rá
Hibát talált ezen az oldalon? Jelentse, vagy javasoljon javítást →