Huomiomekanismi
Bahdanau, Cho ja Bengio vuonna 2015 esittelemä ja Luongin, Phamin ja Manningin samana vuonna kehittämä huomiomekanismi antaa sekvenssien dekooderin dynaamisesti oppia, mihin enkooderin ulostuloihin kussakin vaiheessa keskittyä. Ennen Transformer-mallia se paransi merkittävästi konekäännöksen laatua vapauttamalla mallit koko syötteen pakkaamisesta yhteen kiinteään vektoriin.
Lue koko menetelmä
Kirjaudu sisään maksuttomalla tilillä lukeaksesi tämän osion.
Menetelmäkartta
Lähimenetelmien naapurusto — valitse solmu tutkiaksesi.
+3 lisää
Lähteet
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Näin viittaat tähän sivuun
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/fi/deep-learning/attention-mechanism
Mikä menetelmä?
Aseta tämä menetelmä lähimpien sukulaistensa rinnalle ja lue niitä yhdessä — kirjasto asettaa teokset pöydälle; valinta on sinun.
- BERT-hienosäätöSyväoppiminen↔ vertaa
- GPT-mallin hienosäätöSyväoppiminen↔ vertaa
- Random ForestKoneoppiminen↔ vertaa
- Monipäinen itsehuomio (Multi-Head Self-Attention)Syväoppiminen↔ vertaa
- XGBoostKoneoppiminen↔ vertaa
Tähän viittaavat
Huomasitko virheen tällä sivulla? Ilmoita siitä tai ehdota korjausta →