Attention Mechanism (Bahdanau / Luong Attention)

Ein einfacher Encoder-Decoder presst eine ganze Eingabesequenz in einen einzigen festen Kontextvektor, der bei langen Sequenzen zu einem Engpass wird. Attention beseitigt diesen Engpass: Bei jedem Ausgabeschritt blickt der Decoder über alle Encoder-Zustände zurück und berechnet eine gewichtete Mischung, die sich stark auf die wenigen Positionen stützt, die für das Wort, das er gerade produzieren will, wichtig sind. Es ist, als ob ein Übersetzer auf die relevantesten Quellwörter zurückblickt, anstatt zu versuchen, den gesamten Satz auf einmal zu erinnern.