Mehrsprachiges LSTM

Ein LSTM liest eine Sequenz Token für Token und unterhält eine Speicherzelle, die Informationen über viele Schritte hinweg speichern kann – sie erinnert sich an ein Subjekt, das früh in einem Satz erwähnt wurde, wenn später eine Markierung zugewiesen werden muss. Wenn es auf mehrere Sprachen erweitert wird, lernt das Modell einen gemeinsamen Darstellungsraum, in dem Wörter aus verschiedenen Sprachen mit ähnlicher Bedeutung in ähnlichen Regionen landen. Dieser gemeinsame Raum ermöglicht es dem Modell, das in einer Sprache Gelernte auf eine andere zu übertragen, was besonders nützlich ist, wenn in der Zielsprache nur wenige gekennzeichnete Daten verfügbar sind.