Multilingual LSTM

En LSTM læser en sekvens token for token og vedligeholder en hukommelsescelle, der kan bevare information over mange trin – den husker et subjekt, der blev nævnt tidligt i en sætning, når den senere skal tildele en mærkat. Når den udvides til flere sprog, lærer modellen et delt repræsentationsrum, hvor ord fra forskellige sprog med lignende betydninger lander i lignende regioner. Dette delte rum lader modellen overføre det, den har lært i ét sprog, til et andet, hvilket er særligt nyttigt, når mærkede data er knappe i målssproget.