Long Short-Term Memory (LSTM)

Egy egyszerű rekurrens hálózat egyetlen rejtett állapoton keresztül próbálja meg átvinni az információt az időben, de a gradiens elhanyagolhatóvá vagy robbanásszerűvé válik hosszú szekvenciák esetén, így szinte lehetetlen megtanulni a sok lépést átfogó függőségeket. Az LSTM-ek ezt egy különálló memóriacellával oldják meg, amely egy szállítószalagként működik: az elfelejtő kapu eldönti, hogy mely régi információkat törölje, a bemeneti kapu új információkat ad hozzá, a kimeneti kapu pedig meghatározza, hogy a cella mit tár fel a következő réteg számára. Mivel a cella az információt nagyrészt változatlanul tudja szállítani sok lépésen keresztül, a gradiens megbízhatóbban áramlik a képzés során, lehetővé téve a hálózat számára, hogy megtanulja az olyan mintákat, amelyek mondatokat, bekezdéseket vagy hosszú időablakokat ölelnek fel.