BERT-Einbettungen — Kontextsensitive Textrepräsentationen

BERT-basierte Text-Einbettungen, die 2019 von Devlin und Kollegen bei Google AI eingeführt wurden, wandeln Text mithilfe eines bidirektionalen Transformer-Encoders in kontextsensitive dichte Vektoren um. Da sich die Bedeutung eines Wortes mit seinem Kontext verschiebt, erzeugt BERT reichhaltigere Repräsentationen als statische Methoden wie Word2Vec oder Themenmodelle wie LDA.