Векторные представления BERT — Контекстуализированные текстовые представления

Текстовые векторные представления на основе BERT, представленные Девлином и его коллегами из Google AI в 2019 году, преобразуют текст в контекстно-зависимые плотные векторы с использованием двунаправленного энкодера Transformer. Поскольку значение слова меняется в зависимости от контекста, BERT создает более богатые представления, чем статические методы, такие как Word2Vec, или тематические модели, такие как LDA.