Embedding BERT — Representasi Teks Kontekstual

Embedding teks berbasis BERT, yang diperkenalkan oleh Devlin dan rekan-rekannya di Google AI pada tahun 2019, mengubah teks menjadi vektor padat yang peka terhadap konteks menggunakan encoder Transformer bidireksional. Karena makna sebuah kata bergeser dengan konteksnya, BERT menghasilkan representasi yang lebih kaya daripada metode statis seperti Word2Vec atau model topik seperti LDA.