BERT Embeddings — Representaciones Contextuales de Texto

Las incrustaciones de texto basadas en BERT, introducidas por Devlin y colegas en Google AI en 2019, convierten el texto en vectores densos sensibles al contexto utilizando un codificador Transformer bidireccional. Dado que el significado de una palabra cambia con su contexto, BERT produce representaciones más ricas que métodos estáticos como Word2Vec o modelos de temas como LDA.