Transformer (NLP)

Transformer er en opmærksomhedsbaseret (attention-based) dyb læringsmodel, introduceret af Vaswani og kolleger i 2017, som udfører tekstklassifikation, genkendelse af navngivne entiteter og sprogmodellering ved at lade hvert token i en sekvens direkte rette sin opmærksomhed mod hvert andet token. Den erstattede tidligere rekursive designs med en selvopmærksomhedsmekanisme (self-attention mechanism), der behandler hele sekvenser parallelt.