Transformer (NLP)

Transformer adalah model pembelajaran mendalam berbasis perhatian, yang diperkenalkan oleh Vaswani dan kolega pada tahun 2017, yang melakukan klasifikasi teks, pengenalan entitas bernama, dan pemodelan bahasa dengan membiarkan setiap token dalam sebuah urutan memperhatikan secara langsung setiap token lainnya. Model ini menggantikan desain rekuren sebelumnya dengan mekanisme perhatian diri (self-attention) yang memproses seluruh urutan secara paralel.