Self-supervised Learning for Sentence Embeddings

Dhana kuu ni kwamba sentensi, inapopitishwa mara mbili kupitia kipitishaji sawa cha 'transformer' chenye 'dropout masks' tofauti, inapaswa kutoa uwakilishi unaokaribiana zaidi kuliko sentensi nyingine yoyote kwenye kundi (batch). Kwa kuongeza makubaliano kati ya mitazamo hii miwili huku ikitenganisha sentensi zisizohusiana, kipitishaji hujifunza kuweka maandishi yenye maana sawa karibu na kila mmoja katika nafasi ya uwakilishi (embedding space)—yote hayo bila binadamu kuweka lebo hata jozi moja. Ishara hii isiyo na usimamizi ni yenye nguvu ya kushangaza na mara nyingi hushindana na mbinu zenye usimamizi kwenye vipimo vya utendaji (benchmarks).