Weakly Supervised Sentence Embeddings

Menganotasi ribuan ayat secara manual adalah mahal, tetapi pengetahuan domain sering wujud sebagai peraturan mudah: ayat yang mengandungi 'kejadian buruk' berkemungkinan menggambarkan komplikasi klinikal; ulasan dengan banyak tanda seru mungkin positif. Penyeliaan lemah menukar intuisi ini kepada isyarat latihan probabilistik. Pengekod — biasanya transformer yang telah dilatih awal — kemudiannya diselaraskan pada label berisik ini, belajar untuk meletakkan ayat yang berkaitan secara semantik berdekatan dalam ruang vektor walaupun tanpa label emas yang bersih. Hasilnya ialah perwakilan yang berguna untuk tugas pengelasan, pengambilan, dan pengelompokan di mana bajet anotasi penuh tidak tersedia.