Transformer tự giám sát

Một Transformer tự giám sát là một mạng Transformer được huấn luyện trước bằng cách sử dụng các tín hiệu giám sát được xây dựng tự động — chẳng hạn như dự đoán token bị che hoặc dự đoán câu tiếp theo — thay vì nhãn do con người chú thích. Các biểu diễn kết quả sau đó được tinh chỉnh hoặc dò tìm trên các tác vụ hạ nguồn. BERT, GPT và ViT (Vision Transformer ở chế độ mô hình hóa ảnh bị che) là những hiện thân được biết đến rộng rãi nhất của mô hình này.