ScholarGate
Trợ lý
Machine learning

Tự chú ý đa đầu

Cơ chế tự chú ý đa đầu, được Vaswani và cộng sự giới thiệu vào năm 2017, cho phép mọi vị trí trong một chuỗi tính toán mối quan hệ của nó với tất cả các vị trí khác một cách song song. Đây là cốt lõi của kiến trúc Transformer và là nền tảng của BERT, GPT và T5.

Mở trong MethodMindSắp ra mắtVideoSắp ra mắtDownload slides

Đọc toàn bộ phương pháp

Chỉ dành cho thành viên

Đăng nhập bằng tài khoản miễn phí để đọc phần này.

Đăng nhập

Method map

The neighbourhood of related methods — select a node to explore.

Tự chú ý đa đầu
Tinh chỉnh BERTTinh chỉnh GPTLoRA và PEFTRừng ngẫu nhiênXGBoostCơ chế chú ý (Attention…RNN hai chiềuSinh Tăng Cường Truy Xuấ…Mô hình Sequence-to-Sequ…

Nguồn tài liệu

  1. Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS. link ↗
  2. Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL. link ↗

Cách trích dẫn trang này

ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/vi/deep-learning/self-attention-transformer

Which method?

Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.

Compare side by side →

Được tham chiếu bởi

Cơ chế chú ý (Attention Mechanism)RNN hai chiềuSinh Tăng Cường Truy Xuất (RAG)Mô hình Sequence-to-Sequence (Seq2Seq)

Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →

ScholarGate — Self-Attention (Multi-Head Self-Attention (Transformer Core)). Truy cập ngày 2026-06-15 từ https://scholargate.app/vi/deep-learning/self-attention-transformer · Bộ dữ liệu: https://doi.org/10.5281/zenodo.20539026