Cơ chế chú ý (Attention Mechanism)
Cơ chế chú ý, được giới thiệu bởi Bahdanau, Cho và Bengio năm 2015 và được cải tiến bởi Luong, Pham và Manning cùng năm, cho phép bộ giải mã chuỗi học động cách tập trung vào các đầu ra nào của bộ mã hóa tại mỗi bước. Trước Transformer, nó đã cải thiện đáng kể chất lượng dịch máy bằng cách giải phóng các mô hình khỏi việc nén toàn bộ đầu vào thành một vectơ cố định duy nhất.
Đọc toàn bộ phương pháp
Đăng nhập bằng tài khoản miễn phí để đọc phần này.
Bản đồ phương pháp
Lân cận của các phương pháp liên quan — chọn một nút để khám phá.
+3 nữa
Nguồn tài liệu
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Cách trích dẫn trang này
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/vi/deep-learning/attention-mechanism
Phương pháp nào?
Đặt phương pháp này bên cạnh những phương pháp gần gũi nhất với nó và đọc chúng song song — thư viện bày sách lên bàn; lựa chọn là của bạn.
- Tinh chỉnh BERTHọc sâu↔ so sánh
- Tinh chỉnh GPTHọc sâu↔ so sánh
- Rừng ngẫu nhiênHọc máy↔ so sánh
- Tự chú ý đa đầuHọc sâu↔ so sánh
- XGBoostHọc máy↔ so sánh
Được tham chiếu bởi
Phát hiện lỗi trên trang này? Báo cáo hoặc đề xuất chỉnh sửa →