Μηχανισμός Προσοχής
Ο μηχανισμός προσοχής (attention mechanism), που εισήχθη από τους Bahdanau, Cho και Bengio το 2015 και βελτιώθηκε από τους Luong, Pham και Manning την ίδια χρονιά, επιτρέπει σε έναν αποκωδικοποιητή ακολουθιών να μαθαίνει δυναμικά σε ποιες από τις εξόδους του κωδικοποιητή να εστιάζει σε κάθε βήμα. Πριν από τον Transformer, βελτίωσε σημαντικά την ποιότητα της μηχανικής μετάφρασης, απελευθερώνοντας τα μοντέλα από τη συμπίεση μιας ολόκληρης εισόδου σε ένα ενιαίο σταθερό διάνυσμα.
Διαβάστε ολόκληρη τη μέθοδο
Συνδεθείτε με δωρεάν λογαριασμό για να διαβάσετε αυτή την ενότητα.
Method map
The neighbourhood of related methods — select a node to explore.
+3 more
Πηγές
- Bahdanau, D., Cho, K. & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR. link ↗
- Luong, M.T., Pham, H. & Manning, C.D. (2015). Effective Approaches to Attention-based Neural Machine Translation. EMNLP, 1412–1421. DOI: 10.18653/v1/D15-1166 ↗
Πώς να παραπέμψετε σε αυτή τη σελίδα
ScholarGate. (2026, June 1). Attention Mechanism (Bahdanau / Luong Attention). ScholarGate. https://scholargate.app/el/deep-learning/attention-mechanism
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Επαναρρύθμιση (Fine-Tuning) του BERTΒαθιά Μάθηση↔ compare
- Εκπαίδευση GPT (Fine-Tuning)Βαθιά Μάθηση↔ compare
- Τυχαίο ΔάσοςΜηχανική Μάθηση↔ compare
- Αυτο-προσοχή πολλαπλών κεφαλώνΒαθιά Μάθηση↔ compare
- XGBoostΜηχανική Μάθηση↔ compare
Αναφέρεται από
Εντοπίσατε πρόβλημα σε αυτή τη σελίδα; Αναφέρετέ το ή προτείνετε διόρθωση →