Αυτο-προσοχή πολλαπλών κεφαλών
Η αυτο-προσοχή πολλαπλών κεφαλών, που εισήχθη από τους Vaswani και συνεργάτες το 2017, είναι ο μηχανισμός που επιτρέπει σε κάθε θέση σε μια ακολουθία να υπολογίζει τη σχέση της με όλες τις άλλες θέσεις παράλληλα. Αποτελεί τον πυρήνα της αρχιτεκτονικής Transformer και τη βάση των BERT, GPT και T5.
Διαβάστε ολόκληρη τη μέθοδο
Συνδεθείτε με δωρεάν λογαριασμό για να διαβάσετε αυτή την ενότητα.
Method map
The neighbourhood of related methods — select a node to explore.
Πηγές
Πώς να παραπέμψετε σε αυτή τη σελίδα
ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/el/deep-learning/self-attention-transformer
Which method?
Set this method beside its closest kin and read them side by side — the library lays the books on the table; the choice is yours.
- Επαναρρύθμιση (Fine-Tuning) του BERTΒαθιά Μάθηση↔ compare
- Εκπαίδευση GPT (Fine-Tuning)Βαθιά Μάθηση↔ compare
- LoRA και PEFTΒαθιά Μάθηση↔ compare
- Τυχαίο ΔάσοςΜηχανική Μάθηση↔ compare
- XGBoostΜηχανική Μάθηση↔ compare
Αναφέρεται από
Εντοπίσατε πρόβλημα σε αυτή τη σελίδα; Αναφέρετέ το ή προτείνετε διόρθωση →