Machine learning
Multi-Head Self-Attention
Multi-head self-attention, introducerat av Vaswani och kollegor 2017, är mekanismen som låter varje position i en sekvens beräkna sin relation till alla andra positioner parallellt. Det är kärnan i Transformer-arkitekturen och grunden för BERT, GPT och T5.
Läs hela metoden
Endast för medlemmar
Logga inLogga in med ett kostnadsfritt konto för att läsa avsnittet.
Metodkarta
Närområdet av besläktade metoder — välj en nod för att utforska.
Källor
Så citerar du den här sidan
ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/sv/deep-learning/self-attention-transformer
Vilken metod?
Placera den här metoden bredvid sina närmaste släktingar och läs dem sida vid sida — biblioteket lägger fram böckerna på bordet; valet är ditt.
- BERT-finjusteringDjupinlärning↔ jämför
- Finjustering av GPTDjupinlärning↔ jämför
- LoRA och PEFTDjupinlärning↔ jämför
- Random ForestMaskininlärning↔ jämför
- XGBoostMaskininlärning↔ jämför
Refereras av
Hittade du ett fel på sidan? Rapportera eller föreslå en rättelse →