Autoatención Multi-cabeza
La autoatención multi-cabeza, introducida por Vaswani y colegas en 2017, es el mecanismo que permite a cada posición en una secuencia computar su relación con todas las demás posiciones en paralelo. Es el núcleo de la arquitectura Transformer y la base de BERT, GPT y T5.
Leer el método completo
Inicia sesión con una cuenta gratuita para leer esta sección.
Mapa de métodos
El vecindario de métodos relacionados: selecciona un nodo para explorarlo.
Fuentes
Cómo citar esta página
ScholarGate. (2026, June 1). Multi-Head Self-Attention (Transformer Core). ScholarGate. https://scholargate.app/es/deep-learning/self-attention-transformer
¿Qué método?
Coloca este método junto a sus parientes más cercanos y léelos lado a lado: la biblioteca pone los libros sobre la mesa; la elección es tuya.
- Ajuste fino de BERTAprendizaje profundo↔ comparar
- Ajuste fino de GPTAprendizaje profundo↔ comparar
- LoRA y PEFTAprendizaje profundo↔ comparar
- Random ForestAprendizaje automático↔ comparar
- XGBoostAprendizaje automático↔ comparar
Citado por
¿Has visto un problema en esta página? Infórmanos o sugiere una corrección →