Aprendizaje Profundo
El aprendizaje profundo entrena redes neuronales con muchas capas para aprender representaciones jerárquicas de datos, logrando resultados de vanguardia en visión, habla y lenguaje.
Definition
El aprendizaje profundo es la rama del aprendizaje automático que utiliza redes neuronales con múltiples capas de procesamiento no lineal para aprender representaciones de datos en niveles crecientes de abstracción, con parámetros ajustados de principio a fin mediante el descenso de gradiente en una función de pérdida.
Scope
Esta área cubre las redes neuronales multicapa y las técnicas que las hacen entrenables a escala: arquitecturas de red desde las de alimentación directa hasta las convolucionales y recurrentes, el algoritmo de retropropagación y la optimización basada en gradientes, métodos de regularización como el abandono (dropout), y modelos generativos profundos. Aborda por qué la profundidad permite el aprendizaje de características compuestas y qué desafíos surgen al entrenar modelos muy profundos.
Sub-topics
Core questions
- ¿Por qué muchas capas permiten el aprendizaje de características jerárquicas?
- ¿Cómo se logra que el entrenamiento basado en gradientes funcione para redes profundas?
- ¿Qué arquitecturas son adecuadas para imágenes, secuencias y otros tipos de datos?
- ¿Cómo afectan las elecciones de regularización y optimización a la generalización?
Key theories
- Aprendizaje de representación jerárquica
- Apilar capas permite que una red componga características simples en otras cada vez más abstractas, de modo que las capas tempranas detectan bordes o sonidos y las capas posteriores detectan objetos o palabras, aprendidas automáticamente a partir de los datos.
- Entrenamiento de extremo a extremo mediante retropropagación
- Toda la red se optimiza conjuntamente propagando los gradientes de error hacia atrás a través de sus capas, lo que permite que la extracción de características y la predicción se aprendan juntas en lugar de ser diseñadas manualmente.
- Profundidad y eficiencia expresiva
- Las redes profundas pueden representar ciertas funciones de manera mucho más compacta que las superficiales, lo que, junto con grandes conjuntos de datos y computación, subyace a su éxito empírico.
Clinical relevance
El aprendizaje profundo ha impulsado avances en el reconocimiento de imágenes y voz, la traducción automática y los grandes modelos de lenguaje, y sustenta gran parte de la inteligencia artificial contemporánea; su dependencia de grandes conjuntos de datos y una computación sustancial, así como la opacidad de los modelos resultantes, son consideraciones prácticas y éticas centrales en su implementación.
History
Las redes neuronales se remontan al perceptrón y a la retropropagación, popularizada en 1986, pero las redes profundas fueron difíciles de entrenar hasta mediados de la década de 2000. Los avances en la inicialización, las funciones de activación, los grandes conjuntos de datos etiquetados y la computación con procesadores gráficos permitieron la revolución del aprendizaje profundo a partir de 2012, remodelando la visión por computadora, el habla y el procesamiento del lenguaje natural.
Debates
- Escala versus nuevas ideas
- Gran parte del progreso reciente ha provenido del entrenamiento de modelos más grandes con más datos y computación, lo que ha provocado un debate sobre hasta dónde puede llegar la escala por sí sola frente a la necesidad de nuevas ideas arquitectónicas o algorítmicas.
Key figures
- Geoffrey Hinton
- Yann LeCun
- Yoshua Bengio
- Juergen Schmidhuber
Related topics
Seminal works
- goodfellow2016
- lecun2015
- bengio2013
Frequently asked questions
- ¿Qué hace que el aprendizaje sea profundo?
- La profundidad se refiere al número de capas sucesivas de transformación no lineal entre la entrada y la salida. Cada capa se basa en las características de la anterior, por lo que una red profunda aprende una jerarquía de representaciones en lugar de un único mapeo directo.
- ¿Por qué el aprendizaje profundo despegó solo recientemente?
- Las ideas centrales existieron durante décadas, pero el entrenamiento de redes profundas requería grandes conjuntos de datos etiquetados, hardware paralelo rápido como procesadores gráficos y técnicas como una mejor inicialización y funciones de activación. Esto se unió alrededor de 2012, permitiendo ganancias dramáticas en tareas de percepción.