神经网络架构

神经网络架构规定了人工神经元如何连接成层，从而定义了网络可以表示的函数族。

Definition

神经网络架构是将人工神经元排列成相互连接的层，其中每个神经元计算其输入加权和的非线性函数；该架构决定了网络的容量及其在学习问题中引入的归纳偏置。

Scope

本主题涵盖了神经网络的构建模块和结构：具有加权输入和非线性激活的人工神经元、全连接前馈层和多层感知器、sigmoid和修正线性单元等激活函数，以及深度、宽度和连接性如何塑造网络学习能力。它介绍了通用逼近性质和架构选择的作用。

Core questions

• 人工神经元如何计算其输出？
• 多层网络可以表示单层网络无法表示的什么？
• 激活函数如何影响学习？
• 深度和宽度如何在容量和可训练性之间进行权衡？

Key theories

通用逼近

具有单个足够宽的隐藏层的前馈网络可以逼近有界域上的任何连续函数，从而确立了神经网络作为灵活函数逼近器的地位。

激活函数和非线性

非线性激活是多层网络发挥其强大功能的原因；特别是修正线性单元，它有助于梯度流动，并已成为深度网络的默认选择。

深度即组合

增加层数可以组合变换，使网络构建越来越抽象的特征，通常比单个宽层更有效地表示复杂函数。

Clinical relevance

架构选择是将问题先验知识构建到深度模型中的主要方式，从用于通用数据的全连接网络到用于图像和序列的专用结构；理解人工神经元和通用逼近性质阐明了神经网络的强大功能和局限性。

History

人工神经元可追溯到麦卡洛克和皮茨以及罗森布拉特的感知器。明斯基和帕佩特对单层网络的批判一度减缓了该领域的发展，直到多层网络和反向传播使其复兴，深度学习时代带来了由修正线性单元和其他组件构建的数十或数百层的架构。

Key figures

• Frank Rosenblatt
• Geoffrey Hinton
• Yann LeCun

Seminal works

• goodfellow2016
• bishop2006
• lecun2015

Frequently asked questions

什么是激活函数，为什么需要它？

激活函数对神经元的加权输入和应用非线性变换。如果没有它，堆叠层只会产生另一个线性函数，因此非线性是使深度网络能够表示复杂非线性关系的关键。

如果一个宽层可以逼近任何函数，为什么还要加深网络？

通用逼近理论表明，浅层网络原则上可以拟合任何函数，但可能需要不切实际的大量神经元。深度网络通常可以更紧凑地表示相同的函数，并学习有用的分层特征，这就是为什么在实践中更倾向于使用深度网络。