神经网络 - 前馈神经网络

概念

前馈神经网络（Feedforward Neural Network，FNN），也称多层感知器（Multi-Layer Perceptron，MLP），是一种人工神经网络模型，其中数据流仅沿一个方向移动：从输入层通过隐藏层到达输出层，而不会形成任何反馈连接。这意味着前馈神经网络中不存在环或向后（回传）的连接。

前馈神经网络的记号：

令𝒂(0) = 𝒙，前馈神经网络通过不断迭代下面公式进行信息传播：

1. 首先根据第𝑙−1层神经元的活性值（Activation）𝒂(𝑙−1) 计算出第𝑙层神经元的净活性值（Net Activation）𝒛(𝑙)。
2. 然后经过一个激活函数得到第 𝑙 层神经元的活性值。

因此，我们也可以把每个神经层看作一个仿射变换（Affine Transformation）和一个非线性变换。

这样，前馈神经网络可以通过逐层的信息传递，得到网络最后的输出 𝒂(𝐿)。整个网络可以看作一个复合函数𝜙(𝒙;𝑾, 𝒃)，将向量𝒙作为第1层的输入𝒂(0)，将 第𝐿层的输出𝒂(𝐿) 作为整个函数的输出．

𝒙 = 𝒂(0) → 𝒛(1) → 𝒂(1) → 𝒛(2) → ⋯ → 𝒂(𝐿−1) → 𝒛(𝐿) → 𝒂(𝐿) = 𝜙(𝒙; 𝑾, 𝒃)

前馈神经网络作为一种能力很强的非线性模型，其能力可以由通用近似定理来保证。