NiN网络

参考文章

• NIN一个即使放到现在也不会过时的网络

概念

传统的卷积层使用的都是**“卷积+非线性变换”的组合来对输入的数据进行特征提取**。存在的局限性：

• 传统卷积层使用的是线性滤波器（filter），后接一个非线性激活函数（如ReLU）。
• 这种“线性+非线性”的组合虽然有效，但特征表示能力受限于线性组合。

NIN网络由加州大学伯克利分校的研究团队提出，并在《Network In Network》论文中进行了详细阐述。该论文发表于ICLR-2014，NIN以一种全新的角度审视了卷积神经网络中的卷积核设计，通过引入子网络结构代替纯卷积中的线性映射部分，从而提高了网络的表达能力和非线性特性。

核心组件

多层感知机（MLP）卷积层：

• NIN网络引入了称为"多层感知机（MLP）卷积"的新型卷积层。
• 该层使用1x1的卷积核来在通道维度上进行特征组合，从而增强了网络的表达能力。
• 1x1卷积层的主要作用是对输入特征进行通道间的线性组合，增加网络的非线性表达能力。

全局平均池化层：

• NIN网络用全局平均池化层代替传统的全连接层。
• 全局平均池化层对每个通道中的所有元素求平均，然后直接用于分类。
• 这种设计显著减少了模型参数的数量，有助于防止过拟合。

• NiN块使用卷积层 + 两个 1X1卷积层（对每个像素增加非线性性）
• 使用全局平均池化层来代替VCG和AlexNet中的全连接层