论文下载：https://arxiv.org/abs/1312.4400
本站：https://www.malaoshi.top/show_1EF5XPh0N0a9.html
介绍
论文主要讲了2个部分：
MLP 的好处
Global Average Pooling（GAP）的好处
MLP
传统CNN的缺点
传统的CNN都是 convolution + activation function 来提取特征，如下：
Linear convolution layer
其中convolution可以看做是广义线性模型（generalized linear model，GLM），也就是说：传统的CNN假设特征是线性可分的，但实际上特征是非线性的。
解决缺点的关键-MLP
为了解决此问题，引入多层感知器呢（multilayer perceptron，MLP），如下：
Mlpconv layer
即：conv+activation+conv(1x1)+activation+conv(1x1)+activation
CCCP
在多通道中，称之为：cascaded cross channel parameteric pooling，CCCP，也就是说：一般在网络中使用的是 CCCP
1×1卷积的作用
1x1的卷积核与多个feature map的做卷积运算，可以实现feature map在通道个数上的变化。接在普通的卷积层的后面，配合激活函数，就可以实现network in network的结构了
Network In Network（NIN）
NIN的整体结构是多个mlpconv层的堆叠。被称为“Network In Network”（NIN）
GAP
全连接层容易过度拟合，并且严重依赖dropout
GAP本身就是正则化，防止过拟合。
caffe网络结构数据
http://ethereon.github.io/netscope/#/preset/nin
| Layer | channels | Filter size | Filter stride | Padding size | Input size |
|---|---|---|---|---|---|
| conv1 | 96 | 11 | 4 | - | 224×224 |
| cccp1 | 96 | 1 | 1 | - | 54×54 |
| cccp2 | 96 | 1 | 1 | - | 54×54 |
| pool1 | 96 | 3 | 2 | - | 54×54 |
| conv2 | 256 | 5 | 1 | 2 | 27×27 |
| cccp3 | 256 | 1 | 1 | - | 27×27 |
| cccp4 | 256 | 1 | 1 | - | 27×27 |
| pool2 | 256 | 3 | 2 | - | 27×27 |
| conv3 | 384 | 3 | 1 | 1 | 13×13 |
| cccp5 | 384 | 1 | 1 | - | 13×13 |
| cccp6 | 384 | 1 | 1 | - | 13×13 |
| pool3 | 384 | 3 | 2 | - | 13×13 |
| conv4-1024 | 1024 | 3 | 1 | 1 | 6×6 |
| cccp7-1024 | 1024 | 1 | 1 | - | 6×6 |
| cccp8-1000 | 1000 | 1 | 1 | - | 6×6 |
| pool4-ave | 1000 | 6 | 1 | - | 6×6 |
| accuracy | 1000 | - | - | - | 1×1 |