介绍

LeNet神经网络由深度学习三巨头之一的Yan LeCun提出，他同时也是卷积神经网络 (CNN，Convolutional Neural Networks)之父。

论文：
Gradient-Based Learning Applied to Document Recognition

结构

输入层
图片大小为 32×32×1，其中 1 表示为黑白图像，只有一个 channel。
卷积层
filter 大小 5×5，filter 数量为 6，padding 为 0，卷积步长 s=1，输出feature map为 28×28×6
池化层
average pooling，filter 大小 2×2，步长 s=2，no padding，输出feature map为 14×14×6
卷积层
filter 大小 5×5，filter 数量为 16，padding 为 0，卷积步长 s=1，输出feature map为 10×10×16
池化层
average pooling，filter 大小 2×2（即 𝑓=2），步长 𝑠=2，no padding，输出矩阵大小为 5×5×16。注意，在该层结束，需要将 5×5×16 的矩阵flatten 成一个 400 维的向量。
全连接层（Fully Connected layer，FC）
神经元数量为 120。
全连接层（Fully Connected layer，FC）
神经元数量为 84。
全连接层，输出层
现在版本的 LeNet-5 输出层一般会采用 softmax 激活函数，神经元数量为 10，代表 0～9 十个数字类别。在 LeNet-5 提出的论文中使用的激活函数不是 softmax

如果输入层不算神经网络的层数，那么 LeNet-5 是一个 7 层的网络，含可训练参数的层数为 5。
LeNet-5 大约有 60,000 个参数。
随着网络越来越深，图像的高度和宽度在缩小，与此同时，图像的 channel 数量一直在增加。
现在常用的 LeNet-5 结构和 Yann LeCun 教授在 1998 年论文中提出的结构在某些地方有区别，比如激活函数的使用，现在一般使用 ReLU 作为激活函数，输出层一般选择 softmax。

LeNet的实现确立了CNN的结构，它包含了深度学习的基本模块：卷积层，池化层，全链接层，是CNN的基础

LeNet主要用来进行手写字符的识别与分类，并在美国的银行中投入了使用。