Lenet-5神经网络 作者：马育民 • 2020-05-16 15:18 • 阅读：10052 # 介绍 LeNet神经网络由深度学习三巨头之一的Yan LeCun提出，他同时也是卷积神经网络 (CNN，Convolutional Neural Networks)之父。 论文： Gradient-Based Learning Applied to Document Recognition # 结构 [](https://www.malaoshi.top/upload/0/0/1EF5X6oJLUKi.jpg) 1. 输入层 图片大小为 32×32×1，其中 1 表示为黑白图像，只有一个 channel。 2. 卷积层 filter 大小 5×5，filter 数量为 6，padding 为 0， 卷积步长 s=1，输出feature map为 `28×28×6` 3. 池化层 average pooling，filter 大小 2×2，步长 s=2，no padding，输出feature map为 `14×14×6` 4. 卷积层 filter 大小 5×5，filter 数量为 16，padding 为 0， 卷积步长 s=1，输出feature map为 `10×10×16` 5. 池化层 average pooling，filter 大小 2×2（即 𝑓=2），步长 𝑠=2，no padding，输出矩阵大小为 5×5×16。注意，在该层结束，需要将 5×5×16 的矩阵flatten 成一个 400 维的向量。 6. 全连接层（Fully Connected layer，FC） 神经元 数量为 120。 7. 全连接层（Fully Connected layer，FC） 神经元 数量为 84。 8. 全连接层，输出层 现在版本的 LeNet-5 输出层一般会采用 softmax 激活函数，神经元数量为 10，代表 0～9 十个数字类别。在 LeNet-5 提出的论文中使用的激活函数不是 softmax ### 总结 - 如果输入层不算神经网络的层数，那么 LeNet-5 是一个 7 层的网络，含可训练参数的层数为 5。 - LeNet-5 大约有 60,000 个参数。 - 随着网络越来越深，图像的高度和宽度在缩小，与此同时，图像的 channel 数量一直在增加。 - 现在常用的 LeNet-5 结构和 Yann LeCun 教授在 1998 年论文中提出的结构在某些地方有区别，比如激活函数的使用，现在一般使用 ReLU 作为激活函数，输出层一般选择 softmax。 # 意义 LeNet的实现确立了CNN的结构，它包含了深度学习的基本模块：卷积层，池化层，全链接层，是CNN的基础 # 应用 LeNet主要用来进行手写字符的识别与分类，并在美国的银行中投入了使用。 https://blog.csdn.net/qq_31278903/article/details/90512039 原文出处：http://malaoshi.top/show_1EF5X7TvNqeO.html