概述

在2012年，Hinton在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出Dropout。

当一个复杂的前馈神经网络被训练在小的数据集时，容易造成过拟合。为了防止过拟合，可以通过阻止特征检测器的共同作用来提高神经网络的性能。

什么是Dropout

在每个训练批次中，通过 忽略一半 的特征检测器（神经元），即：让一半的隐层节点值为0，可以 明显减少过拟合 现象。

一句话解释：前向传播时，让某些神经元以一定的概率不工作。

如下图：

训练和预测

dropout是体现在训练环节，训练完成后，就认为所有的神经元都被训练好了

在验证或预测阶段，是用完整的神经网络去验证或测试。

何时使用

发生过拟合
神经网络过深
训练时间过长
没有足够多的数据时

Dropout工作流程

假设要训练下图神经网络

输入是x输出是y，正常的流程是：我们首先把x通过网络前向传播，然后把误差反向传播以决定如何更新参数让网络进行学习。

使用Dropout之后，过程变成如下：

首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变（图中虚线为部分临时被删除的神经元）
然后把输入x通过修改后的网络前向传播，然后把得到的损失结果反向传播。一小批训练样本执行完这个过程后，在 保留的神经元 上按照随机梯度下降法 更新参数（w，b）。
然后继续重复这一过程：
1. 恢复被删掉的神经元（此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新）
2. 重复第一步。
3. 重复第二部。

不断重复这一过程。

为什么说Dropout可以解决过拟合

1. 取平均的作用

用相同的训练数据去训练 5个不同 的神经网络（没有dropout），一般会得到5个不同的结果，此时我们可以采用 “5个结果取均值”或者“多数取胜的投票策略”去决定最终结果。

例如：3个网络判断结果为数字9,那么很有可能真正的结果就是数字9，其它两个网络给出了错误结果。这种“综合起来取平均”的策略通常可以有效防止过拟合问题。因为不同的网络可能产生不同的过拟合，取平均则有可能让一些“相反的”拟合互相抵消。

dropout层随机删掉不同的神经元，在训练时，就类似在训练不同的神经网络，整个dropout过程就相当于对很多个不同的神经网络取平均。

不同的神经网络产生不同的过拟合，一些互为“反向”的过拟合相互抵消，就可以达到整体上减少过拟合。

2. 减少神经元之间复杂的共适应关系

dropout层随机删掉不同的神经元，导致神经元不一定每次都在网络中出现，这样权值的更新不再依赖于有固定关系的神经元的共同作用，阻止了某些特征仅仅在其它特定特征下才有效果的情况。

迫使网络去学习更加鲁棒的特征，这些特征在其它的神经元的随机子集中也存在。换句话说假如我们的神经网络是在做出某种预测，它不应该对一些特定的线索片段太过敏感，即使丢失特定的线索，它也应该可以从众多其它线索中学习一些共同的特征。从这个角度看dropout就有点像L1，L2正则，减少权重使得网络对丢失特定神经元连接的鲁棒性提高。