逻辑回归的后向传播（反向传播） 作者：马育民 • 2019-10-25 15:58 • 阅读：10187 # 概述 这里以 **二分类** 作为案例，讲解 后向传播（反向传播） ### 作用 由于前向传播中，**权重** 是 **随机初始化** 的，**偏置量** 一般为 **0**，所以计算的结果 与 真实值有 **误差** 反向传播的作用：找到 合适的 **权重** 和 **偏置量**，让 **误差尽可能的小** ### 逻辑回归 的损失函数 损失函数参见 ： [损失函数-逻辑回归（二分类）](https://www.malaoshi.top/show_1EF4JMvnqCh1.html "损失函数-逻辑回归（二分类）") 即公式如下： [](https://www.malaoshi.top/upload/0/0/1EF4JjnGmC3P.png) **y^** 是样本i的预估值，也就是sigmoid函数计算的结果 **sigmoid函数** 如下： [](https://www.malaoshi.top/upload/0/0/1EF4JTozdMrY.png) 所以 **成本函数** 如下： [](https://www.malaoshi.top/upload/0/0/1EF4Jk0jFB5d.png) **注意：** - x是样本特征值 - y是样本的目标值 - m是样本数量 - w是要求得的权重 - b是要求得的偏置量 **目的：** 找到合适的 **w** 和 **b**，使得上面的式子 **结果** 尽可能的 **小**，那么 **误差** 也就尽可能的 **小** ### 梯度下降 成本函数图像如下图： [](https://www.malaoshi.top/upload/0/0/1EF4JqEsOZc3.jpg) 图像像碗的形状，有全局最小值，所以逻辑回归才使用该成本函数 ### 求导 [](https://www.malaoshi.top/upload/0/0/1EF4Jr8obN9N.png) 也就是预估值 减去 真实值，如下： [](https://www.malaoshi.top/upload/0/0/1EF4Jr8z8FxQ.png) ### 向量化 由于多个样本，在求导时需要使用for语句，这种效率低下，通过向量化，可以避免使用for语句 一句话解释：向量化就是将数据封装成矩阵，通过矩阵计算，避免for语句 [](https://www.malaoshi.top/upload/0/0/1EF4JrK8tgFY.png) 原文出处：http://malaoshi.top/show_1EF4JTwbOAQf.html