概述
这里以 二分类 作为案例,讲解 后向传播(反向传播)
作用
由于前向传播中,权重 是 随机初始化 的,偏置量 一般为 0,所以计算的结果 与 真实值有 误差
反向传播的作用:找到 合适的 权重 和 偏置量,让 误差尽可能的小
逻辑回归 的损失函数
损失函数参见 : 损失函数-逻辑回归(二分类)
y^ 是样本i的预估值,也就是sigmoid函数计算的结果
所以 成本函数 如下:
注意:
- x是样本特征值
- y是样本的目标值
- m是样本数量
- w是要求得的权重
- b是要求得的偏置量
目的:
找到合适的 w 和 b,使得上面的式子 结果 尽可能的 小,那么 误差 也就尽可能的 小
梯度下降
图像像碗的形状,有全局最小值,所以逻辑回归才使用该成本函数
求导
也就是预估值 减去 真实值,如下:
向量化
由于多个样本,在求导时需要使用for语句,这种效率低下,通过向量化,可以避免使用for语句
一句话解释:向量化就是将数据封装成矩阵,通过矩阵计算,避免for语句






