逻辑回归的后向传播(反向传播)

概述

这里以 二分类 作为案例,讲解 后向传播(反向传播)

作用

由于前向传播中,权重 是 随机初始化 的,偏置量 一般为 0,所以计算的结果 与 真实值有 误差

反向传播的作用:找到 合适的 权重 和 偏置量,让 误差尽可能的小

逻辑回归 的损失函数

损失函数参见 : 损失函数-逻辑回归(二分类)

即公式如下:

y^ 是样本i的预估值,也就是sigmoid函数计算的结果

sigmoid函数 如下:

所以 成本函数 如下:

注意:

  • x是样本特征值
  • y是样本的目标值
  • m是样本数量
  • w是要求得的权重
  • b是要求得的偏置量

目的:
找到合适的 w 和 b,使得上面的式子 结果 尽可能的 小,那么 误差 也就尽可能的 小

梯度下降

成本函数图像如下图:

图像像碗的形状,有全局最小值,所以逻辑回归才使用该成本函数

求导

也就是预估值 减去 真实值,如下:

向量化

由于多个样本,在求导时需要使用for语句,这种效率低下,通过向量化,可以避免使用for语句

一句话解释:向量化就是将数据封装成矩阵,通过矩阵计算,避免for语句


原文出处:/show_1EF4JTwbOAQf.html