线性回归的后向传播(反向传播)

概述

后向传播,也称之为 反向传播

由于前向传播中,权重 是 随机初始化 的,偏置量 一般为 0,所以计算的结果 与 真实值有 误差

反向传播的作用:找到 合适的 权重 和 偏置量,让 误差尽可能的小

计算 真实值 与 前向传播结果 的误差

衡量 真实值 与 前向传播结果 误差的函数,称之为 损失函数

这里使用最简单的 均方误差 计算损失
https://www.malaoshi.top/show_1EF3qTvZH2yB.html

即公式如下:

y是前向传播的结果,是通过y=wx+b计算而来,所以上面公式转换如下:

注意:

  • x是样本特征
  • y_true是样本的目标值
  • m是样本数量
  • w是要求得的权重
  • b是要求得的偏置量

总结:
找到w和b,使得上面的式子尽可能的小,那么误差也就尽可能的小

求偏导

为了找到上面式子的极值,就需要对w、b求导,让其等于0

梯度下降

通过 最小二乘法 也可以算出w和b,但在多元线性回归中,计算量过大

所以采用 梯度下降

https://www.malaoshi.top/show_1EF44cFgc3QB.html


原文出处:/show_1EF4HFABebls.html