平均绝对误差MAE（L1）

平均绝对误差，mean absolute error，缩写MAE，在损失函数中称为：L1损失函数
绝对误差 的 平均值

是原始数据中y对应的量纲

优点

受异常值的影响最小

缺点

梯度始终相同

为解决此问题，在损失值减小时，也要降低学习率

公式

均方误差MSE（L2）

均方误差，mean-squared error，缩写mse，在损失函数中称为：L2损失函数

是反映 估计量 与 真实值 之间差异程度的一种度量
值越小 说明预测模型 越准确

公式

说明：

• observed：真实值
• predicted：估计量

例子

假设我们有1000例 父母平均身高 和 孩子身高，通过线性回归预测， 估算出 孩子身高，如下：

运算过程：

缺点

1. 结果与原始数据不是一个量纲
2. 出现异常点时，导致误差非常大，因为计算了平方

均方根误差RMSE

均方根误差 RMSE，root mean squared error，缩写RMSD
测量误差的平均大小

是原始数据中y对应的量纲

公式：

缺点

受异常值的影响 比MSE（L2）小，比MSE大