最小二乘法 作者：马育民 • 2025-12-16 11:17 • 阅读：10002 # 来历 1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。 只有时年24岁的 **高斯** 所计算的谷神星的轨道，被奥地利天文学家海因里希·奥尔伯斯的观测所证实，使天文界从此可以预测到谷神星的精确位置。同样的方法也产生了哈雷彗星等很多天文学成果。高斯使用的方法就是最小二乘法，该方法发表于1809年他的著作《天体运动论》中。 法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻 1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明。 # 介绍 最小二乘法（英文名：ordinary least squares），又称 **最小平方法**，是一种数学优化技术，通过最小化误差平方和寻找数据的最佳函数匹配，用于参数估计和曲线拟合。 # 解决问题 [](https://www.malaoshi.top/upload/0/0/1GW2Ps40FaPd.jpeg) 假设你有一组数据（比如 “房屋面积 x” 和 “售价 y”），现在想找一条直线 `y = ax + b`，让这条直线 “尽可能贴近所有数据点”——**最小二乘法就是找到参数 `a` 和 `b` 的 “最优解” 的数学方法**。 # 原理 通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小 # 预测行星轨迹 观测行星α，一共观测到了4次，分别记录坐标位置： 1. `(1,6)` 2. `(2,5)` 3. `(3,7)` 4. `(4,10)` 如下图： [](https://www.malaoshi.top/upload/0/0/1GW2PrmvGckP.jpg) 这几个坐标看起来有一些关系，那能不能找到一个 **线性函数** 能贯穿这几个坐标呢？ ### 假设这条线性函数为 $$y=\beta\_1 +\beta\_2 * x $$ ### 套数据 根据上面公式，套上上面观测的数据： $$ 6 =\beta\_1 +\beta\_2 * 1 $$ $$ 5 =\beta\_1 +\beta\_2 * 2 $$ $$ 7 =\beta\_1 +\beta\_2 * 3 $$ $$ 10 =\beta\_1 +\beta\_2 * 4 $$ ### 最小二乘法定义 最小二乘法的定义： 通过最小化误差的平方和寻找数据的最佳函数匹配的方法。也就是说求得未知的数据，并使得求得的数据与实际数据之间的误差的平方和（残差平方和）最小。 **残差：**观测值与模型提供的拟合值之间的差距 ### 解方程 根据上面的定义，重新整理计算式： [](https://www.malaoshi.top/upload/0/0/1GW2PrxC8Ue1.jpg) 要使得 **残差平方和最小**，那就是要让最小，因为残差平方和恒大于等于0，根据偏导数的理论：只要足够偏离的话,那函数结果肯定是越来越大的，因此在偏导数为0时取到的函数值是最小值，我们可以通过对分别计算 `β1` 和 `β2` 的偏导数为 `0` 的方法，求得的最小值 计算过程如下： [](https://www.malaoshi.top/upload/0/0/1GW2PryrCkU7.jpg) 最后的整理的式子是： [](https://www.malaoshi.top/upload/0/0/1GW2PrznnqJE.jpg) ### 求导 [](https://www.malaoshi.top/upload/0/0/1GW2Ps0Wx2GJ.jpg) [](https://www.malaoshi.top/upload/0/0/1GW2Ps11VLaN.jpg) ### 最终结果 结果： ``` β1=3.5 β2=1.4 ``` 行星α的坐标函数用最小二乘法求出： ``` y = 3.5+ 1.4x ``` 参考： https://baike.baidu.com/item/%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95/2522346 https://zhuanlan.zhihu.com/p/32996497 https://blog.csdn.net/MoreAction_/article/details/106443383 原文出处：http://malaoshi.top/show_1GW2Ps4FL1fg.html