来历
1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。
只有时年24岁的 高斯 所计算的谷神星的轨道，被奥地利天文学家海因里希·奥尔伯斯的观测所证实，使天文界从此可以预测到谷神星的精确位置。同样的方法也产生了哈雷彗星等很多天文学成果。高斯使用的方法就是最小二乘法，该方法发表于1809年他的著作《天体运动论》中。
法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻
1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明。
介绍
最小二乘法（英文名：ordinary least squares），又称 最小平方法，是一种数学优化技术，通过最小化误差平方和寻找数据的最佳函数匹配，用于参数估计和曲线拟合。
解决问题
假设你有一组数据（比如 “房屋面积 x” 和 “售价 y”），现在想找一条直线 y = ax + b，让这条直线 “尽可能贴近所有数据点”——最小二乘法就是找到参数 a 和 b 的 “最优解” 的数学方法。
原理
通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小
预测行星轨迹
观测行星α，一共观测到了4次，分别记录坐标位置：
(1,6)(2,5)(3,7)(4,10)
如下图：
这几个坐标看起来有一些关系，那能不能找到一个 线性函数 能贯穿这几个坐标呢？
假设这条线性函数为
y=\beta_1 +\beta_2 * x
套数据
根据上面公式，套上上面观测的数据：
6 =\beta_1 +\beta_2 * 1
5 =\beta_1 +\beta_2 * 2
7 =\beta_1 +\beta_2 * 3
10 =\beta_1 +\beta_2 * 4
最小二乘法定义
最小二乘法的定义：
通过最小化误差的平方和寻找数据的最佳函数匹配的方法。也就是说求得未知的数据，并使得求得的数据与实际数据之间的误差的平方和（残差平方和）最小。
残差：观测值与模型提供的拟合值之间的差距
解方程
根据上面的定义，重新整理计算式：
要使得 残差平方和最小，那就是要让最小，因为残差平方和恒大于等于0，根据偏导数的理论：只要足够偏离的话,那函数结果肯定是越来越大的，因此在偏导数为0时取到的函数值是最小值，我们可以通过对分别计算 β1 和 β2 的偏导数为 0 的方法，求得的最小值
计算过程如下：
最后的整理的式子是：
求导
最终结果
结果：
β1=3.5
β2=1.4
行星α的坐标函数用最小二乘法求出：
y = 3.5+ 1.4x
参考：
https://baike.baidu.com/item/%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95/2522346
https://zhuanlan.zhihu.com/p/32996497
https://blog.csdn.net/MoreAction_/article/details/106443383