感谢：https://blog.csdn.net/paxhujing/article/details/79418201
“回归”是由英国著名生物学家兼统计学家 高尔顿 (Francis Galton,1822～1911.生物学家 达尔文的表弟 )，在研究人类遗传问题时提出来的。
1855年， 高尔顿发表《遗传的身高向平均数方向的回归》一文，他和他的学生卡尔•皮尔逊Karl·Pearson通过观察 1078对夫妇和儿子的身高数据，以每对夫妇的 平均身高作为 自变量，取他们的成年 儿子身高作为 因变量，分析儿子身高与父母身高之间的关系，发现父母的身高可以预测子女的身高，两者近乎一条直线。
线性
当父母越高或越矮时，子女的身高会比一般儿童高或矮，他将儿子与父母身高 的这种现象拟合出一种 线形关系，分析出儿子的身高y与父亲的身高x大致可归结为一下关系：
y=33.73+0.516*x (单位为英寸)
根据换算公式1英寸=0.0254米， 1米=39.37英寸。单位换算成米后：
Y= 0.8567+0.516*X (单位为米)
假如父母的平均身高为1.75米，则预测子女的身高为1.7597米。
这种趋势及回归方程表明父母身高每增加一个单位时，其成年儿子的身高平均增加0.516个单位。
回归
有趣的是，通过观察，高尔顿还注意到，尽管这是一种拟合较好的线形关系，但仍然存在例外现象:矮个父母所 生的儿子比其父要高，身材较高的父母所生子女的身高却会降到多数人的平均身高。
换句话说，当父母身高走向极端，子女的身高不会象父母身高那样极端化，其身高要比父母们的身高更接近平均身高，即 “回归” 到平均数的趋势，这就是统计学上最初出现“回归”时的涵义，高尔顿把这一现象叫做“向平均数方向的回归” (regression toward mediocrity)。
但“线形回归”的术语却因此沿用下来，作为根据一种变量(父母身高)预测另一种变量(子女身高)或多种变量关系的描述方法。
对于机器学习的意义：
- 需要一定量的样本数据
- 样本数据和目标值必须是线性关系
- 建立模型总结出规律
- 只能预测 连续值，如 房价预测、公司销售额、贷款额度
- 不能用于 分类 问题，如：猫、狗识别