贝叶斯定理 作者：马育民 • 2023-01-10 13:58 • 阅读：10148 # 介绍 贝叶斯定理是18世纪英国数学家 **托马斯·贝叶斯（Thomas Bayes）**提出得重要概率论理论，为解决 **“逆向概率问题”** 写的一篇文章 ### 应用场景 贝叶斯定理的思想出现在18世纪，但真正大规模派上用途还得等到计算机的出现。因为这个定理需要大规模的数据计算推理才能凸显效果，它在很多计算机应用领域中都大有作为，如自然语言处理，机器学习，推荐系统，图像识别，博弈论等等。 ### 正向概率问题 > “一个袋子里面有 10 个球，其中 4 个黑球，6 个白球，如果你随机抓取一个球，那么是黑球的概率是多少？” 答案是 0.4。这个问题非常简单，因为我们事先知道了袋子里面黑球和白球的比例，很容易算出摸一个球的概率 ### 逆向概率问题 有时，我们无法得知“比例”，此时就引出了贝叶斯提出的问题： > “如果一个袋子中共有 10 个球，分别是黑球和白球，但是我们不知道它们之间的比例是怎么样的，现在，仅通过摸出的球的颜色，是否能判断出袋子里面黑白球的比例？” # 贝叶斯公式 [](/upload/0/0/1IX4klRGqCc2.gif) 符号意义： - A 和 B：表示随机事件，有某种相关性 - `P(A)` 表示 A 出现的概率，称之为：**先验概率**。比如在投掷骰子时，P(2) 指的是骰子出现数字“2”的概率，这个概率是 六分之一。 - `P(B|A)` 是 **条件概率** 的符号，表示事件 A 发生的条件下，事件 B 发生的概率，条件概率是“贝叶斯公式”的关键所在，它也被称为 **似然度 或 相似度**。 - `P(A|B)` 表示事件 B 发生的条件下，事件 A 发生的概率，这个计算结果也被称为“**后验概率**”。 - P(B)是 B 的先验概率，也作标淮化常量（normalizing constant） 按这些术语，贝叶斯定理可表述为： ``` 后验概率 = (相似度 * 先验概率)/标淮化常量 ``` ### 条件概率 条件概率是“贝叶斯公式”的关键所在，那么如何理解条件概率呢？其实我们可以从“相关性”这一词语出发。举一个简单的例子，比如小明和小红是同班同学，他们各自准时回家的概率是 `P(小明回家) = 1/2` 和 `P(小红回家) =1/2`，但是假如小明和小红是好朋友，每天都会一起回家，那么 P(小红回家|小明回家) = 1 (理想状态下)。 上述示例就是条件概率的应用，小红和小明之间产生了某种关联性，本来俩个相互独立的事件，变得不再独立。但是还有一种情况，比如小亮每天准时到家 `P(小亮回家) =1/2`，但是小亮喜欢独来独往，如果问 `P(小亮回家|小红回家)` 的概率是多少呢？你会发现这两者之间 **不存在“相关性”**，小红是否到家，不会影响小亮的概率结果，因此小亮准时到家的概率仍然是 1/2。 贝叶斯公式的核心是“条件概率”，譬如 `P(B|A)`，就表示当 A 发生时，B 发生的概率，如果 `P(B|A)` 的值越大，说明一旦发生了 A，B 就越可能发生。两者可能存在较高的相关性。 # 先验概率 和 后验概率 在贝叶斯看来，世界并非静止不动的，而是动态和相对的，他希望利用已知经验来进行判断，那么如何用经验进行判断呢？这里就必须要提到“先验”和“后验”这两个词语。 ### 先验概率 “先验”就相当于“未卜先知”，在事情即将发生之前，做一个概率预判。比如从远处驶来了一辆车，是轿车的概率是 45%，是货车的概率是 35%，是大客车的概率是 20%，在你没有看清之前基本靠猜，此时，我们把这个概率就叫做“先验概率”。 ### 后验概率 每一个事物都有自己的特征，比如前面所说的轿车、货车、客车，它们都有着各自不同的特征，距离过远的时候，我们无法用肉眼分辨，而当距离达到一定范围内就可以根据各自的特征再次做出概率预判，这就是后验概率。比如轿车的速度相比于另外两者更快可以记做 `P(轿车|速度快) = 55%`，而客车体型可能更大，可以记做 `P(客车|体型大) = 35%`。 如果用条件概率来表述 `P(体型大|客车)=35%`，这种通过“车辆类别”推算出“类别特征”发生的的概率的方法叫作“似然度”。这里的似然就是“可能性”的意思。 参考： http://c.biancheng.net/ml_alg/bayes-theorem.html https://blog.csdn.net/jiangjiang_jian/article/details/81346797 原文出处：/show_1IX4kmAseKoB.html