贝叶斯定理

贝叶斯定理
贝叶斯定理（Bayes theorem），是概率论中的一个结果，它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中，贝叶斯定理(贝叶斯更新）能够告知我们如何利用新证据修改已有的看法。
通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系,贝叶斯定理就是这种关系的陈述。
作为一个规范的原理，贝叶斯定理对于所有概率的解释是有效的；然而，频率主义者和贝叶斯主义者对于在应用中概率如何被赋值有着不同的看法： 频率主义者根据随机事件发生的频率，或者总体样本里面的个数来赋值概率；贝叶斯主义者要根据未知的命题来赋值概率。一个结果就是，贝叶斯主义者有更多的机 会使用贝叶斯定理。本文深度讨论了这些争论。
贝叶斯定理的陈述
贝叶斯定理是关于随机事件A和B的条件概率和边缘概率的一则定理。
 
其中L(A|B)是在B发生的情况下A发生的可能性。
在贝叶斯定理中，每个名词都有约定俗成的名称：
• Pr(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
• Pr(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。
• Pr(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。
• Pr(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）.
按这些术语，Bayes定理可表述为：
后验概率 = (相似度 * 先验概率)/标准化常量
也就是说，后验概率与先验概率和相似度的乘积成正比。
另外，比例Pr(B|A)/Pr(B)也有时被称作标准相似度（standardised likelihood），Bayes定理可表述为：
后验概率 = 标准相似度 * 先验概率
从条件概率推导贝叶斯定理
根据条件概率的定义 . 在事件B发生的条件下事件 A发生的概率是
 
同样地, 在事件A发生的条件下事件 B发生的概率
 
整理与合并这两个方程式, 我们可以找到
 
这个引理有时称作概率乘法规则.上式两边同除以Pr(B), 若Pr(B)是非零的, 我们可以得到贝叶斯 定理:
 
二中择一的形式
贝叶斯定理通常可以再写成下面的形式：
 
其中AC是A的补集（即非A）。故上式亦可写成：
 
在更一般化的情况，假设{Ai}是事件集合里的部份集合，对于任意的Ai，贝叶斯定理可用下式表示：
 
以可能性与相似率表示贝叶斯定理
贝叶斯定理亦可由相似率Λ和可能性O表示：
 
其中
 
定义为B发生时，A发生的可能性（odds）；
 
则是A发生的可能性。相似率（Likelihood ratio）则定义为：
 
贝叶斯定理与机率密度
贝叶斯定理亦可用于连续机率分布。由于机率密度函数严格上并非机率，由机率密度函数导出贝叶斯定理观念上较为困难（详细推导参阅[1]）。贝叶斯定理与机率密度的关系是由求极限的方式建立：
 
全机率定理则有类似的论述：
 
如同离散的情况，公式中的每项均有名称。 f(x, y)是X和Y的联合分布； f(x|y) 是给定Y=y后，X的后验分布； f(y|x) = L(x|y)是Y=y后，X的相似度函数（为x的函数)； f(x) 和f(y)则是X和Y的边际分布； f(x)则是X的先验分布。 为了方便起见，这里的f在这些专有名词中代表不同的函数（可以由引数的不同判断之）。

贝叶斯定理的推广
对于变数有二个以上的情况，贝式定理亦成立。例如：
 
这个式子可以由套用多次二个变数的贝式定理及条件机率的定义导出： 
 
一般化的方法则是利用联合机率去分解待求的条件机率，并对不加以探讨的变数积分（意即对欲探讨的变数计算边缘机率）。取决于不同的分解形式，可以证明某些积分必为1，因此分解形式可被简化。利用这个性质，贝叶斯定理的计算量可能可以大幅下降。贝氏网路为此方法的一个例子，贝氏网路指定数个变数的联合机率分布的分解型式，该机率分布满足下述条件：当其他变数的条件机率给定时，该变数的条件机率为一简单型式。
贝叶斯决策  

什么是贝叶斯决策
贝叶斯决策就是利用补充信息，根据概率计算中的贝叶斯公式来估计后验概率，并在此基础上对备选方案进行评价和选择的一种决策方法。贝叶斯公式与后验概率的公式  

先验分析和后验分析
先验分析是利用先验概率进行决策，而后验分析则是利用后验概率作为选择与判断合适方案的依据。

完全信息价值与补充信息价值 

后验预分析
在完整的贝叶斯决策过程中，在正式进行补充信息的调查之前，还需要根据先验概率以及各种可能发生的补充信息的结果，估计后验概率，计算完全信息的期望值和补充信息价值的期望值，比较收集补充信息所需的费用和收益，对是否值得进一步收集补充信息的问题作出判断，并选择最佳的收集补充信息的方案。这一环节被称为后验预分析。 187