。所以对Bayes参数的优良行进分析，并将 Bayes 估计方法与其他估
计方法比较分析是很有必要的。
1.2  Bayes统计的基本概念
我们在进行统计试验前，人们对于待估参数已掌握的知识就叫做先验分布（或验
前分布，事先分布等）。在 Bayes 学派看来，任何未知参数都可看成随机变量，我们
记它为θ，先验分布也就是 θ 服从的分布。把 θ 看作已知的时候，样本 x1,…, n的联合
分布密度p(x1,…, n;θ)就可看成x1,…, n对θ的条件密度，记作p(x1,…, n|θ ，可简写为
p(x|θ （此处 p(x1,…, n|θ 中当样本 x 取定时，只有参数 θ 可变，就看成是似然函数
l(θ| 1,…, n)）[13]
。有了先验分布和 x对θ 的条件密度我们就可以通过 Bayes公式确定
出后验密度了，如下
下文中我们用记号“∝”，为了突出 h(x)中与自变量 x 有关的部分，而将无关的常数
部分略去不写，即 h(x)=cf(x)，其中 c 为常数，则可以写成 h(x)  ∝f(x)，我们称 f(x)   
为h(x)  的核[7]。
1.3  先验分布的选取步骤和准则
1.3.1  Bayes假设
如果参数 θ 的无信息先验分布 (θ 在 θ 的取值范围内为均匀分布，则这样的先验
分布称为Bayes假设。用数学形式表达为
此处参数θ 的取值范围是 D，c为一常数，且在 D上的积分为常数，可简写为   (θ =        当 θ              
用核的形式表达为 (θ   ∝1   当θ                              （1.6）  
以上参数在有界区域内变化，我们称为 Bayes 假设；如果参数的变化范围是无界的，
可采用先验密度    (θ  ∝                                （1.7）  
这称为广义Bayes 假设[7]。
当先验分布采用了 Bayes假设时，后验密度可写成 h(θ|  ,…,   ) ∝1∙l(θ|  ,…,   )。  
1.3.2  共轭分布法
设样本  ,…,   对参数 θ 的条件分布为 p(x1,…, n|θ ，如果 (θ 决定的后验密度
h(θ|  ,…,   )与 (θ 是同一个类型的，则称 (θ 为p(x1,…, n|θ 的共轭分布。如正态总
体的共轭分布为正态分布；二项分布的共轭分布为贝塔分布；指数分布的共轭分布为
逆Γ 分布。先验分布应取共轭分布最早是由 Raiffa,H 和Schlaifer,R 提出的，他们认为
共轭分布之所以要求先验分布与后验分布属于同一个类型，就是经验的知识和现在样
本的信息有某种同一性，他们能转化成同一类的经验知识。如果以过去的经验和现在
的样本提供的信息作为历史知识，也就是以后验分布作为进一步试验的先验分布，在
做若干次试验获得新的样本后，新的后验分布仍然还是同一个类型的。
【例 1.1】[13]
设 n 次独立试验中，事件 A 每次发生的概率为 θ。则事件 A 发生的次数
遵从二项分布，x对θ 的条件概率密度为
 θx(1-θ)n-x
取共轭分布为贝塔分布 β(a,b),后验密度是
                 h( |θ =   线性回归中的Bayes估计+文献综述(3):http://www.751com.cn/shuxue/lunwen_4263.html