贝叶斯估计的具体步骤:
① 确定 的先验分布 ,待估参数为随机变量;
② 用第 类样本 求出样本的联合概率密度分布 ,它是 的函数;
③ 利用贝叶斯公式,求 的后验概率 ;
④ 求参数估计值 ;
2.3 根据基于最小错误率的贝叶斯决策理论设计分类器
(1)原理:
多元正太分布的概率密度函数由下式定义
(14)
由最小错误概率判决规则,可得采用如下的函数作为判别函数
, (15)
这里, 为类别 发生的先验概率, 为类别 的类条件概率密度函数,而 为类别数。
设类别 ,i=1,2,……,N的类条件概率密度函数 ,i=1,2,……,N服从正态分布,即有 ,那么上式就可以写为:
, (16)
由于对数函数为单调变化的函数,用上式右端取对数后得到的新的判别函数替代原来的判别函数 不会改变相应分类器的性能。因此,可取
(17)
显然,上式中的第二项与样本所属类别无关,将其从判别函数中消去,不会改变分类结果。这样,判别函数 可简化为以下形式
(18)
(2)步骤:
求出两类样本的均值 ,
求每一样本的协方差矩阵
式中,l代表样本在类中的序号,其中
代表 类的第 个样本,第 个特征值; 代表 类的 个样品第 个特征的平均值; 代表 类的第 个样品,第 个特征值; 代表 类的 个样品第 个特征的平均值。
类的协方差矩阵为
求出每一类的先验概率
将各个数值代入判别函数
判别边界为
根据Matlab的计算结果可得
类别1训练样本的错误率为4%,类别2训练样本的错误率为5%;
类别1测试样本的错误率为6%,类别2测试样本的错误率为4%。
图5训练样本分类结果
如图5所示,“.”代表类别1的训练样本,“*”代表类别2的训练样本,绿线为决策边界。 贝叶斯分类器及其应用研究+源码+文献综述(5):http://www.751com.cn/tongxin/lunwen_1530.html