5.序贯分类法
上述的分类决策都认为d个特征都同时给出且不考虑获取特征所花的代价。而在实际的应用中却要考虑获取特征
的代价。因此可能出现这样的情况,获取k个特征(k<d)后就能做判断为合理。这是因为其余的d-k个特征的加入使
分类错误降低而造成的代价的减少补偿不了获取这些特征所花费的代价。解决上述问题的方法可用序贯分类方法,就
是先用一部分特征来分类,逐步加入特征以减少分类损失。而每步都要衡量加入新特征所花费的代价和所降低分类损
失的大小,以便决定是否继续再加入新的特征。为此要计算停止损失和继续损失,并加以比较。当停止损失等于最小损
失时就作出分类决策。但是这种计算方法的计算量和存储量都要求很大。
6.用上述的决策对观察向量x进行分类是分类器设计的主要问题。分类器就是一个和一系列的判别函数(或决策
面)。
贝叶斯决策理论分析
（1）如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本集合，那我们就需要从训练样本集合中来估计概率分布的参数。在现实世界中有时会出现这种情况。（如已知为正态分布了，根据标记好类别的样本来估计参数，常见的是极大似然率和贝叶斯参数估计方法）
（2）如果我们不知道任何有关被分类类别概率分布的知识，已知已经标记类别的训练样本集合和判别式函数的形式，那我们就需要从训练样本集合中来估计判别式函数的参数。在现实世界中有时会出现这种情况。（如已知判别式函数为线性或二次的，那么就要根据训练样本来估计判别式的参数，常见的是线性判别式和神经网络）
（3）如果我们既不知道任何有关被分类类别概率分布的知识，也不知道判别式函数的形式，只有已经标记类别的训练样本集合。那我们就需要从训练样本集合中来估计概率分布函数的参数。在现实世界中经常出现这种情况。（如首先要估计是什么分布，再估计参数。常见的是非参数估计）
（4）只有没有标记类别的训练样本集合。这是经常发生的情形。我们需要对训练样本集合进行聚类，从而估计它们概率分布的参数。（这是无监督的学习）
（5）如果我们已知被分类类别的概率分布，那么，我们不需要训练样本集合，利用贝叶斯决策理论就可以设计最优分类器。但是，在现实世界中从没有出现过这种情况。这里是贝叶斯决策理论常用的地方。
贝叶斯决策理论实例
有一个地区，男孩与女孩的出生比率假定为85:15，假定人们是通过统计得到这个数据的。医院通过B超可以确定孕妇所怀的是男孩还是女孩。我们假定某个医院里的A医生因水平有限，确定孕妇所怀婴儿的性别的准确率为80%。有一天有一个孕妇到该医院进行B超，A医生说，该孕妇所怀的是女孩。根据医生的判断，该孕妇怀男孩的可能性大还是怀女孩的可能性大？
我们用Bayes定理来分析：在该孕妇去医院之前，我们认为它生男孩的可能性为0.85，女孩的可能性为0.15。这两个概率值为先验概率。当孕妇去了医院后,我们可以根据医生结论来修正对该孕妇生男孩和生女孩的可能性(概率)。如果医生判断的准确率是100%，那末，医生说生女孩，生女孩的可能性就是1。但在这里，由于医生判断的准确率不是100%，而是80%。所以我们要根据医生的结论利用Bayes定理来修正我们的信念.我们对事件h、e的先验概率为p(h),p(e)，随着事件e的发生，此时我们对事件h的验后概率p(h | e)应当为多少。Bayes公式是这样的：
p(h | e) =p(h)p(e | h)p(h)p(e | h)+p(-h)p(e |-h)
上式中，h和e为两个事件；p(h | e)为e发生时h发生的可能性；p(e| h)为h发生时e发生的可能性；p(-h | e)为e发生时h不发生的可能性。我们这里要求的是，当“医生说该孕妇怀女孩的条件下”怀女孩的可能性为多大?该孕妇未去医院前，她生女孩的先验概率为p(g) =0.15；生男孩的先验概率为p(b)=0.85。而医生的准确率为80%，即当孕妇怀女孩时,医生说成女孩的可能性为0.8，即p(dg| g)=0.8,医生说成男孩的可能性0.2，即p(db | g) =0.2.根据定理，p(g | dg)为：p(g|dg)=p(dg| g)p(g)[p(dg| g)p(g)+p(db | g)p(b)]=0.80*0.15
(0.80*0.15+0.2*0.85)=0.413。
p(b | dg) =1-0.413=0.587。
结论是：当医生说该孕妇所怀的是女孩时，该孕妇怀女孩的可能性为41.3%，怀男孩的可能性为58.7%。即此时，该孕妇怀男孩的可能性大于怀女孩的可能性。
由以上的例子，我们可以得知，概率与我们的生存、生活是密不可分的，在我们的生活中要想使我们的期望效用最大化，我们必须考虑各种客观条件的存在，用理性的科学的思文去判断问题、分析问题，最终做出正确的决策。
结束语
贝叶斯决策方法作为一种风险型决策方法，在实际中的应用较广泛。企业重要的经营决策大多是在不确定的情况下进行的，具有一定的风险性，决策的科学性及稳定性在很大程度上依赖于对未来决策所涉及各自然状态的把握程度。风险决策时方案选择决定于外界环境状态，而这种状态是无法确知的，更不受决策者控制，但通过判断、调查和实验，可以获得有关信息，贝叶斯决策理论为此提供了科学的方法。
贝叶斯推理在过去近30年中得到了较为广泛的研究，特别自Kahneman和Tversky发现人们直觉的概率判断忽略基础概率现象以来，出现了许多理论和研究方法的更新，这些都深化了对这一问题的研究。这些研究既揭示了人们概率估计中常见的认知错误，也为人们进行贝叶斯推理至少提供了以下启示：首先，必须注意事件的基础概率，基础概率小的事件，即使某种击中率较高，其出现的总概率仍然是较小的。如现实生活中中奖的机会等就是小概率事件。其次，应该对信息的外部表征作理性的分析，不应受一些表面特征所迷惑。如击中率的高低并不决定该事件出现概率的高低。第三，不能过分相信经验策略（如代表性启发和可得性启发）。虽然经验策略有时能减轻人们的认知负荷并导致正确的概率估计，但也在许多情况下会误导我们的判断。如不要因为舆论经常宣传癌症对人们生命的威胁就认为癌症致死的概率比心脏病致死的概率更高。当然，贝叶斯推理问题仍然值得做更进一步的研究，如人们对概率信息的内部加工过程及其特点，对基础概率、击中率或误报率的敏感或忽略及其所依存的条件以及研究方法和手段的改进等。