《机器学习》课程教学资源（PPT课件讲稿）第七章 贝叶斯分类器 MACHINE LEARNING

第七章:贝叶斯分类器

第七章：贝叶斯分类器

章节目录 口贝叶斯决策论 口极大似然估计 口朴素贝叶斯分类器 口半朴素贝叶斯分类器 口贝叶斯网 口EM算法

章节目录  贝叶斯决策论  极大似然估计  朴素贝叶斯分类器  半朴素贝叶斯分类器  贝叶斯网  EM算法

章节目录 口贝叶斯决策论 口极大似然估计 口朴素贝叶斯分类器 口半朴素贝叶斯分类器 日贝叶斯网 口EM算法

章节目录  贝叶斯决策论  极大似然估计  朴素贝叶斯分类器  半朴素贝叶斯分类器  贝叶斯网  EM算法

贝叶斯决策论 口贝叶斯决策论( Bayesian decision theory)是在概率框架下实 施决策的基本方法。 在分类问题情况下,在所有相关概率都已知的理想情形下,贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记

贝叶斯决策论  贝叶斯决策论（Bayesian decision theory）是在概率框架下实 施决策的基本方法。 ⚫ 在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记

贝叶斯决策论 口贝叶斯决策论( Bayesian decision theory)是在概率框架下实 施决策的基本方法。 在分类问题情况下,在所有相关概率都已知的理想情形下,贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类別标记 口假设有N种可能的类别标记,即y={,2,…,CN},是将 个真实标记为G的样本误分类为C所产生的损失。基于后验概 率P{cx}可获得将样本ⅹ分类为C所产生的期望损失 ( expected loss),即在样本上的“条件风险”( conditional risk) R(x)=∑ (71) 口我们的任务是寻找一个判定准则h:X+Y以最小化总体风险 R(h)=E[B(h(x)|x)(7.2)

贝叶斯决策论  贝叶斯决策论（Bayesian decision theory）是在概率框架下实 施决策的基本方法。 ⚫ 在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决 策考虑如何基于这些概率和误判损失来选择最优的类别标记。  假设有 种可能的类别标记，即 ， 是将 一个真实标记为 的样本误分类为 所产生的损失。基于后验概 率 可获得将样本 分类为 所产生的期望损失 （expected loss），即在样本上的“条件风险”（conditional risk）  我们的任务是寻找一个判定准则 以最小化总体风险

贝叶斯决策论 口显然,对每个样本X,若h能最小化条件风险R(h(x)|x),则总 体风险R()也将被最小化

贝叶斯决策论  显然，对每个样本 ，若 能最小化条件风险 ，则总 体风险 也将被最小化

贝叶斯决策论 口显然,对每个样本X,若h能最小化条件风险R(h(x)|x),则总 体风险R(h)也将被最小化。 口这就产生了贝叶斯判定准则( Bayes decision rule):为最小化总 体风险,只需在每个样本上选择那个能使条件风险R(C|x)最小的类 別标记,目 h(a)=argmin R(c a) (73) C∈y ●此时,被称为贝叶斯最优分类器( Bayes optimal classifier),与之对应 的总体风险R(h)称为贝叶斯风险( Bayes risk 1-R(h)反映了分类起所能达到的最好性能,即通过机器学习所能产 生的模型精度的理论上限

贝叶斯决策论  显然，对每个样本 ，若 能最小化条件风险 ，则总 体风险 也将被最小化。  这就产生了贝叶斯判定准则（Bayes decision rule）： 为最小化总 体风险，只需在每个样本上选择那个能使条件风险 最小的类 别标记，即 ⚫ 此时，被称为贝叶斯最优分类器(Bayes optimal classifier)，与之对应 的总体风险 称为贝叶斯风险 (Bayes risk) ⚫ 反映了分类起所能达到的最好性能，即通过机器学习所能产 生的模型精度的理论上限

贝叶斯决策论 口具体来说,若目标是最小化分类错误率,则误判损失λ可写为 0. if ; 1, otherwise (74

贝叶斯决策论  具体来说，若目标是最小化分类错误率，则误判损失 可写为

贝叶斯决策论 口具体来说,若目标是最小化分类错误率,则误判损失λ可写为 0. if ; 1, otherwise (74 口此时条件风险 R(c|x)=1-P(c|x)(7.5)

贝叶斯决策论  具体来说，若目标是最小化分类错误率，则误判损失 可写为  此时条件风险

贝叶斯决策论 口具体来说,若目标是最小化分类错误率,则误判损失λ可写为 0. if ; 1, otherwise (74) 口此时条件风险 R(C x) CX (75) 口于是,最小化分类错误率的贝叶斯最有分类器为 h"(a)=argmax P(c a)(7.6) C∈y ●即对每个样本ⅹ,选择能使后验概率P(c|x)最大的类别标

贝叶斯决策论  具体来说，若目标是最小化分类错误率，则误判损失 可写为  此时条件风险  于是，最小化分类错误率的贝叶斯最有分类器为 ⚫ 即对每个样本 ，选择能使后验概率 最大的类别标记