武汉理工大学：《模式识别》课程教学资源（PPT课件）第4章 基于统计决策的概率分类法

第4章基于统计决策的概率分类法

第4章基于统计决策的概率分类法研究对象及相关概率4.14.2贝叶斯决策4.3贝叶斯分类器的错误率4.4聂曼-皮尔逊决策4.5概率密度函数的参数估计4.6概率密度函数的非参数估计后验概率密度分类的势函数方法4.7

4.1 研究对象及相关概率 4.2 贝叶斯决策 4.3 贝叶斯分类器的错误率 4.4 聂曼-皮尔逊决策 4.5 概率密度函数的参数估计 4.6 概率密度函数的非参数估计 4.7 后验概率密度分类的势函数方法 第4章 基于统计决策的概率分类法

4.1研究对象及相关概率1.两类研究对象获取模式的观察值时，有二种情况：*确定性事件：事物间有确定的因果关系。第三章内容水随机事件：事物间没有确定的因果关系，观察到的特征具有统计特性，是一个随机向量。只能利用模式集的统计特性进行分类，使分类器发生分类错误的概率最小。2.相关概率1）概率的定义设2是随机试验的基本空间（所有可能的实验结果或基本事件的全体构成的集合，也称样本空间），A为随机事件，P(A)为定义在所有随机事件组成的集合上的实函数，若P（A满足：

获取模式的观察值时，有二种情况： * 确定性事件：事物间有确定的因果关系。第三章内容。 * 随机事件：事物间没有确定的因果关系，观察到的特征具有 统计特性，是一个随机向量。只能利用模式集的统计特性进 行分类，使分类器发生分类错误的概率最小。 1. 两类研究对象 2. 相关概率 1）概率的定义 设Ω是随机试验的基本空间（所有可能的实验结果或基本 事件的全体构成的集合，也称样本空间），A为随机事件，P(A) 为定义在所有随机事件组成的集合上的实函数，若P(A)满足： 4.1 研究对象及相关概率

（1对任一事件A有：00，则称P(AI B)- PAB)(4-1)P(B)为事件B发生的条件下事件A发生的条件概率

（3）对于两两互斥的事件A1，A2，.有 P(A1 + A2 +) = P(A1 )+ P(A2 )+ （1）对任一事件A有：0≤P(A)≤1。 （2）P(Ω)=1， Ω——事件的全体 则称函数P(A)为事件A的概率。 设A、B是两个随机事件，且P(B)>0，则称 为事件B发生的条件下事件A发生的条件概率。 3）条件概率定义 ( ) ( ) P(B) P AB P A| B = （2）P(A)=1− P(A) （3）P(AB)= P(A)+ P(B)−P(AB) （1）不可能事件V的概率为零，即P(V)=0。 2）概率的性质 联合概率P(AB)： A，B同时发生的概率 (4-1)

4）条件概率的三个重要公式：（1）概率乘法公式：如果P(B)>0，则联合概率(4-2)P(AB)=P(B) P(AB)=P(A) P(BIA)=P(BA)（2）全概率公式：设事件A，A2，...，An，两两互斥，且ZA =2, P(A)>0, i=1,2,.,ni=1则对任一事件B有：P(B)= P(A,)P(B/ A,)(4-3)（3）贝叶斯公式：在全概率公式的条件下，若P(B)>0，则将(4-2)，（4-3)式代入(4-1)式中，有：P(A)P(BIA)P(A, IB)= (4-4)Z P(A,)P(B A)P(A|B)- P(AB)il(4-1)P(B)

（1）概率乘法公式：如果P(B)>0，则联合概率 P(AB)= P(B) P(A|B) = P(A) P(B|A) =P(BA) （3）贝叶斯公式：在全概率公式的条件下，若P(B)>0，则将 (4-2)，(4-3)式代入(4-1)式中，有： ( ) ( ) ( )  ( ) ( ) = = n i i i i i i P A P B A P A P B A P A B 1 | | | (4-4) 4）条件概率的三个重要公式： A Ω P(Ai ) i n n i i , 0, 1,2, , 1  =  =  = 则对任一事件B有： ( ) ( ) ( )i n i P B P Ai P B | A 1 = = （2）全概率公式：设事件A1 ， A2 ，. ，An，两两互斥，且 ( ) ( ) ( ) | = (4 −1) P B P AB P A B (4-2) (4-3)

5）模式识别中的三个概率设随机样本向量X，相关的三个概率：（1）先验概率P（の）：根据以前的知识和经验得出的の类样本出现的概率，与现在无关。（2）后验概率P(@X）：相对于先验概率而言。指收到数据X（一批样本）后，根据这批样本提供的信息统计出的类出现的概率。表示X属于の类的概率。（3）条件概率P(X）：已知属于の类的样本X，发生某种事件的概率。例对一批得病患者进行一项化验，结果为阳性的概率为95%，の，代表得病人群，则X化验为阳性的事件可表示为P(X=阳|@)=0.95今后的分类中常用到类概率密度p(Xlo）：の类的条件概率密度函数，通常也称为の的似然函数

今后的分类中常用到类概率密度p(X |ωi ) ：ωi类的条件概 率密度函数，通常也称为ωi的似然函数。 设随机样本向量X ，相关的三个概率： （2）后验概率P(ωi |X) ：相对于先验概率而言。指收到数据X （一批样本）后，根据这批样本提供的信息统计出的ωi类出现 的概率。表示X 属于ωi类的概率。 5）模式识别中的三个概率 （1）先验概率P(ωi ) ：根据以前的知识和经验得出的ωi类样本 出现的概率，与现在无关。 （3）条件概率P(X |ωi ) ：已知属于ωi类的样本X，发生某种事 件的概率。例对一批得病患者进行一项化验，结果为阳性的概 率为95%，ω1代表得病人群， 则X化验为阳性的事件可表示为 P(X =阳|1 )= 0.95

例如：一个2类问题，の,诊断为患有某病，の,诊断为无病则：P(の）表示某地区的人患有此病的概率，通过统计资料得到P）表示该地区人无此病的概率若用某种方法检测是否患有某病，假设X表示“试验反应呈阳性”。则：P(Xl02）表示无病的人群做该试验时反应呈阳性（显示有病）的概率P(02lX）表示试验呈阳性的人中，实际没有病的值低/高？人的概率。值低/高？P(Xo）表示患病人群做该试验时反应呈阳性的概率。P(のlX）表示试验呈阳性的人中，实际确实有病的人的概率

P(ω2 | X) 表示试验呈阳性的人中，实际没有病的 人的概率。 若用某种方法检测是否患有某病，假设 X 表示“试验反 应呈阳性”。则： 例如：一个2类问题，ω1诊断为患有某病，ω2诊断为无病， P(ω2 )表示该地区人无此病的概率。 则： P(ω1 )表示某地区的人患有此病的概率， P(X |ω2 ) 表示无病的人群做该试验时反应呈阳性 (显示有病)的概率。 值低 / 高 √ 值低 / 高 √ P(X |ω1 ) 表示患病人群做该试验时反应呈阳性的 概率。 P(ω1 | X) 表示试验呈阳性的人中，实际确实有病的 人的概率。 ？ ？ 通过统计 资料得到

（4）三者关系：根据（4-4）贝叶斯公式有P(A)P(B|A)P(A, IB) =ZP(A,)P(BIA)i-1P(o, X)= (X(0)P(a) =-p(X10 )P(a.)(4-5)p(X)Zp(x0,)p(o,)1=M：类别数

（4）三者关系：根据(4-4)贝叶斯公式有 ( ) ( ) ( ) ( ) ( ) ( )  ( ) ( ) = = = M i i i i i i i i p P p P p p P P 1 | | | |        X X X X X （4-5） ( ) ( ) ( )  ( ) ( ) = = n i i i i i i P A P B A P A P B A P A B 1 | | | M：类别数

4.2贝叶斯决策4.2.1最小错误率贝叶斯决策1.问题分析讨论模式集的分类，目的是确定X属于那一类，所以要看X来自哪类的概率大。在下列三种概率中：先验概率P(o）类（条件）概率密度p(X/o）后验概率P(o/X)采用哪种概率进行分类最合理？后验概率P(の/X)2.决策规则设有M类模式，若 P(o,IX)=max(P(o, IX)), j=1,2,...,M则Xe0类(4-6)最小错误率贝叶斯决策规则

2. 决策规则 若 P( i | X) = maxP( j | X), j =1,2,  ,M 则 X  i类 4.2.1 最小错误率贝叶斯决策 讨论模式集的分类，目的是确定X属于那一类，所以 要看X来自哪类的概率大。在下列三种概率中： 先验概率P(ωi ) 类(条件)概率密度p(X |ωi ) 后验概率P(ωi | X) 采用哪种概率进行分类最合理？ 1. 问题分析 后验概率P(ωi | X) 4.2 贝叶斯决策 设有M类模式， (4-6) —— 最小错误率贝叶斯决策规则

若P(@/X)=maxP(o,/X)bj=1,2,.,M则XEO类几种等价形式：虽然后验概率P(X)可以提供有效的分类信息，但先验概率P(の）和类概率密度函数p(Xo）从统计资料中容易获得，故用Bayes公式，将后验概率转化为类概率密度函数和先验概率的表示。由：P(0, /X)- p(X/0,)P(0.)p(x)可知，分母与无关，即与分类无关，故分类规则又可表示为若p(Xl)P(@)=maxp(Xo)P(o)/j=1,2,,M,则Xo类(4-7)

( ) ( ) ( ) (X ) X X p p P P i i i    | | = 虽然后验概率P(ωi | X)可以提供有效的分类信息，但先验概 率P(ωi )和类概率密度函数p(X |ωi )从统计资料中容易获得，故 用Bayes公式，将后验概率转化为类概率密度函数和先验概率的 表示。由： 可知，分母与i无关，即与分类无关，故分类规则又可表示为： 若 p(X | i )P( i )= maxp(X | j )P( j ) j =1,2,  ,M , 则 X  i类 (4-7)   则 类 若 i P i P j j M     = = X ( | X) max ( | X) , 1,2,, 几种等价形式：