哈尔滨工业大学：《模式识别》课程教学资源（讲义）第四章 统计分类器

●。。|第四章统计分类器

第四章 统计分类器

●41概率论基本知识 o确定事件:概念是确定的,发生也是确 定的; o随机事件:概念是确定的,发生是不确 定的; o模糊事件:概念本身就不确定

4.1 概率论基本知识  确定事件：概念是确定的，发生也是确 定的；  随机事件：概念是确定的，发生是不确 定的；  模糊事件：概念本身就不确定

●●● 随机变量 o随机变量:随机事件的数量表示; o离散随机变量:取值为离散的随机变 里 o连续随机变量:取值为连续的随机变 里;

随机变量  随机变量：随机事件的数量表示；  离散随机变量：取值为离散的随机变 量 ；  连续随机变量：取值为连续的随机变 量 ；

●●● 频率和概率 o频率:试验在相同的条件下重复N次, 其中M次事件A发生,则A发生的频率 为:fN(A)=M/N; o概率:当N很大时,频率会趋向一个稳 定值,称为A的概率: P(A)=if(4)

频率和概率  频率：试验在相同的条件下重复N次， 其中M次事件A发生，则A发生的频率 为：fN(A) = M / N；  概率：当N很大时，频率会趋向一个稳 定值，称为A的概率： ( ) lim N ( ) N P A f A → =

联合概率和条件概率 o联合概率:设A,B是两个随机事件,A 和B同时发生的概率称为联合概率,记 为:P(A,B); o条件概率:在B事件发生的条件下,A 事件发生的概率称为条件概率,记为: P(AB) o乘法定理:P(A|B)=P(A,B)/P(B)

联合概率和条件概率  联合概率：设A，B是两个随机事件，A 和B同时发生的概率称为联合概率，记 为：P(A, B)；  条件概率：在B事件发生的条件下，A 事件发生的概率称为条件概率，记为： P(A|B)；  乘法定理：P(A|B) = P(A, B) / P(B)

●●● 概率密度函数 o概率分布函数:设X为连续型随机变量, 定义分布函数;F(X)=P(xs×); o概率密度函数:如果存在一个非负函 数p(X)使得下式成立,则p(X)称为的概 率密度函数: F(x)=」p()d F()=p(x) P(x=x)=p(x)dx

概率密度函数  概率分布函数：设X为连续型随机变量， 定义分布函数；F(x) = P(X≤x)；  概率密度函数：如果存在一个非负函 数p(x)使得下式成立，则p(x)称为的概 率密度函数： ( ) ( ) x F x p t dt − =  F x p x ( ) = ( ) P X x p x dx ( = =) ( )

●●● 全概公式 o互不相容事件:如果试验时,若干个 随机事件中任何两个事件都不可能同时 发生,则称它们是互不相容的。 o全概公式:若事件只能与两两不相容的 事件A1,A2,,AN之一同时发生,则有 P(B)=∑P(4)P(BA4)

全概公式  互不相容事件：如果试验时，若干个 随机事件中任何两个事件都不可能同时 发生，则称它们是互不相容的。  全概公式：若事件只能与两两不相容的 事件A1 , A2 ,…, AN之一同时发生，则有： ( ) ( ) ( ) 1 N i i i P B P A P B A = = 

●●● 贝叶斯公式 o离散形式:A,B为离散随机变量: P(4B) P(B4)P(4) PlB o连续形式:A为离散随机变量,B为连 续随机变量: P(4B)=2(24)P(4)

贝叶斯公式  离散形式：A, B为离散随机变量： ( ) ( ) ( ) ( ) P B A P A P A B P B =  连续形式：A为离散随机变量，B为连 续随机变量： ( ) ( ) ( ) ( ) p B A P A P A B p B =

●●4概率分类器的问题提出 o已知:M个类别的先验概率P(Q),类 条件概率P(X|Q); o对类别未知样本X进行分类

概率分类器的问题提出  已知：M个类别的先验概率P(Ωi )，类 条件概率P(X| Ωi )；  对类别未知样本X进行分类

●●最小错误率准则 o将X分类为9类所产生的误判概率为: P()P(x)=∑P(2x)-P(21x)=1-P(2x) J≠ o寻找一个类别,使得P(e)最小 o等价于后验概率P(Ω2X)最大

最小错误率准则  寻找一个类别i，使得Pi (e)最小；  等价于后验概率P(Ωi |X)最大。  将X分类为Ωi类所产生的误判概率为： ( ) ( ) ( ) ( ) ( ) 1 1 1 M M i j j i i j j j i P e P P P P = =  =  =  −  = −    X X X X