北京邮电大学信息工程学院：《模式识别导论》课程教学资源（PPT课件讲稿）第五章 参数估计与非参数估计

第五章参数估计与非参数估计 参数估计与监督学习 参数估计理论 非参数估计理论

第五章 参数估计与非参数估计 • 参数估计与监督学习 • 参数估计理论 • 非参数估计理论

§5-1参数估计与监督学习 贝叶斯分类器中只要知道先验概率,条件概率或后验概 概率P(,)P(xo1),P(01(x)就可以设计分类器了。现在 来研究如何用已知训练样本的信息去估计P(O),P(xo) P(0x) 参数估计与非参数估计 参数估计:先假定研究的问题具有某种数学模型,如 正态分布,二项分布,再用已知类别的学习 样本估计里面的参数 非参数估计:不假定数学模型,直接用已知类别的学习 样本的先验知识直接估计数学模型

§5-1 参数估计与监督学习 贝叶斯分类器中只要知道先验概率，条件概率或后验概 概率 P(ωi ),P(x/ωi ), P(ωi /x)就可以设计分类器了。现在 来研究如何用已知训练样本的信息去估计P(ωi ),P(x/ωi ), P(ωi /x) 一．参数估计与非参数估计 参数估计：先假定研究的问题具有某种数学模型，如 正态分布，二项分布，再用已知类别的学习 样本估计里面的参数。 非参数估计：不假定数学模型，直接用已知类别的学习 样本的先验知识直接估计数学模型

监督学习与无监督学习 监督学习:在已知类别样本指导下的学习和训练, 参数估计和非参数估计都属于监督学习 无监督学习:不知道样本类别,只知道样本的某些 信息去估计,如:聚类分析

二．监督学习与无监督学习 监督学习：在已知类别样本指导下的学习和训练， 参数估计和非参数估计都属于监督学习。 无监督学习：不知道样本类别，只知道样本的某些 信息去估计，如：聚类分析

§5-2参数估计理论 .最大似然估计 假定: ①待估参数θ是确定的未知量 ②按类别把样本分成M类X,X2,Ⅹ3,…,XM 其中第i类的样本共N个 X=(X1X2X)并且是独立从总体中抽取的 ③X中的样本不包含(有)的信息,所以可以对每 类样本独立进行处理 ④第类的待估参数=(6102bn) 根据以上四条假定,我们下边就可以只利用第i类学习样 本来估计第类的概率密度,其它类的概率密度由其它类 的学习样本来估计

§5-2参数估计理论 一．最大似然估计 假定： ①待估参数θ是确定的未知量 ②按类别把样本分成M类X1 ，X2 ，X3 ，… XM 其中第i类的样本共N个 Xi = (X1 ,X2 ,… XN ) T 并且是独立从总体中抽取的 ③ Xi中的样本不包含 (i≠j)的信息，所以可以对每一 类样本独立进行处理。 ④ 第i类的待估参数 根据以上四条假定，我们下边就可以只利用第i类学习样 本来估计第i类的概率密度，其它类的概率密度由其它类 的学习样本来估计。 ( , ,... )  1 2  n i T =  j

1.一般原则: 第类样本的类条件概率密度: P(Xo1)=P(X(o1·6)=P(X/) 原属于类的学习样本为X=(X1,X2XN)12,M 求0的最大似然估计就是把P(X)看成的函数,求 出使它最大时的θ值。 ∴学习样本独立从总体样本集中抽取的 P(X|o1:0)=P(X|)=∏P(Xk|0 k N个学习样本出现概率的乘积 取对数:bgIP(k|)=∑bgP(xklO) k=1

1.一般原则： 第i类样本的类条件概率密度： P(Xi /ωi )= P(Xi /ωi﹒θ i ) = P(Xi /θi ) 原属于i类的学习样本为Xi=(X1 , X2 ,…XN ,)T i=1,2,…M 求θ i的最大似然估计就是把P(Xi /θi )看成θ i的函数，求 出使它最大时的θ i值。 ∵学习样本独立从总体样本集中抽取的 ∴ N个学习样本出现概率的乘积 取对数 ：  = = = N k i P X k i P X i P X i i i 1 ( | . ) ( | ) ( | )   = = = N k i k i k N k X P X P 1 1 log ( | ) log ( | )

对求导,并令它为0: O ∑lgP(Xk|O)=0 O P(X/0) ogP(Xk8=0 k=1 a0 N、oW9(XA10)=0 00 0. 8.86.6e 6 利用上式求出O的估值9,即为=0 有时上式是多解的,上图有5个解,只有一个解最大即O

对θ i求导,并令它为0： 有时上式是多解的, 上图有5个解,只有一个解最大即. ... log ( | ) 0 1 1 =                   = N k i k p P X             =   =     = = log ( | ) 0 ......... ......... log ( | ) 0 1 1 1     i k N k p i k N k P X P X P(Xi /θi )     利用上式求出 的估值，即为 ＝ i i

2.多维正态分布情况 ①∑已知,μ未知,估计μ P( X)服从正态分NogP(Xk|)=0 待估参数为0=91=120μ 所以在正态分布时 P(Xk4)=-bog(2x)Σ-( ∑(Xk-) 代入上式得 ∑∑(Xk-4)=0 ∑(Xk-4)=0 k=1

2. 多维正态分布情况 ① ∑已知, μ未知,估计μ 服从正态分布 所以在正态分布时 ( | ) i i P X log ( | ) 0 1 =   =   P X k N k ( ) ( )  ( ) − = −  − − − 1 2 1 log[ 2 | |] 2 1 P(X | )  X k  X k  n T k  ( ) = − − = N k X k 1 1  0  ( ) = − − = N k X k 1 1  0  =1 =  待估参数为 i 代入上式得

所以∑∑Xk-N)=0 ∧ ∑ⅹk k=1 这说明未知均值的最大似然估计正好是训练样本的算术 平均

所以 这说明未知均值的最大似然估计正好是训练样本的算术 平均。   − = − = 1 1 ( ) 0 N k X k N =  = = N k X k N 1 1  

②2∑,p均未知 A.一维情况:n=1对于每个学习样本只有一个特征的简单 情况 O1 2 1162=Gi lgP(kk)=-bogp22b,(Xk-)(n=1)由上式得 代入∑。kogP(Xk0)=∑(Xk-6)=0 k=1 61 k=162 gP(Xk|0)=∑ (Xk-) k02 k=1 2202 ∧ b1=1 M之Xk即学习样本的算术平均 ∑(xk 样本方差 N

② ∑， μ均未知 A. 一维情况：n=1对于每个学习样本只有一个特征的简单 情况： (n=1)由上式得 即学习样本的算术平均 样本方差     2 1 1 2 1 = , = (  )     1 2 2 2 2 1 log 2 2 1 log P(X | ) = − − X k− i k ( ) 0 1 log ( | ) 1 1 1 1 2 = − =     = =     P X X k N k i k N k 代入 ] 0 2 ( ) 2 1 log ( | ) [ 1 2 2 1 2 1 2 2 = − = − +     = = N k i k k N k X P X      =    = = N k X k N 1 1 1 1   ( ) =     = = − N k N X k 1 2 2 2 1 1   

讨论 1.正态总体均值的最大似然估计即为学习样本的算术平均 2正态总体方差的最大似然估计与样本的方差不同,当N较 大的时候,二者的差别不大 B.多维情况:n个特征(学生可以自行推出下式) 估计值:1== 之YkB2=1 N Xk-UIX 结论:①μ的估计即为学习样本的算术平均 ②估计的协方差矩阵是矩阵(Xk-4Xk-m的算术 平均(nxn阵列,nxn个值)

• 讨论： 1.正态总体均值的最大似然估计即为学习样本的算术平均 2.正态总体方差的最大似然估计与样本的方差不同，当N较 大的时候，二者的差别不大。 B．多维情况：n个特征（学生可以自行推出下式） 估计值： 结论：①μ的估计即为学习样本的算术平均 ②估计的协方差矩阵是矩阵 的算术 平均（nⅹn阵列， nⅹn个值） =   = = N k X k N 1 1 1   ( ) ( )  =     =  =  −  X −  T X N k N k k 1 2 1 ( )( )   X − X k − T k