北京大学：《模式识别》课程教学资源（课件讲稿）特征的选择和提取（第三部分）

第七章 特征的选择和提取 2010.12.06

第七章 特征的选择和提取 2010.12.06

基于K-L变换的特征提取 主成分分析(PCA)

基于K-L变换的特征提取 主成分分析（PCA）

3 主成分的意义 2 y2 乃1 X1

3 主成分的意义

4 KL变换 口对随机向量x,用确定的完备正交归一向量系u (j=1,2,,∞)展开 x-Zcmu,c=ux; i=j 。i≠方

4 K-L 变换  对随机向量 x，用确定的完备正交归一向量系 uj （j = 1 ,2, …, ∞）展开 1 , ; T jj j j j c c   x u ux    1, . 0, T i j i j i j       其中，u u

5 KL变换 口用有限项逼近x =2c,u, i=1 ■均方误差 5=E[(x-r(x-刘]=∑吲E['], 目标函数：mim5=min∑u,(Y=E[xx i=d+l st.u,u,=1,i=d+1,…,0;

5 K-L 变换  用有限项逼近 x  均方误差  1 ; d j j j c  x u     1 ( )( ) ; T T T j j j d  E E                x x x x u xx u 1 min min ( ) . . 1, 1, , ; T T j j j d T i i E s t i d                u u xx u u  目标函数：

6 KL变换 口最小化均方误差 g)=∑平u,-∑u-1) i=d+1 i=d+l 0g(u)- uj ）→（Ψ-I)u,=0,j=d+1,,0, 令d=0,有Ψu,=,uj,j=1,,0, →5=∑ j=d+1

6 K-L 变换  最小化均方误差 1 1 ( ) ( 1) T T j j j jj j d j d g        u u u uu      ( ) 0 ( ) 0, 1, , ; j j j g  I jd          u u u  0, = , 1, , ; j jj 令 有 d j    u u   1 . j j d        

7 K-L展开式的性质 1.信息的最佳（压缩)表达一均方误差最小 0 2.新空间的特征互不相关 Λ= 0 E[c,c ]E[u;xx'u =,uu,=6 4X2 ↑ 归 E[cc"]=E[U'xx'U] 6 =UΨU=A, b 专

7 K-L 展开式的性质 1. 信息的最佳（压缩）表达 — 均方误差最小 2. 新空间的特征互不相关 [] [ ] ; T T ij i j T i i j i ij E cc E       u xx u u u [] [ ] ; T TT T E EU U U U    cc xx Λ 1 2 0 ; 0 D                 Λ 

8 K-L展开式的性质 3.表示熵最小 归一化展开系数的方差（特征值入） 2,j=12,,D,→0≤，≤1,2元=1 i=1 表示熵 Ha=-2元，1log元

8 K-L 展开式的性质 3. 表示熵最小  归一化展开系数的方差（特征值λj）  表示熵 .1 ,10 ,,,2,1 , 1 1        D i j i D i i j j Dj       1 log . D j j R j H     

9 KL展开式的性质 02+ FIGURE 6.1:The KL transform is not always best for pattern recognition.In this example,projection on the eigenvector with the larger eigenvalue makes the two classes coincide.On the other hand,projection on the other eigenvector keeps the classes separated

9 K-L 展开式的性质

10 K-L展开式的性质 4. 总体熵 考查用均值代表样本 pcxIw.) pcx(w) 集所造成的不确定性 H。=-E[log p(x]: 总体熵最小的变换 A=[u1,u2,…,ua] 其中u1,,为Ψ的的d个特征向量，其对应的特征 值满足入，≤入2≤.≤入≤…≤入D

10 K-L 展开式的性质 4. 总体熵  考查用均值代表样本 集所造成的不确定性  总体熵最小的变换 p  pEH x)];([log 1 2 [, , , ] A  uu u  d 其中u1 ,…,ud 为Ψ的的d个特征向量，其对应的特征 值满足λ1 ≤ λ2 ≤… ≤λd ≤… ≤ λD