北京大学：《模式识别》课程教学资源（课件讲义）第十章 特征空间

第十章特征空间 ■10.0引言 ■10.1特征提取 10.2特征选择

第十章 特征空间 „ 10.0 引言 „ 10.1 特征提取 „ 10.2 特征选择

10.0引言 ■模式识别中把每个对象都量化为一组特 征来描述,构建特征空间是所有模式识 别问题的第一步 通过直接测量得到的特征称为原始特征 ■比如人体的各种生理指标(描述其健康状况) 数字图象中的每点灰度值(以描述图像内容)

10.0 引言 „ 模式识别中把每个对象都量化为一组特 征来描述，构建特征空间是所有模式识 别问题的第一步 „ 通过直接测量得到的特征称为原始特征 „ 比如人体的各种生理指标（描述其健康状况） „ 数字图象中的每点灰度值（以描述图像内容）

10.0引言 原始特征数量可能很大,不利于学习。 比如1024*768的灰度图像,256灰度级。 直接表示,每幅需要786432 bytes。进行训 练识别所需空间、时间、计算量都无法承受! ■很少的样本分布会在如此高维的特征空间中 显得十分稀疏,因而产生过学习的现象。 特征空间有很大的冗余。完全可以用很小的 空间相当好地近似表示图像,这一点与压缩 的思想类似

10.0 引言 „ 原始特征数量可能很大，不利于学习。 比如 1024*768的灰度图像，256灰度级。 „ 直接表示，每幅需要786,432 bytes。进行训 练识别所需空间、时间、计算量都无法承受！ „ 很少的样本分布会在如此高维的特征空间中 显得十分稀疏，因而产生过学习的现象。 „ 特征空间有很大的冗余。完全可以用很小的 空间相当好地近似表示图像，这一点与压缩 的思想类似

10.0引言 ■如何提取特征与具体问题有很大关系 特征是对象的表达,根据知识来考虑 ■特征的稳定性 特征的可分性 例 ■白细胞的浓度 指纹的细节特征

10.0 引言 „ 如何提取特征与具体问题有很大关系， 特征是对象的表达，根据知识来考虑 „ 特征的稳定性 „ 特征的可分性 „ 例： „ 白细胞的浓度 „ 指纹的细节特征

指纹细节特征 Furrow Ridge termination

指纹细节特征

10.0引言 ■模式识别中处理特征空间的方法可分为两类: n特征提取( Feature Extraction):用映射(或变换) 的方法把原始特征变换为新特征,称为特征提取 傅立叶变换 ■小波变换 aPCA变换 ICA变换 Gabor变换

10.0 引言 „ 模式识别中处理特征空间的方法可分为两类： „ 特征提取(Feature Extraction)：用映射（或变换） 的方法把原始特征变换为新特征，称为特征提取 „ 傅立叶变换 „ 小波变换 „ PCA变换 „ ICA变换 „ Gabor变换 „

10.0引言 特征选择( Feature Selection):从原始特征中 挑选出一些最有代表性、可分性能最好的特 征来,称为特征选择

10.0 引言 „ 特征选择(Feature Selection)：从原始特征中 挑选出一些最有代表性、可分性能最好的特 征来，称为特征选择

10.1特征提取

10.1 特征提取

10.1特征提取 ■特征提取的目的是希望通过变换把原来 的特征变换到新的特征空间,使得特征 的可分性更好。 PCA LDA

10.1 特征提取 „ 特征提取的目的是希望通过变换把原来 的特征变换到新的特征空间，使得特征 的可分性更好。 „ PCA „ LDA

10.1特征提取一PCA ■希望通过变换,用较少的特征(v,y2yn) 可以近似表示原来的对象x=(x12x2…,xn) 而且误差尽量的小。m<n 在所有正交线性变换中,这种最优的变 换是 Karhunen- Loeve(KL)变换,相应的 特征提取方法被称为 Principle component Analysis(PCa)

10.1 特征提取－PCA „ 希望通过变换，用较少的特征 可以近似表示原来的对象 ， 而且误差尽量的小。 „ 在所有正交线性变换中，这种最优的变 换是Karhunen-Loeve (KL)变换，相应的 特征提取方法被称为Principle Component Analysis (PCA)。 T m (y , y , , y ) 1 2 L T n x (x , x , , x ) = 1 2 L m << n