北京大学：《模式识别》课程教学资源（课件讲义）第四章 线性判别函数

第四章线性判别函数 4.0引 4.1Fshe线性判别 42最小平方误差准则 4.3最小错分样本数准则 4.4线性支持向量机(SVM)

第四章 线性判别函数 „ 4.0 引言 „ 4.1 Fisher线性判别 „ 4.2 最小平方误差准则 „ 4.3 最小错分样本数准则 „ 4.4 线性支持向量机（SVM）

4.0引言

4.0 引言

40引言 ■ Bayes决策尽管是最优决策,但实现困难 模式识别的任务是分类,可直接设计判 别函数一即分类面

4.0 引言 „ Bayes决策尽管是最优决策，但实现困难。 „ 模式识别的任务是分类，可直接设计判 别函数 — 即分类面

4.0引言 x g() ■最简单的判别函数是线性函数,相应的 分类面是超平面

4.0 引言 {(xi , yi),i =1,2,Ln} y „ 最简单的判别函数是线性函数，相应的 分类面是超平面。 g(x) x

40引言 线性判别函数(两类): >0 g(x=wx+b <0 g(x)=0是分类面方程; nw是分类面的法向量; b是分类面的偏移; 设计线性分类器的关键是给出估计w,b 的准则

4.0 引言 „ 线性判别函数（两类）： „ 是分类面方程； „ 是分类面的法向量； „ 是分类面的偏移； „ 设计线性分类器的关键是给出估计 的准则。 <> = + 21 00 ( ) ωω g x w x b T w b g(x) = 0 w, b

4.0引言 线性判别涵数的几何意义 Wx+b=0

4.0 引言 „ 线性判别函数的几何意义： wx+b=0 w T

40引言 选择w就是找一个最佳投影方向。只与方 向有关,和叫大小无关! 投影后是一维数据的分类问题

4.0 引言 „ 选择 就是找一个最佳投影方向。只与方 向有关，和 大小无关！ „ 投影后是一维数据的分类问题。 w w

4.1 Fisher线性判别

4.1 Fisher线性判别

4.1 Fishe线性判别 Fisher判别的基本思想: 希望投影后的一维数据满足: 两类之间的距离尽可能远; 每一类自身尽可能紧凑 准则的描述: 用投影后数据的统计性质一均值和离散度的 函数作为判别优劣的标准

4.1 Fisher线性判别 „ Fisher判别的基本思想： 希望投影后的一维数据满足： „ 两类之间的距离尽可能远； „ 每一类自身尽可能紧凑。 „ 准则的描述： „ 用投影后数据的统计性质—均值和离散度的 函数作为判别优劣的标准

4.1 Fishe线性判别 符号含义: m2——两类(原始)数据的均值向量。 S},2S2分别表示两类(原始)数据的离散 度矩阵。 1,{l2分别表示两类(投影后,一维)数 据的均值。 ■Oi1O2分别表示两类(投影后,一维)数 据的离散度

4.1 Fisher线性判别 „ 符号含义： „ ——两类（原始）数据的均值向量。 „ 分别表示两类（原始）数据的离散 度矩阵。 „ 分别表示两类（投影后，一维）数 据的均值。 „ 分别表示两类（投影后，一维）数 据的离散度。 1 2 µ ,µ 1 2 σ ,σ 1 2 m ,m 1 2 S , S