武汉理工大学：《模式识别》课程教学资源（PPT课件）第3章 判别函数及几何分类法

第3章别函数及几何分类法

第3章判别函数及几何分类法3.1判别函数3.2线性判别函数3.3广义线性判别函数3.4线性判别函数的几何性质3.5感知器算法3.6梯度法3.7最小平方误差算法3.8非线性判别函数

第3章 判别函数及几何分类法 3.1 判别函数 3.2 线性判别函数 3.3 广义线性判别函数 3.4 线性判别函数的几何性质 3.5 感知器算法 3.6 梯度法 3.7 最小平方误差算法 3.8 非线性判别函数

3.1判别函数复习与引申：聚类分析法（第二章）模式识别统计线性判决函数法几何分类法一【确定性事件分类】（第三章）非线性判决函数法判决函数法人概率分类法统计决策方法一[随机事件分类】（第四章）

3.1 判别函数 聚类分析法（第二章） 判决函数法 几何分类法 [确定性事件分类] （第三章） 概率分类法 [随机事件分类] （第四章） 线性判决函数法 统 计 决 策 方 法 非线性判决函数法 复习与引申： 模 式 识 别 统 计

3.1判别函数（discriminantfunction1.判别函数的定义直接用来对模式进行分类的准则函数。若分属于の1，的两类模式可用一方程d()=0来划分，那么称d(X)为判别函数，或称判决函数、X21决策函数。d(X)=0例：一个二维的两类判别问题，模十式分布如图示，这些分属于の1，の20两类的模式可用一直线方程d(X)=0来划分。O.d(X)=wx +wx +w=002.式中：为坐标变量XOwi,W2,ws为方程参数。图3.2两类二维模式的分布

若分属于ω1，ω2的两类模式可用一方程d(X) =0来 划分，那么称d(X) 为判别函数，或称判决函数、 决策函数。 3.1 判别函数(discriminant function) 直接用来对模式进行分类的准则函数。 例：一个二维的两类判别问题，模 式分布如图示，这些分属于ω1，ω2 两类的模式可用一直线方程 d(X)=0来划分。 d(X) = w1 x1 + w2 x2 + w3 = 0 1 2 x , x 为坐标变量， 1 2 3 w ,w ,w 为方程参数。 式中： 图3.2 两类二维模式的分布 1．判别函数的定义 d(X) = 0 2 x 1 O x 1 2 ＋ －

d(X)=0将某一未知模式X代入d(X)=WX+WX2+W30若d(X)>O,则XEの类若d(X3时：判别边界为一超平面

若 ，则 若 ，则 类； 若 d(X)  0 ，则 X 1 类； d(X)  0 X 2 d(X) = 0 X ω1 或X ω2 或拒绝 将某一未知模式 X 代入： 维数=3时：判别边界为一平面。 维数>3时：判别边界为一超平面。 1 1 2 2 3 d(X) = w x + w x + w d(X) = 0 2 x 1 O x 1 2 ＋ －

2.判别函数正负值的确定判别界面的正负侧，是在训练判别函数的权值时确定的X20)d(X)= 0x0图3.3判别函数正负的确定d(X）表示的是一种分类的标准，它可以是1、2、3维的，也可以是更高维的

d(X) 表示的是一种分类的标准，它可以是1、2、3维的， 也可以是更高维的。 判别界面的正负侧，是在训练判别函数的权值时确定的。 2．判别函数正负值的确定 1 2 2 x 1 O x d(X) = 0 － ＋ 图3.3 判别函数正负的确定

3.确定判别函数的两个因素1D判决函数d(X的几何性质。它可以是线性的或非线性的函数，维数在特征提取时已经确定如：已知三维线性分类一判决函数的性质就确定了判决函数的形式：d(X)=Wx+WX+WX+W例：非线性判决函数X2TVAVAAPXi2）判决函数d(X的系数。用所给的模式样本确定

1）判决函数d(X)的几何性质。它可以是线性的或非线性的函 数，维数在特征提取时已经确定。 如：已知三维线性分类 —— 判决函数的性质就确定了判决函数 的形式： 1 1 2 2 3 3 4 d(X) = w x + w x + w x + w 3. 确定判别函数的两个因素 例：非线性判决函数 2）判决函数d(X)的系数。用所给的模式样本确定。 x2 1 O x x2 O x1

3.2线性判别函数线性判别函数的一般形式3.2.1年将二维模式推广到n维，线性判别函数的一般形式为(3-2)d(X)=wix +w2x2 +...+w.x. +wn+ =wTX+w.+式中: X=[,x. TW。=[w,W2.,,]"：权向量，即参数向量。增广向量的形式：d(X)=wx +wx +...+w.X, +wn+1 1式中：XX-[, X2.., ,]X2·=WTX为增广模式向量。-[w. w2 ....nWn+lW-[wi, W2., wn,wn1]Xn1为增广权向量

3.2 线性判别函数 3.2.1 线性判别函数的一般形式 将二维模式推广到n维，线性判别函数的一般形式为： ( ) 1 T = 1 1 + 2 2 ++ n n + wn+1 = 0 + wn+ d X w x w x w x W X (3-2)   T 1 2 , ,., n 式中： X = x x x   T 0 1 2 , ,., W = w w wn ：权向量，即参数向量。 ( )   W X X T 2 1 1 2 1 1 1 2 2 n n n 1 1 1 =                 = = + ++ +  + + n n n x x x w w w w d w x w x w x w     T 1 2 1 , ,., , W = w w wn wn+   T X = x1 , x2 ,., xn ,1 增广向量的形式： 式中： 为增广权向量， 为增广模式向量

3.2.2线性判别函数的性质1.两类情况>0,若XEOd(X)=WTX<0,若XEO2d(X=0：不可判别情况，可以XEの或XEの或拒绝2.多类情况对M个线性可分模式类，の1，2，...のM，有三种划分方式：00,两分法①/の，两分法特例の/可两分法

3.2.2 线性判别函数的性质        = 2 T 1 0, 0, ( )   X X X W X 若 若 d 1. 两类情况 d(X) = 0：不可判别情况，可以 X 1或X 2或拒绝 ） 对M个线性可分模式类，ω1， ω2，. ωM，有三种 划分方式： 2. 多类情况 i i 两分法 i  j 两分法 i  j 两分法特例

(1）多类情况1：0/可，两分法用线性判别函数将属于の类的模式与其余不属于の类的模式分开。若XEQ>0.d,(X)=WTXi=1,...,M0，其他d(X)均<0，则判为の,类

(1)多类情况1： i i 两分法 用线性判别函数将属于ωi类的模式与其余不属于ωi类的 模式分开。 将某个待分类模式 X 分别代入 M 个类的d (X)中， 若只有di (X)>0，其他d(X)均<0，则判为ωi类。 识别分类时： d i M i i i i ， ， 若 若 1 0, 0, ( ) T =        =   X X X W X