电子科技大学：《模式识别 Pattern Recognition》课程教学资源（课件讲稿）第四章 非线性分类器

第四章非线性分类器 1966 异或问题 X1 X2 XOR Class 0 0 0 B 0 1 1 A 1 0 1 A 1 1 0 B 0C2 ●B B 0 1 001

 异或问题 x1 x2 XOR Class 0 0 0 B 0 1 1 A 1 0 1 A 1 1 0 B 第四章 非线性分类器

1966 不存在一条线（或超平面）可以把类A和B分开，与此 相反，AND和OR问题都是线性可分的问题。 AND OR 0,0) .1,0) (0,0) 1,0) B B B A 单层感知器不能解决XOR问题

 不存在一条线(或超平面)可以把类A和B分开，与此 相反，AND和OR问题都是线性可分的问题。 单层感知器不能解决XOR问题

。双层感知器 1966 两条线 0C2 (01PA ● B (1,1) B (0,01 (1,0) g() g2(8r) 以阴影内外的两个带来分出类A和类B

 双层感知器  两条线 以阴影内外的两个带来分出类A和类B

1956 采用两阶段设计的方式 1st phase 2nd X1 X2 Vi V2 phase 0 0 0(-) 0(-) B(0) 0 1 1(+) 0(-) A(1) 1 0 1(+) 0(-) A(1) 1 1 1(+) 1(+) B(0) x→y=[y,y2]

1st phase 2nd x1 x2 y1 y2 phase 0 0 0(-) 0(-) B(0) 0 1 1(+) 0(-) A(1) 1 0 1(+) 0(-) A(1) 1 1 1(+) 1(+) B(0) T x y [y , y ]   1 2 采用两阶段设计的方式

es界 1966 现在的决策被放在变换了的数据y上进行， 2 ● 1,1) (00B ●A (1,0) V1 8(y)=0

现在的决策被放在变换了的数据y上进行. g( y)  0

40 1966 ,第一阶段的计算完成了从非线性可分问题到线 性可分问题的映射 1◇ -2 32

 第一阶段的计算完成了从非线性可分问题到线 性可分问题的映射

1966 >这就是熟知的两层感知器，一层为隐层，另 一层为输出层。激活函数的表达式为： >上图所示的图形中，各神经元（节点）实现了 如下的直线（超平面）： 1 8(四)=1+20 82四)=x+,2 =0 809=y-2-70 1

 这就是熟知的两层感知器，一层为隐层，另 一层为输出层。激活函数的表达式为：  上图所示的图形中，各神经元(节点)实现了 如下的直线(超平面)： 0 0 (.) 1 0 x f x       0 2 1 ( ) 2 0 2 3 ( ) 0 2 1 ( ) 1 2 2 1 2 1 1 2             g y y y g x x x g x x x

三层感知器 结构 1966 19 2 input 1"hidden 2hidden output layer laver layer layer 口 三层感知器可以分离由多面体区域的任何并集产生的 类 方法类似于解决XOR问题，三层感知器可以在y∈R 空间实现多于一个的超平面

 三层感知器  结构  三层感知器可以分离由多面体区域的任何并集产生的 类  方法类似于解决XOR问题，三层感知器可以在 空间实现多于一个的超平面。 p yR

1956 3)多层感知器(MP) 在单层感知器的输入和输出层之间增加一 个或多个隐层。可产生复杂的决策界面和任意 的布尔函数

3) 多层感知器(MLP) 在单层感知器的输入和输出层之间增加一 个或多个隐层。可产生复杂的决策界面和任意 的布尔函数

-0.5 1966 1 -2 -0.5 -1.5 (x)=x1+x2-0.5 y2(x)=x1+x2-1.5 8(x)=f(y,(x)-2f(y(x)-0.5 (x) 多层感知器的权值如何得到？

1 1 2 2 1 2 1 2 ( ) 0.5 ( ) 1.5 ( ) ( ( )) 2 ( ( )) 0.5 1 0 ( ) 0 0 y x x y x x g f y f y y f y y                x x x x x    1 1 1 1 -0.5 -1.5 1 -2 -0.5 1 y ( ) x 2 y ( ) x 多层感知器的权值如何得到？