北京大学：《模式识别》课程教学资源（课件讲义）第五章 人工神经网络简介

第五章人工神经网络简介 50引言 51感知机 52多层感知机 ■53反向传播算法 54径向基函数网络 55说明

第五章 人工神经网络简介 „ 5.0 引言 „ 5.1 感知机 „ 5.2 多层感知机 „ 5.3 反向传播算法 „ 5.4 径向基函数网络 „ 5.5 说明

50引言

5.0 引言

50引言 ■人工神经网络结构: 示例: 神经元 输入信号 输出信号 连接权重

5.0 引言 „ 人工神经网络结构： „ 示例： 神经元 M M M 连接权重 输 出 信 号 输 入 信 号

50引言 ■神经元: 连接权重 y=0(u) (∑wx2+b)

5.0 引言 „ 神经元: M 1 x 2 x d x w1 w2 wd b ϕ 连接权重 ( ) ( ) 1 w x b y u i d i = i + = ∑ = ϕ ϕ y

50引言 ■Hebb学习规则:如果神经元接收来自 另一个神经元的输出,则当这两个神经 元同时兴奋时,从到v的权值w就得 到加强。 AW=my

5.0 引言 „ Hebb学习规则：如果神经元 接收来自 另一个神经元 的输出，则当这两个神经 元同时兴奋时，从 到 的权值 就得 到加强。 ij i ∆w =ηyx ui j u ui j u wij

50引言 ■发展历程 McCulloch-Pit模型( McCulloch,Pit1943); Hebb提出神经元学习准则(1949) a感知机( Rosenblatt 11958 Hopfield模型(1982) ■多层感知机与反向传播算法( Rumelhart, Hinton 1986)

5.0 引言 „ 发展历程： „ McCulloch-Pitts模型( McCulloch, Pitts 1943 ); „ Hebb提出神经元学习准则(1949) „ 感知机(Rosenblatt 1958); „ Hopfield模型(1982) „ 多层感知机与反向传播算法(Rumelhart, Hinton 1986)

50引言 ■大规模并行、分布表达和计算 ■本质上可以理解为函数逼近

5.0 引言 „ 大规模并行、分布表达和计算 „ 本质上可以理解为函数逼近

5.1感知机

5.1 感知机

51感知机 ■感知机( Perceptrons)模型: plu) X o(u)=sgn( u) y=sgn(∑m,x2+b) 线性分类器!

5.1 感知机 „ 感知机(Perceptrons)模型： ϕ(u) M 1 x 2 x d x w1 w2 wd b ϕ 1 u y −1 ϕ (u ) = sgn( u ). sgn( ) 1 y w x b i d i = ∑ i + = 线性分类器！

51感知机 ■等价表示: 固定输入x=+1 =6 输出 输入信号

5.1 感知机 „ 等价表示： M 1 x 2 x d x w1 w2 wd w = b 0 ϕ 1 0 x = +   固定输入 输 y 输出 入 信 号