武汉理工大学：《模式识别》课程教学资源（PPT课件）第8章 神经网络模式识别法

第8章神经网络模式识别法

第8章神经网络模式识别法8.1人工神经网络发展概况8.2神经网络基本概念8.3前馈神经网络8.4反馈网络模型Hopfield网络

8.1 人工神经网络发展概况 8.2 神经网络基本概念 8.3 前馈神经网络 8.4 反馈网络模型Hopfield网络 第8章 神经网络模式识别法

8.1人工神经网络发展概况人工神经网络ArtificialNeuralNetworks，ANN)简称神经网络模拟人脑神经细胞的工作特点：*单元间的广泛连接水并行分布式的信息存贮与处理*自适应的学习能力等。与目前按串行安排程序指令的计算机结构截然不同。优点：(1)较强的容错性：（2）很强的自适应学习能力：（3）可将识别和若干预处理融为一体进行

8.1 人工神经网络发展概况 人工神经网络(Artificial Neural Networks，ANN)： 简称神经网络。 模拟人脑神经细胞的工作特点： 与目前按串行安排程序指令的计算机结构截然不同。 * 单元间的广泛连接； * 并行分布式的信息存贮与处理； * 自适应的学习能力等。 优点： (1) 较强的容错性; (2) 很强的自适应学习能力； (3) 可将识别和若干预处理融为一体进行；

（4）并行工作方式：（5）对信息采用分布式记忆，具有鲁棒性。四个发展阶段：第一阶段：启蒙期，始于1943年，形式神经元的数学模型提出第二阶段：低潮期，始于1969年《感知器》（Perceptions)一书出版，指出局限性。第三阶段：复兴期，从1982年到1986年。Hopfield的两篇论文提出新的神经网络模型；《并行分布处理》出版，提出反向传播算法第四个阶段：1987年至今，趋于平稳回顾性综述文章“神经网络与人工智能

(4) 并行工作方式； (5) 对信息采用分布式记忆，具有鲁棒性。 四个发展阶段： 第一阶段：启蒙期，始于1943年。 形式神经元的数学模型提出。 第二阶段：低潮期，始于1969年。 《感知器》(Perceptions)一书出版，指出局限性 。 第三阶段：复兴期，从1982年到1986年。 Hopfield的两篇论文提出新的神经网络模型； 《并行分布处理》出版，提出反向传播算法。 第四个阶段：1987年至今，趋于平稳。 回顾性综述文章“神经网络与人工智能”

8.2神经网络基本概念8.2.1生物神经元1.生物神经元的结构细胞体、树突、轴突和突触来自其它神经元轴突的神经末梢树突轴突突触细胞体细胞核神经末梢

8.2 神经网络基本概念 8.2.1 生物神经元 1．生物神经元的结构 来自其它神经元轴突的神经末梢 细胞体 轴突 细胞核 树突 神经末梢 突触 细胞体、树突、轴突和突触

2．生物神经元的工作机制兴奋和抑制两种状态。抑制状态的神经元由树突和细胞体接收传来的兴奋电位输入兴奋总量超过阅值不应期神经元被激发进入兴奋状态产生输出脉冲由突触传递给其它神经元

2．生物神经元的工作机制 兴奋和抑制两种状态。 抑制状态的神经元 由树突和细胞体 接收传来的兴奋电位 不应 期 产生输出脉冲 输入兴奋总 量超过阈值 神经元被激发 进入兴奋状态 由突触传递给其它神经元

8.2.2人工神经元及神经网络人工神经元：生物神经元的简化模拟。互连强度输出函数WiX1On维输入向量XW2X2Z-.接收的信息Wn（其它神经元的输Xn输出出）作比较的阈值图8.2人工神经元模型人工神经元间的互连：信息传递路径轴突-突触-树突的简化；连接的权值：两个互连的神经元之间相互作用的强弱

8.2.2 人工神经元及神经网络 人工神经元：生物神经元的简化模拟。 人工神经元间的互连：信息传递路径轴突-突触-树突的简化； 连接的权值：两个互连的神经元之间相互作用的强弱。 x1 x2 xn w1 w2 wn ┇ ┇ ∑  f y 图8.2 人工神经元模型 接收的信息 (其它神经元的输 出) 互连强度 作比较 的阈值 n维输入向量X 输出 输出函数

n神经元的动作：(xi, w,ER)net =W,x,ily=f(net)输出函数f：也称作用函数，非线性1+netnetnetOol06(c)(b)(a)S型值型伪线性型nZw,x,-0f为阈值型函数时：y=sgni-1设=-wn+，点积形式：y=sgn(WTX)式中, W =[wi,..,wn, wn] X=[x,.,xn, 1]

神经元的动作： = = n i i i net w x 1 y = f (net) (x , w R) i i  输出函数 f：也称作用函数，非线性。 0 1 y net θ （a） 0 1 y net （b） y net （c） 0 1 阈值型 S型 伪线性型 f 为阈值型函数时：       =  − = n i i i y w x 1 sgn  设  = −wn+1 ，点积形式： sgn( ) T y = W X T 1 1 [ , , , ] W = w  wn wn+ T 1 [ , , , 1] n 式中， X = x  x

8.2.3神经网络的学习学习：神经网络的最重要特征之一实质：同一个训练集的样本输入输出模式反复作用于网络，网络按照一定的训练规则自动调节神经元之间的连接强度或拓扑结构，使实际输出满足期望的要求或者趋于稳定典型的权值修正方法：Hebb学习规则、误差修正学习1.Hebb学习规则如果神经网络中某一神经元与另一直接与其相连的神经元同时处于兴奋状态，那么这两个神经元之间的连接强度应该加强

8.2.3 神经网络的学习 学习： 同一个训练集的样本输入输出模式反复作用于网络，网 络按照一定的训练规则自动调节神经元之间的连接强度或拓 扑结构，使实际输出满足期望的要求或者趋于稳定。 实质： 1．Hebb学习规则 典型的权值修正方法： Hebb学习规则、误差修正学习 如果神经网络中某一神经元与另一直接与其相连的神经 元同时处于兴奋状态，那么这两个神经元之间的连接强度应 该加强。 神经网络的最重要特征之一

X1QW1jX2aW2j-XiWijViVi.Wni神经元间的连接xnw,(t+l)=w,(t)+nly,(t)y,(t)wi（t+1）：修正一次后的某一权值；n：学习因子，表示学习速率的比例常数；y(t)，y(t)：分别表示时刻第j个和第i个神经元的状态（输出）。由y,(t)=x,(t)有：W,(t +1) = w,(t)+nly,(t)x,(t))

┇ x2 xi i yi x1 j wij w2j ┇ w1j ┇ ┇ wnj yj ┇ xn w (t 1) w (t) [ y (t) y (t)] i j + = i j + j i wij(t+1)：修正一次后的某一权值； η：学习因子，表示学习速率的比例常数； yj (t)，yi (t)：分别表示t时刻第j个和第i个神经元的状态（输出）。 由 yi (t) = xi (t) 有： w (t 1) w (t) [ y (t)x (t)] i j + = i j + j i 神经元间的连接