北京大学：人工神经网络（PPT课件讲稿）Artificial Neural Networks，ANN

第六章人工神经网络(ID Artificial Neural networks ANN ICL by谢广明,2005-200学年度第一学期

by 谢广明 ， 2005~2006学年度第一学期 1 Artificial Neural Networks ANN 第六章 人工神经网络 (III)

内容 Hopfield NN Dhnn * Chnn *HNN求解TSP *算法改进 *算法混合 *其它神经网络 ICL by谢广明,2005-200学年度第一学期

by 谢广明 ， 2005~2006学年度第一学期 2 内 容  Hopfield NN  DHNN  CHNN  HNN求解TSP  算法改进  算法混合  其它神经网络

NE John Joseph Hopfield Prof of Molecular Biology Princeton University, USA *掀起人工神 经网络研究 第二次热潮! ICL by谢广明,2005-200学年度第一学朝 3

by 谢广明 ， 2005~2006学年度第一学期 3 John Joseph Hopfield  Prof. of Molecular Biology  Princeton University, USA  掀起人工神 经网络研究 第二次热潮！

H。 field网络 Hopfield网络 1982年, Hopfield开创性地在物理学、神经生物 学和计算机科学等领域架起了桥梁,提出了 Hopfield反馈神经网络模型(HNN),证明在高强 度连接下的神经网络依靠集体协同作用能自发产 生计算行为。 与前向神经网络相比,后者有学习能力;前者具 有联想记忆功能和解决优化问题的能力 ICL by谢广明,2005-200学年度第一学期

by 谢广明 ， 2005~2006学年度第一学期 4 Hopfield 网络  Hopfield 网络 – 1982年，Hopfield开创性地在物理学、神经生物 学和计算机科学等领域架起了桥梁，提出了 Hopfield 反馈神经网络模型(HNN)，证明在高强 度连接下的神经网络依靠集体协同作用能自发产 生计算行为。 – 与前向神经网络相比，后者有学习能力；前者具 有联想记忆功能和解决优化问题的能力

与前向神经网络比较 BP神经∞ 网络 Insert of complex network Outputs Hidden Hopfield 神经网络 by谢广明,2005-200学年度第一学期

by 谢广明 ， 2005~2006学年度第一学期 5 与前向神经网络比较  BP神经 网络  Hopfield 神经网络 Hidden Layer Inputs Outputs Insert of complex network

H。 field网络 Hopfield网络 Hopfield网络是典型的全连接网络 网络的状态满足一个非线性动力学方程,可表现 出丰富的动态特性,如收敛,发散,极限环,混 沌等。 ICL by谢广明,2005-200学年度第一学期 6

by 谢广明 ， 2005~2006学年度第一学期 6 Hopfield 网络  Hopfield 网络 – Hopfield 网络是典型的全连接网络 – 网络的状态满足一个非线性动力学方程，可表现 出丰富的动态特性，如收敛，发散，极限环，混 沌等

H。 field网络 Hopfield网络 在一定的条件下,赋予网络某个初值,系统将迅 速演化到某个静止状态,即所谓稳态 稳态由各个神经元的连接权值确定,并不唯 从不同的初值出发会演化到不同的稳态 可以构造一个状态的能量函数,并证明稳态对应 的能量函数取极小 ICL by谢广明,2005-200学年度第一学期

by 谢广明 ， 2005~2006学年度第一学期 7 Hopfield 网络  Hopfield 网络 – 在一定的条件下，赋予网络某个初值，系统将迅 速演化到某个静止状态，即所谓稳态。 – 稳态由各个神经元的连接权值确定，并不唯一 – 从不同的初值出发会演化到不同的稳态 – 可以构造一个状态的能量函数，并证明稳态对应 的能量函数取极小

H。 field网络 HNN 优化问题 网络的状态 优化问题的解 能量函数 目标值 稳态 极小点 ICL by谢广明,2005-200学年度第一学期 8

by 谢广明 ， 2005~2006学年度第一学期 8 Hopfield 网络 HNN 优化问题 网络的状态 优化问题的解 能量函数 目标值 稳态 极小点

H。 field网络 *1985年 Hopfield和Tank两人用连续HNN尝试解决 TSP,获得了成功 *其基本思想是把TSP问题映射到CHNN网络中去,使 用换位矩阵表示有效路径并设法用网络能量代表路 径总长作用于反馈回路调节输入变化,从而使得网络 能量为最小 得到最短路径. *由于 Hopfield网络状态更新规则只能使能量函数往 减小的这一个方向变化,能量函数很容易陷入局部最 小值,使得网络解不能够达到路径最优 *所以并不理想! ICL by谢广明,2005-200学年度第一学期

by 谢广明 ， 2005~2006学年度第一学期 9 Hopfield 网络  1985 年Hopfield 和Tank 两人用连续HNN尝试解决 TSP ，获得了成功.  其基本思想是把TSP问题映射到CHNN 网络中去, 使 用换位矩阵表示有效路径,并设法用网络能量代表路 径总长作用于反馈回路调节输入变化, 从而使得网络 能量为最小———得到最短路径.  由于Hopfield 网络状态更新规则只能使能量函数往 减小的这一个方向变化, 能量函数很容易陷入局部最 小值,使得网络解不能够达到路径最优.  所以并不理想！

DHNN *离散型 Hopfield网络采用差分方程描述,输 出为二值型,网络采用全连接结构。 令 n为各神经元的输出, li2 2i 为各神经元与第i个神经元的连接权值, 为第i神经元的阈值,则有 v(+1)=f(u1(),()=∑0nv,(0)-0 j=l,≠ ≥0 其中f(u) <0 by谢广明,2005-200学年度第一学期 10

by 谢广明 ， 2005~2006学年度第一学期 10 DHNN  离散型Hopfield 网络采用差分方程描述，输 出为二值型，网络采用全连接结构。  令 为各神经元的输出， 为各神经元与第 个神经元的连接权值， 为第 神经元的阈值，则有 n v ,v , ,v 1 2   i  i ni , , 1 2 i  i i =  + = = − n j j i i i i j i j i v t f u t u t v t 1, ( 1) ( ( )), ( )  ( )       −   = 1, 0 1, 0 ( ) u u 其中 f u