《运筹学与最优化方法》课程教学资源（PPT课件讲稿）第十章 智能优化计算简介

第十章智能优化计算简介 本章对目前常用的几种智能优化计算 算法作简单介绍,以使读者对它们有个基本 认 内容包括神经网络、遗传算法、模拟 退火算法和神经网络混合优化学习策略

第十章 智能优化计算简介 本章对目前常用的几种智能优化计算 算法作简单介绍，以使读者对它们有个基本 认识。内容包括神经网络、遗传算法、模拟 退火算法和神经网络混合优化学习策略

10.1人工神经网络与神经网络优化算法 ■人工神经网络是近年来得到迅速发展的 个前沿课题。神经网络由于其大规模并行 处理、容错性、自组织和自适应能力和联 想功能强等特点,已成为解决很多问题的 有力工具。本节首先对神经网络作简单介 绍,然后介绍几种常用的神经网络,包括 前向神经网络、 Hopfield网络

10.1 人工神经网络与神经网络优化算法 ◼ 人工神经网络是近年来得到迅速发展的一 个前沿课题。神经网络由于其大规模并行 处理、容错性、自组织和自适应能力和联 想功能强等特点，已成为解决很多问题的 有力工具。本节首先对神经网络作简单介 绍，然后介绍几种常用的神经网络，包括 前向神经网络、Hopfield网络

10.1人工神经网络与神经网络优化算法 10.1.1人工神经网络发展简史 ■最早的研究可以追溯到20世纪40年代。1943年, 心理学家 McCulloch和数学家 Pitts合作提出了形 式神经元的数学模型。这一模型一般被简称M-P 神经网络模型,至今仍在应用,可以说,人工神 经网络的研究时代,就由此开始 ■1949年,心理学家Hebb提出神经系统的学习规 则,为神经网络的学习算法奠定了基础。现在, 这个规则被称为Hebb规则,许多人工神经网络 的学习还遵循这一规则

10.1 人工神经网络与神经网络优化算法 10.1.1 人工神经网络发展简史 ◼ 最早的研究可以追溯到20世纪40年代。1943年， 心理学家McCulloch和数学家Pitts合作提出了形 式神经元的数学模型。这一模型一般被简称M-P 神经网络模型，至今仍在应用，可以说，人工神 经网络的研究时代，就由此开始了。 ◼ 1949年，心理学家Hebb提出神经系统的学习规 则，为神经网络的学习算法奠定了基础。现在， 这个规则被称为Hebb规则，许多人工神经网络 的学习还遵循这一规则

10.1人工神经网络与神经网络优化算法 ■1957年, F Rosenblatt提出“感知 器”( Perceptron)模型,第一次把神经网络的研 究从纯理论的探讨付诸工程实践,掀起了人工神 经网络研究的第一次高潮 ■20世纪60年代以后,数字计算机的发展达到全 盛时期,人们误以为数字计算机可以解决人工智 能、专家系统、模式识别问题,而放松了对“感 知器”的研究。于是,从20世纪60年代末期起 人工神经网络的研究进入了低潮

10.1 人工神经网络与神经网络优化算法 ◼ 1957 年 ， F.Rosenblatt 提 出 “ 感 知 器”(Perceptron)模型，第一次把神经网络的研 究从纯理论的探讨付诸工程实践，掀起了人工神 经网络研究的第一次高潮。 ◼ 20世纪60年代以后，数字计算机的发展达到全 盛时期，人们误以为数字计算机可以解决人工智 能、专家系统、模式识别问题，而放松了对“感 知器”的研究。于是，从20世纪60年代末期起， 人工神经网络的研究进入了低潮

10.1人工神经网络与神经网络优化算法 ■1982年,美国加州工学院物理学家 Hopfield提 出了离散的神经网络模型,标志着神经网络的研 究又进入了一个新高潮。1984年, Hopfield又 提出连续神经网络模型,开拓了计算机应用神经 网络的新途径。 ■1986年, Rumelhart和 Meckel|and提出多层网 络的误差反传( back propagation)学习算法, 简称BP算法。BP算法是目前最为重要、应用最 广的人工神经网络算法之一

10.1 人工神经网络与神经网络优化算法 ◼ 1982年，美国加州工学院物理学家Hopfield提 出了离散的神经网络模型，标志着神经网络的研 究又进入了一个新高潮。1984年，Hopfield又 提出连续神经网络模型，开拓了计算机应用神经 网络的新途径。 ◼ 1986年，Rumelhart和Meclelland提出多层网 络的误差反传(back propagation)学习算法， 简称BP算法。BP算法是目前最为重要、应用最 广的人工神经网络算法之一

10.1人工神经网络与神经网络优化算法 ■自20世纪80年代中期以来,世界上许多国 家掀起了神经网络的研究热潮,可以说神 经网络已成为国际上的一个研究热点

10.1 人工神经网络与神经网络优化算法 ◼ 自20世纪80年代中期以来，世界上许多国 家掀起了神经网络的研究热潮，可以说神 经网络已成为国际上的一个研究热点

10.1人工神经网络与神经网络优化算法 10.1.2人工神经元模型与人工神经网络模 型 ■人工神经元是一个多输入、单输出的非线 性元件,如图10-1所示。 「其输入、输出关系可描述为

10.1 人工神经网络与神经网络优化算法 10.1.2 人工神经元模型与人工神经网络模 型 ◼ 人工神经元是一个多输入、单输出的非线 性元件，如图10-1所示。 ◼ 其输入、输出关系可描述为

10.1人工神经网络与神经网络优化算法 X,=∑Onx1-6 (10-1-1) y,=f(X,) 式中,x( n)是从其它神经元传来的 输入信号;是阈值;v表示从神经元 到神经元j的连接权值;f()为传递函数

10.1 人工神经网络与神经网络优化算法 ◼ (10-1-1) ◼ 式中， 是从其它神经元传来的 输入信号； 是阈值； 表示从神经元 到神经元 的连接权值； 为传递函数。     = =  − = ( ) 1 j j n i j i j i j y f X X  x  x (i 1,2, ,n) i =   j ij i j f (•)

10.1人工神经网络与神经网络优化算法 2 y 图10-1

10.1 人工神经网络与神经网络优化算法 yj θj x0=1 ∑ f ωnj x1 x2 . . . xn ω2j ω1j 图10-1

10.1人工神经网络与神经网络优化算法 ■人工神经网络是由大量的神经元互连而成的网络, 按其拓扑结构来分,可以分成两大类:层次网络 模型和互连网络模型。层次网络模型是神经元分 成若干层顺序连接,在输入层上加上输入信息, 通过中间各层,加权后传递到输出层后输出,其 中有的在同一层中的各神经元相互之间有连接, 有的从输出层到输入层有反馈;互连网络模型中 任意两个神经元之间都有相互连接的关系,在连 接中,有的神经元之间是双向的,有的是单向的, 按实际情况决定

10.1 人工神经网络与神经网络优化算法 ◼ 人工神经网络是由大量的神经元互连而成的网络， 按其拓扑结构来分，可以分成两大类：层次网络 模型和互连网络模型。层次网络模型是神经元分 成若干层顺序连接，在输入层上加上输入信息， 通过中间各层，加权后传递到输出层后输出，其 中有的在同一层中的各神经元相互之间有连接， 有的从输出层到输入层有反馈；互连网络模型中， 任意两个神经元之间都有相互连接的关系，在连 接中，有的神经元之间是双向的，有的是单向的， 按实际情况决定