华中科技大学：《人工神经网络及其应用》课程教学资源（PPT课件讲稿）第四讲 BP神经网络

人工神经网络及其应用 第4讲BP神经网络 何建华 电信系,华中科技大 2003年2月28日

人工神经网络及其应用 第4讲 BP神经网络 何建华 电信系，华中科技大学 2003年2月28日

Q内容安排 内容回顾 二、BP网络 网络设计 四、改进BP网络 五、内容小结 2021/2/20

2021/2/20 2 一、内容回顾 二、BP网络 三、网络设计 四、改进BP网络 五、内容小结 内容安排

一、内容回顾 米 ◆感知机 ◆自适应线性元件 2021/2/20

2021/2/20 3 一、内容回顾 感知机 自适应线性元件

一、内容回顾 米 ◆感知机 感知机简介 神经元模型 网络结构 功能解释 学习和训练 局限性 ◆自适应线性元件 2021/2/20

2021/2/20 4 一、内容回顾 感知机 –感知机简介 –神经元模型 –网络结构 –功能解释 –学习和训练 –局限性 自适应线性元件

一、内容回顾 米 ◆感知机 ◆自适应线性元件 Adline简介 网络结构 网络学习 网络训练 2021/2/20

2021/2/20 5 一、内容回顾 感知机 自适应线性元件 –Adline简介 –网络结构 –网络学习 –网络训练

二、BP网络 米 21BP网络简介 2.2网络模型 2.3学习规则 2.4图形解释 2.5网络训练 2021/2/20

2021/2/20 6 2.1 BP网络简介 2.2 网络模型 2.3 学习规则 2.4 图形解释 2.5 网络训练 二、BP网络

Q21B网络简介 米 ◆反向传播网络( Back-Propagation Network, 简称BP网络)是将W-H学习规则一般化,对非线 性可微分函数进行权值训练的多层网络 ◆权值的调整采用反向传播( Back-propagation) 的学习算法 ◆它是一种多层前向反馈神经网络,其神经元的 变换函数是S型函数 ◆输出量为0到1之间的连续量,它可实现从输入 7到输出的任意的非线性映射 2021/2/20

2021/2/20 7  反向传播网络(Back-Propagation Network， 简称BP网络)是将W-H学习规则一般化，对非线 性可微分函数进行权值训练的多层网络  权值的调整采用反向传播(Back-propagation） 的学习算法  它是一种多层前向反馈神经网络，其神经元的 变换函数是S型函数  输出量为0到1之间的连续量，它可实现从输入 到输出的任意的非线性映射 2.1 BP网络简介

21BP网络简介 米 ◆BP网络主要用于下述方面 ◆函数逼近:用输入矢量和相应的输出矢量训练一个 网络逼近一个函数 ◆模式识别和分类:用一个特定的输出矢量将它与输 入矢量联系起来;把输入矢量以所定义的合适方式 进行分类; ◆数据压缩:减少输出矢量维数以便于传输或存储 ◆具有将强泛化性能:使网络平滑地学习函数,使网络 能够合理地响应被训练以外的输入 ◆泛化性能只对被训练的输入/输出对最大值范围内的 数据有效,即网络具有内插值特性,不具有外插值性。 超出最大训练值的输入必将产生大的输出误差 2021/2/20

2021/2/20 8 2.1 BP网络简介  BP网络主要用于下述方面  函数逼近：用输入矢量和相应的输出矢量训练一个 网络逼近一个函数  模式识别和分类：用一个特定的输出矢量将它与输 入矢量联系起来；把输入矢量以所定义的合适方式 进行分类；  数据压缩：减少输出矢量维数以便于传输或存储  具有将强泛化性能：使网络平滑地学习函数，使网络 能够合理地响应被训练以外的输入  泛化性能只对被训练的输入／输出对最大值范围内的 数据有效，即网络具有内插值特性，不具有外插值性。 超出最大训练值的输入必将产生大的输出误差

Q22网络模型 米 Al s2xsl rq 网 ,网 k BI HF2 sixl 1。B2 six six S k=I S∠; 个具有个输入和一个隐含层的神经网络模型结构 2021/2/20

2021/2/20 9 2.2 网络模型 一个具有r个输入和一个隐含层的神经网络模型结构

Q22网络模型 米 ◆感知器和自适应线性元件的主要差别在激活函数 上:前者是二值型的,后者是线性的 ◆BP网络具有一层或多层隐含层,除了在多层网 络上与前面已介绍过的模型有不同外,其主要差 别也表现在激活函数上 ◆BP网络的激活函数必须是处处可微的,因此它 不能采用二值型的阀值函数{0,1或符号函数 -1,1} ∞2o/●BP网络经常使用的是S型的对数或正切激活函数 和线性函数

2021/2/20 10 2.2 网络模型  感知器和自适应线性元件的主要差别在激活函数 上：前者是二值型的，后者是线性的  BP网络具有一层或多层隐含层，除了在多层网 络上与前面已介绍过的模型有不同外，其主要差 别也表现在激活函数上。  BP网络的激活函数必须是处处可微的，因此它 不能采用二值型的阀值函数{0，1}或符号函数 {－1，1}  BP网络经常使用的是S型的对数或正切激活函数 和线性函数