华中科技大学：《人工神经网络及其应用》课程教学资源（PPT课件讲稿）第三讲 感知机及BP网络

人工神经网络及其应用 第3讲感知机及BP网络 何建华 电信系,华中科技大学 2003年2月25日

人工神经网络及其应用 第3讲 感知机及BP网络 何建华 电信系，华中科技大学 2003年2月25日

Q内容安排 内容回顾 二、感知机 自适应线性元件 四、内容小结 2021/2/20

2021/2/20 2 一、内容回顾 二、感知机 三、自适应线性元件 四、内容小结 内容安排

二、内容回顾 米 ◆生物神经元 ◆人工神经网络结构 ◆神经网络基本学习算法 2021/2/20

2021/2/20 3  生物神经元  人工神经网络结构  神经网络基本学习算法 一、内容回顾

一、内容回顾 ◆生物神经元 生物神经元模型 突触信息处理 信息传递功能与特点 ◆人工神经网络结构 ◆神经网络基本学习算法 2021/2/20

2021/2/20 4  生物神经元 – 生物神经元模型 – 突触信息处理 – 信息传递功能与特点  人工神经网络结构  神经网络基本学习算法 一、内容回顾

一、内容回顾 米 ◆生物神经元模型 来自其他神经元轴突神经末梢 突触 突触 细胞体 轴突 细胞核 神经末梢 以 树突 2021/2/20

2021/2/20 5  生物神经元模型 一、内容回顾

一、内容回顾 ◆生物神经元 ◆人工神经网络结构 人工神经网络 人工神经元模型 常见响应函数 人工神经网络典型结构 神经网络基本学习算法 2021/2/20

2021/2/20 6  生物神经元  人工神经网络结构 – 人工神经网络 – 人工神经元模型 – 常见响应函数 – 人工神经网络典型结构  神经网络基本学习算法 一、内容回顾

二、内容回顾 米 ◆生物神经元 ◆人工神经网络结构 神经网络基本学习算法 权值确定 Hebb学习规则 误差校正学习规则 相近(无教师)学习规则 2021/2/20

2021/2/20 7  生物神经元  人工神经网络结构  神经网络基本学习算法 – 权值确定 – Hebb学习规则 – 误差校正学习规则 – 相近（无教师）学习规则 一、内容回顾

Hebb学习规则 米 ◆Donl!Hebb根据生理学中条件反射机理,于 1949年提出的神经元连接强度变化的规则 如果两个神经元同时兴奋(即同时被激活),则它们 之间的突触连接加强 △℃;=av;v; a为学习速率,Vi为神经元和的输出 ◆Hebb学习规则是人工神经网络学习的基本规 则,几乎所有神经网络的学习规则都可以看作 8Heb学习规则的变形 2021/2/20

2021/2/20 8 Hebb学习规则  Donall Hebb根据生理学中条件反射机理，于 1949年提出的神经元连接强度变化的规则 – 如果两个神经元同时兴奋(即同时被激活)，则它们 之间的突触连接加强 – a为学习速率，Vi, Vj为神经元i和j的输出  Hebb学习规则是人工神经网络学习的基本规 则，几乎所有神经网络的学习规则都可以看作 Hebb学习规则的变形

Q误差校正规则 ◆用已知样本作为教师对网络进行学习 ◆学习规则可由二次误差函数的梯度法导出 ◆误差校正学习规则实际上是一种梯度方法 不能保证得到全局最优解 要求大量训练样本,收敛速度慢 对样本地表示次序变化比较敏感 △vb;=ao;v; 2021/2/20 8,=F(y-y;)

2021/2/20 9 误差校正规则  用已知样本作为教师对网络进行学习  学习规则可由二次误差函数的梯度法导出  误差校正学习规则实际上是一种梯度方法 – 不能保证得到全局最优解 – 要求大量训练样本，收敛速度慢 – 对样本地表示次序变化比较敏感

Q无教师学习规则 米 A=alvi-aj 这类学习不在于寻找一个特殊映射的表示,而 是将事件空间分类为输入活动区域,并有选择 地对这些区域响应,从而调整参数一反映观察 事件的分部 输入可以为连续值,对噪声有较强抗干扰能力 ◆对较少输入样本,结果可能要依赖于输入序列 2012在ART、 Kohonen等自组织竞争型网络中采用

2021/2/20 10 无教师学习规则  这类学习不在于寻找一个特殊映射的表示，而 是将事件空间分类为输入活动区域，并有选择 地对这些区域响应，从而调整参数一反映观察 事件的分部  输入可以为连续值，对噪声有较强抗干扰能力  对较少输入样本，结果可能要依赖于输入序列  在ART、Kohonen等自组织竞争型网络中采用