电子科技大学：《机器学习 Machine Learning》课程教学资源（课件讲稿）第5讲 人工神经网络分类器 Classifiers with ANN

电子科技大学研究生《模式识别》课程 第5讲人工神经网络分类器 5 Classifiers with ANN 郝家胜(Jiasheng Hao) Ph.D.,Associate Professor Email:hao@uestc.edu.cn School of Automation Engineering,Center for Robotics University of Electronics and Science of China,Chengdu 611731 Ag.2015第一稿；Sp.2018第三稿

电子科技大学研究生《模式识别》课程 Email: hao@uestc.edu.cn School of Automation Engineering, Center for Robotics University of Electronics and Science of China, Chengdu 611731 郝家胜 (Jiasheng Hao) Ph.D., Associate Professor Aug. 2015 第一稿；Sep. 2018 第三稿 第5讲 人工神经网络分类器 5 Classifiers with ANN

引言 线性判别函数：简单、实用、经济，但线性不可分时错误率可能较大 噪声影响 问题线性不可分 采用非线性分类器 问题本身 新特征 改变特征，使线性可分 非线性变换 本章介绍几种非线性分类器：分段线性，神经网络和支持问量机

引言 本章介绍几种非线性分类器：分段线性,神经网络和支持向量机

内容提要 7.1人工神经网络发展概况 7.2神经网络基本概念 7.3前馈神经网络 7.4 其他神经网络简介 7.5神经网络模式识别

7.1 人工神经网络发展概况 7.2 神经网络基本概念 7.3 前馈神经网络 7.4 其他神经网络简介 7.5 神经网络模式识别 内容提要

7.1人工神经网络发展概况 人工神经网络(Artificial Neural Networks,ANN):简称神经网络。 模拟人脑神经细胞的工作特点： *单元间的广泛连接； *并行分布式的信息存贮与处理； *自适应的学习能力等。 与目前按串行安排程序指令的计算机结构截然不同。 优点： (1)较强的容错性； (2)很强的自适应学习能力； (3)可将识别和若干预处理融为一体进行； (纠并行工作方式： (⑤)对信息采用分布式记忆，具有鲁棒性

人工神经网络(Artificial Neural Networks，ANN)：简称神经网络。 模拟人脑神经细胞的工作特点： 与目前按串行安排程序指令的计算机结构截然不同。 * 单元间的广泛连接； * 并行分布式的信息存贮与处理； * 自适应的学习能力等。 优点： (1) 较强的容错性; (2) 很强的自适应学习能力； (3) 可将识别和若干预处理融为一体进行； 7.1 人工神经网络发展概况 (4) 并行工作方式； (5) 对信息采用分布式记忆，具有鲁棒性

三落三起 多层神经网络 两层神经网络 Rosenblat与感知器 单层神经网络 2012 CNN 2020 神经元 第三次 Winter 兴起 1986 2006 BP DBN 第二次 1982兴起 1995 Hopfield SVM 1958 Perceptron 1969 第一次 “Al Winter'” 1943 1949 兴起 MP 诞生 Hebb 1940 1950 1960 1970 1980 1990 2000 2010 2020

三落三起 Rosenblat与感知器

7.2.1基本概念-生物神经元 1.生物神经元的结构 细胞体、树突、轴突和突触。 来自其它神经元轴突的神经末梢 树突 轴突 突触 细胞体 细胞核 神经末梢

1．生物神经元的结构 细胞体、树突、轴突和突触。 7.2.1 基本概念 – 生物神经元

7.2.1基本概念-生物神经元 2.生物神经元的工作机制 抑制状态的神经元 由树突和细胞体 接收传来的兴奋电位 输入兴奋总 量超过阈值 不应期 神经元被激发 进入兴奋状态 产生输出脉冲 由突触传递给其它神经元

2．生物神经元的工作机制 抑制状态的神经元 由树突和细胞体 接收传来的兴奋电位 不应期 产生输出脉冲 输入兴奋总 量超过阈值 神经元被激发 进入兴奋状态 由突触传递给其它神经元 7.2.1 基本概念 – 生物神经元

7.2.2基本概念-数学模型 人工神经元：生物神经元的简化模拟。 互连强度 X1 输出函数 n维输入向量X X2 W2 接收的信息 (其它神经元的输 Xn 输出 出) 作比较 的阈值 人工神经元间的互连：信息传递路径轴突-突触树突的简化； 连接的权值：两个互连的神经元之间相互作用的强弱

人工神经元：生物神经元的简化模拟。 人工神经元间的互连：信息传递路径轴突-突触-树突的简化； 连接的权值：两个互连的神经元之间相互作用的强弱。 接收的信息 (其它神经元的输 出) 互连强度 作比较 的阈值 n维输入向量X 输出 输出函数 7.2.2 基本概念 – 数学模型

7.2.2基本概念-数学模型 WI 0 >y=f(∑wixi-0) Wn 实际要复杂的多，该模型只是简化，是人工神经网络的基础！ 9

9 7.2.2 基本概念 – 数学模型 实际要复杂的多，该模型只是简化，是人工神经网络的基础！

神经元的动作： net=∑w,x (X,W,∈R) i=1 y=f(net) 输出函数f:也称作用函数，非线性。 1 net net 0 0 0 net 0 (a) (b) (c) 阈值型 S型 伪线性型 f为侧位数所：=三x-0 设0=-wn+1，点积形式：y=sgn(WTX) 式中，W=[w1,…,wn,wn+1]X=[x1,…,xn,1]

神经元的动作：   n i i i net w x 1 y  f (net) (x , w R) i i  输出函数 f：也称作用函数，非线性。 阈值型 S型 伪线性型 f 为阈值型函数时：           n i i i y w x 1 sgn  设  wn1 ，点积形式： sgn( ) T y  W X T 1 1 [ , , , ] W  w  wn wn T 1 [ , , , 1] n 式中， X  x  x