北京大学：《模式识别》课程教学资源（课件讲稿）人工神经网络简介

第九章 人工神经网络简介 2010-12-20

第九章 人工神经网络简介 2010-12-20

引言

引言

3 生物神经网络(BNN) Dendrites Cell body Axon Direction of message Axon terminals synapse with dendrites on target cell Axon

3 生物神经网络（BNN ）

4 人工神经网络(ANN) 神经元 输入信号 输出信号 连接权重

4 人工神经网络（ANN ）

人工神经元

人工神经元

6 神经元模型 口R个输入p,∈R,即R维输 入向量p; 口n:网络输入，n=W·p+b Input Neuron w Vector Input R个权值w,∈R,即n维 输入向量W; ■阈值b; ▣输出：a=W·p+b) a=fWp+b) ■f一输出/传递/激活函数

6 神经元模型  R 个输入 pi ∈ R，即 R 维输 入向量 p；  n：网络输入， n = W · p + b  R 个权值 wi ∈ R，即 n 维 输入向量 W；  阈值 b ；  输出：a = f( W · p + b )  f — 输出 /传递 /激活函数

7 神经网络示意图 Input Layer 1 Layer 2 Layer 3 l2 n 11 0 72 22 3 b b 1 1 PR a im S.R m3.23 S.S 1b al fl (IWLp +b) a2=f2(LW2.1a1+b2) a3=f3(LW32a2+b) a3 =f3 (LW32 f2 (LW2.fl (IWIp +b1)+b2)+b3)

7 神经网络示意图

8 常用输出（激发）函数 a 个+1 n 0 口阈值函数 a hardlim(n) fm）=hardim)）=}！(x≥o)y Hard-Limit Transfer Function 10(x<0) a Purelin Transfer Function f(n)=n, a purelin(n) Linear Transfer Function Q ▣Sigmoid Function 0 f(n)= 1 1+e-n a logsig(n) Log-Sigmoid Transfer Function

8 常用输出（激发）函数  阈值函数  Purelin Transfer Function  Sigmoid Function 1 ( 0) ( ) hardlim( ) ; 0 ( 0) x fn n x        f () ; n n  1 () ; 1 n f n e   

神经网络的学习方法

神经网络的学习方法

10 学习方式 t(n) 教师 期望输出 口监督学习 实际输出 输入 环境 神经网络 比较 a(n) p(n) 误差信号 口非监督学习 e(n) 输入 环境 神经网络 输出 口再励学习 输入 环境 神经网络 评价信息

10 学习方式  监督学习  非监督学习  再励学习 教师 环境 神经网络 比较 实际输出 输入 期望输出 误差信号 p(n) t(n) a(n) e(n) 环境 神经网络 输入 环境 神经网络 输入 输出 评价信息