陕西师范大学：Neural Networks and Fuzzy Systems（PPT讲稿）Chapter 3 NEURONAL DYNAMICS II：ACTIVATION MODELS

NEURAL NETWORKS AND FUZZY SYSTEMS Chapter 3 NEURONAL DYNAMICS II: ACTIVATION MODELS Part 吴振强 学号:0322310256 Email:zqiangwu@mail.snnu.edu.cn 20211/27

2021/1/27 1 NEURAL NETWORKS AND FUZZY SYSTEMS 吴 振 强 学号：0322310256 Email: zqiangwu@mail.snnu.edu.cn Chapter 3 NEURONAL DYNAMICS II: ACTIVATION MODELS Part I

上次课程回顾 生物神经网 人工神经元 人工神经网络的拓扑特性 ◆神经动力学系统概念 ◆人工神经网络通用的信号函数 ◆神经元的存贮模式 20211/27

2021/1/27 2 ◆生物神经网 ◆人工神经元 ◆人工神经网络的拓扑特性 ◆神经动力学系统概念 ◆人工神经网络通用的信号函数 ◆神经元的存贮模式 上次课程回顾

生物神经网络 树突( Dendrite 轴突(Axon) ○ 7胞体(Soma 胞体(Soma) 突触( Synapse) 20211/27

2021/1/27 3 胞体(Soma) 树突（Dendrite） 胞体(Soma) 轴突（Axon） 突触（Synapse） 生物神经网络

生物神经网的六个基本特征: 1)神经元及其联接; 2)神经元之间的联接强度决定信号传递的强弱 3)神经元之间的联接强度是可以随训练改变的; 4)信号可以是起刺激作用的,也可以是起抑制作 用的; 5)一个神经元接受的信号的累积效果决定该神经 元的状态; 6)每个神经元可以有一个“阈值”。 20211/27

2021/1/27 4 • 生物神经网的六个基本特征： – 1）神经元及其联接； – 2）神经元之间的联接强度决定信号传递的强弱； – 3）神经元之间的联接强度是可以随训练改变的； – 4）信号可以是起刺激作用的，也可以是起抑制作 用的； – 5）一个神经元接受的信号的累积效果决定该神经 元的状态； – 6) 每个神经元可以有一个“阈值”

Cell body (soma) Dendrite Nucleus o× ford Scientific Flms 神经元( Neuron) Axon Synapse 从仿生学角度: 树突( Dentrite:输入端 轴突(AXon):输出端 突触( Synapse):不同神经元的轴突与树突的结合部,不同神 经元的相互作用用权值表示,学习就是调整权值, 2021/127胞体(Soma):是非线性输入输出的单元,可用阙值、分段、 Sigmod函 数近似

2021/1/27 5 Cell body (soma) Dendrite Nucleus 神经元 (Neuron) Axon Synapse 树突(Dendtrite)：输入端 轴突(Axon)： 输出端 突触(Synapse)： 不同神经元的轴突与树突的结合部，不同神 经元的相互作用用权值表示，学习就是调整权值， 胞体(Soma)： 是非线性输入/输出的单元，可用阈值、分段、Sigmod函 数近似 从仿生学角度：

人工神经网络 Neural connections in animals Neuron To other neurons A From other neurons Artificial neural network Output node Input pattern Output pattern Microsoft Corporation. All Rights Reserved 20211/27

2021/1/27 6 人工神经网络

人工神经元 神经元是构成神经网络的最基本单元(构 件)。 °人工神经元模型应该具有生物神经元的 个基本特性。 20211/27

2021/1/27 7 人工神经元 • 神经元是构成神经网络的最基本单元（构 件）。 • 人工神经元模型应该具有生物神经元的六 个基本特性

人工神经元的基本构成 net=XW 人工神经元模拟生物神经元的一阶特性。 输入:X=(x1,x2, ●● 联接权:W=(W1,w2,…,wn)T 网络输入:net∑xw1 向量形式:net=XW 20211/27 8

2021/1/27 8 人工神经元的基本构成 • 人工神经元模拟生物神经元的一阶特性。 –输入：X=（x1，x2，…，xn） –联接权：W=（w1，w2，…，wn）T –网络输入： net=∑xiwi –向量形式： net=XW xn wn ∑ x1 w1 x2 w2 net=XW …

激活函数( Activation function) 激活函数—执行对该神经元所获得的网 络输入的变换,也可以称为激励函数、活 化函数:0=f(net) 1、线性函数( Liner function) f (net)=k*net+c net 20211/27

2021/1/27 9 激活函数(Activation Function) • 激活函数——执行对该神经元所获得的网 络输入的变换，也可以称为激励函数、活 化函数： o=f（net） • 1、线性函数（Liner Function） f（net）=k*net+c net o o c

2、非线性斜面函数( Ramp function) ifnet>0 f(net)=k*net if net0为一常数,被称为饱和值,为该神经元 的最大输出。 20211/27 10

2021/1/27 10 2、非线性斜面函数(Ramp Function) γ if net≥θ f（net）= k*net if |net|0为一常数，被称为饱和值，为该神经元 的最大输出