西安交通大学：《智能控制理论与方法》课程教学资源（PPT课件讲稿）有监督和BP神经网络（1）

基于神经元网络的智能控制 神经元网络的特点: 1)非线性 2)分布处理 3)学习并行和自适应 4)数据融合 5)适用于多变量系统 6)便于硬件实现

基于神经元网络的智能控制 神经元网络的特点： 1）非线性 2）分布处理 3）学习并行和自适应 4）数据融合 5）适用于多变量系统 6）便于硬件实现

○神经元网络的简化模型 y()=f∑x()-0

●神经元网络的简化模型       =  − = n i i i y t f w x t 1 ( ) ( )  y x1 x2 x n w1 w2 w n · · · 

●神经元网络的一般模型框架 a y 线性系统 非线性函数 1)加法器 )线性动态系统(SISO 3)静态非线性系统 v()=∑any()+b ikk (t)+w k=1

 线性系统 非线性函数 ai1 ai2 a in bi1 bi2 bim wi y1 y2 y n u1 uk um 1 vi x i y i   = = = + + m k i ik k i n j vi t aij y t b u t w 1 1 ( ) ( ) ( ) ●神经元网络的一般模型框架 1）加法器 2）线性动态系统（SISO） 3）静态非线性系统 ︰ ︰

式中a;和bk为权系数,订=12n k=1,2 …m.n个加法器可以写成向量形式 v(t=Ay(t)+ Bu(t)+w N维列向量 AN×N维矩阵 N维列向量(单元输出) B—N×M维矩阵 M维列向量(外部输入) M维常向量

式中 aij 和bik 为权系数，i,j =1,2,…,n, k= 1,2,…m. n 个加法器可以写成向量形式： v(t) = Ay(t) + Bu(t) + w w u B y A v —— N维列向量 —— N维列向量（单元输出） ——N×N维矩阵 ——N×M维矩阵 —— M维列向量（外部输入） —— M维常向量

▲线性动态系统 传递函数形式:x(s)=H(s)v(s) 按时域式:x=h()()dC 典型的有:H) h(t==e 1+sT ▲静态非线性系统典型的有 g(x) X)+ 阈值函数 阈值函数 Sigmoid函数

▲ 线性动态系统 x (s) H(s)v (s) 传递函数形式： i = i x h(t t')v (t')d t' i l i − 按时域形式： = − 典型的有： t T e T h t sT H s 1 / , ( ) 1 1 ( ) − = + = ▲静态非线性系统 典型的有： g(x) g(x) g(x) x x x 阈值函数 阈值函数 Sigmoid函数

▲不同的部件可以组成不同的网络 (双极型) Adline(自适 u1 应线性网) ∑ y u S Igor d 单层感知器 ( Perceptron)

∑ ∑ （双极型） Sigmoid u1 ui i u1 ui i y i y i Adline(自适 应线性网） 单层感知器 (Perceptron) ▲不同的部件可以组成不同的网络 ︰ ︰

∑ K 离散 Hopfield网

 K ui y j yi 离散Hopfield网 y1 y2 y3 y4 u1 u2 u3 u4

y Xi u1 Ts+a yi 连续的 Hopfield网 ●按学习的方法神经元网络可分成二类: 1)有监督的学习网络: 感知器 误差反传网络(BP) 小脑模型连接控制器(CMAC) 模块(组合)网络 增强学习网络

 yj yi ui i i Ts a a 1 2 + xi 连续的Hopfield网 ●按学习的方法神经元网络可分成二类： 1）有监督的学习网络： 感知器 误差反传网络（BP） 小脑模型连接控制器（CMAC） 模块（组合）网络 增强学习网络

2)无监督学习网络 竞争学习和 Kohonen网络 Hopfield网络 双向联想存贮器(BAM) Boltzman机 ●有监督的神经网络 1)感知器网络 感知器是前馈正向传输)网络所有节点都是线性的. 权向量W

● 有监督的神经网络 1）感知器网络 感知器是前馈(正向传输)网络,所有节点都是线性的. ● ● ● ● ● ● ● ● ● ● ● ● x1 x2 xn b1 b2 bm 权向量W 2）无监督学习网络 竞争学习和Kohonen网络 Hopfield网络 双向联想存贮器（BAM） Boltzman机

输入与输出的关系:XW=b 权矩阵可以按下式求解:W=(XTX)xb 学习规则:Wk+1=Wk+n(bk-WkXk)Xk 或△Wk=705kXk 6k=(bk-Wkⅹk)代表输入与输出的差别。 是学习因子 这学习规则即是著名的器习规则 随着学习迭代次数k的增加k→保证网络的收敛 ●反传(BP)网络误差反传(学习算法) (BP)网络与感知器的主要差别在于:(BP)网络的节点 是非线性的。 采用广义习规则

XW = b W X X X b T 1 T ( ) − = k k k k k T k k k k W X W W b W X X     = + = + − ( ) 1 或 ( ) k T  k = bk −Wk X    k →0 输入与输出的关系： 权矩阵可以按下式求解： 学习规则： 代表输入与输出的差别。 是学习因子 这学习规则即是著名的 学习规则。 随着学习迭代次数k的增加， 保证网络的收敛。 ● 反传（BP）网络 误差反传（学习算法） （BP）网络与感知器的主要差别在于：（BP）网络的节点 是非线性的。 采用广义 学习规则。 