西安电子科技大学：《神经网络与模糊系统 Neural Networks and Fuzzy Systems》课程PPT课件讲稿（2003）03. 突触动力学 - 非监督学习 Synaptic Dynamics I——Unsupervised Learning（2/2）

第四章突触动力学 非监督学习 复习 1Heb学习法则 m,=-m,+S,(x)Sy(y,)） 简化后可得 m,=-m,+S,(x)S,(y,) 2023/7/9 1

2023/7/9 1 第四章 突触动力学 非监督学习 ◼ 复习 1 Heb学习法则 简化后可得 ( ) ( ) X Y m m S x S y ij ij i i j j = − + m m S x S y ij ij i i j j = − + ( ) ( )

第四章 突触动力学 非监督学习 复习 2竞争学习法则 m,=S,（y)[S,(x)-m,] 其中含有一个陡峭逻辑响应函数 S,(y,)= 1+e-c, 2023/7/9 2

2023/7/9 2 第四章 突触动力学 非监督学习 ◼ 复习 2 竞争学习法则 其中含有一个陡峭逻辑响应函数 m S y S x m ij j j i i ij = − ( )  ( )   ( ) 1 1 j S y j j cy e = − +

第四章 突触动力学 非监督学习 复习 3微分Heb学习法则 m,=S,(y儿x-m,] 2023/7/9 3

2023/7/9 3 第四章 突触动力学 非监督学习 ◼ 复习 3 微分Heb学习法则 m S y x m ij j j j = − ( )   

第四章 突触动力学 非监督学习 复习 4微分竞争学习法则 m,=S,(y,儿S,(x)-m,] 2023/7/9 4

2023/7/9 4 第四章 突触动力学 非监督学习 ◼ 复习 4 微分竞争学习法则 m S y S x m ij j j i i ij = − ( )  ( )  

第四章 突触动力学 非监督学习 ■信号的Heb学习 ■竞争学习 ■微分Heb学习 G ·微分竞争学习 G 2023/7/9 5

2023/7/9 5 第四章 突触动力学 非监督学习 ◼ 信号的Heb学习 ◼ 竞争学习 ◼ 微分Heb学习 ◼ 微分竞争学习

信号的Heb学习 通过求解Heb学习法则的公式 m,=-m,()+S,(x()S,（y,() (132) 可获得如下积分方程 m,(t)=m (O)e+S,(s)5,(s)e'ds (133) 2023/7/9 6

2023/7/9 6 一 信号的Heb学习 通过求解Heb学习法则的公式 (132) 可获得如下积分方程 (133) m m t S x t S y t ij ij i i j j = − + ( ) ( ( )) ( ( )) ( ) ( ) ( ) ( ) 0 0 t t s t m t m e S s S s e ds ij ij i j − − = + 

一 信号的Heb学习 ■近期的影响与遗忘 □ ■渐进相关编码 mHeb相关解码 2023/7/9 7

2023/7/9 7 一 信号的Heb学习 ◼ 近期的影响与遗忘 ◼ 渐进相关编码 ◼ Heb相关解码

近期的影响与遗忘 Heb学习遵循的是指数加权平均的样本模 式。式中的遗忘项为一mj 上述遗忘项产生了积分方程中先前突 触的指数系数。说明学习的同时也在遗 忘，而且是呈指数衰减。 (132)中的遗忘项-m,产生了(133)中 对先前知识m,(O)的指数权e。 2023/7/9 8

2023/7/9 8 近期的影响与遗忘 ◼ Heb学习遵循的是指数加权平均的样本模 式。式中的遗忘项为 。 上述遗忘项产生了积分方程中先前突 触的指数系数。说明学习的同时也在遗 忘，而且是呈指数衰减。 （132）中的遗忘项 产生了（133）中 对先前知识 的指数权 。 -mij −mij (0) mij t e −

近期的影响与遗忘 实际上遗忘定律提供的最简单的局部非 监督学习定律为： mi =mu (134) ■说明了两个关键特征： 1仅依赖于局部信息，即现在的突触强 度m,(t)。 2呈指数律达到平衡，可实时操作。 2023/7/9 9

2023/7/9 9 近期的影响与遗忘 ◼ 实际上遗忘定律提供的最简单的局部非 监督学习定律为： （134） ◼ 说明了两个关键特征： 1 仅依赖于局部信息，即现在的突触强 度 。 2 呈指数律达到平衡，可实时操作。 m m ij ij = − m t ij ( )

渐进相关编码 M=XkYR (135) X和Y:双极信号S(x)和S(y)。Si,S,=1,-1 两种极端情况： 1 S,S,=1→(t)→1(t→∞) m,()=1+[m,0)-1]e 2S,S,=-1→m,(t)→-1(t→∞) 实际中必须使用一个对角衰减记忆指数矩阵W 来补偿固有的信息指数衰减。 2023/7/9 10

2023/7/9 10 渐进相关编码 (135) X和Y：双极信号 和 。 ， = 1，-1 两种极端情况： 1 2 实际中必须使用一个对角衰减记忆指数矩阵 来补偿固有的信息指数衰减。 T M X Y = K K S x( ) S y( ) i s j s S S m t t i j ij =  → →  1 1 ( ) ( ) S S m t t i j ij = −  → − →  1 1 ( ) ( ) W ( ) 1 0 1 ( ) t m t m e ij ij − = + −    