《神经网络和模糊系统》课程教学资源（PPT讲稿）第四章 突触动力学、非监督学习

第四章突触动力学非监督学习 复习 1Heb学习法则 +s S 简化后可得 ry=-m,+S,(x,)S,(y, 2021/2/11

2021/2/11 1 第四章 突触动力学 非监督学习 ◼ 复习 1 Heb学习法则 简化后可得 ( ) ( ) X Y m m S x S y ij ij i i j j = − + m m S x S y ij ij i i j j = − + ( ) ( )

第四章突触动力学非监督学习 ■复习 2竞争学习法贝 ri,SO)LS(x,)=my 其中含有一个陡峭逻辑响应函数 1 c 2021/2/11

2021/2/11 2 第四章 突触动力学 非监督学习 ◼ 复习 2 竞争学习法则 其中含有一个陡峭逻辑响应函数 m S y S x m ij j j i i ij = − ( )  ( )   ( ) 1 1 j S y j j cy e = − +

第四章突触动力学非监督学习 ■复习 3微分Heb学习法则 my=S,(v)Lx-m, I 2021/2/11 3

2021/2/11 3 第四章 突触动力学 非监督学习 ◼ 复习 3 微分Heb学习法则 m S y x m ij j j j = − ( )   

第四章突触动力学非监督学习 ■复习 4微分竞争学习法则 m,=s,(V)[,(x,) -my 2021/2/11

2021/2/11 4 第四章 突触动力学 非监督学习 ◼ 复习 4 微分竞争学习法则 m S y S x m ij j j i i ij = − ( )  ( )  

第四章突触动力学非监督学习 信号的Heb学习 竞争学习 微分Heb学习 微分竞争学习 2021/2/11 5

2021/2/11 5 第四章 突触动力学 非监督学习 ◼ 信号的Heb学习 ◼ 竞争学习 ◼ 微分Heb学习 ◼ 微分竞争学习

信号的Heb学习 通过求解Heb学习法则的公式 m=-n()+S(x()S(y() (132) 可获得如下积分方程 m,()=m,()e+s,(s)s, (s)eds (133) 2021/2/11 6

2021/2/11 6 一 信号的Heb学习 通过求解Heb学习法则的公式 (132) 可获得如下积分方程 (133) m m t S x t S y t ij ij i i j j = − + ( ) ( ( )) ( ( )) ( ) ( ) ( ) ( ) 0 0 t t s t m t m e S s S s e ds ij ij i j − − = + 

信号的Heb学习 ■近期的影响与遗忘 ■渐进相关编码 Heb相关解码 2021/2/11

2021/2/11 7 一 信号的Heb学习 ◼ 近期的影响与遗忘 ◼ 渐进相关编码 ◼ Heb相关解码

近期的影响与遗忘 ■Heb学习遵循的是指数加权平均的样本模 式。式中的遗忘项为-m1js 上述遗忘项产生了积分方程中先前突 触的指数系数。说明学习的同时也在遗 ,而且是呈指数衰减。 (132)中的遗忘项-m产生了(133)中 对先前知识m(0)的指数权e 2021/2/11

2021/2/11 8 近期的影响与遗忘 ◼ Heb学习遵循的是指数加权平均的样本模 式。式中的遗忘项为 。 上述遗忘项产生了积分方程中先前突 触的指数系数。说明学习的同时也在遗 忘，而且是呈指数衰减。 （132）中的遗忘项 产生了（133）中 对先前知识 的指数权 。 -mij −mij (0) mij t e −

近期的影响与遗忘 ■实际上遗忘定律提供的最简单的局部非 监督学习定律为: (134) ■说明了两个关键特征 1仅依赖于局部信息,即现在的突触强 度m() 2呈指数律达到平衡,可实时操作。 2021/2/11

2021/2/11 9 近期的影响与遗忘 ◼ 实际上遗忘定律提供的最简单的局部非 监督学习定律为： （134） ◼ 说明了两个关键特征： 1 仅依赖于局部信息，即现在的突触强 度 。 2 呈指数律达到平衡，可实时操作。 m m ij ij = − m t ij ( )

渐进相关编码 T KK 135) X和Y:双极信号S(x)和S(y)。S;,S1=1,-1 两种极端情况: (4)→>1(t→>∞) )=1+m/()-1e 实际中必须使用一个对角衰减记忆指数矩阵W 来补偿固有的信息指数衰减。 2021/2/11

2021/2/11 10 渐进相关编码 (135) X和Y：双极信号 和 。 ， = 1，-1 两种极端情况： 1 2 实际中必须使用一个对角衰减记忆指数矩阵 来补偿固有的信息指数衰减。 T M X Y = K K S x( ) S y( ) i s j s S S m t t i j ij =  → →  1 1 ( ) ( ) S S m t t i j ij = −  → − →  1 1 ( ) ( ) W ( ) 1 0 1 ( ) t m t m e ij ij − = + −    