学习与编码、改变和量子化

学习 学习就是对信息进行编码,其目的就是通过向 有限个例子(训练样本)的学习来找到隐藏 在例子背后(即产生这些例子)的规律(如 函数形式)

学习 ◼ 学习就是对信息进行编码,其目的就是通过向 有限个例子（训练样本）的学习来找到隐藏 在例子背后（即产生这些例子）的规律（如 函数形式）

编码 我们使用状态级( behavioristic编码准 则。如果输入激励为x,而响应为 则认为系统学会了激励一响应对 输输閉对表示函数 的 个采样。函数将矢量X映射鄧p继失量Y

编码 ◼ 我们使用状态级（behavioristic）编码准 则。如果输入激励为 ，而响应为 ， 则认为系统学会了激励－响应对 。 ◼ 输入输出对 表示函数 的一 个采样。函数将n维矢量X映射到p维矢量Y xi yi ( , ) i i x y ( , ) i i x y : n p f R R →

学习过程 由所有的输入X得到响应r=f(x) 那么系统就学习了函数

学习过程 ◼ 由所有的输入 得到响应 那么系统就学习了函数。 X Y f X = ( )

学习过程 若输入ⅹ≈x系统就会得到响 应ysy=(x),则表明系统近似 或部分的学习了函数,即系统把 相似的输入映射为相似的输出, 由此估计出一个连续的函数

学习过程 ◼ 若输入 系统就会得到响 应 ，则表明系统近似 或部分的学习了函数，即系统把 相似的输入映射为相似的输出， 由此估计出一个连续的函数。 / X X  ( ) / Y Y f X  =

学习与改变 当样本数据改变系统参数时,系统学习、 自适应或自组织这些改变。在神经网络 中表现为突触的改变,而不是神经元的 改变(尽管有时神经元也学习新的状 态) ■注:突触的改变就是权值的学习过程, 而神经元的改变只是网络的演化

学习与改变 ◼ 当样本数据改变系统参数时，系统学习、 自适应或自组织这些改变。在神经网络 中表现为突触的改变，而不是神经元的 改变（尽管有时神经元也学习新的状 态）。 ◼ 注：突触的改变就是权值的学习过程， 而神经元的改变只是网络的演化

结论 当激励改变了记忆介质并使改变维持相 当长一段时间后,系统才学会了。这也 说明了传统的解释学习是半永久的变化。 如果我们通过了微积分的考试,那么可 以说我们学会了微积分,并且可以持续 这种“会“的状态一段时间

结论 ◼ 当激励改变了记忆介质并使改变维持相 当长一段时间后，系统才学会了 。这也 说明了传统的解释学习是半永久的变化。 如果我们通过了微积分的考试，那么可 以说我们学会了微积分，并且可以持续 这种“会“的状态一段时间

举例 画家画画 ■除草机除草

举例 ◼ 画家画画 ◼ 除草机除草

学习与量化 ■学习模式与样本模式之间存在严重的不 兀配。 ■通常系统只能学会样本模式环境中一小 部分样本模式,而可能的样本数量使无 穷的

学习与量化 ◼ 学习模式与样本模式之间存在严重的不 匹配。 ◼ 通常系统只能学会样本模式环境中一小 部分样本模式，而可能的样本数量使无 穷的

学习与量化 量化的必要性 ■系统的存储量是有限的,这就要求系统 要通过学习学会用新的样本模式替换旧 的样本模式,从而形成样本模式的内部 表达或采样模式的样机。 ■学会了的样机定义量化模式

学习与量化 ◼ 量化的必要性 ◼ 系统的存储量是有限的，这就要求系统 要通过学习学会用新的样本模式替换旧 的样本模式，从而形成样本模式的内部 表达或采样模式的样机。 ◼ 学会了的样机定义量化模式

学习与量化 量子化 量子化,把样本模式空间”分成k个 区域:量子化区域决策组。被学习的原 型矢量在一个足够大的模式空间R中定 义了个m突触点。当且仅当某个m在R 中移动时,系统才进行学习

学习与量化 ◼ 量子化 量子化，把样本模式空间 分成k个 区域：量子化区域决策组。被学习的原 型矢量在一个足够大的模式空间 中定 义了个 突触点。当且仅当某个 在 中移动时，系统才进行学习。 n R n R m n mi R