北京大学：《模式识别》课程教学资源（课件讲义）第八章 正则化网络

第八章正则化网络 80引言 n8.1正则化理论( Regularization Theory) .8.2 Reproducing Kernel hilbert space (RKHS) n8.3正则化网络( Regularization Networks)

第八章 正则化网络 „ 8.0 引言 „ 8.1 正则化理论(Regularization Theory) „ 8.2 Reproducing Kernel Hilbert Space (RKHS) „ 8.3 正则化网络(Regularization Networks)

8.0引言 ■模式识别中的学习问题: 训练数据集(X,Y) (x1,n1)(x2y2)…,(xn2yn)2 x∈羽,y∈{,2,…K 随机变量X的独 x的类别标 立同分布样本 随机变量Y的独 立同分布样本

8.0 引言 „ 模式识别中的学习问题： „ 训练数据集 ( X, Y ) ( , ),( , ), ,( , ), 1 1 2 2 n n x y x y L x y y {1,2, ,K} xi ∈ℜd , i ∈ L xi 的类别标识， 随机变量 的独 立同分布样本。 Y 随机变量 的独 立同分布样本。 X

8.0引言 学习函数集: 目标空间 f∈T 损失函数: L(y’,f(x)

8.0 引言 „ 学习函数集： „ 损失函数： 目标空间 f ∈Τ L( y, f (x))

8.0引言 平方误差损失函数: L,f(x)=(y-f(x)2 ■E不敏感损失函数: Lo,f(d=y-f(x) 0 y-f(x)k ly-f(x)|其他

8.0 引言 „ 平方误差损失函数： „ 不敏感损失函数： 2 L(y, f (x)) = (y − f (x)) { | ( )| 其他 0 | ( )| ( , ( )) | ( )| y f x y f x L y f x y f x − − ≤ = = − ε ε ε

8.0引言 a Soft margin损失函数: L(, f(x=ly- f(x) y-f(x y-f(x)>0 Ise a Hard margin损失函数: L(y, f(x)=h(y-f(x) f(x)>0 o else ■误分类数损失函数: L(y, f(x)=h(-yf(x)

8.0 引言 „ Soft Margin损失函数： „ Hard Margin损失函数： „ 误分类数损失函数： { else y f x y f x L y f x y f x 0 ( ) ( ) 0 ( , ( )) | ( ) | − − > = = − + { elsey f x L y f x h y f x 0 1 ( ) 0 ( , ( )) ( ( )) − > = = − L ( y , f ( x )) = h ( − yf ( x ))

8.0引言 ■经验风险最小化 Rm(0= ASL(i,f(xi) 如Rmn(O)=∑(y-f(x)2

8.0 引言 „ 经验风险最小化 2 1 1 ( 1 ( ) ( , ( )) 1 ( ) 如 ∑（ ）） ∑ = = = − = n i emp i i n i emp i i y f x n R f L y f x n R f

8.0引言 ■模式识别中的“学习的过程通常是 posed 问题: 般没有唯一解: 解在很多时候是不稳定的( overfitting

8.0 引言 „ 模式识别中的“学习”的过程通常是ill￾posed 问题： „ 一般没有唯一解； „ 解在很多时候是不稳定的(overfitting)

8.0引言 ■解决的办法: " Ockham' s razor(定性) 正则化方法(定量): 对函数集的复杂度加惩罚(与SM的思想类 似)

8.0 引言 „ 解决的办法： „ Ockham’s razor （定性）; „ 正则化方法（定量）： „ 对函数集的复杂度加惩罚（与SVM的思想类 似）

8.1正则化理论简介

8.1 正则化理论简介

8.1正则化理论简介 ■线性插值问题:假设在R~和R之间存 在线性映射 ■已知训练数据集和损失函数: (x,y1)(x2y2)…,(xn,y 4=∑(-∑4/)2 =(4)nN,4=x x1=(x1,x2…x),y=(y,y2…yn)

8.1 正则化理论简介 „ 线性插值问题：假设在 和 之间存 在线性映射: „ 已知训练数据集和损失函数： x 0 y = f • N R R ij n N ij ij n i N j i ij j n n A A A x Af y A f x y x y x y ( ) , , ( ) ( , ),( , ), ,( , ) 1 1 2 2 1 1 2 2 L = = − = − × = = y ∑ ∑ T n T i i i iN x (x , x , x ) , ( y , y , y ) = 1 2 L y = 1 2 L