电子科技大学：《机器学习 Machine Learning》课程教学资源（课件讲稿）第5章 支持向量机

支持向量机 电子科技大学 师君

电子科技大学 师 君

支特向量机 线性不可分问题 核T化支特向量机

支持向量机 线性不可分问题 核化支持向量机

支持向量机 ,支持向量机(support vector machines,SVM) 。几何意义上的理想分类面： ·决策面位于两类之间，到两类边界的距离相等且最大，即 使分开的两类数据点距离分类面最远。 △△

 支持向量机(support vector machines, SVM) ◦ 几何意义上的理想分类面：  决策面位于两类之间，到两类边界的距离相等且最大，即 使分开的两类数据点距离分类面最远

支持向量机 ,点到面的距离公式 平面方程：WX+w,=0 法线方程：X=Wt+Xo 交点为：=w% ww 距离为：d=Www=0

 点到面的距离公式 0 0 0 0 0 0 0 - - = + = T T T T T w t w t w d t    w x x w x w xw w w x w w w = 平面方程： 法线方程： 交点为： 距离为： =

支持向量机 ,最优化模型 。保证分类面到两类距离相等 min w'x+wo K∈0 wT →minw'xh=minwx++e。=C

 最优化模型 ◦ 保证分类面到两类距离相等 1 2 1 2 0 0 0 0 + + min min min + min + T T T T w w w w C                         x x x x w x w x w w w x w x

支持向量机 ,最优化模型 。保证分类面位于两类中间 wx+w≥C,X∈0 w'x+w≤-C,X∈02 。保证距离最大 ilei max

 最优化模型 ◦ 保证分类面位于两类中间 ◦ 保证距离最大 0 1 0 2 + , + , T T w C w C           w x x w x x max min   C          w w

支持向量机 ,最优化模型 。支持向量机最优化模型 minw st.:y,（wx,+wo)≥C=1,y,∈{-1,1} 。属于严格凸优化问题（二次最优化问题），解唯一

 最优化模型 ◦ 支持向量机最优化模型 ◦ 属于严格凸优化问题（二次最优化问题），解唯一。   2 0 min . .: + 1, { 1,1} T i i i s t y w C y         w w x

支持向量机 ,最优化求解一一KT转化 w,刘-wwy(xw）-可 (w,w2)=w-2[3,yx]=0→w=2[2yx】 Ow y,(wx+wo)≥1 见≥0 [y(wx,h）-1]=0

 最优化求解——KKT转化 0 0   1 1 ( , , ) + 1 2 N T T i i i i L w y w           w λ w w w x         0 1 1 0 0 ( , , ) 0 + 1 0 + 1 0 N N i i i i i i i i T i i i T i i i L w y y y w y w                            w λ w x w x w w xw x

支持向量机 ,最优化求解一一KKT转化 公 △ w*=∑[，yx] 1 2[y(wx,+hw)-1]=0 。权向量是x的线性组合； 。不等于0的x（支持向量)对w有贡献； 。根据正交补条件，入不等于0，可知x位于边界处： [y(wx,+w)-1]=0

 最优化求解——KKT转化 ◦ 权向量是x的线性组合； ◦ λ不等于0的x（支持向量）对w有贡献； ◦ 根据正交补条件， λ不等于0，可知x位于边界处：     1 0 * + 1 0 N i i i i T i i i y y w                w x  w x d d  + 1 0 0  T i i   y w     w x

支持向量机 Z(w,w)=ww-立[(wXw,）-] ,最优化求解一一Wolfe对偶 max(L(w,wo)), 代价函数与特征空间x的维度没有 A.W,Wo 显式的关系。 w=∑[yx,] 先求解λ，后计算w ∑2y=0 1≥0 啤∑∑， ∑y,=0 入≥0

 最优化求解——Wolfe对偶     0 0 , , 1 max ( , , ) , , 0 0 w N i i i i i i L w y y         λ w w λ w x λ 1 1 max 2 0 0 N T i i j i j i j i i i y y y                  λ x x λ 0 0   1 1 ( , , ) + 1 2 N T T i i i i L w y w           w λ w w w x 代价函数与特征空间x的维度没有 显式的关系。 先求解λ，后计算w