电子科技大学：《机器学习 Machine Learning》课程教学资源（课件讲稿）第12讲 特征学习 Feature Learning

电子科技大学研究生《机器学习》精品课程 第12讲特征学习 12 Feature Learning 郝家胜(Jiasheng Hao) Ph.D.,Associate Professor Email:hao@uestc.edu.cn School of Automation Engineering University of Electronic Science and Technology of China,Chengdu 611731 Aug.2015第一稿；Apr2021第四稿

电子科技大学研究生《机器学习》精品课程 Email: hao@uestc.edu.cn School of Automation Engineering University of Electronic Science and Technology of China, Chengdu 611731 郝家胜 (Jiasheng Hao) Ph.D., Associate Professor Aug. 2015 第一稿；Apr. 2021 第四稿 第12讲 特征学习 12 Feature Learning

内容提要 956 口简要历程 口特征学习原理 口应用模式 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 内容提要 o简要历程 o特征学习原理 o应用模式

机器学习的基本任务 56 Class label (Classification) X F(x) Vector (Estimation) Object recognition {dog,cat,horse,.} Super resolution Low-resolution image High-resolution image 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 机器学习的基本任务 3 x F(x) y Class label (Classification)  Vector (Estimation) {dog, cat, horse,, …} Object recognition Super resolution Low-resolution image High-resolution image

源起一一生物神经系统的启示 好 956 神经元之间通过突触(synapse)连接 层级感受野，学习使突触连接增强或变弱甚至消失 Visual Area V4 Higher level visual Screen Bar of light Retina cortex Oscilloscope abstractions Electrode Area V2 Primitive shape detectors Area Edge detectors Optic Lateral nerve Geniculate Retina pixels Nucleus an-ot/visionhac Hubel,D.H.Wiesel,T.N.(1962) 来自其他神经元轴突神经末梢 神经递质 突触囊泡 再摄 爽触 取泵 轴突终 突触 电压依赖 末 细胞体 轴突 性钙通道 受体 突触后致 突触间隙 细胞核 神经末梢 密物质 树突 >树爽 电于科技大字研究生《稞式识别》

电子科技大学研究生《模式识别》 源起——生物神经系统的启示 o 神经元之间通过突触(synapse)连接 n 层级感受野，学习使突触连接增强或变弱甚至消失 4 Hubel, D. H. & Wiesel, T. N. (1962)

第一代神经网络 /956 ▣感知机(Perceptrons)模型[Rosenblatt,1957] 口二类分类，单个神经元的功能（输入输出关系） yj=f(sj) f为激活函数，其中： w0 wiXi =0 1 ifwix>0 otherwise Frank Rosenblatt(1957),The Perceptron--a perceiving and recognizing automaton.Report5-460-1,Comell Aeronautical电y辉搜头学趼究生《模式，识别》

电子科技大学研究生《模式识别》 第一代神经网络 o 5 Frank Rosenblatt(1957), The Perceptron--a perceiving and recognizing automaton. Report 85-460-1, Cornell Aeronautical Laboratory

Perceptron算法 口误差函数 口对w求导 L(w,b)=-y:(w·X+b) S∈M VL(w,b)=-∑y XIEM VL(w,b)=-∑y, XIEM 口选取样本(xyi) w←—w+7y:x: b←—b+7.y F.Rosenblatt.The perceptron:A probabilistic model for information tora9e3nd-6 iinthbrain..Psycholog线关2望（程识别》

电子科技大学研究生《模式识别》 Perceptron算法 o 6 F. Rosenblatt. The perceptron: A probabilistic model for information storage and organization in the brain. Psychological Review, 65:386-408, 1958

Perceptron算法 口算法流程 输入：训练数据集X={(x1vy1),(x2,y2),,(xwym),},其中x:为 实数向量，y={1,-1},参数0<1≤1为学习率 口输出：w,b 口算法 ■1.随机选取初值wo,bo ■2.从训练集中选取数据(xyi) ■3.如果y(wx:+b)≤0)，则 W:+1-W:+nyixi bt:1=bi+nyi ■4.goto2 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 Perceptron算法 o 7

第一代神经网络 口 单层感知机(Perceptrons)模型的局限性 ■Minsky&Papert的专著Perceptron(1969) ■只能对线性可分的模式进行分类 ■解决不了异或问题 ■几乎宣判了这类模型的死刑，导致了随后 多年NN研究的低潮 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 第一代神经网络 o单层感知机(Perceptrons)模型的局限性 n Minsky & Papert的专著Perceptron(1969) n 只能对线性可分的模式进行分类 n 解决不了异或问题 n 几乎宣判了这类模型的死刑，导致了随后 多年NN研究的低潮 8

前馈神经网络的BP学习算法 David E.Rumelhart,,Geoffrey E.Hinton,and Ronald J.Williams.(Oct.1986)."Learning representations by back-propagating errors".Nature 323(6088):533-536

前馈神经网络的BP学习算法 David E. Rumelhart,, Geoffrey E. Hinton, and Ronald J. Williams. (Oct.1986). "Learning representations by back-propagating errors". Nature 323 (6088): 533–536

2nd generation neural networks /956 多层感知机(Multi--layer Perceptron,MLP) ■ 超过1层的hidden layers(正确输出未知的层) ▣BP算法[Rumelhart et al..,1986] ■Compute error signal Then,back-propagate error signal to get derivatives for learning X1 y1 X2 y2 X3 David E.Rumelhart,,Geoffrey E.Hinton,and Ronald J.Williams.(Oct.1986)."Learning reproontation-电yea6 ingors.Nature323(608笔斜大学研究生《模式识别》

电子科技大学研究生《模式识别》 2nd Generation Neural Networks o 多层感知机(Multi-layer Perceptron, MLP) n 超过1层的hidden layers（正确输出未知的层） o BP算法 [Rumelhart et al., 1986] n Compute error signal; n Then, back-propagate error signal to get derivatives for learning 10 David E. Rumelhart,, Geoffrey E. Hinton, and Ronald J. Williams. (Oct.1986). "Learning representations by back-propagating errors". Nature 323 (6088): 533–536