电子科技大学：《机器学习 Machine Learning》课程教学资源（课件讲稿）第8章 特征提取与降维

特征提取与降维 电子科技大学 师君

电子科技大学 师 君

特征变换 显著性评估 特征降维

特征变换 显著性评估 特征降维

特征变换 ,特征向量的数学模型： 。确知模型： ·认为分析对象变化规律确定，将其看作确知函数/向量，通 过函数分析、线性代数方法加以分析。 。统计模型： ·认为分析对象变化规律补丁，将其看作随机变量/随机过程， 通过计算统计量进行分析

 特征向量的数学模型： ◦ 确知模型：  认为分析对象变化规律确定，将其看作确知函数/向量，通 过函数分析、线性代数方法加以分析。 ◦ 统计模型：  认为分析对象变化规律补丁，将其看作随机变量/随机过程， 通过计算统计量进行分析

特征变换 ，信号变换： 。给定连续函数/特征向量，寻找线性变换，将其投影到 特征空间中。 。连续信号： 变换：y(s)=∫x(t)p(ts)dh 逆变换：x(t)=「y(s)p'(s)ds

 信号变换： ◦ 给定连续函数/特征向量，寻找线性变换，将其投影到 特征空间中。 ◦ 连续信号： 1 ( ) ( ) ( ; ) ( ) ( ) ( ; ) y s x t t s dt x t y s s t ds        变换： 逆变换：

特征变换 ,信号变换： 。有限长离散信号 变换：y=Hx 逆变换：X=Hy ·如果变换空间的维数大于等于信号空间维数，则可能完全 表征。 ·降维变换：如果变换后向量维数低于信号维数，则存在信 息（能量)丢失（用于滤波、压缩）

 信号变换： ◦ 有限长离散信号  如果变换空间的维数大于等于信号空间维数，则可能完全 表征。  降维变换：如果变换后向量维数低于信号维数，则存在信 息（能量）丢失（用于滤波、压缩）。 1   y Hx x H y 变换： 逆变换：

特征变换 https://towardsdatascience.com/using-cnns-and-rnns- for-music-genre-recognition-2435fb2ed6af ,信号变换VS自动特征提取 。自动编解码 ·随着深度学习研究深入，信号变换从寻找解析变换到训练 获得变换矩阵H（自动编解码/Autoencoder)。 。信号变换+CNN ·在音频处理中，仍可利用传统变换(Me1倒谱/时频谱)将 音频信号转换为图像便于卷积网络处理

 信号变换 vs 自动特征提取 ◦ 自动编解码  随着深度学习研究深入，信号变换从寻找解析变换到训练 获得变换矩阵 H (自动编解码 / Autoencoder)。 ◦ 信号变换 + CNN  在音频处理中，仍可利用传统变换（Mel倒谱/时频谱）将 音频信号转换为图像便于卷积网络处理. https://towardsdatascience.com/using-cnns-and-rnns￾for-music-genre-recognition-2435fb2ed6af

Mexcan hat weveiet 特征变换 ，小波变换： 。利用小波母函数平移、伸缩构造的变换 Meyer wavelet W(s,x)=∫f()Ψ，()dt 0.5 Meyer scaling function 平.0-'g到 。小波母函数 1.∫w(Oh<o 2.w(0)t=0 3.w()d=1

 小波变换： ◦ 利用小波母函数平移、伸缩构造的变换 ◦ 小波母函数       2 1. 2. 0 3. 1 t dt t dt t dt                 * , ( , ) ( ) ( ) W s f t t dt f s      , 1 ( ) s t t s s             -5 0 5 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1 Mexican hat wavelet - 8 - 6 - 4 - 2 0 2 4 6 8 - 1 -0.5 0 0.5 1 1.5 Meyer wavelet - 8 - 6 - 4 - 2 0 2 4 6 8 -0.5 0 0.5 1 1.5 Meyer scaling function

特征变换 信号处理的小波导引 wavelet tour ,小波变换： 。小波变换存在逆变换 7 14 0=Kw,c个' ds Wavelet Toolbox Getting Started ⊕User's Guide 日fFunctions General Wavelet Functions 由Vavelet Families 1-D Continuous Wavelets 1-D Discrete Wavelets 2-D Discrete Wavelets 3-D Discrete Wavelets Wavelet Packets Discrete Stationary Wavelet Transforms Non-Decimated Wavelet Transforms Lifting Wavelet Transforms De-Noising and Compression 1-D Multisignal Wavelet Analysis True Compression for Images Other Wavelet Applications Tree Management Utilities General Utilities and Demos ⊕Matching Pursuit ？Examples EDemos 由☒Release Notes

 小波变换： ◦ 小波变换存在逆变换 2 0 1 ( ) ( , ) f t ds f t K W s d s s s                 

特征变换 ,多分辨分解 。由于系统分辨率限制，观测过程可表示为真实信号被模糊函 数恶化形式： a(n)=f(t)x(t,n)di 。模糊函数/点扩展函数 0 80o7008m900100 ·描述系统分辨能力的函数，不同系统分辨率不同，模糊函数的宽 窄也不相同，分辨率越高，模糊函数越尖锐，逼近冲激函数

 多分辨分解 ◦ 由于系统分辨率限制，观测过程可表示为真实信号被模糊函 数恶化形式： ◦ 模糊函数/点扩展函数  描述系统分辨能力的函数，不同系统分辨率不同，模糊函数的宽 窄也不相同，分辨率越高，模糊函数越尖锐，逼近冲激函数。 a n f t t n dt ( ) ( ) ( , )    0 100 200 300 400 500 600 700 800 900 1000 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1

特征变换 hn)= 共轭镜像滤波器 ,多分辨分解 。低分辨信号/图像可从高分辨信号/图像重建。 a,)=.g,-m》=r0,立m-mw,a-m =∑h(m-n)ft),wH(t-m)》=∑hm-n)ar(m) =-00 m=-0 =h(n)*an (m) y,(t)=∑h(n)w(t-n)

 多分辨分解 ◦ 低分辨信号/图像可从高分辨信号/图像重建。 ( ) ( ), ( ) ( ), ( ) ( ) ( ) ( ), ( ( ) ) ( ) ( ) ( ) L j H m H H m m H a n f t t n f h n t h m n t m h m n f t t m h m n a m a m                         1 ( ) ( ) ( ) j j n   t h n t n       1 ( ) ( ), ( ) j j h n t t n       共轭镜像滤波器