广东工业大学:《机器学习》课程教学资源(课件讲义)第22讲 生成式网络模型(Diffusion Model)

Diffusion Model 背後的數學原理 感謝姜成翰同學大力協助
感謝姜成翰同學大力協助

基本概念 Forward Process Add noise Add noise Reverse Process Denoise Denoise
基本概念 Reverse Process Forward Process Add noise Denoise Denoise Add noise

VAE vs.Diffusion Model VAE Encoder Decoder XN Diffusion Add noise Denoise XN
VAE vs. Diffusion Model VAE Diffusion Encoder Decoder Denoise Add noise X N X N

Denoising Diffusion Probabilistic Models Algorithm 1 Training Algorithm 2 Sampling 1:repeat 1:xr~W(0,I) 2:x0~q(x0) 3:Uniform({1,...,T]) 2:fort=T;...,1 do 4: e~W(0,I) 3:z N(0,I)ift 1,elsez=0 5:Take gradient descent step on 4: x-1=点(x-器(x,)+z Volle-Eo(vaixo+VI-aie,t)l2 5:end for 6:until converged 6:return xo 暗藏玄機!
Denoising Diffusion Probabilistic Models 暗藏玄機!

Training xo:clean image noise Algorithm 1 Training 1:repeat 2:xo ~g(xo)+..sample clean image 3:Uniform({1,...,T}) 4: E~(0,I)..sample a noise 5: Take gradient descent step on Volle co(/arxo v1-arg,t)2 a1,a2…T 6:until converged Noisy image smaller Target Noise Noise predictor
Training 𝑥0: clean image sample clean image sample a noise Noise predictor Target Noise Noisy image 𝛼ത1, 𝛼ത2,… 𝛼ത𝑇 𝜀: noise smaller

Training a1,a2.a7 Sample t -at Noise ◆????◆ Predicter
Training 𝛼ത1, 𝛼ത2,… 𝛼ത𝑇 𝑥0 𝜀 𝛼ത𝑡 + 1 − 𝛼ത𝑡 = Noise Predicter t ????? 𝜀 𝑥 𝜀 0 Sample 𝑡

想像中… input Random ground sample truth Step 1 Step 2 input 實際上… 一t Xo E ground input truth
想像中 … 實際上 … Step 1 Step 2 Random sample + + …… input input ground truth 𝛼ത𝑡 + 1 − 𝛼ത𝑡 = 𝑥 𝜀 0 ground truth input

Inference Algorithm 2 Sampling 1:xr~W(0,I) 2:fort=T....,1 do 3: zN(0,I)if t 1,else=0 sample a noise?! 4: Xt-1=Vai (x-器ex,)+1z XT 5:end for 1a2.瓦T 6:return xo C1,02…CT 1 1-0t 1-at Xt-1 Noise Z Predicter
Inference 𝑡 Noise Predicter - 𝑥𝑇 𝑥𝑡 1 − 𝛼𝑡 1 − 𝛼ത𝑡 1 𝛼𝑡 𝑥𝑡−1 𝑧 + sample a noise?! 𝛼ത1, 𝛼ത2,… 𝛼ത𝑇 𝛼1, 𝛼2,… 𝛼𝑇

影像生成模型本質上的共同目標 Real Image Network G(z)=x
影像生成模型本質上的共同目標 Network 𝑧 𝑥 Real Image 𝐺 𝑧 = 𝑥

影像生成模型本質上的共同目標 Real Image Network 一隻在奔跑的狗 (Condition)
影像生成模型本質上的共同目標 Network 𝑧 𝑥 Real Image 一隻在奔跑的狗 (Condition)
按次数下载不扣除下载券;
注册用户24小时内重复下载只扣除一次;
顺序:VIP每日次数-->可用次数-->下载券;
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第21讲 生成式网络模型(VAE Generation).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第21讲 生成式网络模型(自编码器 Deep Auto-encoder).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第20讲 预训练模型 Pre-training of Deep Bidirectional Transformers for Language Understanding(授课:周郭许).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第19讲 ViT及注意力机制改进(各式各样的Attention).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第19讲 ViT及注意力机制改进(Vision Transformers ,ViTs).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第18讲 变换器模型 Transformer.pdf
- 广东工业大学:《机器学习》课程教学资源(PPT讲稿)第18讲 变换器模型 Transformer.pptx
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第17讲 注意力机制(自注意力).pdf
- 广东工业大学:《机器学习》课程教学资源(PPT讲稿)第17讲 注意力机制(概述).pptx
- 广东工业大学:《机器学习》课程教学资源(PPT讲稿)第16讲 现代循环神经网络(嵌入向量, 词嵌入, 子词嵌入, 全局向量的词嵌入).pptx
- 广东工业大学:《机器学习》课程教学资源(PPT讲稿)第16讲 现代循环神经网络(编码器解码器,Seq2seq模型,束搜索).pptx
- 广东工业大学:《机器学习》课程教学资源(PPT讲稿)第16讲 现代循环神经网络(高级循环神经网络).pptx
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第15讲 无监督学习——降维深度学习可视化(Neighbor Embedding,LLE T-SNE).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第15讲 无监督学习——降维深度学习可视化(PCA Kmeans).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第14讲 循环神经网络(RNN).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第13讲 卷积神经网络计算机视觉应用(目标检测,计算机视觉训练技巧).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第13讲 卷积神经网络计算机视觉应用(Inception, 批量归一化和残差网络ResNet).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第12讲 卷积神经网络(LeNet, AlexNet, VGG和NiN).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第12讲 卷积神经网络(卷积和池化层).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第11讲 感知机模型与多层感知机(前馈神经网络,DNN BP).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第22讲 生成式网络模型(Stable Diffusion).pdf
- 北京信息科技大学:计算机学院各专业课程教学大纲汇编.pdf
- 北京信息科技大学:计算中心及图书馆课程教学大纲汇编.pdf
- 新乡学院:数学与统计学院信息与计算科学专业《数学分析Ⅰ》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《数学分析Ⅱ》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《数学分析Ⅲ》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《高等代数Ⅰ》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《高等代数Ⅱ》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《解析几何》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《复变函数论》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《常微分方程》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《实变函数与泛函分析》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《概率论》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《数理统计》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《初等数论》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《数据结构》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《数据结构实验》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《数学物理方程》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《离散数学》课程教学大纲(2015).pdf
- 新乡学院:数学与统计学院信息与计算科学专业《随机过程》课程教学大纲(2015).pdf