中国科学技术大学：《多媒体通信 Multimedia Communications》课程教学资源（文献阅读交流）Conditional Probability Models for Deep Image Compression

中国辩学我术大学 University of Science and Technology of China Conditional Probability Models for Deep Image Compression

Conditional Probability Models for Deep Image Compression

提纲 中国斜学我术大学 University of Science and Technology of China ·作者介绍 ·文章概述 ·研究方法 ·实验效果 ·总结

提纲 • 作者介绍 • 文章概述 • 研究方法 • 实验效果 • 总结

提纲 中国斜学我术大学 University of Science and Technology of China ·作者介绍 ·文章概述 研究方法 ·实验效果 ·总结

提纲 • 作者介绍 • 文章概述 • 研究方法 • 实验效果 • 总结

作者介绍 中国斜我术大学 University of Science and Technology of China Fabian Mentzer:苏黎世联邦理工学院博士生 研究方向：图像压缩 Eirikur Agustsson:苏黎世联邦理工学院博士生 研究方向：图像超分辨/图像压缩/人工智能/生成模型 Michael Tschannen:Google Research(Brain team)博士后研究员 研究方向：生成模型/图像压缩 o Radu Timofte:苏黎世联邦理工学院讲师 研究方向：图像超分辨/深度学习/目标检测/识别/分割/稀疏表示 Luc Van Gool:苏黎世联邦理工学院教授 研究方向：计算机视觉/机器学习/人工智能/自动驾驶

作者介绍  Fabian Mentzer：苏黎世联邦理工学院博士生 研究方向：图像压缩  Eirikur Agustsson：苏黎世联邦理工学院博士生 研究方向：图像超分辨/图像压缩/人工智能/生成模型  Michael Tschannen：Google Research (Brain team)博士后研究员 研究方向：生成模型/图像压缩  Radu Timofte：苏黎世联邦理工学院讲师 研究方向：图像超分辨/深度学习/目标检测/识别/分割/稀疏表示  Luc Van Gool：苏黎世联邦理工学院教授 研究方向：计算机视觉/机器学习/人工智能/自动驾驶

提纲 中国斜学我术大学 University of Science and Technology of China ·作者介绍 ·文章概述 ·研究方法 ·实验效果 ·总结

提纲 • 作者介绍 • 文章概述 • 研究方法 • 实验效果 • 总结

文章概述 中国斜学我术大学 University of Science and Technology of China 口背景 ·深度学习用于图像压缩 ·两个挑战：处理量化和rate-distortion平衡 口目的 ·引导图像压缩自编码器中的rate-distortion平衡 口方法 ·利用上下文模型(3D卷积)来学习自编码器潜在分布的条件概率模型

文章概述  背景 • 深度学习用于图像压缩 • 两个挑战：处理量化和rate-distortion平衡  目的 • 引导图像压缩自编码器中的rate-distortion平衡  方法 • 利用上下文模型（3D卷积）来学习自编码器潜在分布的条件概率模型

提纲 中国斜学我术大学 University of Science and Technology of China 。作者介绍 ·文章概述 ·研究方法 ·实验效果 ·总结

提纲 • 作者介绍 • 文章概述 • 研究方法 • 实验效果 • 总结

量化方法 中国斜学我术大学 University of Science and Technology of China ·给定中心C={C1,…,cz}CR,使用最近邻分配计算： =Q():=arg minjzcjll 但是在网络的反向传播中使用可微分的软量化： R exp(-llzi -cill) 来计算梯度

量化方法 • 给定中心 ，使用最近邻分配计算： 但是在网络的反向传播中使用可微分的软量化： 来计算梯度

熵估计 中国斜学我术大学 University of Science and Technology of China a采用PixelRNN的方法： ·p(⑦)的分布理解为条件分布的乘积：p(2)=p(-,,) i=1 。 3D特征图2按照光栅扫描顺序索引。使用一个神经网络p(⑦)（上下文模型） 来估算每一项P,(⑦)p(=c1-1,,1)。 口因果约束 ·在网络的每一层对权重进行适当的masking

熵估计  采用PixelRNN的方法： • 的分布理解为条件分布的乘积： • 3D特征图 按照光栅扫描顺序索引。使用一个神经网络 (上下文模型) 来估算每一项 。  因果约束 • 在网络的每一层对权重进行适当的masking

熵估计 中国斜我术大学 University of Science and Technology of China 口对，的索引利用交叉熵损失函数进行分类 m CE:=Egp2I∑-logP,I,】 i-l 口可以将CE看作是H(2)的估计 H(2)=Ep(2[-log(p(2)川 =Epa-logp(-l,…,】 i=1 m ≈E8pa∑-log9-1,…,a月 i=1 =Ep()∑-logP,Il i=1 -CE 。 可以通过交叉熵CE来间接地对H(2)进行最小化。使用C(2)=∑-logP.)作为 潜在图像表示的编码成本

熵估计  对 的索引利用交叉熵损失函数进行分类  可以将CE看作是 的估计 • 可以通过交叉熵CE来间接地对 进行最小化。使用 作为 潜在图像表示的编码成本