中国科学技术大学：《多媒体通信 Multimedia Communications》课程教学资源（文献阅读交流）基于多尺度几何分析的图像质量评估 Image Quality Assessment Based on Multiscale Geometric Analysis

Image Quality Assessment Based on Multiscale Geometric Analysis 基于多尺度几何分析的图像质量评估 Xinbo Gao,Senior Member,IEEE,Wen Lu,Dacheng Tao, Member,IEEE,and Xuelong Li,Senior Member,IEEE 简幸园钟存我术大草 Yanggang 2019.11.30

Image Quality Assessment Based on Multiscale Geometric Analysis 基于多尺度几何分析的图像质量评估 Xinbo Gao, Senior Member, IEEE, Wen Lu, Dacheng Tao, Member, IEEE, and Xuelong Li, Senior Member, IEEE Yanggang 2019.11.30

目录 Introduction Motivation Multiscale Geometric Analysis Multiscale Geometric Analysis-based Image Quality Assessment Performance Evaluation 。Conclusion @中国件蓉我术大每

• Introduction & Motivation • Multiscale Geometric Analysis • Multiscale Geometric Analysis-based Image Quality Assessment • Performance Evaluation • Conclusion 目录

01 Introduction Motivation 简介与动机 @中国件蓉我术大年

Introduction & Motivation 简介与动机 01

Introduction ·IQA方法可分为主观方法和客观方法。主观方法：图像质量的最 佳方法；既昂贵又费时。客观方法分为三类：全参考(FR)，无 参考(NR)和缩减参考(RR)方法。 ·F方法：通常提供最精确的评估结果；与感知质量测量不一致， 需要相应的原始或完美图像作为参考。 ·NR方法：依赖强大的假设。 ·在FR和NR之间取得折中，设计RR方法。 简中国钟学我术大室

Introduction • IQA方法可分为主观方法和客观方法。主观方法：图像质量的最 佳方法；既昂贵又费时。客观方法分为三类：全参考（FR），无 参考（NR）和缩减参考（RR）方法。 • FR方法：通常提供最精确的评估结果；与感知质量测量不一致， 需要相应的原始或完美图像作为参考。 • NR方法：依赖强大的假设。 • 在FR和NR之间取得折中，设计RR 方法。 4

Motivation 在RR IQA中，失真图像的视觉质量只使用从原始图像中提取的部分信息来评 估。 缩减参考 (RR)图像质量评估(IQA)已被认为是预测失真图像视觉质量的 有效方法。 当前标准是小波域自然图像统计模型(WNISM) ，在参考图像和失真图像的 小波系数的边际分布之间应用Kullback-Leibleri散度来测量图像失真。 ·WNISM未能考虑不同子带中小波系数的统计相关性以及哺乳动物皮质简单细 胞的视觉反应特征。 ·无法显式提取图像几何信息，例如直线和曲线。 对于平滑的图像边缘轮廓，小波系数很密集。 结合多尺度几何分析(MGA),对比敏感度函数(CSF)和JDN(最小可察觉误差)的优点， 提出了一种新的IQA框架来模仿人类视觉系统(HVS) 简中国钟学发术大

Motivation • 在RR IQA中，失真图像的视觉质量只使用从原始图像中提取的部分信息来评 估。 • 缩减参考（RR）图像质量评估（IQA）已被认为是预测失真图像视觉质量的 有效方法。 • 当前标准是小波域自然图像统计模型（WNISM），在参考图像和失真图像的 小波系数的边际分布之间应用Kullback-Leibler散度来测量图像失真。 • WNISM未能考虑不同子带中小波系数的统计相关性以及哺乳动物皮质简单细 胞的视觉反应特征。 • 无法显式提取图像几何信息，例如直线和曲线。 • 对于平滑的图像边缘轮廓，小波系数很密集。 结合多尺度几何分析（MGA），对比敏感度函数（CSF）和JDN(最小可察觉误差) 的优点， 提出了一种新的IQA框架来模仿人类视觉系统（HVS） 5

02 Multiscale Geometric Analysis 多尺度几何分析 @中国件蓉我术大年

Multiscale Geometric Analysis 多尺度几何分析 02

Multiscale Geometric Analysis ·MGA提供了一系列变换，包括小波，Curvelet,bandelet,Contourlet,基于 小波的Contourlet3变换(WBcT)，以及混合小波定向滤波器组(HWD) 并且不同的变换捕获不同类型的图像几何信息。 表1：不同的MGA变换捕获的主要特征 变换 MGA方法捕获的主要特征 小波变换 点 曲波变换 在光滑平面C2上的连续闭合曲线 条带波变换 在光滑平面C“(α>2)上的连续闭合曲线 轮廓波变换 分段光滑轮廓的区域 WBCT 具有光滑轮廓的区域 HWD 带角度的光滑轮廓区域 简中国钟草技术大室

Multiscale Geometric Analysis • MGA提供了一系列变换，包括小波，Curvelet，bandelet，Contourlet ，基于 小波的Contourlet变换（WBCT），以及混合小波定向滤波器组（HWD）， 并且不同的变换捕获不同类型的图像几何信息。 变换 MGA 方法捕获的主要特征 小波变换 点 曲波变换 在光滑平面𝐶 2上的连续闭合曲线 条带波变换 在光滑平面𝐶 𝛼 (𝛼 > 2)上的连续闭合曲线 轮廓波变换 分段光滑轮廓的区域 WBCT 具有光滑轮廓的区域 HWD 带角度的光滑轮廓区域 表1：不同的MGA变换捕获的主要特征 7

Multiscale Geometric Analysis-based 03 Image Quality Assessment 基于多尺度几何分析的图像质量评估 @中国件蓉我术大年

Multiscale Geometric Analysis-based Image Quality Assessment 基于多尺度几何分析的图像质量评估 03

Multiscale Geometric Analysis-based Image Quality Assessment Reference 一一一 Distorted Image Distortion Image Sender Side Channel Receiver Side MGA based Image Decomposition CSP Masking JND Normalization Threshold B(n)=2(m Histogram ) D Ancillary Channel D (ms尽（创 s=∑P(m-Pa( ) 1+log: a Normalization Histogram Sensitivity Errors Pooling Quality of Image 简中国钟学我术大室 9

Multiscale Geometric Analysis-based Image Quality Assessment 9

Multiscale Geometric Analysis-based Image Quality Assessment ·A:MGA分解图像以进行特征提取以模仿HVS的多通道结构， ·B:CSF重新加权MGA分解系数以模仿HVS固有的非线性， ·C:ND产生明显的感官体验变化。 ·D:构建直方图来表示图像，每个直方图直方图对应于所选子带的视觉敏感 系数的数量，最后将归一化步骤应用于直方图； ·E:1QA结果是参考图像和失真图像的归一化直方图之间的变换曼哈顿距离。 ·通过比较原始图像和失真图像之间的计算系数，建立失真图像的评估测量。 简中国钟学我术大年 10

Multiscale Geometric Analysis-based Image Quality Assessment • A : MGA分解图像以进行特征提取以模仿HVS的多通道结构， • B : CSF重新加权MGA分解系数以模仿HVS固有的非线性， • C : JND产生明显的感官体验变化。 • D : 构建直方图来表示图像，每个直方图直方图对应于所选子带的视觉敏感 系数的数量，最后将归一化步骤应用于直方图； • E : IQA结果是参考图像和失真图像的归一化直方图之间的变换曼哈顿距离。 • 通过比较原始图像和失真图像之间的计算系数，建立失真图像的评估测量。 10