《信息理论与编码》课程教学资源（复习小结）第六章 限失真信源编码

第6章主要概念1限失真编码限失真编码是有失真的编码，指在允许的失真范围内（即失真范围受限），把编码后的信息率压缩到最小的编码方式。引入有失真编码，原因如下：1）有些情况下，信宿不需要或无能力接受信源发出的全部信息，例如人眼接受视觉信号和人耳接受听觉信号就属于这种情况：2）无失真编码并非总是可能的。例如对连续信号进行数字处理时，不可能完全去除量化误差：3）压缩编码可降低信息率，有利于传输和处理。有失真的压缩编码主要针对连续信源，但其理论同样适用于离散信源。2失真度（失真函数）设信源输出随机变量为U，取值于符号集为(u,uz，",u,}，经信源编码后的输出随机变量为V，取值于符号集为(y,"2，,v）。定义失真度（或失真函数）d(u，v）为：编码器输入符号u,与输出符号v,之间的误差或失真，d(u,v）是非负实值函数将rxs个d(u,v）排成矩阵形式，称为失真矩阵，记为[d]1V2.Vs[d(u,y) d(u,) .. d(u,y)ud(uz,y) d(uz,) .. d(uz,v,)u[d]目"d(u,y)d(ur,r)...d(ur,y)Ju,3平均失真度（平均失真）对所有符号的失真度d(u,，y)，取统计平均，称为平均失真度或平均失真，记为D：D=E(d(u,y,)-ZZP(u,y,)d(u,y,)i=l j=l=22 P(u)P(y |u,)d(u,v,)i=l j=l4保真度准则如果要求平均失真D小于某个给定值D，即要求D= E(d(u,y,)=ZP(u,)P(y,lu,d(u,y,)≤Di=l j=这意味着对转移概率Pyu施加了相应的限制，或者说对信道（编码器）施加了相应的限制。上式所给的限制条件称为保真度准则

第 6 章主要概念 1 限失真编码 限失真编码是有失真的编码，指在允许的失真范围内（即失真范围受限），把编码后的 信息率压缩到最小的编码方式。 引入有失真编码，原因如下：1）有些情况下，信宿不需要或无能力接受信源发出的全 部信息，例如人眼接受视觉信号和人耳接受听觉信号就属于这种情况；2）无失真编码并非 总是可能的。例如对连续信号进行数字处理时，不可能完全去除量化误差；3）压缩编码可 降低信息率，有利于传输和处理。 有失真的熵压缩编码主要针对连续信源，但其理论同样适用于离散信源。 2 失真度（失真函数） 设信源输出随机变量为U ，取值于符号集为 1 2 {, , , }r uu u  ，经信源编码后的输出随机 变量为V ，取值于符号集为 1 2 {, , , }s vv v  。定义失真度（或失真函数） (, ) i j du v 为：编码 器输入符号 i u 与输出符号 j v 之间的误差或失真， (, ) i j du v 是非负实值函数 将 r s × 个 (, ) i j du v 排成矩阵形式，称为失真矩阵，记为[ ] d ： 1 2 11 12 1 1 21 22 2 2 1 2 (,) (, ) (,) (,) (,) (,) [ ] (,) (,) (,) s s s r r r s r vv v du v du v du v u du v du v du v u d du v du v du v u     =          3 平均失真度（平均失真） 对所有符号的失真度{ } , (, ) i j i j du v 取统计平均，称为平均失真度或平均失真，记为 D ： { } 1 1 1 1 ( , ) ( , )( , ) ( )( | )( , ) r s i j ij ij i j r s i j i ij i j D E du v Pu v du v Pu Pv u du v = = = = = = = ∑∑ ∑∑ 4 保真度准则 如果要求平均失真 D 小于某个给定值 D ，即要求 D E{d( u ,v )} P( u )P( v u )d( ui ,v j ) D r i s j = i j = ∑∑ i j i ≤ =1 =1 这意味着对转移概率 PV U 施加了相应的限制，或者说对信道（编码器）施加了相应的限制。 上式所给的限制条件称为保真度准则

5试验信道满足保真度准则D≤D的信道称为D试验信道。有很多个D试验信道，各自的统计特性都由相应的转移概率Pu描述。所有D试验信道的转移概率组成一个集合，记为BD：BD=(Pvu;D≤ D)6信息率失真函数（率失真函数）B,中任一转移概率都与一个D允许信道（编码器）对应，在B,中寻求一个Pvu（即寻求一个特定的编码器），使I（U;V）最小，这个最小的平均互信息量称为信息率失真函数简称为率失真函数，记为R(D），即R(D)= min I(U;V)=min((U;V):D≤D)PyuEBD

5 试验信道 满足保真度准则 D ≤ D 的信道称为 D 试验信道。 有很多个 D 试验信道，各自的统计特性都由相应的转移概率 PV U 描述。所有 D 试验信 道的转移概率组成一个集合，记为 BD ： B { P ;D D } D V U = ≤ 6 信息率失真函数（率失真函数） BD 中任一转移概率都与一个 D 允许信道（编码器）对应，在 BD 中寻求一个 PV U （即 寻求一个特定的编码器），使 I(U;V )最小，这个最小的平均互信息量称为信息率失真函数， 简称为率失真函数，记为 R( D )，即 R( D ) min I(U;V ) min{I(U;V );D D} PV U BD = = ≤ ∈