《信息论与编码基础》课程教学资源（教案讲义）第五章（5-1）概述

结论1: 有记忆信源的冗余度寓于信源符号 间的相关性中。去除它们之间的相关性, 使之成为或几乎成为不相关的信源,其 熵将增大。 结论2: 离散无记忆信源的冗余度寓于符号 概率的非均匀分布中。改变原来信源的 概率分布,使之成为或接近等概分布的 信源,其熵将增大

结论 1： 有记忆信源的冗余度寓于信源符号 间的相关性中。去除它们之间的相关性， 使之成为或几乎成为不相关的信源，其 熵将增大。 结论 2： 离散无记忆信源的冗余度寓于符号 概率的非均匀分布中。改变原来信源的 概率分布，使之成为或接近等概分布的 信源，其熵将增大

s(t) T,0 原始数据 203 预测值 初值 203 顶测误差 编码/解码过程 恢复误差 汽复数据 200 初值 预测篇码原理示意困

定义5-1:设{Z}是均值为0,方差为 δ2的白噪声。若随机过程{X}满足: XFaiXta2X-2+... tapX ptzt 则称{X}为p阶自回归过程。(AR过 程) 定义5-2:设{Z}是均值为0,方差为 δ2的白噪声,若随机过程{X}满足: X产b0Z汁+b1Zt1+.+b glt-q 则称{X1}为q阶动平均过程。(MA过 程) 定义5-3:过程与过程的联合即为混合 模型(ARMA) XFaIX-1+a2X-2+. tapXi-p+ Zt +bIZi-1+. +6gZi-g 数字 量化器|编码 信道 预 (K) 测 器 编码器 预测编码示意图

定义 5－1：设｛Zt｝是均值为 0，方差为 δ2 的白噪声。若随机过程｛Xt｝满足： Xt=a1Xt-1+a2Xt-2+…+apXt-p+Zt 则称｛Xt｝为 p 阶自回归过程。（AR 过 程） 定义 5－2：设｛Zt｝是均值为 0，方差为 δ2 的白噪声，若随机过程｛Xt｝满足： Xt=b0Zt+ b1Zt-1 +…+bqZt-q 则称｛Xt｝为 q 阶动平均过程。（MA 过 程） 定义 5－3：过程与过程的联合即为混合 模型（ARMA） Xt=a1Xt-1+a2Xt-2+…+apXt-p+ Zt +b1Zt-1 +…+bqZt-q 量化器 编码 解码 预测器 预 测 器 dq(k) 数字 Sr (k) 信道 S(K)  S(K)  编码器 解码器 预测编码示意图 S (k) -

S(K)△d(k) dalk 数字 量化器 编码 信道 逆量化 预测器 编码器 预测编码系统原理图 D( H(z S( dq(z) dq(2) 量化器 ∑zF aZ m 发送端 接收端 极点预测器DPCM系统

＋ + Sr(Z) 量化器  = − N i i ai Z 1  = − N i i ai Z 1 S(Z) D(Z) dq(z) dq(z) H(Z) Sr(z) 发送端 接收端 极点预测器 DPCM 系统 量化器 编码 解码 预测器 预测器 S(K) d(k) dq(k) dq(k) 数字 Sr (k) 信道 ( ) ~ S t S(K)  S(K)  编码器 解码器 预测编码系统原理图 逆量化 -

D(A H(z s(Z dq(z) dq(z) 量化器 Se (z) ∑b;z ∑bZ 发送端 接收端 零点预测器DPCM系统 s(k)m d(k) (k)d0(k) S,(k) 量化器 S2(k) s(k 零点预测器 零点预测器 极点预测器 ai S (k-i) S(K) 极点预测器 发送端 接收端 零极点预测器DPCM系统

量化器  = − N i i biZ 1  = − N i i biZ 1 S(Z) D(Z) dq(z) dq(z) H(Z) Sr(z) 发送端 接收端 零点预测器 DPCM 系统 Se（Z） 量化器 零点预测器 零点预测器 极点预测器 极点预测器 S(k) S (k) r S (k) e S (k) e S (k) r d (k) q d (k) d(k) q ( ) 1 a S k i r N i  i − = 发送端 接收端 零极点预测器 DPCM 系统

∑akR(i-k)=R(i) R(0)F(1) R(P-1)a4「R(1) R(1)R(0) R(P-2)a2R(2) R(p-1)R(p-2) R(0) R(p)」 Eon=r(O) akR(k) Durbin迭代算法公式: E0=R(0) ap=R(P)-∑ q-1)队(P-4川/E (P)=ap-1)→naD,) (k=1,2…,(Pp-1)) En=(I-aDe

 = − = P k k a R i k R i 1 ( ) ( )             − − − − ( 1) ( 2) ... (0) ... (1) (0) ... ( 2) (0) (1) ... ( 1) R p R p R R R R p R R R p             =             ( ) ... (2) (1) ... 2 1 R p R R a a a p (*)  = = − p k Eop R akR k 1 (0) ( ) (**) Durbin 迭代算法公式： 1 2 ( ) ( 1) ( 1) ( ) 1 1 1 ( 1) 0 (1 ) ( 1,2...,( 1)) [ ( ) ( )]/ (0) − − − − − = − − = − = − = − = = − − =  p p p p p p k p k p k p p p p k p p p k E a E a a a a k p a a a R p a R p k E E R