西北大学信息科学与技术学院：《信息与编码》课程教学课件（PPT讲稿）第六章 波形信源和波形信道

第六章波形信源和波形信道 第一节波形信源的统计特性和离散化 第二节连续信源和信源的信息测度 第三节具有最大熵的连续信源 第四节连续信道和波形信道的分类 第五节连续信道和波形信道的信息传输率 笫六节连续信道和波形信道的信道容量 第七节连续信道编码定理

第六章 波形信源和波形信道 第一节 波形信源的统计特性和离散化 第二节 连续信源和信源的信息测度 第三节 具有最大熵的连续信源 第四节 连续信道和波形信道的分类 第五节 连续信道和波形信道的信息传输率 第六节 连续信道和波形信道的信道容量 第七节 连续信道编码定理

第一节波形信源的统计特性和离散化 实际某些信源的输出常常是时间和取值都是连续的消 息。例如语音信号、电视信号。这样的信源成为随机波形 信源,其输出消息可以用随机过程{x(}来表示。 随机过程X(t)}可以看成由一族时间函数{x(t)}组成 称为样本函数。每个样本函数是随机过程的一个实现 (1)随机波形信源中消息数是无限的。 (2)随机波形信源可用有限维概率密度函数族以及与各维 函数概率密度函数有关的统计量来描述

第一节 波形信源的统计特性和离散化 实际某些信源的输出常常是时间和取值都是连续的消 息。例如语音信号、电视信号。这样的信源成为随机波形 信源，其输出消息可以用随机过程{x(t)}来表示。 随机过程{x(t)}可以看成由一族时间函数 组成 称为样本函数。每个样本函数是随机过程的一个实现。 { ( )} i x t （1）随机波形信源中消息数是无限的。 （2）随机波形信源可用有限维概率密度函数族以及与各维 函数概率密度函数有关的统计量来描述

第一节波形信源的统计特性和离散化 就统计特性的区别来说,随机过程大致可分为平稳随机 过程和非平稳过程两大类。 最常见的平稳随机过程为遍历过程,它不但统计特性不 随时间平移而变化,而且它的集平均以概率1等于时间平均。 对于随机过程来说,只要是限频的,它的每个样本函 数也可作同样的取样处理。每个样本函数都可以用一系列 1=2F时刻上的样本值x2F来表征。因为随机过程的样本 函数X()有无限多个,因此,取样后瞬间=2的样本值是 个随机变量

第一节 波形信源的统计特性和离散化 就统计特性的区别来说，随机过程大致可分为平稳随机 过程和非平稳过程两大类。 最常见的平稳随机过程为遍历过程，它不但统计特性不 随时间平移而变化，而且它的集平均以概率1等于时间平均。 对于随机过程来说，只要是限频的，它的每个样本函 数也可作同样的取样处理。每个样本函数都可以用一系列 时刻上的样本值 来表征。因为随机过程的样本 函数x(t)有无限多个，因此，取样后瞬间 的样本值是 一个随机变量。 2 n t F = ( ) 2 n x F 2 n n t F =

第一节波形信源的统计特性和离散化 这样,通过取样,随即过程就成为可数的无限维的 随机序列X=(X1,X2…,X2…) 如果随机过程又是限时的,时间间隔为T,则就成为 2F个有限维的随机序列。取样之后还要对取值的离散 化。取样加量化才使随机过程变换成时间的取值都是离 散的随机序列。量化必然带来量化噪声,引起信息损失。 随机过程描述输出消息的信源称为随机波形信源。 用连续随杋变量描述输岀消息的信源称为连续信源

第一节 波形信源的统计特性和离散化 这样，通过取样，随即过程就成为可数的无限维的 随机序列 。 如果随机过程又是限时的，时间间隔为T，则就成为 2FT个有限维的随机序列。取样之后还要对取值的离散 化。取样加量化才使随机过程变换成时间的取值都是离 散的随机序列。量化必然带来量化噪声，引起信息损失。 1 2 2 2 2 ( , ,..., ,...) i F F F X X X X = 随机过程描述输出消息的信源称为随机波形信源。 用连续随机变量描述输出消息的信源称为连续信源

第二节波形信源和波形信源的信息测度 连续信源的差熵 先看单个变量的基本连续信源的信息测度。基本连续信 源的输出是取值连续的单个随机变量。可用变量的概率密度, 变量间的条件概率密度和联合概率密度来描述 变量的一维概率密度函数为P(<F(x) ,p2(x) dF(y) dx 维概率分布函数为 F(x)=PX≤x1=px(x)atx 条件概率密度函数为 Pxlr(xI y), Prx (ylx) 联合概率密度函数为px(x1y1)=o2F(x1,y1)Ox1Ov

第二节 波形信源和波形信源的信息测度 连续信源的差熵 先看单个变量的基本连续信源的信息测度。基本连续信 源的输出是取值连续的单个随机变量。可用变量的概率密度， 变量间的条件概率密度和联合概率密度来描述。 变量的一维概率密度函数为 一维概率分布函数为 条件概率密度函数为 联合概率密度函数为 ( ) ( ) ( ) , ( ) X Y dF x dF y p x p x dx dy = = 1 1 1 ( ) [ ] ( ) x F x P X x p x dx X − =  =  | | ( | ), ( | ) p x y p y x X Y Y X 2 1 1 1 1 1 1 ( ) ( , ) p x y F x y x y XY =   

第二节波形信源和波形信源的信息测度 它们之间的关系为 Pxr(xy)=px(x)prx(y x)=pr (y)Pxr(xly) 基本连续信源的数学模型为 R 并且p( p(x) IRP(r)dx 其中R是全实数集

第二节 波形信源和波形信源的信息测度 它们之间的关系为 基本连续信源的数学模型为 其中R是全实数集。 | | ( ) ( ) ( | ) ( ) ( | ) p xy p x p y x p y p x y XY X Y X Y X Y = =( ) 1 ( ) R R X p x dx p x   = =     并且

第二节波形信源和波形信源的信息测度 定文连续信源的熵为 H(Xn)=∑m(x)△logp(x)△ ∑p(x)△logp(x)-∑p(x)△log△ 这样的话: B(x)=mH(x)=lm2m(x)Agx)]连续信源 p(x)logp(x)- liming△ △→0 舍弃无穷大的第二项,可得: 连续信源 的差熵 H(X)=- P(x)logp(x)

连续信源 的差熵 连续信源 的信息熵 第二节 波形信源和波形信源的信息测度 ( ) ( ) log[ ( ) ] n i i i H X p x p x = −    ( ) log ( ) ( ) log i i i i i = −  −     p x p x p x 这样的话： 0 ( ) lim ( ) lim ( ) log[ ( ) ] n i i n i H X H X p x p x → → = = −    0 ( )log ( ) limlog b a p x p x → = − −   舍弃无穷大的第二项，可得： ( ) ( )log ( ) b a H X p x p x = − 定义连续信源的熵为：

第二节波形信源和波形信源的信息测度 同理可以定义两个连续变量Ⅹ、Y的联合熵和条件熵 h(rr)=llp(xy)log p(xy )dxdy h(Y X)=-lp(x)p(y x)log p(ylx)dxdy h(x r)=-llp(xp(y x)log p(xly)dxdy

第二节 波形信源和波形信源的信息测度 同理可以定义两个连续变量X、Y的联合熵和条件熵 ( ) ( )log ( ) R h XY p xy p xy dxdy = − ( | ) ( ) ( | )log ( | ) R h Y X p x p y x p y x dxdy = − ( | ) ( ) ( | )log ( | ) R h X Y p x p y x p x y dxdy = −

第二节波形信源和波形信源的信息测度 连续信源的差熵只具有熵的部分含义和性质 (1)可加性 h(X1)=h(X)+h(|X)=h(Y)+h(X|y) 并当且仅当X与Y统计独立时 h(XY)≤(X)或(Y|X)≤h(Y) 所以可得h(X)≤h(X)+h(Y) (2)凸状性和极值性 差熵h(X)是输入概率密度函数p(x)的∏型凸函数,对于某 概率密度函数可以得到差熵的最大。 (3)差熵可为负值

第二节 波形信源和波形信源的信息测度 连续信源的差熵只具有熵的部分含义和性质 （1）可加性 并当且仅当X与Y统计独立时 所以可得 （2）凸状性和极值性 差熵h(X)是输入概率密度函数p(x)的П型凸函数，对于某一 概率密度函数可以得到差熵的最大。 （3）差熵可为负值 h XY h X h Y X h Y h X Y ( ) ( ) ( | ) ( ) ( | ) = + = + h X Y h X h Y X h Y ( | ) ( ) ( | ) ( )   或 h XY h X h Y ( ) ( ) ( )  +

第二节波形信源和波形信源的信息测度 波形信源的差熵 实际信源的输入和输出都是平稳随机过程,其()和 {y(t)}可以通过取样,分解成取值连续的无穷平稳随机序列 来表示,所以平稳随机过程的熵就是无穷平稳随机序列的熵。 h(X)=h(X1X2.Xw)=,P(x)log p(x)dx h(r)=h(YY.Y)=P(y)log p(y)dy h(|X)=h(x1…|X1…Xx)= R:JR p(xy)log p(ylx)dxdy h(X|Y)=h(X1…XN|X1…Y)= 「p(x)lgp(x1y)lob 波形信源的差熵:h{x(D)}=lmh(X)

第二节 波形信源和波形信源的信息测度 波形信源的差熵 实际信源的输入和输出都是平稳随机过程，其 {x(t)}和 {y(t)}可以通过取样，分解成取值连续的无穷平稳随机序列 来表示，所以平稳随机过程的熵就是无穷平稳随机序列的熵。 1 2 ( ) ( ) ( )log ( ) N R h X h X X X p x p x dx = = − 1 2 ( ) ( ) ( )log ( ) N R h Y h YY Y p y p y dy = = − 1 1 ( | ) ( | ) ( )log ( | ) N N R R h Y X h Y Y X X p xy p y x dxdy = = −  1 1 ( | ) ( | ) ( )log ( | ) N N R R h X Y h X X Y Y p xy p x y dxdy = = −  波形信源的差熵: { ( )} lim ( ) N h x t h X →