《信息理论与编码》课程教学课件（讲稿）第3章 信道模型和信道容量 习题课

第三章习题课

第三章 习题课

填空题1.有记忆信道的当前输出不仅与输入有关，还与输入有关。2. 既代表，又代表，因此，通常或把HXIY称为信道的3.如果信道给定，那么I(PxPxx)是输入概率,的凸函数。如果信源给定，那么I(Px,Pyx)是转移概率PyX的凸函数。4衡量一个信息传递系统的好坏，有两个主要指标。其；其二，5.使得给定信道的输入分布，称为最佳输入（概率分布，记为Px

填空题 1. 有记忆信道的当前输出不仅与_输入有关，还与 _输入有关。 2. 既代表_，又代表_，因此，通常 把 H(X|Y)称为信道的_或_ 3. 如果信道给定，那么 I(PX,PY|X)是输入概率PX的_ 凸函数。如果信源给定，那么 I(PX,PY|X)是转移概率 PY|X 的_凸函数。 4. 衡量一个信息传递系统的好坏，有两个主要指标。其 一，_；其二，_。 5. 使得给定信道_的输入分布，称为最佳输入(概率) 分布，记为 * PX

判断题1.信道容量C不仅与信道转移概率有关，也与信道的输入分布有关。（）2.噪声熵为0的信道称为确定信道。（）3.离散对称信道输入等概率分布时，输出未必也等概率分布。（）4.一般DMC达到信道容量的充要条件为信源符号的偏互信息均等于信道容量。（）5.信道是DMC的充要条件是序列符号对之间的转移概率等于各个时刻单个符号对转移概率之乘。（）

判断题 1. 信道容量 C 不仅与信道转移概率有关，也与信道的 输入分布有关。（ ） 2. 噪声熵为 0 的信道称为确定信道。（ ） 3. 离散对称信道输入等概率分布时，输出未必也等概 率分布。（ ） 4. 一般 DMC 达到信道容量的充要条件为信源符号的 偏互信息均等于信道容量。（ ） 5. 信道是 DMC 的充要条件是序列符号对之间的转移 概率等于各个时刻单个符号对转移概率之连乘。（ ）

选择题若信道和信源均无记忆以下结论不成立的是NA. I(X;Y)= ZI(Xk;Yk)k=1B. I(X;Y)= NI(X;Y)NC. I(X;Y)<ZI(Xk;Yk)k=1D. CN= NC

选择题  若信道和信源均无记忆， 以下结论不成立的是_ A. 1 ( ; ) ( ; ) N k k k I X Y I X Y    B． I X Y NI X Y ( ; ) ( ; )  C． 1 ( ; ) ( ; ) N k k k I X Y I X Y    D． N C NC 

关于两个独立信道01、02串联，下列说法不正确的是YX信道1信道ⅡIZ0Q2A：串联信道的信道容量与组成串联信道的各分信道的信道容量存在精确的定量关系B．数据处理过程中，随着数据的不断处理，从处理后的数据中所得的原始信息会愈来愈少C.串联信道的转移概率矩阵是各单元信道的转移概率矩阵之积D.XYZ组成一个马尔可夫链

 关于两个独立信道 Q1、Q2串联，下列说法不正确的是_ X 信道 I Y Q1 信道 II Z Q2 A. 串联信道的信道容量与组成串联信道的各分信道的信 道容量存在精确的定量关系 B．数据处理过程中，随着数据的不断处理，从处理后的数 据中所得的原始信息会愈来愈少 C．串联信道的转移概率矩阵是各单元信道的转移概率矩阵 之积 D． XYZ 组成一个马尔可夫链

信源的输出与信道的输入匹配的目的不包括A，符号匹配：B．信息匹配：C.功率匹配：D.降低信道剩余度以下关于连续信道的说法中，不正确的是A：连续信道是时间离散、幅值连续的信道B：连续信道的统计特性由转移概率分布函数描述C．加性噪声信道的转移概率密度函数等于噪声的概率密度函数D.对于无记忆加性噪声信道，若输入信号服从高斯分布，且噪声的平均功率受限，则服从高斯分布的噪声使信道平均互信息量达到最小

 信源的输出与信道的输入匹配的目的不包括_ A. 符号匹配；B. 信息匹配； C. 功率匹配；D. 降低信道剩余度  以下关于连续信道的说法中，不正确的是_ A．连续信道是时间离散、幅值连续的信道 B．连续信道的统计特性由转移概率分布函数描述 C．加性噪声信道的转移概率密度函数等于噪声的概率 密度函数 D．对于无记忆加性噪声信道，若输入信号服从高斯分 布，且噪声的平均功率受限，则服从高斯分布的噪 声使信道平均互信息量达到最小

已知香农公式C(Ps)=Blog，不能得出的结论是N.BA，在信噪比不变的前提下，增大频带，可增大信道容量B.频带不变时，增大信噪比即可增大信道容量CC.在Ps增大很多之后，继续增大信号功率来实现信道容量的增大是一个有效途径D.用扩频方法来增大信道容量，其作用是有限的

 已知香农公式 0 ( ) log 1 S S P C P B N B         ，不能得出的结论是 _ A. 在信噪比不变的前提下，增大频带，可增大信道容 量 B. 频带不变时，增大信噪比即可增大信道容量 C C. 在 PS增大很多之后，继续增大信号功率来实现信道 容量的增大是一个有效途径 D. 用扩频方法来增大信道容量，其作用是有限的

3、i设二元对称信道的转移概率矩阵为213321_33(1) 若 P(O)= 3/4，P()= 1/4，求H(X)H(XIY)，H(YIX)和I(X;Y):(2）求该信道的信道容量及其达到信道容量时的最佳输入概率分布

3、 设二元对称信道的转移概率矩阵为           3 2 3 1 3 1 3 2 (1) 若 P0  3 4， P1  1 4 ，求 HX ， H X | Y ， H Y | X 和 IX ;Y ； (2) 求该信道的信道容量及其达到信道容量 时的最佳输入概率分布

3、解：（1）已知二元对称信道的传递矩阵，又已知输入的31概率分布P(O)就可以计算得出丫的概率A4分布如下：P(y = 0)= Z P(x)P(y= 0 / x)x= P(x =0)P(y=0lx=0)+ P(x=1)P(y=0lx =1)32.117一X十X4312435P(y= 1)=1- P(y= 0)=12

3、解：（1）已知二元对称信道的传递矩阵，又已知输入的 概率分布 , 4 3 P(0)  4 1 P(1)  ,就可以计算得出Y 的概率 分布如下：    x P( y 0) P(x)P( y 0 | x)  P(x  0)P(y  0 | x  0)  P(x 1)P(y  0 | x 1) 12 7 3 1 4 1 3 2 4 3      5 ( 1) 1 ( 0) 12 P y P y     

后验概率计算如下：236P(x= 0)P(y= 0 / x = 0)-43P(x=0ly=0) =77P(y = 0)12P(x=1ly=0)=1-P(x=0ly=0):731X3P(× = 01 y=1)= P(x=0)P(V=1I×=0)4*355P(y = 1)122P(x =1ly=l)=1- P(x =1ly=0) :5

后验概率计算如下： P x y ( 0 | 0)   ( 0) ( 0) ( 0 | 0)      P y P x P y x 7 6 12 7 3 2 4 3    1 ( 1| 0) 1 ( 0 | 0) 7 P x y P x y        5 3 12 5 3 1 4 3 ( 1) ( 0) ( 1| 0) ( 0 | 1)          P y P x P y x P x y 2 ( 1| 1) 1 ( 1| 0) 5 P x y P x y       