西北大学信息科学与技术学院：《信息与编码》课程教学课件（PPT讲稿）第三章 离散信道及其信道容量

第三章离散信道及其信道容量 第一节信道的数学模型及分类 第二节平均互信息 第三节平均互信息的特性 第四节信道容量及其一般计算方法 第五节离散无记忆扩展信道及其信道容量 第六节信源与信道的匹配

第三章 离散信道及其信道容量 第一节 信道的数学模型及分类 第二节 平均互信息 第三节 平均互信息的特性 第四节 信道容量及其一般计算方法 第五节 离散无记忆扩展信道及其信道容量 第六节 信源与信道的匹配

第一节信道的数学模型及分类 1、信道的分类: 根据信道用户的多少,可分为: 1)单用户信道:只有一个输入端和一个输出端 (2)多用户信道:至少有一端有两个以上的用户,双向通信 根据输入端和输出端的关联: (1)无反馈信道 (2)有反馈信道

第一节 信道的数学模型及分类 1、信道的分类： 根据信道用户的多少，可分为： （1）单用户信道：只有一个输入端和一个输出端 （2）多用户信道：至少有一端有两个以上的用户，双向通信 根据输入端和输出端的关联： （1）无反馈信道 （2）有反馈信道

第一节信道的数学模型及分类 根据信道参数与时间的关系: (1)固定参数信道 (2)时变参数信道 根据输入输出信号的特点 1)离散信道 2)连续信道 3)半离散半连续信道 (4)波形信道 以下我们只研究无反馈、固定参数的单用户离散信道

第一节 信道的数学模型及分类 根据信道参数与时间的关系： （1）固定参数信道 （2）时变参数信道 根据输入输出信号的特点 （1）离散信道 （2）连续信道 （3）半离散半连续信道： （4）波形信道 以下我们只研究无反馈、固定参数的单用户离散信道

第一节信道的数学模型及分类 2、离散信道的数学模型 设离散信道的输入为一个随机变量Ⅹ,相应的输出的随机 变量为Y,如图所示 规定一个离散信道应有三个参数: 输入符号集:X={×1,x2,,x,} 输出符号集:Y={y1,y2,…,ym} 信道转移概率: P(YX)=p(y1/×1)p(2/×1)…p(ynm×1)……p(1/x) p(mx)] P(/X) Y 根据这一模型,可对信道分类如下:

第一节 信道的数学模型及分类 X P(y/X) Y 根据这一模型，可对信道分类如下： 设离散信道的输入为一个随机变量X，相应的输出的随机 变量为Y，如图所示： 规定一个离散信道应有三个参数： 输入符号集：X={x1，x2，…， } 输出符号集：Y={y1，y2，…， } 信道转移概率： P(Y/X)={p(y1/x1),p(y2/x1),…p( /x1),……p(y1/ )… p( / )} n x m y m y m y n x n x 2、离散信道的数学模型

第一节信道的数学模型及分类 (1)无干扰信道:输入信号与输出信号有一一对应关系 y=(),并且P(/)≈J1y=f(x) Oy≠f(x) 2)有干扰无记忆信道:输入与输出无一一对应关系, 输出只与当前输入有关; 3)有干扰有记忆信道:这是最一般的信道

第一节 信道的数学模型及分类 （1）无干扰信道：输入信号与输出信号 有一一对应关系 1 ( ) ( ) ( / ) 0 ( ) y f x y f x P y x y f x  = = =    ，并且 （2）有干扰无记忆信道：输入与输出无一一对应关系， 输出只与当前输入有关； （3）有干扰有记忆信道：这是最一般的信道

第一节信道的数学模型及分类 3、单符号离散信道的数学模型 单符号离散信道的输入变量为X,取值于{a12a2…a} 输出变量为Y,取值于{h,b2…,b 并有条件概率P(yx)=P(b,a,(i=1,2,…,Fj=1,2,…,S) 条件概率被称为信道的传递概率或转移概率。 般简单的单符号离散信道的数学模型可以用概率空 间ⅨXp(yx×),Y来描述。 b, P( la) Y

第一节 信道的数学模型及分类 3、单符号离散信道的数学模型 单符号离散信道的输入变量为X，取值于 输出变量为Y，取值于 。 并有条件概率 条件概率被称为信道的传递概率或转移概率。 一般简单的单符号离散信道的数学模型可以用概率空 间[X,p(y|x),Y]来描述。 X Y a a a 1 2 , , , r  b b b 1 2 , , , s  ( | ) ( | ),( 1,2, , ; 1,2, , ) P y x P b a i r j s = = = j i 1 a ar b1 bs ( | ) P b a j i

第一节信道的数学模型及分类 表示成矩阵形式: y p(y1/x1)p(y2x1) plym/x1) p(y1/x2)p(y2/x2) p(ym/x2) Xn p(y /xn) p(y2/xn)

第一节 信道的数学模型及分类 [P]= y1 y2 … ym x1 p(y1 /x1 ) p(y2 /x1 ) … p(ym/x1 ) x2 p(y1 /x2 ) p(y2 /x2 ) … p(ym/x2 ) … … … … … xn p(y1 /xn ) p(y2 /xn ) … p(ym/xn ) 表示成矩阵形式：

第一节信道的数学模型及分类 [例1二元对称信道(BSC) X={0,1};Y={0,1};p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p 0 [PI 0 p p 0 p

第一节 信道的数学模型及分类 [例1] 二元对称信道（BSC） X={0,1}; Y={0,1}; p(0/0)=p(1/1)=1-p; p(0/1)=p(1/0)=p; [P]= 0 1 0 1-p p 1 p 1-p 0 1-p 0 p p 1 1-p 1

第一节信道的数学模型及分类 [例2]二元删除信道 X={0,1};Y={0,2,1} 0 0 p 01-p0 2

第一节 信道的数学模型及分类 [例2] 二元删除信道 X={0,1}; Y={0,2,1} [P]= 0 2 1 0 1 － p p 0 1 0 p 1-p 0 1-p 0 p p 1 1-p 1 2

第一节信道的数学模型及分类 由此可见,一般单符号离散信道的传递概率可 以用矩阵表示 y2 ym p(y1/x1)p(y2/x1) p(ym/Xu P]= p(y, /x2) p(y2/x2) p(ym/x2) xn ply xn) p(y2/xn) plym/x)

[P]= y1 y2 … ym x1 p(y1 /x1 ) p(y2 /x1 ) … p(ym/x1 ) x2 p(y1 /x2 ) p(y2 /x2 ) … p(ym/x2 ) … … … … … xn p(y1 /xn ) p(y2 /xn ) … p(ym/xn ) 由此可见，一般单符号离散信道的传递概率可 以用矩阵表示 第一节 信道的数学模型及分类