《信息论与编码》课程教学资源（PPT课件）第四章 信道及其容量

第四章信道及其容量 ●●●●● ●●●● ●●。●●

第四章 信道及其容量

●●● ●●● ●●●●● ●●●● 信道及其容量 ●●● ●●●● ●●0● ●41信道分类 ●4.2离散无记忆信道 43信道的组合 44时间离散的无记忆信道 45波形信道

信道及其容量 ⚫ 4.1信道分类 ⚫ 4.2离散无记忆信道 ⚫ 4.3信道的组合 ⚫ 4.4时间离散的无记忆信道 ⚫ 4.5波形信道

4.1信道分类 ●●●●● ●●●● ●●。●●

4.1信道分类

●●●●● ●●●● 4.1信道分类 ●●● ●●●● ●●0● ●离散信道:输入输出均为离散事件集 ●连续信道:输入输出空间均为连续事件集 ●半连续信道:输入和输出一个是离散的,一个 是连续的 ●时间离散的连续信道:信道输入和输出是连续 的时间序列 波形信道:输入和输出都是时间的实函数x(), y(t)

4.1信道分类 ⚫ 离散信道：输入输出均为离散事件集 ⚫ 连续信道：输入输出空间均为连续事件集 ⚫ 半连续信道：输入和输出一个是离散的，一个 是连续的 ⚫ 时间离散的连续信道：信道输入和输出是连续 的时间序列 ⚫ 波形信道：输入和输出都是时间的实函数x(t), y(t)

●●● ●●●●● ●●● 41信道分类 ●●● ●●●● ●●0● ●两端信道 ●多端信道 ●恒参信道:参数不随时间变化 ●随参信道:参数随时间变化 ●无记忆信道和有记忆信道 ●对称信道和非对称信道

4.1 信道分类 ⚫ 两端信道 ⚫ 多端信道 ⚫ 恒参信道：参数不随时间变化 ⚫ 随参信道：参数随时间变化 ⚫ 无记忆信道和有记忆信道 ⚫ 对称信道和非对称信道

42离散无记忆信道 ●●●●● ●●●● ●●。●●

4.2 离散无记忆信道

●●● ●●●●● ●●● 离散无记忆信道(定义4.1.2) PN(ylx)=p(n Ix,) 平稳信道 pn=jxn=k=pm=j xm=k)

离散无记忆信道(定义4.2.1,4.2.2) 1 ( | ) ( | ) N N n n n p p y x = y x = 平稳信道 p(y j | x k) p(y j | x k) n = n = = m = m =

●●● ●●●●● ●●● 例:二元对称信道 ●●● ●●●● ●●0● 0.1 1-p p

例：二元对称信道 ⚫ p=0.1 1-p 1-p p p 1 1 0 0

●●● ●●●●● ●●● 信道容量 ●●●●● ●●●● ●●0● K I(X;Y)=∑∑Q(|k)logk pOlk k=0j=0 Op(ili i=0

信道容量 1 1 1 0 0 0 ( | ) ( ; ) ( | )log ( | ) K J k K k j i i p j k I X Y Q p j k Q p j i − − − = = = =   

●●●●● ●●●● 信道容量 ●●● ●●●● ●●0● ●定义42.3离散无记忆信道的信道容量定义 为: C=maxI(X; Y) t2k 即C为改变输入分布时,使每个符号所能含有 的平均互信息量的最大值。相应的分布称为 最佳分布。 信道容量表示了信道传送信息的最大能力

信道容量 ⚫ 定义4.2.3 离散无记忆信道的信道容量定义 为： 即C为改变输入分布时，使每个符号所能含有 的平均互信息量的最大值。相应的分布称为 最佳分布。 信道容量表示了信道传送信息的最大能力 { } max ( ; ) Qk C I X Y =