西安电子科技大学：《信息论与编码理论基础》课程PPT教学课件（信息论）第五章 信道编码定理

第五章信道编码定理

第五章 信道编码定理

信道编码定理 ·1.离散信道编码问题 ●2.信道译码 ·3.Fano不等式和信道编码逆定理 。4.联合典型序列及信道编码定理

信道编码定理 ⚫ 1.离散信道编码问题 ⚫ 2.信道译码 ⚫ 3.Fano不等式和信道编码逆定理 ⚫ 4.联合典型序列及信道编码定理

1.离散信道编码问题

1.离散信道编码问题

纠错编码器 ·将输入的信息数字序列变成另外一个数字序列， 人为地按照一定的规律增加多余度，以便纠正 传输过程中出现的错误，以尽可能小的错误概 率恢复原来的信源数字序列 ·有限状态开关网络： 信息数字：k位，每位持续时间，=1尺 码字输出序列：n位，每位持续时间，c no te=Ko ts

纠错编码器 ⚫ 将输入的信息数字序列变成另外一个数字序列， 人为地按照一定的规律增加多余度，以便纠正 传输过程中出现的错误，以尽可能小的错误概 率恢复原来的信源数字序列 ⚫ 有限状态开关网络： 信息数字：k0位，每位持续时间，ts=1/Rs 码字输出序列：n0位，每位持续时间，tc n0 tc=k0 ts

纠错编码器 送给纠错编码器的消息是经过最佳信源编码后，信息 速率为比特/秒的离散二元或q元数字序列。 ●分组码 每K个信息数字为一组，计算出N个编码数字，称这些 数字为一个码字。通常N为整数。 。卷积码 输出的no长码段不仅依赖于当前的k位信息数字，还 依赖于前m个信息段的信息数字，即总共与(+1) k,个信息数字有关

纠错编码器 ⚫ 送给纠错编码器的消息是经过最佳信源编码后，信息 速率为比特/秒的离散二元或q元数字序列。 ⚫ 分组码 每K个信息数字为一组，计算出N个编码数字，称这些 数字为一个码字。通常N为整数。 ⚫ 卷积码 输出的n0长码段不仅依赖于当前的k0位信息数字，还 依赖于前m个信息段的信息数字，即总共与（m＋1） k0个信息数字有关

几个概念 ·码率 R-KIN ·误组率 p(Xm≠xm) ·误比特率 P.-12 pa 11

几个概念 ⚫ 码率 R＝K/N ⚫ 误组率 ⚫ 误比特率 = =  L l b el m m p L p p x x 1 ' 1 ( )

2.信道译码问题

2.信道译码问题

译码错误概率 p(y)=PN(m'+m y)=1-pv(m'=m y) 一误组率

译码错误概率 p (y) P (m' m| y) 1 p (m' m| y) e = N  = − N = －误组率

译码准则 ·最小错误概率译码：使py)最小 ·最大后验概率译码： 选m,使得p-(my)最大 p(my)≥p,(mly)

译码准则 ⚫ 最小错误概率译码：使pe (y)最小 ⚫ 最大后验概率译码： 选m，使得pr (m|y)最大 p (m'| y) p (m| y) r  r

最大似然译码 p(my）=m）py1m 2(y) Q2(y)=∑Qm)p(ylx） 译码原则： p(y|m)≥p(ym) 所有Q(m)相同

最大似然译码 1 ( ) ( | ) ( | ) ( ) ( ) ( ) ( | ) ( | ') ( | ) M m m Q m p m p m Q m p p m p m = =   =   y y y y y x y y 所有Q(m)相同 译码原则：