《信息论与编码》课程教学课件（PPT讲稿）第五章 信道编码定理

第五章信道编码定理 ●●●●● ●●●● ●●。●●

第五章 信道编码定理

●●●●● ●●●● ●●0 ●●● ●●●● 1离散信道编码问题 ●2信道译码 ●3Fano不等式和信道编码逆定理

⚫ 1.离散信道编码问题 ⚫ 2.信道译码 ⚫ 3.Fano不等式和信道编码逆定理

1.离散信道编码问题 ●●●●● ●●●● ●●。●●

1.离散信道编码问题

●●●●● ●●●● 纠错编码器 ●●0 ●●● ●●●● ●送给纠错编码器的消息是经过最佳信源编码后,信息 速率为比特/秒的离散二元或q元数字序列。 ●分组码 每K个信息数字为一组,计算出N个编码数字,称这些 数字为一个码字。通常N为整数 卷积码 输出的n长码段不仅依赖于当前的k位信息数字,还 依赖于前m个信息段的信息数字,即总共与(m+1) k0个信息数字有关

纠错编码器 ⚫ 送给纠错编码器的消息是经过最佳信源编码后，信息 速率为比特/秒的离散二元或q元数字序列。 ⚫ 分组码 每K个信息数字为一组，计算出N个编码数字，称这些 数字为一个码字。通常N为整数。 ⚫ 卷积码 ⚫ 输出的n0长码段不仅依赖于当前的k0位信息数字，还 依赖于前m个信息段的信息数字，即总共与（m＋1） k0个信息数字有关。 k0 = K

●●●●● ●●●● 纠错编码器 ●●0 ●●● ●●●● ●R=K/N,码率 误组率 p(xm≠xm) 误比特率 ph L P

纠错编码器 ⚫ R＝K/N，码率 ⚫ 误组率 ⚫ 误比特率 = =  L l b el m m p L p p x x 1 ' 1 ( )

2信道译码问题 ●●●●● ●●●● ●●。●●

2.信道译码问题

●●●●● ●●●● 译码错误概率 ●●0 ●●● ●●●● pe(i=p(m'tmly)=1-pn(m'=m y)

译码错误概率 p (y) P (m' m| y) 1 p (m' m| y) e = N  = − N =

●●●●● ●●●● 译码准则 ●●0 ●●● ●●●● ●最小错误概率译码:是 pey)最小 ●最大后验概率译码:选 最大 p,(m|y)≥pn(m|y)

译码准则 ⚫ 最小错误概率译码：是 pe (y)最小 ⚫ 最大后验概率译码：选 最大 p (m'| y) p (m| y) r  r

●●●●● ●●●● 最大似然译码 ●●0 ●●● ●●●● p(mly) o(m)p(ylm p( p(ym')≥p(y|m) 所有Q(m)相同

最大似然译码 ( | ') ( | ) ( ) ( ) ( | ) ( | ) p y m p y m p y Q m p y m p m y  = 所有Q(m)相同

●●●●● ●●●● 最大对数似然译码 ●●0 ●●● ●●●● hnp(ym)≥lhp(y|m)

最大对数似然译码 ln p( y | m')  ln p( y | m)