西北大学信息科学与技术学院：《信息与编码》课程教学课件（PPT讲稿）第五章 有噪信道编码

第五章有噪信道编码 第一节错误概率与译码规则 第二节错误概率与编码方法 第三节有噪信道编码定理 第四节联合信源信道编码定理 第六节纠错编码的基本思想 第七节常用编码方法

第五章 有噪信道编码 第一节 错误概率与译码规则 第二节 错误概率与编码方法 第三节 有噪信道编码定理 第四节 联合信源信道编码定理 第六节 纠错编码的基本思想 第七节 常用编码方法

第五章有噪信道编码 前一章已经从理论上讨论了,对于无噪无损信道只要 对信源进行适当的编码,总能以信道容量无差错的传递 信息。但是一般信道总会存在噪声和干扰,那么在有噪 信道中进行无错传输可以达到的最大信息传输率是多 呢?这就是本章所要讨论的问题。本章的核心是香农第 二定理

第五章 有噪信道编码 前一章已经从理论上讨论了，对于无噪无损信道只要 对信源进行适当的编码，总能以信道容量无差错的传递 信息。但是一般信道总会存在噪声和干扰，那么在有噪 信道中进行无错传输可以达到的最大信息传输率是多少 呢？这就是本章所要讨论的问题。本章的核心是香农第 二定理

第一节错误概率与译码规则 为了减少错误,提高通信的可靠性,就必须分析错误 概率与哪些因素有关,有没有办法控制,能控制到什么程 度 前边已经讨论过,错误概率与信道的统计特性有关, 但并不是唯一相关的因素,译码方法的选择也会影响错误 率

第一节 错误概率与译码规则 为了减少错误，提高通信的可靠性，就必须分析错误 概率与哪些因素有关，有没有办法控制，能控制到什么程 度。 前边已经讨论过，错误概率与信道的统计特性有关， 但并不是唯一相关的因素，译码方法的选择也会影响错误 率

第一节错误概率与译码规则 例:有一个BSC信道,如图所示 13 0 3 1/3 若收到“0译作“0”,收到“1译作“1”,则平均错误概率 为 P=P(O)P(O+P(e2 反之,若收到“0译作“1”,收到“1译作“0”,则平 均错误概率为1/3,可见错误概率与译码准则有关

第一节 错误概率与译码规则 例：有一个BSC信道，如图所示 0 1 0 1 1/3 1/3 2/3 2/3 若收到“0”译作“0”，收到“1”译作“1”，则平均错误概率 为： (0) (1) 2 (0) (1) 3 P P P P P E e e = + = 反之，若收到“0”译作“1”，收到“1”译作“0”，则平 均错误概率为1/3，可见错误概率与译码准则有关

第一节错误概率与译码规则 我们来定义译码准则: 输入符号集={a} 输出符号集B={b} 译码规则 F(6=a 例 0.50.30.2 P=020.30.5 0.30.30.4

第一节 错误概率与译码规则 我们来定义译码准则： 输入符号集 输出符号集 译码规则 { } A a = i { } B b = i ( ) F b a j i = 例： 0.5 0.3 0.2 0.2 0.3 0.5 0.3 0.3 0.4 P     =      

第一节错误概率与译码规则 可以设计译码准则:A:F(b)=a1和B:F(b)=a F(b2)=a2 F(b2)=a3 F(b2)= F(b)= 译码规则的选择应该有一个依据,一个自然的依据就 是使平均错误概率最小 有了译码规则以后,收到b的情况下,译码的条件正 确概率为:P(F(b,)/b)=P(a1/b

第一节 错误概率与译码规则 译码规则的选择应该有一个依据，一个自然的依据就 是使平均错误概率最小 有了译码规则以后，收到 的情况下，译码的条件正 确概率为： ( ( ) / ) ( / ) P F b b P a b j j i j = j b 可以设计译码准则：A： 1 1 F b a ( ) = 2 2 F b a ( ) = 3 3 F b a ( ) = 和B： 1 1 F b a ( ) = 2 3 F b a ( ) = 3 2 F b a ( ) =

第一节错误概率与译码规则 而错误译码的概率为收到b,后,推测发出除了a1之 外其它符号的概率: P(e/b,)=1-P(a1/b) 可以得到平均错误译码概率为: ∑P(b)P(e/b)=∑P(b)1-P(a/b 它表示经过译码后平均没收到一个符号所产生错误的 大小,也称平均错误概率

第一节 错误概率与译码规则 而错误译码的概率为收到 后，推测发出除了 之 外其它符号的概率： j b i a ( / ) 1 ( / ) P e b P a b j i j = − 可以得到平均错误译码概率为： 1 1 ( ) ( / ) ( )(1 ( / )) m s e j j j i j j j P p b P e b p b P a b = = = = −   它表示经过译码后平均没收到一个符号所产生错误的 大小，也称平均错误概率

第一节错误概率与译码规则 下面的问题就是如何选择P(a/b),经过前边的讨论可以看 出,为使P(e/b)最小,就应选择P(F(b)/b)为最大, 即选择译码函数F(b)=a并使之满足条件: P(a/b)≥P(a/b) ≠a 也就是说,收到一个符号以后译成具有最大后验概率 的那个输入符号。这种译码准则称为“最大后验概率准 则”或“最小错误概率准则”。 根据贝叶斯定律,上式也可以写成 P(b,/aP(a) p(b /a)P(a) P(6,) P(b)

第一节 错误概率与译码规则 下面的问题就是如何选择 ，经过前边的讨论可以看 出，为使 最小，就应选择 为最大， 即选择译码函数 并使之满足条件： ( / ) P a b i j ( ( ) / ) P F b b j j ( / ) P e bj * ( ) F b a j = * * ( / ) ( / ) P a b P a b a a j i j i   也就是说，收到一个符号以后译成具有最大后验概率 的那个输入符号。这种译码准则称为“最大后验概率准 则”或“最小错误概率准则” 。 根据贝叶斯定律，上式也可以写成 * * ( / ) ( ) ( / ) ( ) ( ) ( ) j j i i j j P b a P a P b a P a P b P b 

第一节错误概率与译码规贝 即:P(ba)P(a)≥P(b,/a)P(a) 当信源等概分布时,上式为: P(b,/a)≥P(b/a) 这称为最大似然译码准则,方法是收到一个b后, 在信道矩阵的第j列,选择最大的值所对应的输入符号作 为译码输出。 可进一步写出平均错误概率 P=∑P(b)Pe/b)=∑{-PF(b)/b]}P(b) =1∑PF(b)b]=∑p(ab)-∑PF(b)b ∑以(ab)-∑Pab}∑P(ab)

第一节 错误概率与译码规则 即： * * ( / ) ( ) ( / ) ( ) P b a P a P b a P a j j i i  当信源等概分布时，上式为： * ( / ) ( / ) P b a P b a j j i  这称为最大似然译码准则，方法是收到一个 后， 在信道矩阵的第j列，选择最大的值所对应的输入符号作 为译码输出。 j b 可进一步写出平均错误概率： ( ) ( / ) {1 [ ( ) / ]} ( ) E j j j j j Y Y P P b P e b P F b b P b = = −   , ( ) [ ( ) ] i j j j X Y Y 1 [ ( ) ] = −   p a b P F b b j j Y = −P F b b * , ( ) [ ] i j j X Y Y = −   p a b P a b * , ( ) i j X Y a P a b − = 

第一节错误概率与译码规贝 也可写成:P=∑P(b/a)P(a) 上式也可写成对行求和 P=∑P(a∑{P(ba)F(b)≠a} ∑P(an)P 如果先验概率相等,则: ()

第一节 错误概率与译码规则 也可写成： * , ( / ) ( ) E j i i X Y a P P b a P a − =  上式也可写成对行求和： E i j i j ( ) ( / ) ( )   X Y P P a P b a F b a =   ( ) ( ) i i e X =P a P 如果先验概率相等，则： 1 ( )i E e X P P r = 