《信息论与编码基础》课程教学资源（教案讲义）第五章（5-3）香农编码

香农编码 号S;率PS)8P(S)代码组累加概|二进制 消息序消息概 长度l率P代码组 S 0.20 2.34 0 000 0.19 2.41 0.2 001 0.18 2.48 0.39 011 0.17 2.56 0.57 100 0.15 2.74 0.74 101 0.10 3.34 4 0.89 1110 0.01 6.66 7 0.9911110 费诺码 消息/信源 消息/第 第二第三|第四二元 序列/概率/次分次分次分次分代码|码长h 组组组组组 P(Si 0.20 0 00 S 0.19 010 0.18 011 S40.17 0 10 0.15 110 0.10 2332344 0.01 1111

香农编码 消息序 号 Si 消息概 率 P(Si) -logP(Si) 代码组 长度 li 累加概 率 Pi 二进制 代码组 S1 0.20 2.34 3 0 000 S2 0.19 2.41 3 0.2 001 S3 0.18 2.48 3 0.39 011 S4 0.17 2.56 3 0.57 100 S5 0.15 2.74 3 0.74 101 S6 0.10 3.34 4 0.89 1110 S7 0.01 6.66 7 0.99 1111110 费诺码 消息 序列 Si 信源 消息 概率 P(Si) 第一 次分 组 第二 次分 组 第三 次分 组 第四 次分 组 二元 代码 组 码长 li S1 0.20 0 0 00 2 S2 0.19 1 0 010 3 S3 0.18 1 011 3 S4 0.17 1 0 10 2 S5 0.15 1 0 110 3 S6 0.10 1 0 1110 4 S7 0.01 1 1111 4

例:对s:「s8838::进行最优编 0.40.20.20.1 码 解:一种 Huffman结果: 码长码字消息概率 200S10.4 210S20.2 211S30.2 3010S40.1 3011S50.1 L=∑P(S=2x0.4+2×0.2×2+3×0.1×2=22二元码元/信源符号 H(S 0.965 a=∑P(S)(l2+D)2=016 i=1

例：对       0.4 0.2 0.2 0.1 0.1 S S S S S : 1 2 3 4 5 S 进行最优编 码。 解：一种 Huffman 结果： 码长 码字 消息 概率 2 00 S1 0.4 2 10 S2 0.2 2 11 S3 0.2 3 010 S4 0.1 3 011 S5 0.1 ( )( ) 0.16 0.965 H(S) ( ) 2 0.4 2 0.2 2 3 0.1 2 2.2 5 1 2 2 1 5 1 + = = =  +   +   =   = = i i i i i i P S l L L L P S l ＝ ＝ ＝ 二元码元／信源符号   010 011 11 10 0.2 01 00 0.4 1 0 0.6

另一种 Huffman结果: 码长码字消息概率 0.6 21S10.4 201S20.2 2000S30.2 30010S40.1 30011S50.1 001l L=∑P(S)=1×0.4+2×0.2+3×0.2+4x0.1×2=22二元码元/信源符号 H(S =0.965 a=∑P(S)(l+D2=136 10 010 Oll 000 0 0011

另一种 Huffman 结果： 码长 码字 消息 概率 2 1 S1 0.4 2 01 S2 0.2 2 000 S3 0.2 3 0010 S4 0.1 3 0011 S5 0.1 ( )( ) 1.36 0.965 H(S) ( ) 1 0.4 2 0.2 3 0.2 4 0.1 2 2.2 5 1 2 2 1 5 1 + = = =  +  +  +   =   = = i i i i i i P S l L L L P S l ＝ ＝ ＝ 二元码元／信源符号   001 0.2 00 01 0.4 000 1 0 0.6 0010 0011 0 0 0 0 1 1 1 1 00 10 11 010 011 0 01 0 1 1 1 0 1 000 0 1 0010 0011