西南交通大学：《信息论与编码》课程教学资源（PPT课件讲稿）第二章 信源编码（2/3）

信源及其分类 信源就是信息的来源 在一个固定的时刻,信源发出的是一个随机变量 随着时间的延续,信源发出的是一个随机过程

信源及其分类 信源就是信息的来源 ◼ 在一个固定的时刻，信源发出的是一个随机变量 ◼ 随着时间的延续，信源发出的是一个随机过程

信源及其分类 离散信源信源每隔一个定长时间段就发出一个随机变量; 随着时间的延续,信源发出的是随机变量序列 U.2U1U0U/1U2., 其中 Uk为第k个时间段发出的随机变量; 每个U都是一个离散型的随机变量 离散无记忆信源离散无记忆信源是这样的离散信源:随 机变量、U2 、L1L2、~相互独立。 离散无记忆简单信源离散无记忆简单信源是这样的离散 无记忆信源:随机变量、U2、U1L、U12 县有相同的概率分布

信源及其分类 离散信源 信源每隔一个定长时间段就发出一个随机变量； 随着时间的延续，信源发出的是随机变量序列 …U-2U-1U0U1U2…， 其中 ◼ Uk为第k个时间段发出的随机变量； ◼ 每个Uk都是一个离散型的随机变量。 离散无记忆信源 离散无记忆信源是这样的离散信源：随 机变量…、U-2、U-1、U0、U1、U2、…相互独立。 离散无记忆简单信源 离散无记忆简单信源是这样的离散 无记忆信源：随机变量…、U-2、U-1、U0、U1、U2、… 具有相同的概率分布

信源及其分类 ■离散无记忆简单信源就是时间离散、事 件离散、各随机变量独立同分布的信源

信源及其分类 总结 ◼ 离散无记忆简单信源就是时间离散、事 件离散、各随机变量独立同分布的信源

信源及其分类 ■连续信源:有时间连续的信源,也有事件连续 的信源 有记忆信源:信源在不同时刻发出的随机变量 相互依赖 ■有限记忆信源:在有限时间差内的信源随机变 量相互依赖 ■非简单信源:信源在不同时刻发出的随 机变量具有不同的概率分布 ■马尔可夫信源:信源随机过程是马尔可 夫过程

信源及其分类 ◼ 连续信源：有时间连续的信源，也有事件连续 的信源 ◼ 有记忆信源：信源在不同时刻发出的随机变量 相互依赖 ◼ 有限记忆信源：在有限时间差内的信源随机变 量相互依赖 ◼ 非简单信源：信源在不同时刻发出的随 机变量具有不同的概率分布 ◼ 马尔可夫信源：信源随机过程是马尔可 夫过程

离散无记忆(简单)信源的等长编码 ■设有一个离散无记忆简单信源,信源发出的随机变量 序列为:U2U1U01 设信源随机变量U1的事 件有K个:{a1,a2,…,ak},则L维信源随机向量 U1U2U)的事件有K个: (l4l2)其中每个分量u跑遍{a13a2,…,ak} 设有一个含D个字母的字母表{b1,b2,…,b}。需要用 字母串来表示(U1U2UL)的事件,每一个事件都要用 个字母串来表示。 这种表示方法称为D元编码; 每一个事件所对应的字母串称为一个码字

离散无记忆（简单）信源的等长编码 ◼ 设有一个离散无记忆简单信源，信源发出的随机变量 序列为：…U-2U-1U0U1U2…。设信源随机变量U1的事 件有K个：{a1 , a2 , …, aK}，则L维信源随机向量 (U1U2…UL )的事件有KL个： {(u1u2…uL )|其中每个分量ul跑遍{a1 , a2 , …, aK}}。 ◼ 设有一个含D个字母的字母表{b1 , b2 , …, bD}。需要用 字母串来表示(U1U2…UL )的事件，每一个事件都要用 一个字母串来表示。 ◼ 这种表示方法称为D元编码； 每一个事件所对应的字母串称为一个码字

离散无记忆(简单)信源的等长编码 例:离散无记忆简单信源发出的随机变量序列为: 其中U1的事件有3个:{晴,云,阴}。 (U1U2)有9个事件 (晴晴),(晴云),(晴阴),(云晴) 云) (云阴),(阴晴),(阴云),(阴阴)} 用字母表{0,1}对(U1U2)的事件进行2元编码如下: (晴晴)→0000,(晴云)→0001,(晴阴)→0011, (云睛)→0100,(云云)→0101,(云阴)→0111, (阴睛)→1100,(阴云)→1101,(阴阴)→11116

离散无记忆（简单）信源的等长编码 例：离散无记忆简单信源发出的随机变量序列为：…U-2U- 1U0U1U2…。其中U1的事件有3个：{晴, 云, 阴}。 (U1U2 )有9个事件 {（晴晴），（晴云），（晴阴），（云晴），（云云）， （云阴），（阴晴），（阴云）， （阴阴）}。 用字母表{0, 1}对(U1U2 )的事件进行2元编码如下： （晴晴）→0000，（晴云）→0001，（晴阴）→0011， （云晴）→0100，（云云）→0101，（云阴）→0111， （阴晴）→1100，（阴云）→1101，（阴阴）→1111

离散无记忆(简单)信源的等长编码 如果限定码字的长度为N(即每个码字都是一个N维向 量),则称此编码为等长编码,能够选择的不同码字 的个数为DN 如果限定码字的长度为<N(即每个码字都是一个<N维 的向量),则称此编码为不等长编码,能够选择的不 同码字的个数为 D1+D2+.+D<D(DN-1)/(D-1) ■注意:在不等长编码中,并不能同时使用D(D~-1)(D-1) 个不同的码字。一个长度为2的字母串究竞是两个长度 为1的码字相连,还是一个长度为2的码字?无法识别 在等长编码中不存在这样的识别问题)

离散无记忆（简单）信源的等长编码 ◼ 如果限定码字的长度为N（即每个码字都是一个N维向 量），则称此编码为等长编码，能够选择的不同码字 的个数为DN 。 ◼ 如果限定码字的长度为≤N（即每个码字都是一个≤N维 的向量），则称此编码为不等长编码，能够选择的不 同码字的个数为 D1+D2+…+DN=D(DN-1)/(D-1)。 ◼ 注意：在不等长编码中，并不能同时使用D(DN-1)/(D-1) 个不同的码字。一个长度为2的字母串究竟是两个长度 为1的码字相连，还是一个长度为2的码字？无法识别。 在等长编码中不存在这样的识别问题 ）

离散无记忆(简单)信源的等长编码 编码速率:R=MogD/L 能够实现无错编码的要条件是Dk。(即编码速率 R=MlogD/L>logk) 有错编码(U1U2U)的有些不同事件用相同的码字来 表示 ■有错编码的译码方法与“译码错误″概率当使用有错编 码时,必须给出译码方法(一个码字究竟翻译成哪个 P{(U1U2.U1)=(1l2) (l1l2.2)的码字在译码时并不译为(u1l2u)}

离散无记忆（简单）信源的等长编码 ◼ 编码速率 ：R=NlogD/L。 ◼ 无错编码 (U1U2…UL )的不同事件用不同的码字来表示。 能够实现无错编码的充要条件是DN≥KL。（即编码速率 R=NlogD/L≥logK） ◼ 有错编码 (U1U2…UL )的有些不同事件用相同的码字来 表示。 ◼ 有错编码的译码方法与 “译码错误”概率 当使用有错编 码时，必须给出译码方法（一个码字究竟翻译成哪个 事件）。“译码错误”的概率定义为 pe = P{(U1U2…UL )=(u1u2…uL ) | (u1u2…uL )的码字在译码时并不译为(u1u2…uL )}

离散无记忆(简单)信源的等长编码 ¤编码速率本来是编码设备的性能指标。这就是说,首 先有了编码设备的编码速率R0,然后选择N和L,使得 实际的编码速率MogD不能超过编码设备的编码速率 口R=MogD/<R0 ¤当编码速率R比较高时,可以选择比较大的N,因此可 供选择的码字比较多,因此更容易设计出能够快速识 别的码,降低译码的难度。当编码速率R比较低时, 意味着使用低成本的编码设备。此时只能选择不大的N, 因此更需要编码的技巧

离散无记忆（简单）信源的等长编码  编码速率本来是编码设备的性能指标。这就是说，首 先有了编码设备的编码速率R0，然后选择N和L，使得 实际的编码速率NlogD/L不能超过编码设备的编码速率 R0 ：  R=NlogD/L≤R0。  当编码速率R比较高时，可以选择比较大的N，因此可 供选择的码字比较多，因此更容易设计出能够快速识 别的码，降低译码的难度。 当编码速率R比较低时， 意味着使用低成本的编码设备。此时只能选择不大的N， 因此更需要编码的技巧

离散无记忆(简单)信源的等长编码 在无错编码的前提下,编码的最低代价 当 R>logK时,能够实现无错编码。 当RH(U)时,虽然无论怎样编码都是有错编码, 但可以适当地编码和译码使译码错误的概率P仼意小 这就是所谓“渐进无错编码〃

离散无记忆（简单）信源的等长编码 在无错编码的前提下，编码的最低代价 ◼ 当R≥logK时，能够实现无错编码。 ◼ 当RR>H(U1 )时，虽然无论怎样编码都是有错编码， 但可以适当地编码和译码使译码错误的概率pe任意小。 这就是所谓“渐进无错编码”