广州大学：《IP网络多媒体技术应用》第七章 多媒体同步

多媒体同步 ●●●● ●●。●●

1 多媒体同步

●●●●● ●●●● 主要内容 ●●0 ●●● ●●●● 多媒体数据与约束关系 同步关系 同步机制的实现

2 主要内容 ⚫ 多媒体数据与约束关系 ⚫ 同步关系 ⚫ 同步机制的实现

●●●●● ●●●● 多媒体数据与约束关系 ●●0 ●●● ●●●● 根据时间在数据中的作用,多媒体数据分为 时间媒体或连续媒体( Continuous Medium) 对时间敏感的媒体(如声音、视频),其值随时间而发 生变化,信息表示与时间有关,这些媒体信息不仅用 系列值表示,而且要指出相应值出现的时间。 ●非时间媒体,或离散媒体( Discrete Medium)或 静态媒体 对时间不敏感的媒体,如文本和图形等则由一组独立的 元素组成,不包含时间信息

3 多媒体数据与约束关系 ⚫ 根据时间在数据中的作用，多媒体数据分为 ⚫ 时间媒体或连续媒体（Continuous Medium） ⚫ 对时间敏感的媒体（如声音、视频），其值随时间而发 生变化，信息表示与时间有关，这些媒体信息不仅用一 系列值表示，而且要指出相应值出现的时间。 ⚫ 非时间媒体，或离散媒体（Discrete Medium）或 静态媒体 ⚫ 对时间不敏感的媒体，如文本和图形等则由一组独立的 元素组成，不包含时间信息

●●●●● ●●●● 多媒体数据与约束关系 ●●0 ●●● ●●●● ●时间媒体数据可以看成是由逻辑数据单元 (LDU, Logical Data Unit)构成的时间序列 (或称为流)(1 LDU的划分(即所包含的内容)由具体的应用、编 码方式、数据的存储方式和传输方式等因素决定。 LDU 个场景 第4种划分 LDU 帧图象 第3种划分 LDU 宏块组 第2种划分 LDU 宏块 第1种划分

4 多媒体数据与约束关系 ⚫ 时间媒体数据可以看成是由逻辑数据单元 （LDU，Logical Data Unit）构成的时间序列 （或称为流）（1） ⚫ LDU的划分（即所包含的内容）由具体的应用、编 码方式、数据的存储方式和传输方式等因素决定

●●●●● ●●●● 多媒体数据与约束关系 ●●0 ●●● ●●●● ●时间媒体数据可以看成是由逻辑数据单元 (LDU, Logical Data Unit)构成的时间序列 (或称为流)(2 ●时间媒体数据的各个LDU之间存在着固定的时间关 系,例如以一帧图像为一个LD∪,则相继的LDU之 间的时间间隔为40ms。 LDULDULDULDU LDU 40ms

5 多媒体数据与约束关系 ⚫ 时间媒体数据可以看成是由逻辑数据单元 （LDU，Logical Data Unit）构成的时间序列 （或称为流）（2） ⚫ 时间媒体数据的各个LDU之间存在着固定的时间关 系，例如以一帧图像为一个LDU，则相继的LDU之 间的时间间隔为40ms

●●●●● ●●●● 多媒体数据与约束关系 ●●0 ●●● ●●●● 约束关系 基于内容的约束关系 空域约束关系 时域约束关系

6 多媒体数据与约束关系 ⚫ 约束关系 ⚫ 基于内容的约束关系 ⚫ 空域约束关系 ⚫ 时域约束关系

●●●●● ●●●● 多媒体数据与约束关系 ●●0 ●●● ●●●● 时域约束关系(或称时域特征) 反映媒体对象在时间上的相对依赖关系,主要表现 在如下两个方面 时间媒体对象的各个LDU之间的相对时间关系; 各个媒体对象(包括时间媒体对象以及非时间媒体对象) 之间的相对时间关系 例如,幻灯演示中包括音频(时间媒体)和幻灯片(非时间 媒体)之间的时域同步

7 多媒体数据与约束关系 ⚫ 时域约束关系（或称时域特征） ⚫ 反映媒体对象在时间上的相对依赖关系，主要表现 在如下两个方面 ⚫ 时间媒体对象的各个LDU之间的相对时间关系； ⚫ 各个媒体对象（包括时间媒体对象以及非时间媒体对象） 之间的相对时间关系。 ▪ 例如，幻灯演示中包括音频（时间媒体）和幻灯片（非时间 媒体）之间的时域同步

●●●●● ●●●● 多媒体数据与约束关系 ●●0 ●●● ●●●● 时域约束关系(或称时域特征) 媒体对象之间的时域约束关系按照确立这种关系的 时间来区分,可以分为: 实况(Live)同步:在信息获取过程中建立的同步关系。 例如,人物口形动作和声音之间的配合,通常称为口形 同步(或唇音同步,Lip-sync);另有指针同步等。 合成(Sγ nthetic)同步:在分别获取不同的信息之后, 再人为地指定的同步关系。例如在一个导游系统中,根 据用户即时键入的要求,系统自动地产生对某条旅游线 的解说,介绍录像也同时播放。解说与录像之间的时间 约束关系就是在运行过程中指定并执行的

8 多媒体数据与约束关系 ⚫ 时域约束关系（或称时域特征） ⚫ 媒体对象之间的时域约束关系按照确立这种关系的 时间来区分，可以分为： ⚫ 实况(Live)同步：在信息获取过程中建立的同步关系。 例如，人物口形动作和声音之间的配合，通常称为口形 同步(或唇音同步，Lip-Sync)；另有指针同步等。 ⚫ 合成(Synthetic)同步：在分别获取不同的信息之后， 再人为地指定的同步关系。例如在一个导游系统中，根 据用户即时键入的要求，系统自动地产生对某条旅游线 的解说，介绍录像也同时播放。解说与录像之间的时间 约束关系就是在运行过程中指定并执行的

●●●●● ●●●● 多媒体数据与约束关系 ●●0 ●●● ●●●● 空域约束关系(又称为布局( Layou+)关系) 通常用来定义在同一时间点上的多媒体数据展示 ( Presentation)过程中,不同媒体对象的空间位置 关系。 在桌面出版系统中,空域关系通常表达为布局框架。布 局框架生成后,就可往该框架中填入相应的内容

9 多媒体数据与约束关系 ⚫ 空域约束关系(又称为布局(Layout)关系) ⚫ 通常用来定义在同一时间点上的多媒体数据展示 (Presentation)过程中，不同媒体对象的空间位置 关系。 ⚫ 在桌面出版系统中，空域关系通常表达为布局框架。布 局框架生成后，就可往该框架中填入相应的内容

●●●●● ●●●● 多媒体数据与约束关系 ●●0 ●●● ●●●● 基于内容的约束关系 基于内容的约束关系是指在用不同的媒体对象代表 同一内容的不同表现形式之间所具有的约束关系。 内容关系定义了媒体对象间的依赖关系。 个填充了数据的电子表单( spreadsheet)和其数据 的图形表示之间的相关性是内容关系的例子。在这种情 况下,同样的数据以不同的方式表达。另一例子是用两 个大小不同的图形来表示对同一数据的不同含义的解释

10 多媒体数据与约束关系 ⚫ 基于内容的约束关系 ⚫ 基于内容的约束关系是指在用不同的媒体对象代表 同一内容的不同表现形式之间所具有的约束关系。 内容关系定义了媒体对象间的依赖关系。 ⚫ 一个填充了数据的电子表单（spreadsheet）和其数据 的图形表示之间的相关性是内容关系的例子。在这种情 况下，同样的数据以不同的方式表达。另一例子是用两 个大小不同的图形来表示对同一数据的不同含义的解释