西安电子科技大学多媒体研究所：《多媒体数据处理》第十一章 基于内容的多媒体信息检索（崔江涛）

基于内容的多葉体信息检索 CIDIA 西安电子科技大学多媒体研究所 http://www.mti.xidian.edu.cn

XIDIAN 西安电子科技大学多媒体研究所 http://www.mti.xidian.edu.cn 基于内容的多媒体信息检索

多媒体信息检索 需求:数字图像,视频,音频信息的大量增 长,需要对这些多媒体信息进行浏览,查询 和检索操作。 与传统关系数据库的区别 ■基于文本的图像检索 ■对图像进行文本标记。 利用传统的DBMS系统进行图像检索 ■缺点是需要人工标记,当数据量大时,无法胜任

多媒体信息检索 ◼ 需求：数字图像，视频，音频信息的大量增 长，需要对这些多媒体信息进行浏览，查询 和检索操作。 ◼ 与传统关系数据库的区别 ◼ 基于文本的图像检索 ◼ 对图像进行文本标记。 ◼ 利用传统的DBMS系统进行图像检索。 ◼ 缺点是需要人工标记，当数据量大时，无法胜任

多媒体数据库 关系型数据库 表格形式,记录,属性,关键字,索引 多媒体数据库 属性如何表达? 能否产生关键字? 能否建立索引? ■两种方式 传统数据库支持多媒体数据类型 ■面向对象的数据库

多媒体数据库 ◼ 关系型数据库 ◼ 表格形式，记录，属性，关键字，索引 ◼ 多媒体数据库 属性如何表达？ 能否产生关键字？ 能否建立索引？ ◼ 两种方式 ◼ 传统数据库支持多媒体数据类型 ◼ 面向对象的数据库

基于内容的多媒体信息检索 定义:以自动方式提取多媒体数据中的内 容信息,并根据内容信息迸行数据检索的 技术。 ■检索的数据就是提取的内容。 涉及领域 多媒体数据处理 ■数据库管理 ■模式识别

基于内容的多媒体信息检索 ◼ 定义：以自动方式提取多媒体数据中的内 容信息，并根据内容信息进行数据检索的 技术。 ◼ 检索的数据就是提取的内容。 ◼ 涉及领域： ◼ 多媒体数据处理 ◼ 数据库管理 ◼ 模式识别 ◼ ……

检索种类 基于内容的图像检索 IBM QBIC系统1995 基于内容的视频检索 基于内容的音频检索 音乐检索 语音检索

检索种类 ◼ 基于内容的图像检索 ◼ IBM QBIC系统 1995 ◼ 基于内容的视频检索 ◼ 基于内容的音频检索 ◼ 音乐检索 ◼ 语音检索

基本步骤1:目标识别 目标识别为用户提供一种 工具,可以用全自动或者半 自动(用户干预)的方式标 识静态图像、视频镜头的代 表帧等媒体中用户感兴趣的 区域,以及视频序列中的动 态目标,以便针对目标进 特征提取并查询

目标识别为用户提供一种 工具，可以用全自动或者半 自动（用户干预）的方式标 识静态图像、视频镜头的代 表帧等媒体中用户感兴趣的 区域，以及视频序列中的动 态目标，以便针对目标进行 特征提取并查询。 基本步骤1：目标识别

基本步骤2:特征提取

基本步骤2：特征提取

特征提取 般特征( general features) 颜色( color) 纹理 texture) 形状等( shape) 特定领域特征 人脸( human faces) 指纹 finger prints) 手写体( handwriting)

特征提取 ◼ 一般特征（general features） ◼ 颜色(color) ◼ 纹理(texture) ◼ 形状等(shape) ◼ 特定领域特征 ◼ 人脸(human faces) ◼ 指纹(finger prints) ◼ 手写体(handwriting)

特征提取 视频一般特征 镜头切换类型(shot-cut) 摄像机运动( pan and zoom) 运动轨迹( lack of motion) 关键帧( key frame)

◼ 视频一般特征 ◼ 镜头切换类型(shot-cut) ◼ 摄像机运动（pan and zoom） ◼ 运动轨迹（lack of motion） ◼ 关键帧（key frame） 特征提取

基本特征能否满足人们对图像的检索需求? 如何描述:一匹白马在草地上奔跑的图像?

基本特征能否满足人们对图像的检索需求？ 如何描述：一匹白马在草地上奔跑的图像？