《数据把掘概念与技术》第九章 根据内容检索

第9章根据内容检索 本章目标 介绍根据内容检索的基本概念。 介绍检索系统的评介方法。 讨论针对文本数据的根据内容检索问题, 集中讨论向量空间表示,以及文档中匹配 查询的算法、隐含语义索引和文档分类。 介绍用于对个人偏好建模的自动推荐系统

第9章 根据内容检索 本章目标 ◼ 介绍根据内容检索的基本概念。 ◼ 介绍检索系统的评介方法。 ◼ 讨论针对文本数据的根据内容检索问题， 集中讨论向量空间表示，以及文档中匹配 查询的算法、隐含语义索引和文档分类。 ◼ 介绍用于对个人偏好建模的自动推荐系统

第9章根据内容检索 本章目标 讨论图像检索算法中表示和检索问题。 绍匹配时间序列和序列的基本概念

第9章 根据内容检索 本章目标 ◼ 讨论图像检索算法中表示和检索问题。 ◼ 介绍匹配时间序列和序列的基本概念

9.1简介 ■传统的数据库查询定义为:查询是一种返回 精确匹配指定要求的记录集合(或表项集合)的 操作。例如,查询“[ Tlevel= MANAGER] AND[age<30]”,返回的结果是有具有重 要职务的年轻雇员的列表。 但在数据分析时,所感兴趣的是更一般的但 不很精确的查询。 例如,假设已知一个患者的人口统计学信息 比如年龄性别等等)、血液和其他常规检查的 结果,以及生物医学方面的时间序列、Ⅹ光 和图像

9.1 简介 ◼ 传统的数据库查询定义为：查询是一种返回 精确匹配指定要求的记录集合(或表项集合)的 操作。例如，查询“[level=MANAGER] AND [age<30]” ， 返回的结果是有具有重 要职务的年轻雇员的列表。 ◼ 但在数据分析时，所感兴趣的是更一般的但 不很精确的查询。 ◼ 例如，假设已知一个患者的人口统计学信息 (比如年龄性别等等)、血液和其他常规检查的 结果，以及生物医学方面的时间序列、X-光 和图像

为了辅助对这个患者进行诊断,医生希望了 解医院数据库中是否包含类似的患者,如果 有类似的患者,那么他们的诊断、治疗方法 和最终结果如何? ■这个问题的难点在于如何根据不同的数据类 型(多元变量、时间序列和图像数据)来判断 各个患者间的相似性。这类问题采用精确匹 配是行不通的,因为数据库中不可能存在各 项指标完全匹配的患者

◼ 为了辅助对这个患者进行诊断，医生希望了 解医院数据库中是否包含类似的患者，如果 有类似的患者，那么他们的诊断、治疗方法 和最终结果如何？ ◼ 这个问题的难点在于如何根据不同的数据类 型(多元变量、时间序列和图像数据)来判断 各个患者间的相似性。这类问题采用精确匹 配是行不通的，因为数据库中不可能存在各 项指标完全匹配的患者

因此,需要解决的是在数据库找出和指定查 询或指定对象最相似的k个对象的各种技术问 可以把这种形式的检索看是交互式的数据挖 掘,因为用户直接参与了探索数据集的过 程指定查询并解决匹配过程得到的结果。 ■如果数据集是根据内容批注的,那么检索问 题就简化为标准的数据库索引问题,如果数 据库没有被预先索引,我们仅有要寻找目标 Q(査询模式)的一个实例,根据这个查询模式 Q,我们要推论出数据集中哪些其他对象和 它相近

◼ 因此，需要解决的是在数据库找出和指定查 询或指定对象最相似的k个对象的各种技术问 题。 ◼ 可以把这种形式的检索看是交互式的数据挖 掘，因为用户直接参与了探索数据集的过 程—指定查询并解决匹配过程得到的结果。 ◼ 如果数据集是根据内容批注的，那么检索问 题就简化为标准的数据库索引问题，如果数 据库没有被预先索引，我们仅有要寻找目标 Q(查询模式)的一个实例，根据这个查询模式 Q，我们要推论出数据集中哪些其他对象和 它相近

■这种检索方法被称为根据内容检索( retrieval by content),它的最著名应用是在文本中 检索。在文本检索中,查询模式Q通常是很 短的(查询词汇列表),然后在很大的文档 合匹配这个模式。 ■这类问题由三个基本部分组成: 1如何定义对象间的相似尺度; 2如何实现高计算效率的搜索算法(对于给定的 相似尺度); 3如何在检索过程中融入用户的反馈并迸行交 互

◼ 这种检索方法被称为根据内容检索(retrieval by content)，它的最著名应用是在文本中 检索。在文本检索中，查询模式Q通常是很 短的(查询词汇列表)，然后在很大的文档集 合匹配这个模式。 ◼ 这类问题由三个基本部分组成： 1.如何定义对象间的相似尺度； 2.如何实现高计算效率的搜索算法(对于给定的 相似尺度)； 3.如何在检索过程中融入用户的反馈并进行交 互

本章主要讨论第和第三个问题,第二个问 题通常是一种索引问题(一个好的索引可以极 大提高效率)。 在下面的分析中,我们使用“相似”这个词, 又使用“距离”这个词。对应的是相似尺度 最大化和距离尺度最小化,其他章节的相似 度和相异度 根据内容检索需要解决的几个问题 1.如何客观地评估特定检索算法的性能。 2如何决定用以计算相似尺度的表示

◼ 本章主要讨论第一和第三个问题，第二个问 题通常是一种索引问题(一个好的索引可以极 大提高效率)。 ◼ 在下面的分析中，我们使用“相似”这个词， 又使用“距离”这个词。对应的是相似尺度 最大化和距离尺度最小化，其他章节的相似 度和相异度。 ◼ 根据内容检索需要解决的几个问题： 1.如何客观地评估特定检索算法的性能。 2.如何决定用以计算相似尺度的表示

例如,通常用颜色、纹理和相似特征来地、 表示图像;用单词的出现次数来表示文本

◼ 例如，通常用颜色、纹理和相似特征来地、 表示图像；用单词的出现次数来表示文本

92检索系统的评价 评价检索性能的难之 在分类和回归中,总能以一种客观的方式 来评判模型的性能。然而,对于根据内容 检索来说,评价一个特定算法或技术的性 能要复杂和棘手的多。 主要的难点是检索系统的最终性能尺度是 由检索出的信息对用户的实用性来决定的。 检索是一种以人为中心的交互过程,这给 评价检索性能带来了很大困难

9.2 检索系统的评价 一、评价检索性能的困难之处 ◼ 在分类和回归中，总能以一种客观的方式 来评判模型的性能。然而，对于根据内容 检索来说，评价一个特定算法或技术的性 能要复杂和棘手的多。 ◼ 主要的难点是检索系统的最终性能尺度是 由检索出的信息对用户的实用性来决定的。 检索是一种以人为中心的交互过程，这给 评价检索性能带来了很大困难

首先我们假定相对一个特定的查询,可以把 对象标记为相关或不相关。换句话来说,对 于任一个查询Q,我们假定存在一个二值分类 标签的集合,该集合对应数据中的所有对象 指出哪个对象是相关的,哪个是不相关的。 最后我们假定已经以某种方式为每个对象附 加标签(假定是以一种比较客观并与人类判相 致的方式)。 基于这些假定,就可以把检索问题看作一种 特殊形式的分类问题—类标签依赖于查询Q

◼ 首先我们假定相对一个特定的查询，可以把 对象标记为相关或不相关。换句话来说，对 于任一个查询Q，我们假定存在一个二值分类 标签的集合，该集合对应数据中的所有对象， 指出哪个对象是相关的，哪个是不相关的。 最后我们假定已经以某种方式为每个对象附 加标签(假定是以一种比较客观并与人类判相 一致的方式)。 ◼ 基于这些假定，就可以把检索问题看作一种 特殊形式的分类问题—类标签依赖于查询Q