《数据把掘概念与技术》第九章（9-3） 文本检索

93文本检索 三、隐含语义索引 上面所介绍的都是将文档表示为T维词条权 向量的。但用户可能提出的查询中的词条 不在用在索引文档的词条中。 >例如,从词条相似性的角度来看,词条 数据挖掘”和“知识发现”设有什么直 接的共同点。然而,从语义角度来看,这 两个词条有很大的相同点

9.3 文本检索 三、隐含语义索引 ➢ 上面所介绍的都是将文档表示为T维词条权 向量的。但用户可能提出的查询中的词条 不在用在索引文档的词条中。 ➢ 例如，从词条相似性的角度来看，词条 “数据挖掘”和“知识发现”设有什么直 接的共同点。然而，从语义角度来看，这 两个词条有很大的相同点

>因此,在提出一个包含其中之一的查询,那 么应该考虑包含另一个的文档。解决方法是 预先创建一个把语义相关词条连接在一起的 知识库同义词典或本体集)。然而,这样的 知识库存在固有的主观性,因它取决于从何 种角度来把词条和语义内容联系起来。 >隐含语义索引( latent semantic indexing)(LS)—种可选的有趣又有价值的 方法。该方法不是仅使用词条出现信息,而 是从文本中提取出隐藏的语义结构信息

➢ 因此，在提出一个包含其中之一的查询，那 么应该考虑包含另一个的文档。解决方法是： 预先创建一个把语义相关词条连接在一起的 知识库(同义词典或本体集)。然而，这样的 知识库存在固有的主观性，因它取决于从何 种角度来把词条和语义内容联系起来。 ➢ 隐含语义索引(latent semantic indexing)(LSI)—一种可选的有趣又有价值的 方法。该方法不是仅使用词条出现信息，而 是从文本中提取出隐藏的语义结构信息

实际上,LS采用T维词条空间中前k个主成 分来近似原始的T维词条空间,使用N×T的 文档词条来估计这个方向。 主成分方法的直观解释是,由原始词条的加 权组合所构成的单个向量可以非常好的近似 由大得多的向量集合所起的效果。于是可以 把原来的N×大小的文档-词条矩阵简化为 N×k的矩阵(k对于固定的查全率,和前面讨论的向量空间 方法相比,LS可以提高查准率

➢ 实际上，LSI采用T维词条空间中前k个主成 分来近似原始的T维词条空间，使用N×T的 文档-词条来估计这个方向。 ➢ 主成分方法的直观解释是，由原始词条的加 权组合所构成的单个向量可以非常好的近似 由大得多的向量集合所起的效果。于是可以 把原来的N×T大小的文档-词条矩阵简化为 N×k的矩阵(k<<T)， ➢ 对于固定的查全率，和前面讨论的向量空间 方法相比，LSI可以提高查准率

对表9-2中的矩阵M计算奇异分解式〈SVD)。 表9-210篇文档6个词条的文档词条示例矩阵 tl t2 t4 d1 24 21 d 2 10 d3 12 16 d4 20 60300372 6300006 18 d8 0 22 (续) t6 d10 6 0 0 17 4

➢ 对表9-2中的矩阵M计算奇异分解式(SVD)

目标是,找—个分解式M=USV。式中是 个10×6的矩阵,它的每行是相对特定 文栏的权向量,S是每个主成分方向特征值 的6×6对角阵,66的师阵的列提供 据的新其轭基,被称为主成分方向 S矩阵的对角线元素是协方差矩阵对应…) A1…,n={774,69.5,229,13.5,12.1,4.8} 可见,前两个主成分捕捉了数据中的主要变 化,和直觉一致。 当使用两个主成分时,那么二维表征所保 留的变化比例0.925,信息丢失仅7.5%。 (4+)∑1=0925

➢ 目标是，找一个分解式M=USVT。式中U是 一个10×6的矩阵，它的每一行是相对特定 文档的权向量，S是每个主成分方向特征值 的6×6对角阵， 6×6的矩阵VT的各列提供 了数据的新共轭基，被称为主成分方向。 ➢ S矩阵的对角线元素是(协方差矩阵对应…): λ1 ,…, λn={77.4,69.5,22.9,13.5,12.1,4.8} 可见，前两个主成分捕捉了数据中的主要变 化，和直觉一致。 ➢ 当使用两个主成分时，那么二维表征所保 留的变化比例0.925，信息丢失仅7.5%。 ( )/ 0.925 6 1 2 2 2 2 1 +  = i=   i

>如果我们在新的二维主成分空间来表示文 档,那么每篇文档的系数对应于U矩阵的前 两列两个主成分对应的特征向量,即新的 文档权值) d130.8998-11.4912 d710.805221.9140 a230.3131-10.7801 d811.508028.0101 d318.0007-7.7138 d99.525917.7666 d48.3765-3.5611 d1019.921945.0751 d552.7057-20.6051 d614.211821.8263

➢ 如果我们在新的二维主成分空间来表示文 档，那么每篇文档的系数对应于U矩阵的前 两列(两个主成分对应的特征向量，即新的 文档权值)：

>这两列可看作新的伪词条,其作用相当于 原来6个词条的线性组合。 看一下前两个主成分方向可以得到的信息 (新共轭基) V1=(0.74,0.49,0.27,0280.180.19) V2=(-0.28,-0.24,-0.12,0.74,0.37,0.31) 这两个方向是原来6维词条空间中数据最分散 (具有最大方差)的方向。每方向更突出前两 个词条(查询,SQL):实际上这是描述和数据 库有关文档的方向

➢ 这两列可看作新的伪词条，其作用相当于 原来6个词条的线性组合。 ➢ 看一下前两个主成分方向可以得到的信息 (新共轭基)： V1=(0.74,0.49,0.27,0.28,0.18,0.19) V2=(-0.28,-0.24,-0.12,0.74,0.37,0.31) 这两个方向是原来6维词条空间中数据最分散 (具有最大方差)的方向。每方向更突出前两 个词条(查询,SQL)：实际上这是描述和数据 库有关文档的方向

第二方向突出了后三个词条一回归、似然和 线性,这是描述和回归有关文档的方向 图9-4以图形方式说明了这一点将上面数据 用图表示 8 叵20 只尔州 10 D22 -30 主分量方向1 图9-3主分量方法。图中画出了表9-2中的10篇文档在二维平面上的 投影位置,这个平面是由文档词条矩阵M的前两个主分量决定的

第二方向突出了后三个词条—回归、似然和 线性，这是描述和回归有关文档的方向。 图9-4以图形方式说明了这一点(将上面数据 用图表示)

>当把文档投影到由前两个主成分方向所决 定的平面量,两个不同组的文档分布在两 个不同的方向上。注意文档2几乎落在文档 1上,使其有点模糊。文档5和文档10的词 条向量最大,因此离原最远。 从图可看出,文档间的角度差异显然是相 似性的一个有用指标,因为回归和数据库 文档在平面上是围绕两个不同的角度聚成 簇的。 >主成分方法的应用例子 考虑—个新的文档D1,词条“查询”在该 文档

➢ 当把文档投影到由前两个主成分方向所决 定的平面量，两个不同组的文档分布在两 个不同的方向上。注意文档2几乎落在文档 1上，使其有点模糊。文档5和文档10的词 条向量最大，因此离原最远。 ➢ 从图可看出，文档间的角度差异显然是相 似性的一个有用指标，因为回归和数据库 文档在平面上是围绕两个不同的角度聚成 簇的。 ➢ 主成分方法的应用例子： 考虑一个新的文档D1，词条“查询”在该 文档

>中出现50次,另一个文档D2,包含词条 SQL50次,两且两篇文档都不包含其他 的词条。如果直接使用关键字表示,这两 个文档不会被认为是相似的,因为它们没 有包含相同的词条 然而,如果使用两个主成分词条来表示这 两篇文档,并把它们投影到这个空间中, 那么正如图93所示,二者都被投影到“数 据库”方向,尽管它们都仅包含和数据库 有关的三个词条中的

➢ 中出现50次，另一个文档D2，包含词条 “SQL”50次，两且两篇文档都不包含其他 的词条。如果直接使用关键字表示，这两 个文档不会被认为是相似的，因为它们没 有包含相同的词条。 ➢ 然而，如果使用两个主成分词条来表示这 两篇文档，并把它们投影到这个空间中， 那么正如图9-3所示，二者都被投影到“数 据库”方向，尽管它们都 仅包含和数据库 有关的三个词条中的一个