中国科学技术大学：《信息检索与数据挖掘》课程教学资源（课件讲稿）概率图及主题模型 Probabilistic Graphical Models Topic Model

信息检索与数据挖掘 2019/4/29 1 信息检索与数据挖掘 补充：概率图及主题模型

信息检索与数据挖掘 2019/4/29 1 信息检索与数据挖掘 补充：概率图及主题模型

信息检索与数据挖掘 2019/4/294 概率图及主题模型 Probabilistic Graphical Models/Topic Model ·什么是Graphical Model ·定义、示例 ·Representation、Inference、Learning 。主题模型与分类 LSA (Latent Semantic Analysis),1990 pLSA(probabilistic Latent Semantic Analysis),1999 LDA(Latent Dirichlet Allocation),2003 Hierarchical Bayesian model ·主题模型的R语言实现示例

信息检索与数据挖掘 2019/4/29 4 概率图及主题模型 Probabilistic Graphical Models / Topic Model • 什么是Graphical Model • 定义、示例 • Representation、Inference、Learning • 主题模型与分类 • LSA (Latent Semantic Analysis), 1990 • pLSA (probabilistic Latent Semantic Analysis), 1999 • LDA(Latent Dirichlet Allocation), 2003 • Hierarchical Bayesian model • 主题模型的R语言实现示例

信息检索与数据挖掘 2019/4/295 主要参考书目 Probabilistic Graphical Models (Principles and Applications) Luis Enrique Sucar,2015 Probabilistic Graphical Models(Principles and Techniques) Daphne Koller Nir Friedman,2009 Pattern Recognition and Machine Learning Christopher M.Bishop,2006

信息检索与数据挖掘 2019/4/29 5 主要参考书目 • Probabilistic Graphical Models (Principles and Applications) • Luis Enrique Sucar, 2015 • Probabilistic Graphical Models (Principles and Techniques) • Daphne Koller & Nir Friedman, 2009 • Pattern Recognition and Machine Learning • Christopher M.Bishop, 2006

信息检索与数据挖掘 2019/4/296 概率图及主题模型 Probabilistic Graphical Models/Topic Model ·什么是Graphical Model ·定义、示例 ·Representation、Inference、Learning 。主题模型与分类 LSA (Latent Semantic Analysis),1990 pLSA(probabilistic Latent Semantic Analysis),1999 LDA(Latent Dirichlet Allocation),2003 Hierarchical Bayesian model ·主题模型的R语言实现示例

信息检索与数据挖掘 2019/4/29 6 概率图及主题模型 Probabilistic Graphical Models / Topic Model • 什么是Graphical Model • 定义、示例 • Representation、Inference、Learning • 主题模型与分类 • LSA (Latent Semantic Analysis), 1990 • pLSA (probabilistic Latent Semantic Analysis), 1999 • LDA(Latent Dirichlet Allocation), 2003 • Hierarchical Bayesian model • 主题模型的R语言实现示例

信息检索与数据挖掘 2019/4/29 7 Graphical Model(概率图模型) Probabilistic Graphical Models (PGMs) 概率图模型是一类用图形模式表达基于概率相关关 系的模型的总称。概率图模型结合概率论与图论的 知识，利用图来表示与模型有关的变量的联合概率 分布。近10年它已成为不确定性推理的研究热点， 在人工智能、机器学习和计算机视觉等领域有广阔 的应用前景。 ·概率图理论共分为三个部分 ·Representation:概率图模型表示理论 ·Inference:概率图模型推理理论 ·Learning:概率图模型学习理论

信息检索与数据挖掘 2019/4/29 7 Graphical Model（概率图模型） Probabilistic Graphical Models (PGMs) • 概率图模型是一类用图形模式表达基于概率相关关 系的模型的总称。概率图模型结合概率论与图论的 知识，利用图来表示与模型有关的变量的联合概率 分布。近10年它已成为不确定性推理的研究热点， 在人工智能、机器学习和计算机视觉等领域有广阔 的应用前景。 • 概率图理论共分为三个部分 • Representation：概率图模型表示理论 • Inference：概率图模型推理理论 • Learning：概率图模型学习理论

信息检索与数据挖掘 2019/4/29 8 概率图示例 朴素贝叶斯分类器→概率图 独立性的假设 P(cld)P(c) ①) P(tklc) 1<k<nd Bayes?公式：P(cd)→P(dc) Graphical Model c 飞⊙ , t P(tklc)=0k

信息检索与数据挖掘 2019/4/29 8 概率图示例 朴素贝叶斯分类器概率图 独立性的假设 Bayes公式：P(c|d)  P(d|c) Graphical Model c tk t2 tnd t1

信息检索与数据挖掘 2019/4/299 概率图示例 用有向图表示统计模型 A data set of N points generated from a Gaussian: N p(1...,N,R,)=p(p)p(G)p(anlu,o) n=1 H μ 三 I 人个 N N 盘式记法 Lei Zhang/Lead Researcher,Microsoft Research Asia,2012-04-17,USTC

信息检索与数据挖掘 2019/4/29 9 概率图示例 用有向图表示统计模型 • A data set of N points generated from a Gaussian: Lei Zhang/Lead Researcher, Microsoft Research Asia, 2012-04-17, USTC 盘式记法

信息检索与数据挖掘 2019/4/29 10 概率图的记法 0 展开的概率图 盘式记法 X X2 X 盘式记法(plate notation)是一种常用的图模型的简化记法。在盘式模型中，用 一个框（称为盘）圈住图模型中重复的部分，并在框内标注重复的次数。盘式 记法能够为我们表示和分析许多概率模型提供很大的方便，但它也有一定的 局限性。例如，它无法表示盘内变量不同拷贝间的相关性，而这种相关性广 泛出现于动态贝叶斯网络中。 Xn 盘式记法 展开的概率图 V2

信息检索与数据挖掘 2019/4/29 10 概率图的记法 盘式记法(plate notation)是一种常用的图模型的简化记法。在盘式模型中，用 一个框(称为盘)圈住图模型中重复的部分，并在框内标注重复的次数。盘式 记法能够为我们表示和分析许多概率模型提供很大的方便，但它也有一定的 局限性。例如，它无法表示盘内变量不同拷贝间的相关性，而这种相关性广 泛出现于动态贝叶斯网络中。 展开的概率图 盘式记法 展开的概率图 盘式记法

信息检索与数据挖掘 2019/4/29 11 Naive Bayes model(盘式记法) 模型参数：使后验概率 p(cd)最大的参数集 W 参数集： N p(c),i=1,2,.,类别总数 p(wkc),j=1,2,.,词项总数 =argmax p(cw)ccp(c)p(wc)=p(c)p(w,lc) c" n=l Object class Prior prob.of Image likelihood decision the object classes given the class

信息检索与数据挖掘 2019/4/29 11 p(c) p(w| c) Prior prob. of the object classes Image likelihood given the class Naïve Bayes model（盘式记法）   N n n p c p w c 1 ( ) ( | ) w N c Object class decision p(c | w)  c c  argmax  模型参数：使后验概率 p(c|d)最大的参数集 参数集： p(ci ),i=1,2,…,类别总数 p(wk |c), j=1,2,…,词项总数

信息检索与数据挖掘 2019/4/29 12 小结：什么是概率图模型 Graphical Model(概率图模型) 。是一类用图形模式表达基于概率相关关系的模型的总称。 ·概率图的表示方法 展开的概率图 盘式记法 X X2 XN X 。概率图求解→优化 ·概率图对应参数的求解（如朴素贝叶斯分类器中的参数） Cmap arg max P(cld)=argmax P(c)P(tklc) cEC cEC 1≤k≤nd

信息检索与数据挖掘 2019/4/29 12 小结：什么是概率图模型 • Graphical Model（概率图模型） • 是一类用图形模式表达基于概率相关关系的模型的总称。 • 概率图的表示方法 • 概率图求解优化 • 概率图对应参数的求解（如朴素贝叶斯分类器中的参数） 展开的概率图 盘式记法