《机器学习及应用》课程教学资源（PPT课件讲稿）贝叶斯网络（Bayesian Network）

06贝叶斯网络

06 贝叶斯网络

贝叶斯网络 贝叶斯网络( Bayesian Network)是20世纪80 年代发展起来的,由 Judea pearl(朱迪亚·佩 尔)于1986年提出。 ■贝叶斯网络起源于贝叶斯统计分析理论, 它是概率论和图论相结合的产物。 ■贝叶斯网络是一种描述不确定性知识和推 理问题的方法。 口文本分类(如:垃圾邮件的过滤) 口医学诊断

2 贝叶斯网络 ◼ 贝叶斯网络(Bayesian Network)是20世纪80 年代发展起来的，由Judea Pearl(朱迪亚•佩 尔)于1986年提出。 ◼ 贝叶斯网络起源于贝叶斯统计分析理论， 它是概率论和图论相结合的产物。 ◼ 贝叶斯网络是一种描述不确定性知识和推 理问题的方法。 ❑ 文本分类（如：垃圾邮件的过滤） ❑ 医学诊断 ❑

贝叶斯网络 1、引例 2、贝叶斯概率基础 3、贝叶斯网络概述 4、贝叶斯网络的预测、诊断和训练 a41贝叶斯网络的预测 42贝叶斯网络的诊断 a43贝叶斯网络的训练

4 贝叶斯网络 ◼ 1、引例 ◼ 2、贝叶斯概率基础 ◼ 3、贝叶斯网络概述 ◼ 4、贝叶斯网络的预测、诊断和训练 ❑ 4.1 贝叶斯网络的预测 ❑ 4.2 贝叶斯网络的诊断 ❑ 4.3 贝叶斯网络的训练

1、引例 一个有关概率推理的例子。 图中有六个结点: 口参加晚会( Party,PT) 口宿醉( Hangover,HO 口头疼( Headache,HA) Hangover Brain tumor 患脑瘤( Brain tumor,BT 口有酒精味( Smell alcoho,SA) Headache 口X射线检查呈阳性( Pos Xray,PX) Smell alcohol Pos Xray

5 1、引例 ◼ 一个有关概率推理的例子。 ◼ 图中有六个结点： ❑ 参加晚会(Party, PT) ❑ 宿醉(Hangover, HO) ❑ 头疼(Headache, HA) ❑ 患脑瘤(Brain tumor, BT) ❑ 有酒精味(Smell alcohol, SA) ❑ X射线检查呈阳性(Pos Xray, PX) Party Hangover Brain Tumor Headache Smell Alcohol Pos Xray

1、引例 一个有关概率推理的例子。 图中有五条连线: al 口PT→HO 口HO→SA 口HO→HA Hangover Brain tumor 口BT→HA 口BT→PX Headache Smell Alcohol)( Pos Xray

6 1、引例 ◼ 一个有关概率推理的例子。 ◼ 图中有五条连线： ❑ PT→HO ❑ HO→SA ❑ HO→HA ❑ BT→HA ❑ BT→PX Party Hangover Brain Tumor Headache Smell Alcohol Pos Xray

1、引例 ■参加晚会后,第二 Party 天呼吸中有酒精味 的可能性有多大? 如果头疼,患脑瘤 Hangover Brain tumor 的概率有多大? 如果参加了晚会, 并且头疼,那么患 Headache 脑瘤的概率有多大 Smell alcohol Pos xray 这些问题都可通过贝叶斯网络加以解决。」

7 1、引例 ◼ 参加晚会后，第二 天呼吸中有酒精味 的可能性有多大？ ◼ 如果头疼，患脑瘤 的概率有多大？ ◼ 如果参加了晚会， 并且头疼，那么患 脑瘤的概率有多大 ？ ◼ ...... Party Hangover Brain Tumor Headache Smell Alcohol Pos Xray 这些问题都可通过贝叶斯网络加以解决

贝叶斯网络 1、引例 2、贝叶斯概率基础 3、贝叶斯网络概述 4、贝叶斯网络的预测、诊断和训练 a41贝叶斯网络的预测 42贝叶斯网络的诊断 a43贝叶斯网络的训练

8 贝叶斯网络 ◼ 1、引例 ◼ 2、贝叶斯概率基础 ◼ 3、贝叶斯网络概述 ◼ 4、贝叶斯网络的预测、诊断和训练 ❑ 4.1 贝叶斯网络的预测 ❑ 4.2 贝叶斯网络的诊断 ❑ 4.3 贝叶斯网络的训练

2、贝叶斯概率基础 ■先验概率:根据历史资料或主观判断所确 定的各种事件发生的概率。 先验概率可分为两类: 口客观先验概率:是指利用过去的历史资料计算 得到的概率(如:在自然语言处理中,从语料库 中统计词语的出现频率—客观先验概率); 口主观先验概率:是指在无历史资料或历史资料 不全的时候,只能凭借人们的主观经验来判断 取得的概率

9 ◼ 先验概率：根据历史资料或主观判断所确 定的各种事件发生的概率。 ◼ 先验概率可分为两类： ❑ 客观先验概率：是指利用过去的历史资料计算 得到的概率(如：在自然语言处理中，从语料库 中统计词语的出现频率——客观先验概率)； ❑ 主观先验概率：是指在无历史资料或历史资料 不全的时候，只能凭借人们的主观经验来判断 取得的概率。 2、贝叶斯概率基础

2、贝叶斯概率基础 后验概率:是指利用贝叶斯公式,结合调 查等方式获取了新的附加信息,对先验概 率修正后得到的更符合实际的概率。 条件概率:是指当条件事件发生后,该事 件发生的概率 P(A B)=P(B AP(A P(B) 条件概率的计算可以通过两个事件各自发生 的概率,以及相反方向的条件概率得到

10 ◼ 后验概率：是指利用贝叶斯公式，结合调 查等方式获取了新的附加信息，对先验概 率修正后得到的更符合实际的概率。 ◼ 条件概率：是指当条件事件发生后，该事 件发生的概率。 2、贝叶斯概率基础 P(A | B) = P(B | A)P(A) P(B) 条件概率的计算可以通过两个事件各自发生 的概率，以及相反方向的条件概率得到

2、贝叶斯概率基础 ■例:已知任意时刻阴天的概率为0.3,记为 P(A=0.3,下雨的概率为0.2,记为P(B)=02 。阴天之后下雨的概率为0.6,记为条件概 率P(BA)=0.6。那么在下雨的条件下,是阴 天的概率是多 【解】根据条件概率公式,可得: P(AB)=P(BA)*P(A)/P(B) =0.6*0.3/02 =0.9

11 2、贝叶斯概率基础 ◼ 例：已知任意时刻阴天的概率为0.3，记为 P(A)=0.3，下雨的概率为0.2，记为P(B)=0.2 。阴天之后下雨的概率为0.6，记为条件概 率P(B|A)=0.6。那么在下雨的条件下，是阴 天的概率是多少？ ◼ 【解】根据条件概率公式，可得： P(A|B) = P(B|A)*P(A)/P(B) = 0.6*0.3/0.2 = 0.9