武汉大学：《信号检测与估计》课程电子教案（课件讲稿）06 贝叶斯BAYES估计

贝叶斯概率论理论创立人ThomasBayes.如果你用过Google，你就已经从贝叶斯的理论中受益了。贝叶斯1701年出生于英国，比费马晚了整整100年，帕斯卡晚了78年，他的一生并不辉煌。作为一名皇家协会的会员，他生前在数学领域并未发表任何文章。翟他死启，他的安“茹何解决随机原理中某一题的论述”发表了。当时，人们没有对此引起重视然而，据彼得伯恩斯坦说，贝叶斯的论述“是一篇极具创新思想的作品，它使贝叶斯在统计学家、经济学家和社会学家中古有呆的地。贝叶斯定理教给我们一种逻辑分析方法，即为什么在众多奇能性中只有某一种结果会发生。从概念上讲这一种简单的步骤。我们首先基宇所掌握的证据为每一种结果分配一个概率。当更多的证据出现时，我们对原有的概率进行调整以反映新的信息。为了成功地应用概率原理，关键的一步是要将历史数据与最近可得的数据相结合，这就是行动中的贝叶斯分析法

贝叶斯 „ 贝叶斯1 7 0 1 1 7 0 1年出生于英国，比费马晚了整整 年出生于英国，比费马晚了整整1 0 0 年，比帕斯卡晚了 年，比帕斯卡晚了7 8年，他的一生并不辉煌。作为一 年，他的一生并不辉煌。作为一 名皇家协会的会员，他生前在数学领域并未发表任何 名皇家协会的会员，他生前在数学领域并未发表任何 文章。在他死后，他的论文 文章。在他死后，他的论文 “如何解决随机原理中某一 如何解决随机原理中某一 问题的论述 ”发表了。当时，人们没有对此引起重视。 发表了。当时，人们没有对此引起重视。 然而，据彼得·伯恩斯坦说，贝叶斯的论述 伯恩斯坦说，贝叶斯的论述 “是一篇极 具创新思想的作品，它使贝叶斯在统计学家、经济学 具创新思想的作品，它使贝叶斯在统计学家、经济学 家和社会学家中占有不朽的地位。 家和社会学家中占有不朽的地位。 ” „ 贝叶斯定理教给我们一种逻辑分析方法，即为什么在 贝叶斯定理教给我们一种逻辑分析方法，即为什么在 众多可能性中只有某一种结果会发生。从概念上讲这 众多可能性中只有某一种结果会发生。从概念上讲这 是一种简单的步骤。我们首先基于所掌握的证据为每 是一种简单的步骤。我们首先基于所掌握的证据为每 一种结果分配一个概率。当更多的证据出现时，我们 一种结果分配一个概率。当更多的证据出现时，我们 对原有的概率进行调整以反映新的信息。为了成功地 对原有的概率进行调整以反映新的信息。为了成功地 应用概率原理，关键的一步是要将历史数据与最近可 应用概率原理，关键的一步是要将历史数据与最近可 得的数据相结合，这就是行动中的贝叶斯分析法。 得的数据相结合，这就是行动中的贝叶斯分析法

“争论”即便在他的时代，Bayes发现他自己置身于主流之外。他于1702年出生于伦敦，后来他成为了一名Presbyterianminister。虽然他看到了自己的两篇论文被发表了，他的理论很有效，但是《EssayTowardSolvingaProblemintheDoctrineofChances》却一直到他死后的第三年，也就是1764年才被发表。神学家RichardPrice和法国的数学家PierreSimonLaPlace成为了早期的支持者。该理论和后来GeorgeBoole，布尔数学之父的理论背道而驰：GeorgeBoole的理论是基于代数逻辑的，并最终导致了二进制系统的诞生。也是皇室成员之一的Boole死于1864年。批评者周期性地声称Bayes模型依赖于主观的数据而让人类去判断答案是否正确。而概率论模型没有完全解决在人类思维过程中存在的细微差别的问题

“争论 ” „ 即便在他的时代， 即便在他的时代，Bayes发现他自己置身于主流之外。 发现他自己置身于主流之外。 他于1702年出生于伦敦，后来他成为了一名 年出生于伦敦，后来他成为了一名 Presbyterian minister Presbyterian minister。虽然他看到了自己的两篇 。虽然他看到了自己的两篇 论文被发表了，他的理论很有效，但是 论文被发表了，他的理论很有效，但是 《Essay Toward Solving a Problem in the Doctrine of Toward Solving a Problem in the Doctrine of Chances Chances 》却一直到他死后的第三年，也就是 却一直到他死后的第三年，也就是1764 年才被发表。 „ 神学家Richard Price Richard Price和法国的数学家 和法国的数学家Pierre Simon Pierre Simon LaPlace LaPlace成为了早期的支持者。该理论和后来 成为了早期的支持者。该理论和后来George Boole，布尔数学之父的理论背道而驰。 ，布尔数学之父的理论背道而驰。George Boole的理论是基于代数逻辑的，并最终导致了二进 的理论是基于代数逻辑的，并最终导致了二进 制系统的诞生。也是皇室成员之一的 制系统的诞生。也是皇室成员之一的Boole死于1864 年。 „ 批评者周期性地声称 批评者周期性地声称Bayes模型依赖于主观的数据， 模型依赖于主观的数据， 而让人类去判断答案是否正确。而概率论模型没有完 而让人类去判断答案是否正确。而概率论模型没有完 全解决在人类思维过程中存在的细微差别的问题。 全解决在人类思维过程中存在的细微差别的问题

贝叶斯定理P(Hc) P(E|H,c)P(HIEC)=P(EIc)尽管这些符号看起来澡爽，但这个理论总体来讲还是相当简单的：通过对事情會经发生的频率的考察事情发生的可能性似乎能够被真实地估计到，研贝叶斯定理究者正在把对这种思想的应用从基因研究推广到illeringemail的研究在美国明尼苏达州立大学的网址上能够看到详尽的有关数学上的非议，在游戏理论的网站（gametheory.net）上，abayesRULEApplet程贝叶斯定理为我们提供了不断更新我们原有假设序会让你回答诸于如果被确信有某种疾病你将女何担优忧此类的间题数学程序（这源手贝叶斯所称的先验信息分布）产生一个后序信息分布图。换句话说，先验概率与新的信息相结合就产生了后序概率，从而改变了我们相对的概率机遇。这一切都是如何操作的呢？假设你和你的朋友在某个下午正在玩你们最喜欢的掷殷子跳棋游戏，你们一边玩一边聊着，棋局已接近尾声。这时你朋友说的什么话触动了你想打赌的愿望，但只是友好性地赌注。在掷殷子跳棋游戏中，掷一次殷字直接获得6这一面的机会是116，即16%的概率。但这时假设你朋友投了般子，但很快用手将殷子盖住并偷偷看了一眼，她说：“我可以告诉你，这是一个双数。”有了这条信息，你赌赢的机会就变成了13，即33%的概率。正当你在考虑是否改变赌注的时候，你的朋友又开玩笑地说：“这个数不是4。”有了这条信息你赌赢的机会再次改变，变成了1／2，即50%的概率。在这种简单的关系中，你已经实施了贝叶斯的分析方法。每一条新信息都会影响你原来的概率假设，这就是贝叶斯推理

贝叶斯定理 „ 贝叶斯定理为我们提供了不断更新我们原有假设 的 数学程序 (这源于贝叶斯所称的先验信息分布) ) 以便 产生一个后序信息分布图。换句话说，先验概率与新的信息相结 合就产生了后序概率，从而改变了我们相对的概率机遇。 „ 这一切都是如何操作的呢？假设你和你的朋友在某个下午正在玩 你们最喜欢的掷骰子跳棋游戏，你们一边玩一边聊着，棋局已接 近尾声。这时你朋友说的什么话触动了你想打赌的愿望，但只是 友好性地赌注。在掷骰子跳棋游戏中，掷一次骰子直接获得 6 这 一面的机会是1 / 6，即1 6％的概率。但这时假设你朋友投了骰 子，但很快用手将骰子盖住并偷偷看了一眼，她说： “我可以告 诉你，这是一个双数。 ”有了这条信息，你赌赢的机会就变成了1 / 3，即3 3％的概率。正当你在考虑是否改变赌注的时候，你的 朋友又开玩笑地说： “这个数不是 4 。 ”有了这条信息你赌赢的机 会再次改变，变成了1 / 2，即5 0％的概率。在这种简单的关系 中，你已经实施了贝叶斯的分析方法。每一条新信息都会影响你 原来的概率假设，这就是贝叶斯推理

贝叶斯统计英国学者T贝叶斯1763年在《论有关机遇问题的求解》中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法采用贝叶斯方法作统计推断所得的全部结果构成贝叶斯统计的内容。认为贝叶斯方法是唯一合理的统计推断方法的统计学者，组成数理统计学中的贝叶斯学派，其形成可追溯到20世纪30年代。到50～60年代，已发展为一个有影响的学派。时至今日，其影响日益扩大

贝叶斯统计 „ 英国学者T.贝叶斯1763年在《论有关机遇问 题的求解》中提出一种归纳推理的理论，后被 一些统计学者发展为一种系统的统计推断方 法，称为贝叶斯方法 。 „ 采用贝叶斯方法作统计推断所得的全部结果， 构成贝叶斯统计的内容。认为贝叶斯方法是唯 一合理的统计推断方法的统计学者，组成数理 统计学中的贝叶斯学派，其形成可追溯到 20 世纪 30 年代。到50 ～60年代，已发展为一 个有影响的学派。时至今日，其影响日益扩大

贝叶斯学派Bayes统计模型的特点是将参数θ视为随机变量，并具有先验分布p(①）；Bayes统计学派与经典学派的分歧主要是在关于参数的认识上的分歧，经典学派视θ为未知常数：Bayes学派视e为随机变量且具有先验分布；两个学派分歧的根源在于对于概率的理解。经典学派视概率为事件大量重复实验频率的稳定值；而Bayes学派赞成主观概率，将事件的概率理解为认识主体对事件发生的相信程度，当然，对于可以独立重复实验的事件，概率仍可视为频率稳定值。显然，将θ视为随机变量且具有先验分布具有实际意义，能拓广统计学应用的范围

贝叶斯学派 „ Bayes统计模型的特点是将参数 统计模型的特点是将参数 θ视为随机变量，并 视为随机变量，并 具有先验分布 ; „ Bayes统计学派与经典学派的分歧主要是在关于参数 统计学派与经典学派的分歧主要是在关于参数 的认识上的分歧， 的认识上的分歧，经典学派视 θ为未知常数； Bayes 学派 视 θ为随机变量且具有先验分布 为随机变量且具有先验分布； „ 两个学派分歧的根源在于对于 两个学派分歧的根源在于对于概率的理解。经典学派 视概率为事件大量重复实验频率的稳定值；而 视概率为事件大量重复实验频率的稳定值；而Bayes 学派赞成主观概率，将事件的概率理解为认识主体对 学派赞成主观概率，将事件的概率理解为认识主体对 事件发生的相信程度，当然，对于可以独立重复实验 事件发生的相信程度，当然，对于可以独立重复实验 的事件，概率仍可视为频率稳定值。显然，将 的事件，概率仍可视为频率稳定值。显然，将 θ视为 随机变量且具有先验分布具有实际意义，能拓广统计 随机变量且具有先验分布具有实际意义，能拓广统计 学应用的范围。 学应用的范围。 p( ) θ

贝叶斯学派发展和完善了古典统计学在本世纪20和30年代，Neyman,Person,Cramer等人奠定了古典统计学基础的同时，Jeffreys,keynes等人却对贝叶斯学派的传播进行了大量实质性的工作。从此，古典统计学派和贝叶斯统计学派展开了长期的激烈争论。两种统计学派不仅在解释概率方面存在着哲学上的差异，而且在具体的统计推断理论和方法上也各有不同。战后60年代以来，贝叶斯学派异军突起，其统计理论和方法发展迅速，影响越来越大，大有超过古典统计学的趋势。贝叶斯统计学之所以如此，是由于贝叶斯学派发展和完善了古典统计学。具体地表现在以下几个方面

贝叶斯学派发展和完善了古典 统计学 „ 在本世纪20 和30年代，Neyman, Person,Cramer Person,Cramer 等人奠定了古典统计学基础的同时， 等人奠定了古典统计学基础的同时，Jeffreys Jeffreys, keynes等人却对贝叶斯学派的传播进行了大量实质性 的传播进行了大量实质性 的工作。 „ 从此，古典统计学派和贝叶斯统计学派展开了长期的 从此，古典统计学派和贝叶斯统计学派展开了长期的 激烈争论。两种统计学派不仅在 激烈争论。两种统计学派不仅在解释概率方面存在着 哲学上的差异，而且在具体的 哲学上的差异，而且在具体的统计推断理论和方法 统计推断理论和方法 上 也各有不同。 „ 战后60年代以来，贝叶斯学派异军突起，其统计理论 年代以来，贝叶斯学派异军突起，其统计理论 和方法发展迅速，影响越来越大，大有超过古典统计 和方法发展迅速，影响越来越大，大有超过古典统计 学的趋势。贝叶斯统计学之所以如此，是由于贝叶斯 学的趋势。贝叶斯统计学之所以如此，是由于贝叶斯 学派发展和完善了古典统计学。具体地表现在以下几 学派发展和完善了古典统计学。具体地表现在以下几 个方面

贝叶斯学派发展和完善了古典统计学贝叶斯学派吸取了古典统计学派的精华贝叶斯学派和古典统计学派虽然在统计决策方面有许多不同的看法，但这两个流派的研究目的都是一样的，即通过统计分析，帮助决策者在两个或多个行动中选择一种最佳的行动和古典统计推断相比，贝叶斯统计推断虽然在处理方法上有所不同，但贝叶斯估计量往往不是对古典统计估计量的全盘否定，而是保留其精华，弥补其不足。因此，贝叶斯统计学和古典统计学不仅表现在统计目标上一致，而且其结果也有异曲同工之妙

贝叶斯学派发展和完善了古典 统计学 „ 贝叶斯学派吸取了古典统计学派的精华 贝叶斯学派吸取了古典统计学派的精华 „ 贝叶斯学派和古典统计学派虽然在统计决策方面有 贝叶斯学派和古典统计学派虽然在统计决策方面有 许多不同的看法，但这两个流派的研究目的都是一 许多不同的看法，但这两个流派的研究目的都是一 样的，即通过统计分析，帮助决策者在两个或多个 通过统计分析，帮助决策者在两个或多个 行动中选择一种最佳的行动 行动中选择一种最佳的行动 。 „ 和古典统计推断相比，贝叶斯统计推断虽然在处理 和古典统计推断相比，贝叶斯统计推断虽然在处理 方法上有所不同，但贝叶斯估计量往往不是对古典 方法上有所不同，但贝叶斯估计量往往不是对古典 统计估计量的全盘否定，而是保留其精华，弥补其 统计估计量的全盘否定，而是保留其精华，弥补其 不足。 „ 因此，贝叶斯统计学和古典统计学不仅表现在 因此，贝叶斯统计学和古典统计学不仅表现在统计 目标上一致，而且其 上一致，而且其结果也有异曲同工 结果也有异曲同工之妙

贝叶斯学派发展和完善了古典统计学贝叶斯学派发展和完善了古典统计学贝叶斯学派无论是在信息的利用上，还是在统计理论和方法上都发展和完善了古典统计学。从古典统计学派看来，人们在得到样本之前，除了知道参数落在既定的参数空间以外，其它一无所知。因此古典统计学派统计推断的根据是样本，而不考虑先验知识。然而在许多统计间题中，由于人们从理论上的分析、实践经验的积累以及主观判断，在抽取梓笨之前，就奇能对参数肴二紫认识。然，如菓能利用这种先验知识，无疑有助于对参数的推断负叶斯学派正是在这个问题上独真匠心，发展了古典统计学

贝叶斯学派发展和完善了古典 统计学 „ 贝叶斯学派发展和完善了古典统计学 贝叶斯学派发展和完善了古典统计学 „ 贝叶斯学派无论是 贝叶斯学派无论是在信息的利用上，还是在统计理 在信息的利用上，还是在统计理 论和方法上都发展和完善了古典统计学。从古典统 都发展和完善了古典统计学。从古典统 计学派看来，人们在得到样本之前，除了知道参数 计学派看来，人们在得到样本之前，除了知道参数 落在既定的参数空间以外，其它一无所知。因此， 落在既定的参数空间以外，其它一无所知。因此， 古典统计学派统计推断的根据是样本，而不考虑先 古典统计学派统计推断的根据是样本，而不考虑先 验知识。然而在许多统计间题中，由于人们从理论 验知识。然而在许多统计间题中，由于人们从理论 上的分析、实践经验的积累以及主观判断，在抽取 上的分析、实践经验的积累以及主观判断，在抽取 样本之前，就可能对参数有一些认识。显然，如果 样本之前，就可能对参数有一些认识。显然，如果 能利用这种先验知识，无疑有助于对参数的推断。 能利用这种先验知识，无疑有助于对参数的推断。 贝叶斯学派正是在这个问题上独具匠心，发展了古 贝叶斯学派正是在这个问题上独具匠心，发展了古 典统计学

贝叶斯学派发展和完善了古典统计学贝叶斯学派发展和完善了古典统计学贝叶斯学派认为，我们应该承认这种先验知识，并加以利用。具体的办法可以把先验信息总结为先验分布然后抽取样本计算参数的条件分布也称后验分布，最后以此进行统计推断。从以上分析可知，古典统计学派只利用了样本信息，而贝叶斯学派不仅利用了样本信息，而且也利用了试验前的先验信息。从统计推断的理论来看，如果可以利用更多的信息，那么，统计推断必定更可靠、更精确。从这点来讲，贝叶斯学派在信息的利用上丰富了古典统计学。更为困难的是，在实际工作中，有些信息根本无法取得。例如，要对两家企业合并的影响进行假设检验，这种样本信息就无法搜集到，因为人们不可能为了解决两家企业合并的影响，而将两家企业多次合并。在这种情况下，古典统计学派就束手无策，而贝叶斯学派却可以依据贝叶斯理论进行统计分析

贝叶斯学派发展和完善了古典 统计学 „ 贝叶斯学派发展和完善了古典统计学 贝叶斯学派发展和完善了古典统计学 „ 贝叶斯学派认为，我们应该承认这种先验知识，并加以利用。 具体的办法可以把先验信息总结为先验分布然后抽取样本， 计算参数的条件分布也称后验分布，最后以此进行统计推断 。 从以上分析可知，古典统计学派只利用了样本信息，而贝叶 斯学派不仅利用了样本信息，而且也利用了试验前的先验信 息。从统计推断的理论来看，如果可以利用更多的信息，那 么，统计推断必定更可靠、更精确。从这点来讲，贝叶斯学 派在信息的利用上丰富了古典统计学。 „ 更为困难的是，在实际工作中，有些信息根本无法取得。例 如，要对两家企业合并的影响进行假设检验，这种样本信息 就无法搜集到，因为人们不可能为了解决两家企业合并的影 响，而将两家企业多次合并。在这种情况下，古典统计学派 就束手无策，而贝叶斯学派却可以依据贝叶斯理论进行统计 分析

贝叶斯学派发展和完善了古典统计学贝叶斯学派发展和完善了古典统计学古典统计推断是由样本推断总体参数，着眼于使统计推断尽可能正确。它仅仅是力求使其结论符合客观实际，而不考虑由于决策失误，采取了错误行动而带来的损失。而贝叶斯学派则是在通过样本弄清参数的情况下，从一开始就考虑损失，并且提出许多在不同情况之下的损失函数。例如，在古典统计学中，人们常常用“无偏估计的方差愈小愈好”的准则，作为优良估计量的判定标准。然而，贝叶斯学派却可以采用多种不同的损失函数得到各种不同的推断方法。事实上，由于损失函数的多样性和灵活性，进而引出了大量优良性准则，从而丰富和完善了古典统计学的理论和方法

贝叶斯学派发展和完善了古典 统计学 „ 贝叶斯学派发展和完善了古典统计学 贝叶斯学派发展和完善了古典统计学 „ 古典统计推断是由样本推断总体参数 古典统计推断是由样本推断总体参数,着眼于使统计 推断尽可能正确。 推断尽可能正确。它仅仅是力求使其结论符合客观 它仅仅是力求使其结论符合客观 实际，而不考虑由于决策失误，采取了错误行动而 实际，而不考虑由于决策失误，采取了错误行动而 带来的损失。而 带来的损失。而贝叶斯学派则是在通过样本弄清参 贝叶斯学派则是在通过样本弄清参 数的情况下，从一开始就考虑损失，并且提出许多 数的情况下，从一开始就考虑损失，并且提出许多 在不同情况之下的损失函数。 在不同情况之下的损失函数。 „ 例如，在古典统计学中，人们常常用 “无偏估计的方差愈 小愈好 ”的准则，作为优良估计量的判定标准。 „ 然而，贝叶斯学派却可以采用多种不同的损失函数得到各 种不同的推断方法。事实上，由于损失函数的多样性和灵 活性，进而引出了大量优良性准则，从而丰富和完善了古 典统计学的理论和方法