迷你世界Laplace 数学 / 图版 M19 — 贝叶斯定理

证据如何改变相信

一张台面上的球告诉你另一颗球在哪里;一千根钉里只有一根有病,阳性却多半是假的;一片海图上,没找到的地方让沙子流向还没找过的地方。三件模型,都按贝叶斯定理精确计算。

向下滚动

01

一张平放的桌子

托马斯·贝叶斯是英国的长老会牧师,1761 年 4 月去世。他的朋友理查德·普赖斯在遗稿里找到一篇论文,写信寄给皇家学会,1763 年 12 月 23 日宣读,刊在《哲学汇刊》第 53 卷,题为《机会学说中一个问题的解》。

论文里有一个思想实验:一张水平的方桌,先往上扔一个球 W,它停在桌面任何一处的机会都一样。过它画一条与桌边 AD 平行的线 os。再把球 O 扔 p + q 次,数一数有几次停在 AD 和 os 之间。

问题是:只知道这些次数,W 落在任意两点之间的机会有多大?后人常把这张桌子说成台球桌,原文只说「方桌或平面 ABCD」。模型上的线是一根细铜丝,AD 是左边。

02

从次数到一条曲线

假设 W 离左边是桌宽的 x。每个 O 落在左侧的机会就是 x。p 个落在左侧、q 个落在右侧,这件事的机会正比于 xᵖ(1 − x)^q。

事先 W 在哪里都同样可能,所以「W 在 x」的可信程度也正比于这个式子。除以它的总面积,就得到一条面积为 1 的曲线,今天叫贝塔分布。贝叶斯问的是:W 落在某两点之间的机会有多大?答案就是这条曲线在两点之间的面积。

桌子后面的针规画的就是这条曲线。81 根针,每一根的高度是那一点上的概率密度,精确计算。黄铜针帽之间是 95% 的面积。球越多,曲线越窄、越高,红色指针是 W 真正的位置。

03

先验乘以似然

1774 年,25 岁的拉普拉斯在不知道贝叶斯论文的情况下得到了同样的推理,写成一条原则:一个事件可能出自几种原因时,各原因的概率之比,等于各原因下出现这个事件的概率之比。这里默认各种原因事先同样可能。1814 年的《概率的哲学随笔》把它写全了:原因事先不同样可能时,要乘上原因本身的可能性。

今天的写法是:后验 ∝ 先验 × 似然。他拿它算过巴黎 1745 到 1770 年的出生记录:251,527 个男孩,241,945 个女孩。生男孩的机会不超过一半,概率约为 1.15 × 10⁻⁴²。针规上的贝塔曲线,用这些数算出的也是这个数。

先验不必是平的。针规后排的蓝钢针是一个偏向左边的先验,前排是同样这些球之后的后验:它从先验出发,被数据拉向 W 真正的位置。

04

千分之一

一种病,每 1000 人里有 1 人得。一种检测,病人有 99% 测出阳性,健康的人有 99% 测出阴性。一个人测出阳性,他得病的机会是多少?

钉盘上有 1000 根黄杨木钉,1 根涂了红漆。铜闸走过就是检测,测出阳性的钉升起来。红钉升了起来;健康的 999 根里,约 1% 也升了起来,大约 10 根。

升起来的 11 根里,只有 1 根是红的,约 9%。检测对了 99%,阳性却只有约九分之一的机会是真的,因为健康的人太多:他们中的 1%,比病人的全部还多。1978 年,哈佛医学院几家教学医院的 60 位医生和医学生回答过一道类似的题(千分之一,假阳性率 5%),27 人答 95%,答对约 2% 的只有 11 人。

05

看面积

换一组好看清的数:10 人里 1 人有病,检测对 9 成。钉盘按面积重排:左边 4 列是 100 个病人,右边 36 列是 900 个健康人。每一块里,测出阳性的钉排在前面,并升起来。

左块升起 90 根,是 10% × 90%;右块升起 90 根,是 90% × 10%。升起来的 180 根里,病人正好占一半:50%。

这就是贝叶斯定理的面积:先验决定每一块有多宽,似然决定块里升起的部分有多高,后验是升起的面积里病人所占的比例。

06

赔率与似然比

换成赔率,定理变成一步乘法:后验赔率 = 先验赔率 × 似然比。似然比是病人测出阳性的机会,除以健康人测出阳性的机会。

千分之一的病,先验赔率是 1 : 999。阳性的似然比是 99% ÷ 1% = 99。相乘得 99 : 999,约 1 : 10,就是前面的 9%。

再做一次独立的检测,又是阳性,再乘 99:约 9.8 : 1,91%。钉盘上铜闸又走一遍,第一次升起的 11 根里,健康的 10 根各只有 1% 的机会再错一次,都落了下去。这要求两次检测的错误互不相干;同一个原因让人两次都测错时,第二次的分量就小得多。

取对数,乘法就成了加法。二战时图灵在布莱切利园破译密码,把证据的分量记作似然比的以 10 为底的对数,单位叫「班」,十分之一班叫「分班」。一次似然比为 99 的阳性,约 20 分班。

07

一个接一个

证据可以一份一份地来。每落下一颗球,曲线就更新一次:这一次的后验,就是下一次的先验。

先看 10 颗再看 10 颗,和一次看 20 颗,结果完全一样,顺序也无关。只要证据之间互不相干,怎样分批都会到同一个地方。

桌子上的球一颗一颗滚进来,每停下一颗,针规就跟着动一次。

08

先验不同,殊途同归

甲认为 W 在哪里都可能;乙先入为主,认为 W 多半在右边,后排蓝钢针是他的曲线。两人看同样的球,各自更新。

开始时两条曲线相差很远。几百颗球之后,它们几乎重合,都落在 W 真正的位置附近。证据越多,先验的分量越小。

只有一个例外:如果有人事先认定某种可能的概率是 0,再多证据也改变不了,因为 0 乘以任何似然还是 0。

09

概率是一堆沙

要找沉在海底的一样东西。海图分成方格,每一格上堆的沙子,就是东西在那一格的概率,沙子一共是一份。

在一格里搜,如果东西在那里,这一次能发现它的机会是 d。搜了没找到,这一格只剩 p(1 − d),其余每一格都乘上 1 / (1 − p·d)。沙子的总量不变,只是从搜过的地方流向还没搜过的地方。

铜铲每次去 p·d 最大的那一格。每格搜一次的代价相同时,这样搜平均用的次数最少,这是布莱克韦尔的结果,1965 年布莱克给出了证明。没找到,那里的沙子降下去,别处都升起一点;找到了,插上一根红头针。

10

天蝎号

1968 年 5 月,美国核潜艇天蝎号在亚速尔群岛西南的大西洋上失踪,艇上 99 人全部遇难。残骸在三千米以下的海底。

分析员拿到九种关于失事经过的场景,每种都有一个可信度的权重。他们用随机模拟算出每种场景下潜艇会落在哪里,按权重合起来,就是一张先验图:每一格一个概率。

搜索船米扎尔号拖着相机和声呐一格一格地找。每搜过一格没有发现,就算出这次搜索在那一格的发现概率,更新这张图。1968 年 10 月底找到了残骸,离先验概率最高的那一格不到 260 码。模型上的先验是示意的形状:一条可能的航线,加上两种别的情形。

11

法航 447

2009 年 6 月 1 日,法航 447 航班从里约热内卢飞往巴黎,坠入大西洋,机上 228 人。最后已知位置周围 40 海里的圆里,两年间搜了四次:海面搜寻、监听水下信标、两次侧扫声呐,都没有找到残骸。

2010 年,法国事故调查局请美国一家分析公司重新算。先验由三部分组成:圆内均匀 35%,以最后已知位置为中心、标准差 8 海里的正态分布 35%(以往失控坠机的落点),遇难者遗体漂流倒推 30%。每一次没有找到都当作证据:监听的发现概率合计 0.77,声呐 0.9。

如果两个信标都没有工作,2009 年的监听本来就不可能听到。把监听去掉重算,最后已知位置附近的概率又高了起来。2011 年的搜索从那里开始,约一周后,4 月 2 日在声呐数据里看到了残骸,3 日拍到照片:在最后已知位置北偏东 19° 约 6.5 海里,水深 3900 米。

12

实验台

选一件模型。桌子:扔球,换先验,换一张新桌子。钉盘:调发病率、敏感度和特异度,换一盘随机的钉。海图:调发现概率,一格一格地搜。

试一试在实验台的钉盘上,把发病率调到 1%,敏感度和特异度都调到 99%:升起来的钉里有几根是红的?再把发病率调到 10% 看看。

模型省略了什么

桌上的球停在哪里,横向位置按贝叶斯的假设均匀随机;纵向位置如果会压到别的球就重抽,这不影响计数。球多了以后,最早的几颗被收走,计数不变。针规每根针的高度是那一点的精确密度;曲线太高时整个针规按比例缩小。钉盘在章节里按期望值取整(自然频率),在实验台上每根钉单独随机。海图不是真实的海域;天蝎号和法航 447 两章的先验和搜索区域是按论文的思路画的简化形状,不是真实的数据,只有更新的算法是一样的。法航一章的先验权重和发现概率取自论文,但各次搜索的范围是示意的形状,海面搜寻没有算进去。

容易误解的地方

「检测准确率 99%」不等于「阳性就有 99% 是真的」:前者是 P(阳性 | 有病),后者是 P(有病 | 阳性),中间隔着发病率。贝叶斯的原文说的是一张平面,不是台球桌。先验不是随便猜的:它要写出你真正的相信,而且不同的先验在足够的数据面前会趋于一致;但事先给某种可能定为 0 的人,永远不会改变。两次检测都是阳性时乘两次似然比,前提是两次的错误互不相关。

资料来源

  1. T. Bayes, R. Price(1763):An Essay towards solving a Problem in the Doctrine of Chances,Philosophical Transactions of the Royal Society of London 53: 370–418
  2. P. S. Laplace(1774):Mémoire sur la probabilité des causes par les événements;S. M. Stigler 英译与导读,Statistical Science 1(3), 1986
  3. P. S. Laplace:Essai philosophique sur les probabilités,1814(第六原则)
  4. P. S. Laplace(1781):Mémoire sur les probabilités,Mémoires de l’Académie royale des sciences 1778(巴黎出生数据;R. J. Pulskamp 英译)
  5. S. M. Stigler(2013):The true title of Bayes’s essay,Statistical Science 28(3): 283–288
  6. W. Casscells, A. Schoenberger, T. B. Graboys(1978):Interpretation by physicians of clinical laboratory results,New England Journal of Medicine 299: 999–1001
  7. A. K. Manrai 等(2014):Medicine’s uncomfortable relationship with math,JAMA Internal Medicine 174(6): 991–993(1978 年那道题的原文和人数)
  8. G. Gigerenzer, U. Hoffrage(1995):How to improve Bayesian reasoning without instruction: frequency formats,Psychological Review 102(4): 684–704
  9. I. J. Good(1979):A. M. Turing’s statistical work in World War II,Biometrika 66(2): 393–396
  10. W. L. Black(1965):Discrete sequential search,Information and Control 8(2): 159–162
  11. H. R. Richardson, L. D. Stone(1971):Operations analysis during the underwater search for Scorpion,Naval Research Logistics Quarterly 18(2): 141–157
  12. L. D. Stone, C. M. Keller, T. M. Kratzke, J. P. Strumpfer(2014):Search for the wreckage of Air France flight AF 447,Statistical Science 29(1): 69–80
  13. BEA:Final report on the accident on 1st June 2009 to the Airbus A330-203 F-GZCP, flight AF 447,2012

数据

Every curve on the pin gauge is the exact Beta posterior for the balls on the table; the tray follows the expected counts (natural frequencies) unless the bench draws a random tray; the sand on the chart is updated by Bayes’s rule after every look. The chart is not a map of a real place. The search areas of the Air France chapter are simplified shapes, not the real ones; see “What the model leaves out”. The table, the tray of pegs and the chart table are our own models.

本页的文字、图片和模型采用 CC BY-NC 4.0 许可:可以免费用于教学和其他非商业用途,可以修改,请注明出自 world.lapla.si。上面列出的第三方素材仍按各自的许可。

延伸观看

  • 3Blue1Brown · 哔哩哔哩 在 哔哩哔哩 打开
  • 3Blue1Brown · 哔哩哔哩 在 哔哩哔哩 打开

播放器来自 哔哩哔哩,按下播放后才加载。

数学 · 全部图版