在说明计算方法之前,首先解释一下贝叶斯更新的概念:我们认为,洗澡用的热水水温,遵循事前为平均值42℃、标准偏差为3的正态分布。因此,若用1个数值来代表的话,则估计期待值(=平均值)为42℃。但是,由于用不准确的温度计测量出的水温为40℃,那么根据这条信息,就可以得出关于θ的后验分布,表示为图表21-1右侧的正态分布。这一概率分布的期待值在顶点位置(挑担人偶的支点),也就是正态分布的平均值,为40.6℃。以上为获得信息之后,对于水温的推理值。
上述贝叶斯推理过程,可以通过图表21-2来理解。
图表21-2 通过温度计的测量结果,对信息进行修改
换言之,虽然最初的观点(预想)为42℃,但之后,以通过温度计得到的测量结果40℃为参考,进行了修改。虽然修改后的值,比起最初的42℃更接近40℃,但绝非40℃。之所以会出现这样的结果,是因为温度计的测量存在误差/偏差(标准偏差),所以这一部分的结果是不可信的。因此,我们并没有修改测量值为40℃,而是保留了40.6℃的结果。
这一结果,比起42℃和40℃的中间值41℃,更接近40℃,那么为何要修改为这一数值呢?原因在于,表示先验分布的误差/偏差的标准偏差为3,但温度计显示的测量的误差/偏差的标准偏差为2,后者的误差相对较小。这意味着,根据误差/偏差相对较小的温度计得出的结果,对于先验分布的推算影响较大,想来这也是自然的。
21-5 根据正态分布进行贝叶斯推理的公式
接下来,对于上上节中进行的、将正态分布作为共轭先验分布而进行的推理计算进行说明。
根据正态分布进行贝叶斯推理的公式
将需要推理的θ的先验分布设定为平均值μ0、标准偏差σ0的正态分布;将观察的信息x设为遵循平均θ、标准偏差σ的正态分布。至于μ0、σ0、σ,则设为具体已知的数值。换言之,设定关于信息x的附带条件概率密度p(x|θ)为平均值θ、标准偏差σ的正态分布。
(ⅰ)只观察1次信息时的公式:
把观测到的值设为x,则:
(观测到x之后,θ的后验分布)p(θ|x)为关于θ的正态分布。
(ⅱ)观察n次信息时的公式:
若把观测到的n个数值的平均值(为(观察值的合计)÷n)记为x,
以下,用略显烦琐的文字来进行解说:
首先,标准偏差的2次方是被称为“方差”的量。方差,也是标准统计学中重要的统计量之一。
在正态分布中,后验分布的平均值按照以下方法进行计算:
观测值只有1个的情况下,按照以下公式计算:
(先验分布的平均值)÷(先验分布的方差)+(观测值)÷(信息x的方差)
之后,用下面的式子相除:
(先验分布的方差的倒数)+(信息x的方差的倒数)
此处,若重现21-3中的计算,则为:
在该计算中,由于用方差大的数进行除法运算之后,结果反而变小,所以我们得知:方差小的数值对于修正值的影响更大。
那么,n次观察后的x平均方差,则为上述结果的2次方,即:
(原来的方差)÷n
21-6 测量两次水温之后的贝叶斯推理
最后我们来研究,如果测量两次水温的话,烧水的问题该如何推理呢。运用上一节的公式(ⅱ),并将21-2中的问题进行如下变更:
用不准确的温度计测量两次热水的温度
要把洗澡水加热到适宜的温度42℃。当认为已经烧开的时候,便用温度计测量了水温。但由于所使用的温度计不够准确,因此设定测量的温度x,遵循以实际温度θ为平均值、标准偏差为2℃的正态分布的概率分布。现在,温度计显示的温度为:第一次为40℃,第二次为41℃。那么,实际的水温为多少度呢?
那么,这两次测量值的平均值为:
因此,运用上一节中的公式(ⅱ),(注意n=2),通过以下方法计算正态分布p(θ|=40.5)的平均值(期待值),为:
这以结果反映了两次测量结果的修正值。