现在,假设有一种现象,每天发生一次,或不发生一次。例如“客人总数超过100人”的现象,假设其发生的概率为p,则不发生的概率便为1-p。以10天为单位,对该现象进行观察,结果是10天当中有4天发生了,而剩余的6天没有发生。这时,推断概率p为多少才算合适呢?
关于这一点,最自然的推断应该是这样的:既然10天中有4天发生了该现象,那么概率p应该是4÷10=0.4。这与统计学中,求“发生次数的平均值”,并以此作为p的推断值,道理是相同的。如果用数值1表示该现象发生,数值0表示该现象未发生,那么观察的数值中,1有4个,0有6个。用相加之和10来相除,平均值为0.4。
此处,有一个疑问是:为何要将发生次数的平均值作为该现象发生概率p的推断值呢?仔细想想,“在这几次当中,该现象发生了几次”与“该现象发生的概率”,其实并没有直接的关联。而为其添加理由的时候,就是运用了极大似然原理。
关于发生概率为p的现象,以下,将“10次中恰好有4次发生该现象的概率”L用含p的公式来表示。计算方法会在第10讲中进行解说,此处只给出结果。
“10次中恰好有4次发生该现象的概率”
L=210×p4×(1-p)6
那么,当概率p发生变化时,概率L的数值又将变为多少呢?下面我们用表计算软件来进行计算。将上述函数用图表8-1来表示,概率p为横轴,概率L的数值为竖轴。
图表8-1 概率L的数值
例如,当p=0.2时,按上述公式210×0.24×0.86计算,得出L约为0.088的结果,即横轴0.2处所对应纵轴的高度。通图看表可知,当p=0.4时,L达到最大值。那么换言之,将平均值0.4设定为p时,观察到的结果(10次中有4次发生该现象)的概率L也将最大。因此,在通常的统计推理中,我们一般会将p推算为0.4,并将0.4称为p的“极大似然推算量”。这里使用了“极大似然”这一术语,因此,该方法中运用了极大似然原理,也是显而易见的。实际上,由于p=0.2时的结果L的概率约为0.088,p=0.4时的结果L的概率约为0.25,所以我们认为,使结果的概率变大的原因p=0.4是最佳的。
“极大似然估计量”恰好等于平均值,并不仅限于该例。
关于这一点,可以很轻松地证明出来:观察N次,其中发生了x次,此时的极大似然估计量就是x÷N(使用微分法)。总之,极大似然原理与平均值这一统计量密切相关。
在这里,改变概率p,与在现象发生的原因(类别)中设定先验分布,并使之变化的道理是类似的。因而我们可以这样理解:极大似然估计量的思考方式与贝叶斯推理是存在共通之处的。
总之,以极大似然原理为桥梁,可以让我们明白:标准统计学与贝叶斯统计学之间,存在着共通共融的思想。
第8讲·小结
1.极大似然原理是指,采用使观察到的现象的发生概率最大的原因的原理。
2.我们可以认为,贝叶斯统计学中的先验概率是极大似然原理的应用之一。
3.标准统计学的点推理中,采用使观察到的现象的概率最大的函数作为推断值,这也是极大似然原理的应用之一。
4.普通统计学与贝叶斯统计学的共通思想,便是极大似然原理。
练习题
答案参见此处
做投图钉的实验,测试是针头朝上还是平头朝上。投了3次的结果是:有2次针头朝上,1次平头朝上。以极大似然原理为前提,完成下列()的填空。
设针头朝上的概率为p,则,
(2次针头朝上,1次平头朝上的概率)
=3p2×(1-p)
之后,判断p=0.4和p=0.7,哪一个的可能性更大。
假设p=0.4,那么
(2次针头朝上,1次平头朝上的概率)
=3()2×()=()…… ①
假设p=0.7,
(2次针头朝上,1次平头朝上的概率)
=3()2×()=()…… ②
①与②相比,()更大,依据极大似然原理,如果最终要选择其中一个作为答案的话,则p=()较为合适。