正在阅读《第一节 几个基础概念》
第(1/2)页


一、极大似然估计

关于极大似然估计,我们可以先看一个例子:

某位同学与一位猎人一起外出打猎时,一只野兔从前方窜过。只听一声枪响,野兔应声倒下,如果让你推测,这一发命中的子弹是谁打的,你就会想,只发一枪便打中,由于猎人命中的概率一般大于这位同学命中的概率,看来这一枪是猎人打的。

在上述例子中,关于结果所做的推断(执果寻因)就体现了极大似然估计的基本思想。

我们以DINA模型为例,通过估计其项目参数来讲解极大似然估计的原理和过程。

若我们已获得所有被试在测验第i题上的作答得分向量(x1,x2,x3,…,xn),以及所有被试的属性掌握模式αj(j=1,2,…,n),该题的属性向量为qi。我们的目标是估计未知的项目参数βiη。

因此,求项目参数βiη的估计值的问题,就变成了求似然函数L(βiη)的最大值的问题。而求函数极大值的问题,只要导函数存在,一般就会转化为求函数对未知参数的一阶导并令其为0的方程根的问题。所以,求上面这个似然函数极值的问题可通过解下面这个方程:

来解决。解这个方程得到的βiη值,就是项目参数的合理估计值。

似然函数式(7-2)为概率的连乘积,如果对该似然函数式取对数,则可以转换为概率连加和的形式,这将大大简化计算过程。而且,因为lnL是L的增函数,所以,lnL与L会在相同位置取得最大值。我们称l(βiη)=lnL(βiη)为对数似然函数(log-likelihoodfunction)。因此,我们常将方程(7-3)写成:

方程(7-4)称为对数似然方程。解方程(7-4)或(7-3)得到的值,就是项目参数的极大似然估计值。

总结求极大似然估计值的一般步骤如下:

①导出样本结果的联合概率函数(或联合密度);

②把样本联合概率函数(或联合密度)中因变量看作已知常数,而把未知参数看作自变量,得到似然函数;

③求似然函数的极大值点(常转化为求对数似然函数的极大值点);

④在极大值点的表达式中,将样本值代入就得到参数的极大似然估计值。

二、牛顿-拉夫逊迭代

解似然方程的过程经常会用到迭代算法。运用最多的迭代算法就是牛顿-拉夫逊迭代方法。牛顿-拉夫逊迭代方法是在解牛顿迭代式基础上进行的。设r是f(x)=0的真实根,但这个根有时候很难或无法通过直接解方程的方法求出来,于是我们会采用迭代算法,以得到r的一个近似估计值。迭代的过程如下:首先,选取x0作为r的初始近似值;然后,过点[x0,f(x0)]做曲线y=f(x)的切线L,可以知道L的方程为y=f(x0)+f′(x0)(x-x0),于是,可以求出切线L与轴交点的横坐标x1=x0-f(x0)/f′(x0),称x1为r的一次迭代近似值。接着,过点[x1,f(x1)]再次做曲线y=f(x)的切线,并求该切线与x轴交点的横坐标x2=x1-f(x1)/f′(x1),称x2为r的二次迭代近似值。重复以上过程,就可以得到r的一个近似值序列(x1,x2,…,xn,xn+1),其中,

称为r的第n+1次迭代近似值,式(7-5)亦称为牛顿迭代式,而式(7-6),

也就成为迭代过程中估计值的校正公式。当然,迭代过程不可能无休止地进行下去,必须设定一个中止规则。常用的中止规则就是,当相邻的两个迭代近似值之间的差异小于某个足够小的预先设定值,如0.01时,中止迭代过程,也就是迭代校正公式中ε<0.01,以最新的迭代近似值作为方程f(x)=0的根r的一个近似估计值。我们可以将以上迭代算法的过程通过几何图形的形式加以直观解释,如图7-1所示。

图7-1 牛顿迭代过程图

相关小说

三国之狂战将军 历史 / 完结
三国之狂战将军
历史天空
这是一部有背叛和阴谋的小说,为了在大乱之中活下去,改变了历史又能如何?所做的一切,都是为了让自己活下去,让爱我的人活下去。三国,一个热血男儿的时代,一个英雄辈出的时代。骑射无双的白马义从!锐不可当的先登死士!攻无不克的陷阵营!名震天下的虎豹骑!这是一本给爷们看的不一样的三国小说!
564.78万字 1 小时更新
徒儿你无敌了,下山去吧 都市 / 完结
徒儿你无敌了,下山去吧
求求你让我火吧
毕业酒席上,父母兄弟惨死,遭遇追杀,侥幸逃生,昆仑山上习武五年,我强势归来!“你是顶尖阔少,我惹不起你?我师父一巴掌可以拍死!”“你是中医之王?我师父乃鬼门传人,十三针定天下人生死!”“你是宗师武者,一人之下,万人之上?我师父坐镇昆仑,天下宗师来拜!”“你是江南王,权倾天下?我师父曾为帝师,是你上司的上司!”“你亿
591.32万字 1 小时更新
大周仙吏 武侠 / 完结
大周仙吏
荣小荣
穿越妖魅横生,群魔乱舞的仙侠世界,李慕开始真的只想苟活,可他无意中救了的小狐狸忽然口吐人言,说要以身相许……这是一个现代青年穿越仙侠世界,斩妖除魔,匡扶正义的故事。读者群:686508501。
202.3万字 2 小时前
无尚尊 武侠 / 完结
无尚尊
无尚1314
他本是一个无心的人,好似一切都是命中注定,他不知道自己生的意义,只能在这条道路前行,去摸索与追寻为何生,从神秘莫测的古今神话,到波澜壮阔的历史浪潮中,追寻着先辈圣贤的足迹,找寻着自己的本心,去追寻一个没有答案的答案。 ...
166.85万字 2 小时前
给人当挂件多年,我决定开挂了 武侠 / 完结
给人当挂件多年,我决定开挂了
一难
大小姐被修仙人收徒了,而我是个随手赠的;大小姐开始练功了,我在旁边安安稳稳当挂件;大小姐对敌了,然后……大小姐躲我身后了。坑爹呢这是!我给你炼丹,我给你炼器,我把最好的都给你,结果打架还是要我来?我只是个挂件,不是开挂啊。
414.58万字 1 小时更新
全世界OL 游戏 / 完结
全世界OL
二十七颗豆
韩光,一个的程序员,靠着自己的努力,创造出一个以全世界为背景的游戏。在不断完善它的时候,韩光的思维突然被它代替……可这个世界,真的是他所创造的?造物主的出现,引起了这个世界的波澜!人类,是否真的会被抹除?还是会在历史中继续流淌?
88.36万字 2 小时前