一、极大似然估计
关于极大似然估计,我们可以先看一个例子:
某位同学与一位猎人一起外出打猎时,一只野兔从前方窜过。只听一声枪响,野兔应声倒下,如果让你推测,这一发命中的子弹是谁打的,你就会想,只发一枪便打中,由于猎人命中的概率一般大于这位同学命中的概率,看来这一枪是猎人打的。
在上述例子中,关于结果所做的推断(执果寻因)就体现了极大似然估计的基本思想。
我们以DINA模型为例,通过估计其项目参数来讲解极大似然估计的原理和过程。
若我们已获得所有被试在测验第i题上的作答得分向量(x1,x2,x3,…,xn),以及所有被试的属性掌握模式αj(j=1,2,…,n),该题的属性向量为qi。我们的目标是估计未知的项目参数βiη。
因此,求项目参数βiη的估计值的问题,就变成了求似然函数L(βiη)的最大值的问题。而求函数极大值的问题,只要导函数存在,一般就会转化为求函数对未知参数的一阶导并令其为0的方程根的问题。所以,求上面这个似然函数极值的问题可通过解下面这个方程:
来解决。解这个方程得到的βiη值,就是项目参数的合理估计值。
似然函数式(7-2)为概率的连乘积,如果对该似然函数式取对数,则可以转换为概率连加和的形式,这将大大简化计算过程。而且,因为lnL是L的增函数,所以,lnL与L会在相同位置取得最大值。我们称l(βiη)=lnL(βiη)为对数似然函数(log-likelihoodfunction)。因此,我们常将方程(7-3)写成:
方程(7-4)称为对数似然方程。解方程(7-4)或(7-3)得到的值,就是项目参数的极大似然估计值。
总结求极大似然估计值的一般步骤如下:
①导出样本结果的联合概率函数(或联合密度);
②把样本联合概率函数(或联合密度)中因变量看作已知常数,而把未知参数看作自变量,得到似然函数;
③求似然函数的极大值点(常转化为求对数似然函数的极大值点);
④在极大值点的表达式中,将样本值代入就得到参数的极大似然估计值。
二、牛顿-拉夫逊迭代
解似然方程的过程经常会用到迭代算法。运用最多的迭代算法就是牛顿-拉夫逊迭代方法。牛顿-拉夫逊迭代方法是在解牛顿迭代式基础上进行的。设r是f(x)=0的真实根,但这个根有时候很难或无法通过直接解方程的方法求出来,于是我们会采用迭代算法,以得到r的一个近似估计值。迭代的过程如下:首先,选取x0作为r的初始近似值;然后,过点[x0,f(x0)]做曲线y=f(x)的切线L,可以知道L的方程为y=f(x0)+f′(x0)(x-x0),于是,可以求出切线L与轴交点的横坐标x1=x0-f(x0)/f′(x0),称x1为r的一次迭代近似值。接着,过点[x1,f(x1)]再次做曲线y=f(x)的切线,并求该切线与x轴交点的横坐标x2=x1-f(x1)/f′(x1),称x2为r的二次迭代近似值。重复以上过程,就可以得到r的一个近似值序列(x1,x2,…,xn,xn+1),其中,
称为r的第n+1次迭代近似值,式(7-5)亦称为牛顿迭代式,而式(7-6),
也就成为迭代过程中估计值的校正公式。当然,迭代过程不可能无休止地进行下去,必须设定一个中止规则。常用的中止规则就是,当相邻的两个迭代近似值之间的差异小于某个足够小的预先设定值,如0.01时,中止迭代过程,也就是迭代校正公式中ε<0.01,以最新的迭代近似值作为方程f(x)=0的根r的一个近似估计值。我们可以将以上迭代算法的过程通过几何图形的形式加以直观解释,如图7-1所示。
图7-1 牛顿迭代过程图