如何产生收敛于某个平稳分布π(x)的随机变量序列(马尔可夫链),是实现马尔可夫链蒙特卡洛方法的关键。根据马尔可夫链的建立原则,链中的各个观测值的产生过程应该是依次进行的,后一个观测值的产生只依赖于前一个观测值,而与更早产生的观测值无关。也就是说,在建立马尔可夫链过程中的任一时刻t(t≥0),序列中下一时刻t+1处的取值X(t+1)由条件分布P(x|X(t))决定,它只依赖于时刻t处的状态,而与时刻t以前的历史状态无关。因此,马尔可夫链的建立过程就是从一个时刻状态向下一个时刻状态转移的过程,其一步(次)转移概率函数为P(X(t+1)=x′|X(t)=x),该转移概率函数可以记为p(x,x′),称为该马尔可夫链的转移核,通过该转移核产生的且收敛的随机变量序列的分布即为平稳分布π(x)。因此,转移核的构造就成了实现马尔可夫链蒙特卡洛方法的关键,不同的马尔可夫链蒙特卡洛方法,其实质往往也就是构造转移核的方法不同。而在现在的实际应用研究中,大多数马尔可夫链蒙特卡洛方法在构造转移核时,关键就是要写出模型参数(变量)的满条件分布(fullconditionals)。所谓满条件分布,就是在条件分布中,所有的模型参数(变量)应该全部出现,或出现在条件中,或出现在变元中。在关于项目反应理论模型的相关研究文献中一般会提供各相关参数的满条件分布。
由于模型参数的特性是通过建立的马尔可夫链的样本进行估计的,而该马尔可夫链应该收敛到某个平稳分布π(x)上,因此,理论上,该平稳分布应该要服从模型参数的后验分布(posteriordistribution)。
另外,任何一个马尔可夫链的建立都需要有一个起始点,即初始值X(0)。虽然经过研究发现非常不同的初始值最终也能够收敛到平稳分布,但选择一个更加合理的初始值应该能够提高收敛的效果。接着的另外一个问题是,什么时候才能认为抽样过程已经收敛了呢?这虽然没有统一的标准检验判断方法,但是,从经验出发,如果产生的观测值足够多,如6000或更多,那么,它应该是收敛的。另外,也可以通过以下经简化的方法来进行验证,在建立马尔可夫链的过程中,每隔一段计算该段所有观测值的平均数,当所有平均数趋于稳定时,可以认为抽样过程收敛。
马尔可夫链的具体建立方法主要有以下几种:Gibbs抽样方法、Metropolis-Hastings抽样方法、Gibbs结合Metropolis-Hastings方法。
在项目反应理论研究和应用中,Gibbs方法就是从模型参数的满条件分布中直接进行反复迭代抽样,这个过程与项目反应理论中的联合极大似然估计过程类似,即一个参数估计(产生)值作为估计(产生)另一个参数的已知值,如此循环进行迭代更新,因此,Gibbs抽样是单元素抽样,因为每一步只从单个参数的满条件分布中进行抽样。然而,该方法的实现通常涉及计算正态化常数,使样本难以抽取,这个步骤使得该方法显得不够简洁便利。
三、马尔可夫链的使用
建立了服从某个平稳分布的马尔可夫链之后,通常以这个马尔可夫链的样本平均数作为参数的估计值。当然也可以通过这个马尔可夫链的样本来估计参数估计的标准差等。在实现马尔可夫链的过程中,开头的部分观测值会显得非常不稳定,因此,在实践研究当中,通常是以删除了马尔可夫链开头的部分观测值(burn-in)之后剩余的观测值作为研究样本。
下面还是以DINA模型为例,简单介绍利用马尔可夫链蒙特卡洛方法估计项目参数和被试属性掌握模式的过程。这里需要估计的参数为项目的猜测参数s、失误参数g,以及被试的属性掌握模式α。这些参数的联合后验分布可以表示如下: