正在阅读《第四节 马尔可夫链蒙特卡洛方法》
第(1/3)页

一、基本思想

关于马尔可夫链蒙特卡洛方法需要首先理解以下几个基本概念：随机过程、马尔可夫过程、马尔可夫链、蒙特卡洛方法。

随机过程研究的是随时间演变的随机现象。对于这种现象，一般来说，人们已不能用简单的随机变量或多维随机变量进行合理地表达，而需要用一族随机变量来描述。设T是一无限实数集，我们把依赖于参数t∈T的一族（无限多个）随机变量称为随机过程，记为{X（t），t∈T}，X（t）是一随机变量，T叫作参数集。我们常把t看作时间，称X（t）为时刻t时过程的状态，对于一切t∈T，X（t）所有可能取的一切值的全体称为随机过程的状态空间。对随机过程{X（t），t∈T}进行一次实际试验（即在T上进行一次全程观测），其结果是t的函数，记为x（t），t∈T，称它为随机过程的一个样本函数或样本曲线。当然，试验可以重复进行，所有不同的试验结果构成一族样本函数。因此，随机过程与其样本函数的关系就像数理统计中的总体与样本的关系一样。

关于马尔可夫过程，设随机过程{X（t），t∈T}的状态空间为I，如果对时间t的任意n个数值t1＜t2＜…＜tn，n≥3，ti∈T，在条件X（ti）=xi，xi∈I，i=1，2，…，n-1下，X（tn）的条件分布函数恰等于在条件X（tn-1）=xn-1下X（tn）的条件分布函数，即

则称随机过程{X（t），t∈T}具有马尔可夫性或无后效性，并称此过程为马尔可夫过程。通俗地说，马尔可夫过程是这样一类随机过程，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。而时间和状态都是离散取值的马尔可夫过程称为马尔可夫链。蒙特卡洛方法是一种使用随机数（或伪随机数）来解决很多计算问题的方法。当所求解问题是某种随机事件出现的概率，或者是某个随机变量的期望值时，通过实际试验的方法，以这种事件出现的频率估计这一随机事件的概率，或者得到这个随机变量的某类数字特征，并将其作为问题的解。蒙特卡洛方法的求解过程可以归结为三个主要步骤：构造或描述概率过程；从已知概率分布进行抽样；建立各种估计量。对于那些由于计算过于复杂而难以得到解析解或者根本没有解析解的问题，蒙特卡洛方法是一种求出数值解的有效的方法。

马尔可夫链蒙特卡洛方法，简称MCMC，产生于19世纪50年代早期，是在贝叶斯理论框架下，通过计算机进行模拟的蒙特卡洛方法。该方法将马尔可夫（Markov）过程引入蒙特卡洛模拟中，实现抽样分布随模拟的进行而改变的动态模拟，弥补了传统的蒙特卡洛积分只能静态模拟的缺陷。马尔可夫链蒙特卡洛方法通过模拟的方式对高维积分进行计算，进而使原本异常复杂的高维积分计算问题迎刃而解，使贝叶斯方法仅适用于解决简单低维问题的状况大有改观，为贝叶斯方法的应用开辟了新的道路。

马尔可夫链蒙特卡洛方法的基本思想，首先是通过序列抽样，产生关于模型参数的随机变量序列{X（0），X（1），X（2），…，X（t-1），X（t）}，这个随机变量序列最终收敛到某个平稳分布（stationarydistribution）π（x），该随机变量序列称为马尔可夫链；然后通过该随机变量序列的样本来推论（估计）模型参数的各种特性。因此，该方法有两个关键步骤：一是建立马尔可夫链；二是运用马尔可夫链的样本来估计模型参数的各种特性。

为了便于叙述和理解，下文将把马尔可夫链中的各个值称为观测值。

二、马尔可夫链的建立方法