系列搜索法就是按属性个数进行逐步搜索,从局部最优过渡到整体最优。具体过程如下,首先从包括一个属性的属性向量开始进行比较,在这个局部计算所有的δj值,将使δj值最大的属性纳入下一步的属性组合。比如,在第一轮中,如果第一个属性计算的δj值最大,那么,下一轮将基于第一个属性与其余属性组成两个属性的向量计算δj值,而其他两两属性组合将不被考虑。如果第二轮的计算结果是第一个属性与第三个属性组合的δj值最大,那么,下一轮将基于第一个属性、第三个属性与其余属性组成三个属性的向量计算δj值。如果这一轮计算的所有δj值均小于上一轮最大的δj值,那么,搜索过程终止,否则按上述方法继续,直至发现最大δj值为止。系列搜索法比穷尽搜索法的计算量更小。
基于实际测试数据的属性验证过程还涉及题目参数和被试属性掌握模式的估计问题,每次更换题目属性向量时,可能就需要同时更新所有参数估计结果,这是一个非常庞大的计算。为此,提出了基于EM算法的解决方案(delaTorre,2008),其项目参数的估计为:
式子中的上标0和1分别代表了未掌握所有规定属性的被试期望作答结果和掌握了所有规定属性的被试期望作答结果(具体的参数估计过程请参见后面章节中关于基于EM算法的边际极大似然估计的相关内容及其示例)。
基于实际测试数据对题目属性进行统计推断的方法不可避免地会遇到统计算法中经常出现的问题。首先,参数估计会受到实际数据的影响而可能出现偏差,特别是在当前问题情境下,错误的属性定义可能还会给其他项目参数的估计传导误差效应。另外,统计推断的参照标准的确立会直接影响统计推断结果,因为在实际测试数据情形下,统计量值总是在波动变化,可能会服从某种分布规律,但在进行统计推断之前,需要确定其分布规律及判断临界值。比如,在当前问题情境下,δj值既包括真值,也就是真正由不同掌握模式被试导致的真实差异,也包括误差值,也就是实际测试数据中可能包含的各种误差来源的影响效应。因此,最大的δj值对应的属性掌握模式不一定就是真实的题目属性向量。作为标志题目属性定义合理性的统计量——δj值能够为统计推断提供支持信息,这些支持信息必须结合专家判断才能做出合理的决策。
喻晓锋等人(2015)受项目反应理论中模型-资料拟合检验方法的启发,提出一种题目属性定义和检验的方法。他们认为,在认知诊断评价中,测验中的题目属性定义与作答反应数据的拟合情况,应该也是可以按照类似项目反应理论中的模型-资料拟合检验的方法进行检验的,选择拟合指标最好的题目属性向量作为当前作答反应数据所对应的题目属性定义。基于这种逻辑假设,提出了一种简单易懂的定义和验证题目属性向量的方法:基于似然比统计量,同时对被试的属性掌握模式、题目参数和题目的属性向量进行联合估计和验证。
首先,假设已经有少部分题目属性被正确定义,称这部分题目的集合为“基础题”,记为Qbase。属性向量未定义的题目集合为“新题”,记为Qnew。采用“增量”的方式每次从“新题”集合中选择一个题目(记为qnew)累积加入Qbase中,然后联合估计Qbase的题目参数、qnew的属性向量和题目参数,直到所有新增题的属性向量和参数都被估计。接下来的估计过程包括两大步骤。
第一步是估计所有新增题目的属性向量和题目参数,包括以下几个具体步骤:
①从Qnew中选择一个题目,记为qnew,将qnew加入Qbase中,并且把qnew作为第1个题目;
②以Qbase、qnew和作答数据为基础,使用MMLE/EM算法(delaTorre,2008)联合估计题目参数和被试的属性掌握模式;
