程序框架包括了一系列步骤,界定如何在认知心理学理论基础上进行测验设计。为了使编制的题目能够测量预先定义的结构,就需要首先了解影响题目解决过程的系列具体刺激特征。程序框架共包括七个步骤,当然,这些步骤并不是一成不变的,为了使编制的题目符合要求,有些步骤就需要反复进行。这些步骤是:
①定义测量目标。测量目标需要从两个方面进行单独界定,一是测量结构的表征,二是测量结构的广度。
②针对具体任务领域,定义各类任务的设计特征。这些设计特征,或叫刺激特征,是组成各类具体题目的设计单元。通过变换认知加工、策略和知识结构,可以验证题目特征对应的结构表征。识别这些认知特征需要对认知心理学理论有较深入的理解。
③定义一个统一的测验认知模型,主要涉及三个方面:一是必须定义好测量的知识结构、认知加工过程和加工策略,这就必须进行广泛深入的文献调查研究;二是必须从操作的角度定义反映这些结构表征的具体刺激特征,最好通过实际题目来进行示例表示;三是需要基于实际题目和实测数据,对各认知特征的测量学特性进行分析,以评估各认知特征对题目难度、区分度的相对影响大小。
④设计和命制题目。在这个阶段,根据题目结构定义及各种组合替代规则,将各类刺激特征组合成实际的题目。题目结构定义的变化意味着不同的认知加工要求。将设计好的题目组成测验进行测试。
⑤根据测试结果对认知模型进行评估。这个阶段非常关键,因为需要验证测验的结构表征是否正确,以及题目的设计生成过程是否合理。对认知模型和测量学模型的合理性均需要进行验证。在认知模型的验证中,因变量是平均反应时和题目难度,自变量是题目的结构以及题目的刺激特征。根据各刺激特征的影响程度来评估其代表的认知特征的影响程度,验证的过程可能需要结合严密的实验操纵过程来进行,以保证结论更加可靠。测量学模型的评估是评价其与项目反应数据的拟合程度。
⑥生成题库。如果认知模型及各类刺激特征定义是合适的,那么,我们就可以通过组合不同难度的刺激特征,来生成不同认知复杂度的题目。
⑦结构广度的效度验证。生成的题目和测验是否达到了结构广度定义的要求,需要根据该测验和题目与其他测量结果之间的关系进行验证。
艾姆布雷孙等人提出的认知设计系统非常严密,对编制高质量的认知诊断测验具有重要的指导意义。然而,该系统在实际测验和项目编制中可能会遇到各种困难,该设计系统对每个步骤要求都非常严格,测验和项目设计者很难完全按标准做到。然而,作为一个参照标准,特别是指导认知诊断测验的编制时,测验设计者应该高度重视其价值。
三、测验题目与属性的组合模式设计
在认知诊断评价中,测量结果的精确性会同时受到测验长度(题目数量)、题目质量和题目与属性的组合模式的影响。因此,在保证题目编制数量和质量的同时,还必须要从总体上考虑测验中的题目与属性的组合模式设计。