在大规模评价项目中，最常用的测量工具就是测验，基于对测验及项目的深入分析，可以对被试个体和群体的水平进行评价。作为评价工具的测验质量直接影响结果的准确性和有效性。经典测量理论和项目反应理论对被试的评价是基于一个累加总分或能力特质分数，这个指标能够对被试水平进行排序，但很难进行更细致的评价。
一、认知诊断评价测验设计目标
认知诊断评价理论提出的最根本目的就是实现对被试水平更细致的分析，诊断出影响被试作答表现的内部原因，发现被试在某特质领域里的认知发展状态和不足之处，从而协助被试和教育者针对不足进行辅导。为此，认知诊断评价理论需要首先定义测验测量的领域知识、加工技能、加工策略等，雷通等人（Leighton，Gierl，& Hunka，2004）将这些认知属性及其层级结构关系叫作认知模型，强调认知模型应该在测验项目编制之前就定义好，以指导测验项目的编制，这样才能保证测验内容结构的唯一性和稳定性。
艾姆布雷孙等人（Embretson & Gorin，2001）认为过去我们在编制测验时几乎忽略了认知心理学的指导价值。在传统的测验编制中，测验结构的定义非常模糊，测验项目编制者也是主要凭经验进行工作，测验项目编制完成后，由学科领域专家进行审核，最后通过试验性数据分析来证明测验的效度。大多数情况下，试验数据分析结果并不会根本改变测验的组成及其结构。其实，一开始的测验设计和最后得到的测验结构之间经常是不一致的，而且研究者会更相信最后的试验分析结果。
艾姆布雷孙等人强调认知心理学理论、方法在指导测验编制时具有的独特的重要性。在典型的认知心理学研究中，主试在实验中设置和操纵各种任务条件，以检验关于某个结构及其加工机制的假设。在实验中，任务特征可以系统变化以产生不同的加工难度。关键是，在认知心理学研究中，理论是研究者预先精细假设的，设置和操纵任务是为了验证该理论假设是否成立，理论和任务两者之间的逻辑关系非常严密。这种研究范式和传统的测验编制模式存在明显的不同。
艾姆布雷孙等人认为认知心理学至少可以从以下几个方面促进测验效度的提高：①辅助定义测验结构和编制题目任务，详细定义影响任务难度的特征；②为诊断性评价提供理论基础，详细定义完成任务所需的知识、技能；③为自动评分提供准则，指导结构定义、测验设计和任务设计的有机整合；④为题目自动生成算法提供结构定义和刺激特征描述。
二、认知设计系统
艾姆布雷孙等人提出了基于认知心理学理论的认知设计系统（cognitivedesignsystem，CDS），指导如何设计符合某个特定结构定义的题目。认知设计系统包括两个框架：一是概念框架（conceptualframework），二是程序框架（proceduralframework）。
概念框架区分了结构效度两个相对独立的方面：结构表征和结构广度，分别表示结构本身的内涵定义和结构概念的外延范围。结构表征代表的是在任务解决中涉及的知识结构、加工过程和策略。认知心理学的研究范式主要是支撑结构表征的界定，任务的刺激特征定义及其难度的数学表达模式是主要的研究内容。结构广度涉及的是本测验分数与其他测量之间的关系，但不关心概念结构本身的内涵，这与克隆巴赫和米尔斯定义的概念网络（nomologicalnetwork）不同。当然，结构广度的验证过程必须基于结构表征的内容基础之上。将结构表征从结构广度中区分出来，可以让认知心理学理论和方法真正指导测验题目的生成和评价，因为它可以明确定义影响题目难度的精细化的刺激特征。
