认知诊断测验的质量评价包括对单个项目质量的评价和对测验整体质量的评价。测验作为评价被试素质水平的工具，无论是单个项目质量的评价还是测验整体质量的评价，其目标均是能够为评价被试提供稳定的、有效的信息。
一、项目质量评价
在经典测量理论和项目反应理论中，项目质量分析包括项目呈现形式的分析（如文字表述方式、提问方式、选项内容长短不一等方面的检查）、选项分析、难度和区分度分析等，在项目反应理论中，还可以针对测验目标分析每个项目的信息量（测量误差信息）等。
在认知诊断评价中，项目质量分析的内容角度与项目反应理论基本是一样的，但认知诊断测验项目的应用情境还是有一些关键的不同之处，因此在具体的项目质量分析过程中存在一些差异。
首先，在认知诊断评价中，测验项目编制的主要目的是对被试进行诊断，而不是对被试进行排序或选拔。诊断测验一般是低厉害测验。因此，项目的功能主要是诊断各类被试学习不足的方面。
其次，在认知诊断评价中，对被试的评价并不是在一个一般（general）维度上的水平测量，而是对多个子属性的掌握状态的评估。因此，不同项目可能测量了不同的子属性，项目质量评价就需要考虑在不同子属性上的测量信息。
再次，在认知诊断评价中，不同的诊断模型或方法构建差异非常大，其参数意义也存在很大的不同。因此，在用模型参数对项目质量进行评价时并不能一概而论。
最后，在认知诊断评价中，作为评价的目标——被试属性发展状态的表示方式也存在差异。潜分类模型将被试属性发展状态表示为在一系列属性上离散的掌握模式，而连续潜特质模型则将被试属性发展状态表示为在一系列属性上连续的掌握模式。被试水平的不同表示方式会影响基于被试测试数据的分析方式。
根据项目质量分析的一般架构，同时结合认知诊断评价的具体情境，对认知诊断测验的项目质量分析可以从以下几个方面进行。
一是项目内容及其表述方式的检查。项目内容表述不清，容易使作答者无法理解或理解出现偏差，从而导致出现不同的作答结果，无法准确认定被试的认知属性。对项目内容表述方式的检查一般是要求文字表述清楚且通顺，不会引起误解。文字的表述尽量使用短句，不要有太多的连接词和修饰词，尽量不要使用反问句式。文字表述的内容要使作答者和题目命制者在意义理解上达成一致。
具体的内容检查过程中，先由有经验的测验编制专家对各个项目的表述方式进行完整的检查；然后找到部分被试代表对各个项目表述的意义进行解释，并尝试作答，以此分析被试对各个项目意义的实际理解是否与命题专家一致。
二是选项分析。针对选择题型一般需要进行选项分析。在经典测量理论和项目反应理论中，一般认为，选项中除了正确选项就是错误选项。在认知诊断评价中，项目的选项分析显得尤为重要，它认为项目的各个选项均提供了关于被试属性发展水平的信息，当然这对选择题型题目命制者也提出了更高的要求。
在进行项目选项分析之前，需要从测验开发者那里获得关于各个选项测试的属性及其水平的信息。一般来说，一个项目测试的属性最好不要随着选项的变化而变化，但是可以随着选项的变化而表示不同的属性掌握水平，每个错误选项代表一种错误的解题规则。
在认知诊断测验项目选项分析中，首先从内容上分析各个错误选项是否代表了该项目测试属性的主要错误规则。选择题的选项除正确选项外，一般代表了对某个概念或规则理解的偏差，这也正是认知诊断评价的主要关注目标。在某属性上可能的主要错误规则需要领域专家进行判断，因此，第一项选项分析工作需要领域专家完成。其实，这项工作可以在测试之前的认知模型定义或题目命制阶段完成。
