假设第一步工作已经做得很好，选项分析的第二步就是统计每种选项上的被试人数。但在认知诊断评价中，我们关注的重点并不是正确选项人数是否占优势，或错误选项之间分布是否均匀等问题。我们关注的是代表不同错误规则的错误选项上的人数比例。如果某错误选项上的人数比例较高，这可能意味着教育者的教育过程出现了问题，当然也很可能是该选项表达的内容很难与正确选项区分开来。如果某错误选项基本上没有作答者选择，那么可能因为其表述的倾向过于明显，当然也有可能是作答者根本不会出现这类错误规则，该选项就应该被删除。
三是项目参数质量分析。项目参数分析是项目质量分析中的重要内容之一。在经典测量理论中，项目参数主要是从测试群体的角度进行评价的，它要求项目区分度高，难度适中。在项目反应理论中，项目参数则可以从测试个体的角度进行评价，它仍然要求项目区分度高，但项目难度则可以针对不同的被试水平有不同的价值，被试水平与项目难度越接近，则可以获得越大的信息量。总之，在评价被试时，项目参数的大小是有优良之分的，因为它能影响测量误差的大小。
在认知诊断评价中，根据对数据资料的不同解释逻辑，构建了许多包含不同参数的模型，这些模型参数的意义也不相同。但无论项目参数如何构建，各种模型的被试参数反映的总是关于属性的掌握状态。项目参数是以被试的实际作答表现来估计的，反映了被试某方面的分布特征，与被试水平分布有着内在的关联。在评价被试属性掌握状态时，不同模型的项目参数值大小同样有优劣之分、合适与不合适之分。
被试属性与测验属性是一致的，但不同项目测试的属性及属性个数可能并不相同，因此，项目提供的信息是针对其测试的属性来说的。由于模型参数不一致，所以我们无法统一评价项目参数的大小，但我们可以给出项目参数评价的基本原则，那就是参数的大小应该以评价被试相应属性提供的更大信息量为标准。以DINA模型为例，其项目参数包括失误参数和猜测参数，两种参数均是表示作答结果偏离被试真实水平表现的程度，也就是说，这两个参数值越大，意味着该项目在评价被试真实水平时会有更大的误差，信息量也就越小。不过，失误参数和猜测参数分别反映了被试群体的不同分布特征，失误参数反映了高水平被试的作答分布特征，而猜测参数则反映了低水平被试的作答分布特征。失误参数值高意味着该项目不适合评价高水平被试，猜测参数值高则意味着该项目不适合评价低水平被试。如果两个参数值均较高，则该项目应该被替换。
二、测验质量评价
测验质量评价是从整体上评价测验在测量被试水平时的稳定性和有效性，也就是评价测验的信度和效度水平。
（一）测验信度评价
信度反映了测验受到随机误差因素影响程度的大小。随机误差因素非常多，研究者已经针对一些重要的随机误差因素开发了测量其影响大小的方法和技术。比如，时间对测验结果稳定性的影响，研究者一般通过同一测验在两次不同时间测量结果的一致性程度来表示；题目抽样对测量结果一致性的影响程度则通过复本信度、分半信度或其他内部一致性信度指标来测量；等等。项目反应理论基于项目参数计算测验对不同能力水平被试提供的信息量大小，以此反映测验在估计被试能力水平时的测量误差，项目参数反映了项目本身的编制质量。
在认知诊断评价中，测验结果的稳定性或一致性同样是非常重要的问题，在提供诊断性结果的评价中，这甚至是一个需要更加重视的问题。
