认知诊断评价理论提出了诸多的模型，每种模型都有与之相适应的问题情境。在选择一个合理的模型之前，首先需要分析问题情境，检验模型是否很好地描述了该问题情境。只有模型和问题情境之间相互适应，基于该模型进行的数据分析和结果评价才是有效的，否则其结果就会偏离评价的目标，产生误导。
一、作答过程真实性检验
在测量过程中，被试真实地表达自己的能力水平或意愿，是保证测量结果和评价过程准确性的基础。
检验被试作答过程是否真实的最直接的方法，就是通过客观取证的手段，即重要的测量项目在严格的监控条件下进行，通过监控直接观察被试的作答状态。在许多情形下，通过直接查看监控以发现被试作答真实性是难以实现的，特别是当测量的对象规模非常大时，这时就需要通过能够进行大规模筛查的方法进行甄别。当然，有些不真实作答即使通过监控也是很难辨别的，如不认真地随机作答。
另外，可以从测量的具体过程进行分析，检查测试过程是否能够保证激发被试足够的动机以尽量真实地表现自己的特质水平。首先，要看测试的目的是什么，如果测试是用于研究的，那么被试的行为动机可能就没有那么强烈，导致作答结果不能完全反映被试的真实能力水平。如果测试是用于选拔、达标等可能影响被试自身利益的，那么就可能激发被试强烈的行为动机，从而使被试尽量真实地表现自己的能力水平。当然，对于社会倾向性测验，其作答情形可能正好相反，即被试在作答这类测验时，特别是当测验结果可能会影响自身的前途时，被试往往会企图掩盖自己的不足，做出符合社会一般期许的反应。对于测验目的可能给测验数据造成不同结果的问题，我们需要谨慎地对待。我们很多时候收集数据都是用于研究的，相比用于选拔等的测验，其结果的测量误差一般会更大，信度也会更低，当然效度也就会受到影响。麦克丹尼尔（McDaniel）等人就通过元分析发现，面试成绩对工作绩效的预测效度由于目的不同（研究目的和管理目的）而存在显著差异。所以，用于不同目的的测验一般不宜直接进行比较，需要首先进行必要的校正。其次，要检查测验施测时使用的指导语能否激发被试的作答动机，有些测验即使是用于研究的，我们也可以通过恰当的指导语来激发被试足够的作答动机。一般来说，除了一般需要说明的指导语之外，通过以下方法可以尽量地获得被试的真实作答反应：①让与被试有密切关系的人作为主试宣读指导语并监控测试过程；②明确说明研究的意义，意义的表达必须能够引起被试的关注，许多研究的意义可以从长远意义和社会意义的角度进行阐述；③明确表达研究的艰巨性，以及被试的作答对研究成败的关键性作用；④明确说明被试作答之后将会获得奖赏；⑤明确说明作答结果完全保密，且绝对不用于个人评价，并亲笔签上研究者的姓名（不能打印和复印）以做出承诺。另外，检查测试时的客观环境是否能够激发学生的作答动机也是非常重要的。在组织测试时，应该首先获得与被试关系密切者的积极支持和配合，在这方面应该花较多的时间进行沟通和商谈，并得到正式的支持承诺。测试最好不要安排在被试的休闲时间，测试的过程和形式应该让被试感觉到非常正规，还要注意测试地点的布置和安排不要影响被试正常作答。最后，要检查是否保证了足够的测试时间，以便被试能够充分发挥正常水平来作答所有测验项目。关于测验测试的时间，首先需要有经验的测验编制者进行主观估计，同时，还必须进行预测试以获取测试真实的正常时间。
