我们还可以通过事后数据分析,检查是否存在作答数据不够真实的证据。数据分析可以主要从两个角度进行。首先,从数据描述的角度,可以从以下几个方面进行检查:①测验是否存在大量未作答情形,有经验的测验设计和编制者一般会较好地考虑到测试时间的合理安排。在这种情况下,如果作答数据中仍然出现大量未作答情形,那么,我们有理由相信被试没有认真作答。②被试总体得分分布偏离预想。一般情况下,研究者总是想选择一批特质水平分布较宽的被试,因此会通过预先调查来选择合适的被试。然而,如果被试的实际作答结果严重偏离研究者的预想,这也可能成为我们怀疑被试作答过程真实性的证据。③被试个体在各个项目上的作答没有规律。研究者在设计测试项目时,总是会根据自己的经验设计不同难度或不同维度的项目。然而,如果被试在所有项目上的作答结果没有表现出符合预期的规律,那么,我们也可以怀疑他没有认真作答。④被试作答结果存在形式上的规律性,如选择题的答案全部一致,或答案循环安排,如“ABC-ABC-ABC”的作答形式,这也可以作为被试未认真作答的证据。从数据推断的角度,可以从以下两个方面进行检查:①回访。研究者可以在测试以外的时间回访部分参与测试的被试,探查他们当时真实的作答态度和原因。当然,这个回访一定要在完全放松的环境下进行,让回访对象完全放松,不存在任何顾虑。关于访谈的方法和技巧,可以参考相关文献的内容。②效度验证。研究者可以收集一些关于测验的效标数据,如被试的老师对他们平时表现的评定、期末考试成绩、性格评定,等等。通过与这些效标证据的比较,可以大致看出被试的作答过程是否表现真实。
现在有许多学者研究了使用统计方法检验被试作答结果的真实性。这种方法一般需要首先建立真实作答状态下的理论模式,然后通过鉴别各种实际作答模式与理论模式之间的距离,从而做出作答真实性程度的判断。
龙冈(Tatsuoka,1996)在其提出的认知诊断方法中构建了一个个人作答模式拟合指数——ζ,用于鉴别被试的非正常作答模式。我们可以将其作为一个检验被试作答真实性的统计指标加以应用。由于后面的章节会详细介绍该指标,因此,这里只是简单介绍这个指标在检验作答真实性时的可能应用。
将f(X)重写为X的线性函数形式:
对于能力值为θi的被试,函数f(x)的期望为0,其方差为:
于是,作答模式拟合指数ζ就定义为函数f(X)的标准化形式:
根据上面的定义,我们可以注意到,当固定某个被试时,T(θ)、K(θ)和Var[f(X)]均为常数,而P(θ)也是固定的向量。也就是说,当我们在验证某个作答模式是否异常时,ζ指数只受到实际观察作答模式X与期望作答模式P(θ)之间一致性程度的影响。当X与P(θ)越保持一致变化趋势时,f(X)越小;当X的大小顺序偏离P(θ)的大小趋势时,f(X)就会增大。需要再次提醒的是,f(X)的期望为0,但实际上f(X)可能会取正值,也可能会取负值。
作答模式拟合指数ζ反映了被试实际作答模式偏离理论作答模式的程度,如果ζ值比较大,研究者就应该怀疑该被试的实际作答模式是不正常的。那么,究竟ζ值多大才应该被怀疑呢?这可能需要根据整个测试群体的ζ值分布,同时结合往年根据经验发现的非正常作答比例来协助判断。但无论如何,统计量只能为找出异常作答模式提供辅助信息,研究者却不能只依赖该信息做出被试是否作答异常的最终判断。
二、局部独立性检验
局部独立性检验与IRT中的检验原则是一样的。局部独立性检验需要从被试和项目两个角度进行。