正在阅读《第二节 认知诊断评价理论假设检验》
第(2/8)页


我们还可以通过事后数据分析,检查是否存在作答数据不够真实的证据。数据分析可以主要从两个角度进行。首先,从数据描述的角度,可以从以下几个方面进行检查:①测验是否存在大量未作答情形,有经验的测验设计和编制者一般会较好地考虑到测试时间的合理安排。在这种情况下,如果作答数据中仍然出现大量未作答情形,那么,我们有理由相信被试没有认真作答。②被试总体得分分布偏离预想。一般情况下,研究者总是想选择一批特质水平分布较宽的被试,因此会通过预先调查来选择合适的被试。然而,如果被试的实际作答结果严重偏离研究者的预想,这也可能成为我们怀疑被试作答过程真实性的证据。③被试个体在各个项目上的作答没有规律。研究者在设计测试项目时,总是会根据自己的经验设计不同难度或不同维度的项目。然而,如果被试在所有项目上的作答结果没有表现出符合预期的规律,那么,我们也可以怀疑他没有认真作答。④被试作答结果存在形式上的规律性,如选择题的答案全部一致,或答案循环安排,如“ABC-ABC-ABC”的作答形式,这也可以作为被试未认真作答的证据。从数据推断的角度,可以从以下两个方面进行检查:①回访。研究者可以在测试以外的时间回访部分参与测试的被试,探查他们当时真实的作答态度和原因。当然,这个回访一定要在完全放松的环境下进行,让回访对象完全放松,不存在任何顾虑。关于访谈的方法和技巧,可以参考相关文献的内容。②效度验证。研究者可以收集一些关于测验的效标数据,如被试的老师对他们平时表现的评定、期末考试成绩、性格评定,等等。通过与这些效标证据的比较,可以大致看出被试的作答过程是否表现真实。

现在有许多学者研究了使用统计方法检验被试作答结果的真实性。这种方法一般需要首先建立真实作答状态下的理论模式,然后通过鉴别各种实际作答模式与理论模式之间的距离,从而做出作答真实性程度的判断。

龙冈(Tatsuoka,1996)在其提出的认知诊断方法中构建了一个个人作答模式拟合指数——ζ,用于鉴别被试的非正常作答模式。我们可以将其作为一个检验被试作答真实性的统计指标加以应用。由于后面的章节会详细介绍该指标,因此,这里只是简单介绍这个指标在检验作答真实性时的可能应用。

将f(X)重写为X的线性函数形式:

对于能力值为θi的被试,函数f(x)的期望为0,其方差为:

于是,作答模式拟合指数ζ就定义为函数f(X)的标准化形式:

根据上面的定义,我们可以注意到,当固定某个被试时,T(θ)、K(θ)和Var[f(X)]均为常数,而P(θ)也是固定的向量。也就是说,当我们在验证某个作答模式是否异常时,ζ指数只受到实际观察作答模式X与期望作答模式P(θ)之间一致性程度的影响。当X与P(θ)越保持一致变化趋势时,f(X)越小;当X的大小顺序偏离P(θ)的大小趋势时,f(X)就会增大。需要再次提醒的是,f(X)的期望为0,但实际上f(X)可能会取正值,也可能会取负值。

作答模式拟合指数ζ反映了被试实际作答模式偏离理论作答模式的程度,如果ζ值比较大,研究者就应该怀疑该被试的实际作答模式是不正常的。那么,究竟ζ值多大才应该被怀疑呢?这可能需要根据整个测试群体的ζ值分布,同时结合往年根据经验发现的非正常作答比例来协助判断。但无论如何,统计量只能为找出异常作答模式提供辅助信息,研究者却不能只依赖该信息做出被试是否作答异常的最终判断。

二、局部独立性检验

局部独立性检验与IRT中的检验原则是一样的。局部独立性检验需要从被试和项目两个角度进行。

相关小说

余生有你超幸运 都市 / 完结
余生有你超幸运
南烟
他们是亲梅竹马,两小无猜。 一次翻天覆地的变化后,他们失散了。 十五年后,再遇见,她还是她,可是他却早已忘记了她是谁。 为了恢复他的记忆,她假冒心理医生混进了他的家里。 女;“你终日心神不定,满目愁容,病的不轻。” 男;“你才有病。” 女;“有病的人往往都爱说自己没病,其实你已经病入膏肓了,得治。” 男;“冒昧问一句,我这叫什么病?” 女;“相思病。” ...
106.3万字 6 年前
亿万继承者追妻:九十九次说爱你 都市 / 完结
亿万继承者追妻:九十九次说爱你
千殇玥
冷峻是X市只手遮天的商界主宰,少年天子,翻手为云,覆手为雨,却从不近女色。 温落离和冷峻协议结婚后,才知道他有多热情如火,精力旺盛,她双手抵着他的胸膛,一脸惊慌,结结巴巴的张口,“我······警告你,别乱来······” 冷峻伸出长臂,将她禁锢在身前,薄唇微微勾起,笑得俊美异常,“招惹了我就想逃之夭夭?” “冷峻,你到底什么时候才肯离婚?”温落离扶着酸疼不已的腰,昂起了下巴,望着男子那张风华耀眼的面孔,怒着问道。 “我们的契约没有结束,一辈子不离婚!”冷峻眼神炙热的盯着她,嘴角噙着笑意,认认真真的回答了一句。【此文1V1,男女主身心干净~】 ...
136.81万字 5 年前
布衣小神医 都市 / 完结
布衣小神医
岳枫南红玉
布衣谷小神医岳枫,奉师命入红尘历练,身怀上古秘术万古渡劫针,治病救人,惩恶扬善,纵横都市! ...
237.96万字 6 年前
狂爆神尊 玄幻 / 完结
狂爆神尊
不灭尊主
当诸天沦陷,当万界臣服,唯有不屈的灵魂,才能一战到底! 无名小卒,大难不死,打破九天十地! ...
188.39万字 6 年前
王爷你是想去哪 都市 / 完结
王爷你是想去哪
薄案
【不虐!】初生牛犊不怕虎,刚下山的安长歌便强势调戏了凶名在外的成王,然后肇事逃逸了。一年后以绝世美人的身份被皇帝赐婚,却误会百出。在伤身伤心之后安长歌决定放弃,谁料刚走出一步,便被男子搂在怀里,“为何本王色诱你这么久还没动心。” —————————— 成王府,绾念无聊在书房找书看,在一个隐蔽的小角落发现了一本薄薄的小书,绾念一脸坏笑,“难道成王还看小黄书?” 这时候成王偷偷走了过来,一把将书抢到自己手上。 这东西可不能让她看到。 “给我!” “是不可能让你看的,你要想了解,本王帮你。” —————————— 绾念最后还是看的津津有味,这书真是一振妇纲啊! ...
266.69万字 5 年前
亚玄迷途 都市 / 完结
亚玄迷途
桃子精灵
为了寻找十年前失踪的母亲。宫羽芊穿越到了异度空间——亚玄界,在这个术法、古武和科技并存的神秘世界里,末世的阴影一步步逼近,而好似救世主一般的师傅与灵魂伴侣,却有着不为人知的秘密,她能够揭开层层迷雾,得偿所愿,挽救亲人与挚爱的残酷命运吗? ...
397.31万字 5 年前