正在阅读《第二节 题目属性定义和检验》
第(1/3)页


题目属性定义一般有两种情形:一种是在已经定义好了测量目标认知模型的情形下,有目标地命制适合不同属性及其结构的题目;第二种情形是对于已经命制好的题目,需要事后给题目定义属性。

一、题目属性的事先定义

在定义好了测量目标认知模型的情形下命制题目,这应该是一个比较直接的过程。根据前面关于测量目标认知模型定义的方法,同时结合文献调查、专家定义对各类数据分析之后,可以得到一个关于测量目标认知模型的细致定义,包括各认知成分的定义及其结构关系的定义,而且还匹配一套关于认知成分的比较标准的示例题目。命题专家在这些信息的基础上命制题目,只需要严格按照认知模型的定义和提供的示例题目,这样获得的题目和属性之间应该可以保持比较高的一致性。

二、题目属性的事后定义和验证

为命制好的题目事后进行属性定义,这是一个过程。在进行题目属性定义之前,当然也需要首先定义测验的认知模型,测验认知模型的定义过程和上一种情形是相同的,只不过在当前这种情形下,题目命制和认知模型的定义是两个独立的过程,是事后再将两者结合在一起的。事后题目属性定义的方法主要有两种:一种是专家定义法;另一种是统计推断法。

专家定义法是领域专家参照定义的认知模型,为题目指定属性。如果认知模型定义地足够细致,且有参照示例题目,那么,专家的题目属性定义过程应该会比较有效。如果条件允许,最好能够给领域专家提供代表性被试的作答过程原始资料,以保证属性定义结果更加稳定有效。在专家定义法的实施过程中,针对每套题目,至少应该安排3位领域专家进行独立属性标定,最后对定义的结果进行一致性程度评价。如果整体一致性程度较低,那么专家对测验认知模型的理解可能存在歧义。如果只是在某些题目属性的定义上一致性程度较低,那么就需要根据具体问题分析产生的原因,最后专家达成一致意见。

应用统计推断法来给题目定义属性,是一种基于数据驱动的属性定义方法。统计推断法定义题目属性主要应用在两个方面:一是对已定义属性的题目进行验证,基于数据信息判断属性定义是否合适;二是对未定义属性的题目指定属性。

认知诊断模型用于描述拥有某种属性掌握模式的被试在定义了属性模式的题目上的作答反应。如果模型无法描述这两者之间的关系,那么模型参数就会表现异常。比如,当题目属性定义错误时,它就无法与被试属性掌握模式之间产生正确的对应关系,导致函数模型被扭曲,模型参数出现异常。许多研究者基于这种逻辑提出了不同的题目属性验证方法,以及对这些方法的改进。这里只介绍其中的两种方法供读者参阅和研究。

德拉托尔(delaTorre,2008)提出了一种基于DINA模型的题目属性验证方法——基于EM算法的δ系列搜索法(thesequentialEM-based δ-method)。假设某领域有K个属性,用αl(l=1,2,…,2K)表示2K种属性掌握模式,qj表示题目j的属性向量。对于DINA模型来说,如果题目属性定义正确,那么,掌握了所有属性的被试与未掌握所有属性的被试之间的正确作答概率之差应该达到最大,即正确的题目属性定义qj应该满足如下定义:

德拉托尔又提出了两种基于该指标的搜索正确题目属性定义的方法(delaTorre,2008):一种是穷尽搜索法;另一种是系列搜索法。

相关小说

综影视:花欲燃待君温 穿越 / 完结
综影视:花欲燃待君温
摆烂小酸菜
宝贝们打三星??保护一下嘿嘿云之羽(?)上官浅cp宫尚角(避雷,是从女主是任务者,作为上官浅是在无峰生活开始写的,进度比较慢哦)云之羽(?)云雀cp宫远徵女主接受了云雀乞丐爷爷愿望,让云雀安全脱离无峰,找到自己的幸福…云之羽观影世界(更新中…)
189.99万字 15 小时前
我成帝了金手指才来 科幻 / 完结
我成帝了金手指才来
天涯月照今
不是吧,不是吧,我都证道称帝了,穿越者的外挂才到账?
647.47万字 16 小时前
娱乐:我想做资本,不想当影帝 都市 / 完结
娱乐:我想做资本,不想当影帝
三寸光阴一个鑫
洛君泽,一个2023年在企鹅研究影视文娱行业发展的职场老油条,一觉醒来回到10年前,成了娱乐圈新进小花赵梦颖的地下男友,还经她推荐,正在她主演的中演小配角。更要命的是他第二天就要演一场哭戏,已被社会磨平棱角的洛君泽一脸懵逼,“我都好多年没哭过了,这个真不会!”......洛君泽因穿越神魂凝练产生神识,凭借前世祖传的
358.01万字 16 小时前
开局带AI流浪宇宙 科幻 / 完结
开局带AI流浪宇宙
月非是月
又名地球毁灭了,严夏作为唯一逃出来的人类,借着次时代的ai智能Ella进行了一场星际旅行。只要算力高,就能无限发展。毁灭外星文明。殖民外星。重启地球。打造宇宙帝国。制定宇宙规则。当宇宙进行了新一轮的塌缩,他率领无尽军队打开奇点,再造宇宙。站在古戈尔普勒克斯尺度之外,彻底成就不死不灭。附1:这是一个比宇宙活得还久的男
364.48万字 15 小时前
人间重晚晴 都市 / 完结
人间重晚晴
盛溪言
关于人间重晚晴:杜晚晴,一个从六品下的小官之女,勉强算是名门闺秀,却穷得叮当乱响,更可悲的是早早被断定此生命薄,必将早夭。手握这么一手烂牌,她只能发挥打不死的小强精神,愈挫愈勇,上得朝堂,下得牢..
116.48万字 17 天前
腰软知青下乡后被糙汉夜夜搂腰宠 都市 / 完结
腰软知青下乡后被糙汉夜夜搂腰宠
萧七安
又痞又野糙汉VS笨蛋娇软美人 身为老谢家三代唯一的女娇鹅,谢娇娇在万般宠爱下长大。 年少情窦初开喜欢上一身书卷气的苏钰 为了追求心爱之人,她不惜舍下富贵窝,毅然决然追随苏钰下乡建设 谢..
48.28万字 12 天前