不论是哪种等值设计模式,等值总是在至少两个测验情境之间进行的。在进行等值转换之前,甚至应该在等值设计之前,还有一项非常重要的工作,就是首先需要确定转换后的分数或参数量表(scale)的单位。这就像我们中国人在听到汽车的速度为每小时50英里(1英里约等于1.61千米)时,可能很多人一下子不知道这个速度究竟有多快,这时就会习惯性地把它转换为公里来进行评价,因为我们平时关于汽车速度习惯使用的参照单位就是公里(1公里等于1千米)。在这里的等值转换也一样,我们需要确定一个合适的参照单位,然后,所有分数或参数都转换到这个参照单位上去进行统一的评价。在等值实践中,我们经常会选择其中一个测验的测试数据作为参照单位系统,这个测验就被称为量表测验(scaletest),其他测验的分数和参数都转换到这个测验的单位上来,需要进行单位转换的测验称为原始测验(rawtest)。
在选择量表测验时必须遵循一些原则:①量表测验应该是足够稳定的,也就是有比较高的信度;②量表测验的内容对测量目标应该具有充分的代表性;③量表测验中项目难度分布应该合理,一般应该保持与参与测试的被试样本一样的分布形态,区分度指标应该都是在中等以上;④测试样本足够大,以保证测试数据能够获得稳定的被试和项目参数,测试数据能够反映被试样本的真实行为;⑤在有多个测验进行等值时,一般选择难度分布偏中等的测验,而在纵向等值中,则一般选择中间的测验作为量表测验,让两边的测验向中间等值,这样可以减少等值误差的累积。
1.基于经典测量理论的等值数据转换方法
(1)随机等组-线性等值法
随机等组-线性等值法的原理是:由于两个被试组是来自同一个总体的随机样本,因此,他们有完全相同的能力水平分布,据此,这两个被试组在两个测验上形成的得分分布中,分数位置水平相同的被试应该就是能力水平相同的被试,对应的两个分数也就是等值的。
我们已经习惯于用标准分数来表示分数在被试群体中的位置,于是,在两个测验上标准分数相同的分数就是等值分数了,如下式所示:
令:
得到:
式(10-23)就是线性等值转换的常用关系式,a和b称为等值转换系数,x为需要进行转换的原始测验分数,y为转换到量表测验单位上之后的分数。
这个等值方法可能存在的误差,主要就是原理假设能否成立,也就是样本是否来自同一个总体,他们能否都很好地代表总体。
(2)随机等组-等百分位等值法
随机等组-等百分位等值法的基本原理其实与上面这个线性等值法是一样的,都是基于两个被试组是来自同一个总体的随机样本,他们有完全相同的能力水平分布,据此认为,两个被试组在两个测验分数分布中,位置相同的分数就是等值的。只不过在这里,标志位置信息的是百分等级,而不是标准分数。
对原始测验分数进行等百分位等值转换的具体步骤如下。
第一步:编制原始测验分数和量表测验分数的简单次数及累积次数分布表。
第二步:根据原始测验的简单次数和累积次数分布表,求取某个分数x的百分等级PR。
第三步:根据量表测验的简单次数和累积次数分布表,求取PR所对应的分数y。
第四步:原始测验分数的等值分数就是y。
2.基于项目反应理论的等值数据转换方法
我们首先以三参数逻辑模型为例来认识以下式子之间的关系。首先,根据该模型,有以下关系式同时成立:
三参数逻辑模型为:
如果把式(10-24)至(10-27)代入式(10-28),经化简后,将会得到式(10-29):
基于项目特征曲线的等值系数估计方法有多种。海巴拉最早提出基于项目特征曲线的等值法。下面介绍的两种等值系数估计方法均基于共同题设计模式(锚测验设计)。
海巴拉方法的等值系数估计过程如下,符号使用也尽量按照海巴拉的习惯。