编码小组由人事选拔领域的3名研究者组成。小组在学习了Spencer的《通用胜任特征编码词典》后,根据对包括预访谈录音在内的访谈资料的分析,以及外语专业研究生的特点,讨论修订了Spencer的《通用胜任特征编码词典》的胜任特征、行为等级及行为描述,并进行了试编码。试编码后,讨论总结试编码的情况,再次对词典进行了修订和学习。修订后的词典用于正式编码,包括成就导向(AD),分析式思考(AT),重视秩序、品质与精确(CO),批判意识(CR),概念式思考(CT),专业知识(EXP),弹性(FLX),目标(GO),冲击与影响(IMP),资讯收集(INFO),主动性(INT),人际了解(IU),跨文化意识(CC),组织知觉力(OA),计划执行(PL),关系建立(RB),能力认知(SC),自信(SCF),自我控制(SCT),自主学习(AL),学习策略(SS)21项胜任特征,以下简称为词典。
正式编码由笔者对所有的10份文本编码,其余两名成员分别对随机分配的3份优秀组文本及2份普通组文本进行编码。所有文本的编号再次随机打乱。接受正式访谈的被试的组别事前未告知其余两名成员。
(3)数据处理
统计每位被试的访谈时长及转录文本字数;将对相同访谈资料进行编码的2名评分者的数据汇总,统计各个胜任特征的发生频次、最高等级分和平均等级分;通过优秀组和普通组在访谈时长和字数上的差异比较、各胜任特征指标与访谈时长及字数的相关分析,选择有效的指标,在此基础上进行优秀组和普通组被试胜任特征的差异检验。
(4)建构模型
对优秀组和普通组被试在每一胜任特征上所得的平均等级分、最高等级分和发生频次进行差异检验,找出差异显著的胜任特征,初步建立外语专业研究生的胜任特征模型。
(三)结果与分析
1.访谈时长、字数分析
10份访谈录音,其中最长的是99分钟,最短的是59分钟,平均时长为83.90分钟(SD=10.25),平均字数为18340字(SD=6772.20)。优秀组和普通组的访谈录音平均时长分别为84.17分钟(SD=3.31),83.50分钟(SD=17.21);平均字数分别为19736字(SD=6699.55),16246字(SD=7282.86)。对优秀组和普通组的时长和字数进行Mann-WhitneyU检验,两组访谈字数的差异(p=0.670),和访谈时长的差异(p=0.386)均不显著。
分别对21项胜任特征的三种指标,即发生频次、最高等级分和平均等级分,与访谈时长间进行相关分析,结果表明,有3项胜任特征的发生频次与时长的相关显著,它们分别是分析式思考(AT),概念式思考(CT),组织知觉力(OA);只有概念式思考(CT)的最高等级分与时长的相关显著;所有胜任特征的平均等级分与时长的相关均不显著。
再分别对21项胜任特征的三种指标,即发生频次、最高等级分和平均等级分,与访谈字数间进行相关分析,结果表明,批判意识(CR)和学习策略(SS)2项胜任特征的发生频次与字数的相关显著;只有人际了解(IU)的最高等级分与字数的相关显著;所有胜任特征的平均等级分与字数的相关均不显著。
以上结果表明,首先,优秀组和普通组间胜任特征的差异,不是由访谈的长短不同造成的。其次,胜任特征的三种指标中,平均等级分这一指标最为稳定,不受访谈长短的影响;最高等级分次之,也具有较好的稳定性,较少受到访谈长短的影响;发生频次受访谈长短的影响相对较大。
2.编码一致性分析
对不同评分者就每一个被试评出的胜任特征平均等级分和最高等级分进行了皮尔逊相关分析,对发生频次进行了斯皮尔曼相关分析,结果如表3-9所示。