信效度分析是教育科学研究中评价研究工具的可靠性与适用性的测量学指标。如果研究使用的是自行编制的量表,需要对其信效度进行考证,如果使用的是他人编制的有效量表,需要报告该量表在当前研究中的信度情况,以说明使用该量表的适合性。
(一)信度及其分析
信度(reliability)是指测验结果的一致性、稳定性及可靠性。根据测量学的相关原理,考察信度的指标主要有一致性信度、分半信度、平行信度、重测信度等。其中重测信度的分析需要对同一批被试进行间隔两周以上半年以内的时间两次测试,对两次测试结果之间的相关程度进行分析,相关程度越高,说明重测信度越高。重测信度的分析基本上是采用积差相关分析来实现的,这里不再说明。
除重测信度外,SPSS提供了其他几种信度分析的统计模块。这里以某包含10道测试题的量表的信度分析为例进行说明。
信度分析的SPSS过程如下:
选择Analyze→Scale→ReliabilityAnalysis,打开信度分析对话框,将题1至题10放入右侧“Item”框,如图12-25所示。信度分析的默认输出为内部一致性信度分析(Alpha)的结果,如果要分析其他的信度指标,点击“Model”的下拉框,可选择分半信度(Split-Half)、平行信度(Parallel)等信度指标。此处选择其默认分析,直接点击“OK”键,可以得到表12-21所示的内部一致性信度分析表。
表12-21中列1为内部一致性信度,列2给出了进行信度分析的题目数。由表12-21中数据可知,这个由10道题目构成的测验的内部一致性信度为0.694,属于可接受范围。一般情况下,信度值在0.8以上说明信度指标比较好,在0.4以下则不可接受。0.4~0.8属于可接受范围。
图12-25 信度分析对话框
表12-21 内部一致性信度分析表
(二)效度及其分析
效度(validity)即有效性,它是指测量工具或手段能够准确测出所需测量的事物的程度。效度是指所测量到的结果反映所想要考察内容的程度,测量结果与要考察的内容越吻合,则效度越高;反之,则效度越低。考察效度的指标有三种,分别是内容效度、结构效度和效标关联效度。
内容效度是指测验内容本身是否是可靠有效的,即测验内容是否反映了测验想要测量的东西。内容信度的衡量通常采用专家评定的方法来进行。一般选择测验内容研究领域内的多名专家,对测验内容的可信度进行评分,根据专家评分的一致性和评分的高低来进行反映,评分越高,一致性越高,则说明内容效度越好。
结构效度是指测量结果体现出来的某种结构与观测值之间的对应程度。结构效度的分析需要用到结构方程,其基本思路就是先根据理论构思构建测量工具或手段的结构,即所测内容各个构成部分及其之间的关系,然后使用该测验收集数据,利用数据对该结构进行拟合,如果拟合指标比较好,则说明测验的结构效度比较好。常用的结构方程分析工具有Amos、Lisrel、M-plus、SEM等。需要注意的是,在结构方程软件的使用普及之前,有研究者采用因子分析的手段进行结构效度的考察,由于因子分析本身是一种探索性的分析,它作为结构效度的考察方法并不是特别适合,建议尽量不要用因子分析来考察结构效度。