总之,研究者在选择实验设计时,要对实验情境进行必要的控制,以提高实验的内部效度和外部效度。实验的内在效度越高,其实验结果越能确认是由实验处理所造成的;而实验的外在效度越高,其结果的推论范围就越大。但是在实验情境中,要同时兼顾这两种效度很难做到,一般而言,基础研究比较重视内在效度,而应用研究则比较重视外在效度。
2.教育实验的变量控制
(1)教育实验变量控制的内涵。教育实验变量控制即无关变量的控制,是指控制那些在教育实验中应保持恒定的变量。教育实验中,为了探索因果关系,证实确实是自变量X导致了因变量Y的变化,就必须排除外来的无关变量的干扰,保证各方面变量平等,才能保证实验结果是可靠的。
(2)教育实验变量控制的主要方法。教育实验中无关变量很多,要对其进行有效的控制,实验者必须有针对性地选择合理的方法。教育实验中控制无关变量的主要方法有以下几种。
随机选择和分配被试。消除被试个体之间的差异,因而采用随机方法来选择和分配被试能有效地控制被试间的各种差异。
设置控制组。在实验中设置一个或多个控制组,对两个组同时进行因变量的观测(包括前侧和后侧),能较好地排除或恒定成熟对实验中因变量的作用。
采用“双盲法”。所谓双盲法,即研究者在实验中既不让实验的主试也不让被试了解实验的真实目的和意图,这可在一定程度上控制主试的态度、被试间自变量的扩散等方面的无关变量。
使无关变量保持恒定。对这些难以完全消除的无关变量,研究者可以设法将其恒定,即在实验的各个组别、各个阶段使其保持不变。
提高实验设计的科学性。在设计中根据对无关变量控制的需要来设计操作自变量的具体方法、设计实验程序、进行时间分配,这能较好地进行无关变量的控制。
控制资料统计过程。研究者按照实验目的选择合适的统计方法,并规范程序统计和结果处理,能减少统计误差,提高研究结论的准确性。
3.提高教育实验效度的主要措施
(1)使用设计组加以平衡。一个实验涉及两个组(实验组与控制组)或几个组,使得各个组的平均数及变异量尽可能接近相等。
(2)随机、匹配或实验组兼作控制组。随机指被试的纯粹的机遇选择,随机取样,随机分组,随机指派实验处理。随机形成小组的教育实验研究的一个重要特点是,可以提高实验研究结果的外在效度。
匹配也叫配对法,在比较两种处理效应时,为了严格控制两组被试间的个别差异对实验变量的影响,使被试在研究的重要变量上相互对应,保持基本相同,从而使每对被试间的差异保持平衡,然后随机地接受不同处理。
实验组兼作控制组指被试作为同一组去接受不同的实验处理,一次一个处理。
(3)设计控制和统计控制。设计控制是通过组内设计分配(自变量的顺序)、效果平衡(采用实验组与控制组随机取样、随机分组,使无关变量平衡)以及拉丁方法,使被试变量在实验中产生的影响通过设计抵消。
统计处理控制是用协方差分析,将实验组与控制组的数个变量测量出来,使用统计的方法,把它们的最初差异予以排除。教育实验的效度具有不同等级,不同层次,是一个由低到高的取值范围,不可能人为地确定一个合适任何目的的条件、类型的效度指标,应采取动态平衡而非静态选择的策略,根据教育实验的目的,综合考虑内外效度的平衡,以取得比较满意的解释力和推广力。
【实验研究设计案例】
我国学者卢仲衡等(1981)的研究项目:“初中一年级数学自学辅导教学协作实验研究。”研究者选择该项研究的目的是:对数学自学辅导教学与传统教学的学习效果进行比较,探索学生有效进行数学学习的教学方案。研究者随机选择了北京市的若干所中学,并将从小学升入中学的学生随机分为两班,随机选择其中一个班为实验组;另一个班为控制组。实验班采用数学自学辅导教学方式,实验材料为自学辅导教材,内容为初一代数;控制组采用传统课堂教学方式,学习材料为统编教材,实验班与控制班教学内容相同,实验时间为一个学期。表6-1表示两班学生在学习初一年级各个教学内容后进行测验的后测成绩,及进行平均数差数检验(t检验)的结果。
表6-1 某中学实验组和控制组平均成绩比较表
由表6-1可以看出,通过初一前半年的学习,实验班在两次单元测验(有理数测验和一元一次方程测验)和期末全区统一考试的学习成绩显著高于控制班;在第二章“整式的加减”测验上,尽管没有达到统计上的显著水平,但实验班的成绩高出控制班5.96分。综合此项实验的其他成果,可以得到结论:数学自学辅导的教学方式优于传统课堂教学方式。