统计回归 统计回归现象指研究对象在进行第二次测量时,其成绩有向团体平均数趋近的倾向,即选择高分组的对象在第二次测量时,其分数由于向平均数趋近而有降低的趋势,但是低分组的对象,其分数却有升高的趋势。在有前测和后测的实验中,若以极端分数(如高分组和低分组)的学生为对象,容易出现统计回归现象。
仪器的使用 在实验过程中,使用测量工具(如试卷、仪器等)不当、测验材料出现问题、研究者的身心发生变化(如评卷者在评价后测验成绩时,会变得比前测时更疲劳等)等因素都会影响实验结果。如上述探究式教学法的实验中,如果前测的学科测验试题比后测的试题容易,则成绩的提高有可能是测量工具不同引起的结果,而非实验处理的效果。另外,同一个研究者前测验和后测验的评价,可能会发生改变,从而导致实验效果受到影响。
选择和成熟的交互作用及其他 在实验设计中,如果研究者缺乏对变量的精确控制,上述诸因素常会产生交互作用的效果,这一效果与实验处理的效果相混淆,使研究者无法确定实验结果的来源,而误认为所产生的效果就是实验处理的作用。在诸因素的交互作用中,研究对象的选择因素与身心自然发展因素之间的交互作用是最常出现的。
(2)教育实验研究的外在效度。外在效度涉及教育实验研究结果的概括化、一般化和应用范围问题,表明实验结果的可推广程度,研究结果是否能被正确地应用到其他非实验情境、其他变量条件及其他时间、地点、总体中的程度。外在效度分总体效度和生态效度两类。总体效度,指实验结果从特定的研究样本推广到更大的被试群体中去的适用范围,从严格意义上讲,研究结果只能推广到抽样样本的那部分总体,即实验可接受的总体中去。生态效度,指实验结果从研究者创设的实验情境推广到其他教育情境中去的范围。贝尔和斯坦利认为,对外在效度的威胁主要有以下四个主要因素:测验的交互作用、抽样偏差和实验处理的交互作用、实验安排的副效应、多重处理干扰。内在效度是外在效度的必要条件,但内在效度的研究结果不一定具有很高的外在效度,而且内、外在效度有时会互相影响。影响外部效度的因素主要包括以下方面。
前测验的反作用效果 在采用有前测和后测的实验设计时,前测验的作用有可能增加或降低实验结果。在这种情况下,用这类有前测的实验设计所得到的结果,就不能直接推论到无前测的实验中去。
研究对象的选择偏差与实验处理的共同作用 实验中,如果研究者所选择的研究对象都具有某种特征,而这种特征与实验处理发生相互作用,就会对实验结果产生积极或消极的影响。这种具有样本选择偏差的实验在其结果的推广范围上可能会受到限制。例如,如果选择一些高智力的学生,进行探索式教学和传统教学法的比较实验,结果发现探索式教学法的效果优于传统教学法。但是,由于参与实验的学生具有高智力特征,因此实验结果不能推论到其他一般学生中去。
实验安排的反作用效果 在某些实验中,研究对象知道自己正在参加实验,他(她)可能为投实验者所好,而改变正常的行为方式,努力表现实验者所期望的行为,以获得实验者的欢悦。由此可见,这种实验结果可能和自然情境下的结果大不相同,因此,也就不能适用于一般性的日常生活情境中。
重复实验处理的干扰 当同样的受试者重复接受两种以上的实验处理时,几项实验处理之间会产生干扰作用。因此,这种实验的结果无法应用于只有一种实验处理的情况。例如,让同样的一组学生分别接受了探究式教学法、发现式教学法、传统教学法后,如果发现探究式教学法的效果最好,研究者也不能将这种结果推论到仅仅接受探究式教学法一种方法的实验情境中,因为实验中的探究式教学法之所以取得良好效果,很有可能是和其他两种方法共同作用的结果。