加强中国教育量化研究的可重复性

作者简介:
李毅,西南大学教育学部,西南大学基础教育研究中心,中国基础教育质量监测协同创新西南大学分中心,E-mail:43026621@qq.com(重庆 400715);张涧清,西南大学附属小学(重庆 400700);杨焱灵,重庆市渝中区中华路小学(重庆 400010)。

原文出处:
华东师范大学学报:教育科学版

内容提要:

本研究理论辨析了可重复原则、研究的可重复性与重复性研究的关系,探讨了重复性研究的精确重复、直接重复、概念重复等三种类型及其验证和延展两重功能,并阐述了教育量化研究可重复性的意义和价值。在此基础上,以我国37本教育学类CSSCI期刊在2015-2020年间发表的重复性量化研究为对象,分析了我国教育量化研究可重复性的现状和问题。研究发现:可重复性是创新性研究的基本立场未得到充分认识;量化研究基础薄弱致使可重复性的确证存在困难;对复现失败的误解带来了对“可重复危机”的恐慌;传统思维惯性阻碍原始研究团队的持续跟进。最后,文章建议加强对重复性研究价值的认识,建立重复性研究激励机制;加强研究者量化研究方法训练,搭建开放科学平台促使“黑箱”变“白箱”;克服重复性研究“唯成功率”思想,打造稳定团体形成研究集群。


期刊代号:G1
分类名称:教育学
复印期号:2024 年 02 期

字号:

       一、引言

       自2015年首届“全国教育实证研究论坛”召开后,越来越多的教育学者采用量化研究方法分析教育问题,量化研究已经成为开展教育研究的重要方法。然而量化研究方法的科学性(吕晶,2020),数据和结果的真实性(阎光才,2013),结论的可推广性屡遭质疑(周明,2016),应用价值比较有限(何克抗,2016),可以说,我国教育量化研究正面临着一场“可重复性危机”。相似的状况也出现在国外,例如《自然》杂志在对许多权威杂志进行可重复性问题调查时就发现,许多研究都存在着难以重复的问题(Enserink & Martin,2011)。近年来,可重复性在欧美发达国家的教育量化研究中日益受到关注,有研究发现对教育量化研究可重复性理论和实践的探讨远远落后于社会学、心理学等其他学科,且分析了其原因并提供了相关对策(Travers,et al.,2016)。相较而言,当前我国学界对于量化研究的可重复性还有所忽视,还未认识到可重复性对于教育量化研究科学化的价值和意义,片面地认为只有自然科学才有必要开展重复性研究,这一偏见阻碍了我国教育学研究者对可重复性内涵和价值的探索,不利于我国教育研究的实证化、科学化发展。那么,我们应该如何理解教育量化研究的可重复性?重复性研究是否真的“缺少创新”?“不可重复”是否就是学术造假?这些都是亟待厘清的问题。

       基于此,本研究将在教育学领域探讨量化研究可重复性的相关问题。首先,从理论层面构建了教育量化研究可重复性与重复性研究的内涵与外延、功能与价值;其次,以我国教育学37本CSSCI期刊在2015-2020年间发表的重复性量化研究为对象,分析了我国教育量化研究可重复性的现状和问题;最后,针对性地提出了加强中国教育学量化研究的可重复性,提供了促进其科学化发展的对策建议。

       二、可重复性与重复性研究

       已有研究常将“可重复性”这一概念与“可重复原则”“重复性研究”等混用,但其内涵并不完全一致。本研究辨析了三者的异同和联系,解读了重复性研究的分类和功能,探讨了可重复性与重复性研究的价值和意义,以期对可重复性议题形成更全面系统的认识。

       (一)可重复性、可重复原则与重复性研究的辨析

       首先,可重复性是研究发现走向科学理论的核心要素(Francis,2012)。对可重复性的经典认识来源于实验哲学,如德国哲学家哈贝马斯(1999,第124页)就认为,在完全相同的条件下重复一个实验必定会得到同样的效果,这并不是经验得出的结论,而是先验的必然。袁振国(2017)也认为,在共同概念和共同规则的约束下,使用相同的方法和工具,应得出与先前研究一致的结果。该观念的核心在于:当使用相同研究方法,应当得出相同的结论,否则就要反思研究设计和操作过程是否存在问题。其次,可重复原则是现代科学研究公认的规范性原则(任思腾,2020)。在很长一段历史时期内,研究的可重复性仅作为研究者对自己研究的要求而存在,直至17世纪才成为实验哲学探讨的重要议题。比如美国教育研究科学原则委员会总结了六条教育研究的基本原则,其中有两项与可重复原则有关,即“应当对研究实施重复验证并推广”以及“公布研究结果,鼓励同行的检查和评判”(沙沃森、汤,2006,第4页)。最后,重复性研究是原始研究可重复性的确证行动(Schmidt,2009),比如在以实验研究为基础的医学领域,其重复性研究就是按照原始研究方案重新再做一次,这种思路在我国医学研究中是被广泛认可和接纳的。

       已有研究对这三个概念的形成更多基于实验哲学,追求通过严谨客观地还原实验操作追求结论的可重复性。然而,教育量化研究却与基于实验研究的自然科学存在本质区别,直接将此种观点应用于教育学领域存在局限性。首先,研究程序的科学性只是研究结论科学的必要不充分条件,如果原始研究的研究设计本身就不严谨,那么基于此研究设计产出的结论就极有可能存在问题。在后续研究中遵循这样错误的研究设计,虽然可以得出与原始研究同样的结论,但仅能证实该研究的程序和操作是真实的,不能证明该结论的科学性。其次,对可重复性这一议题的探讨源自自然科学中的实验研究。尽管教育量化研究与自然科学中的实验研究同为基于数据分析的实证研究,均以实证主义哲学思想为基础,但教育量化研究与之最大的区别在于还原原始研究程序更加困难,这是由于教育研究往往以人为研究对象,而人总是处于变化发展之中,研究者很难完全还原原始研究的情境。

       因此,对于教育量化研究而言,可重复性应该是指一个研究在研究方法发生一定改变的前提下,其结论仍可被重复证明的特性。而重复性研究就是一种以检验原始研究可重复性和以探索新知为目的的后续研究,是原始研究可重复性的确证行动。本研究所理解的可重复性和重复性研究可以形象化理解为“真金不怕火炼”。经典重复理论视野下的可重复性是用同一种火焰煅烧同一块金子,金子必须要表现出相同的特征,否则就需要反思究竟是火焰还是金子存在问题。但是仅用一种火焰不仅可能无法测试出金子的本质特征,还可能会使表象遮盖住本质,使人们错误地把“假金”当成“真金”,再多次的重复性煅烧也没有太大的意义。因此真正的可重复性应该是:一块金子要能够经历各种火焰的历练,无论煅烧者是谁,无论煅烧工艺如何,其本质始终如一。并且通过不同火焰的煅烧,能不断发现金子在不同状况下的不同特性,这个反复煅烧的过程就是多次开展的重复性研究。

       (二)重复性研究的分类:精确重复、直接重复、概念重复

       已有研究对重复性研究的分类主要以实验条件和程序改变的程度作为标准。一类是保持实验条件和程序完全不变以验证原始研究结论;另一类则通过一定程度地改变实验条件或程序更进一步验证原始研究结论的真实性(Plucker,et al.,2021)。然而,这样的分类标准很难直接迁移到教育研究领域。教育量化研究除了实验研究外还有大量的调查研究,但由于调查对象的易变性和时空场景的特殊性,想要保持研究程序的完全一致极其困难。因此,本研究不完全以研究程序的改变来分类,而是结合了量化研究中核心变量及非核心变量是否改变来作为区分重复研究类型的依据,将其分为精确重复、直接重复和概念重复三种类型。

相关文章: