一、引言 随着功能强大的生成式人工智能(AI)系统(如ChatGPT)雨后春笋般地涌现，这些技术应用于教育的潜能也成为众多研究的焦点(Giannakos et al.，2024；Yan et al.，2025)。AI系统的每一次更新都让人们更加相信高度自适应、个性化的教育智能体这个“圣杯”越来越唾手可得。研究者和教育工作者试图弄清这些工具给教与学带来的希望和存在的局限，这是可以理解的。但是，如果由于迫不及待地想多出研究成果而一拥而上，则有可能因缺乏确凿的证据而得出草率的结论。此外，过去几十年在媒介比较研究的文献中长期存在的那些方法上和概念上的缺陷同样出现在ChatGPT的研究文献中，这导致我们难以清楚地了解生成式AI是如何提升学习效果的。及早正视和处理好这些问题，才能为AI在教育中的应用打造一个扎实和有意义的证据基础。 虽然ChatGPT面向公众发布距今只有两年多的时间，但是许多研究者已迫不及待地想对相关研究进行元分析。虽然这些研究能够提供有价值的探索性见解，但是往往存在研究方法上的缺陷，因而难以得出证明ChatGPT与学习效果的提升之间存在因果关系的有力结论。因为被纳入分析范围的许多一手研究，虽然它们的研究方法存在问题，却都明确地得出了因果关系的结论。事实上，研究者自己也承认他们纳入分析的许多研究缺乏因果关系结论的基本特征，如没有功效分析、随机分配和评估知识变化的前测等(Deng，Jiang，Yu，Lu & Liu，2025)。 本文的目的不是为了逐一评估这些研究并发现其缺点，而是希望从概念层面分析各研究实验处理的内容、对照组的性质和反映学生学习的因变量。为了评估上述三方面所存在的问题的广泛性，我们采用劳森等(Lawson，Martella，Weidlich，Mulders & Buchner，forthcoming)的一组编码进一步分析了相关元分析研究的样本，重点检查了实验处理和对照条件的描述是否足够清楚以及采用了哪些工具来检验学习结果。 本文把历史更加悠久的智能辅导系统(Intelligent Tutoring System)应用研究作为比较的对象。智能辅导系统的应用很成功，因为它们在教学设计领域数十年研究成果的基础上把AI融入稳健的教学框架中。因为智能辅导系统研究的元分析所涉及的实验处理、对照条件和因变量方面的描述非常清楚，所以通常能够得出可以解释的结果(Kulik & Fletcher，2016；Ma，Adesope，Nesbit & Liu，2014；Steenbergen-Hu & Cooper，2014)。对智能辅导系统研究和ChatGPT研究进行比较，有助于展示历史更加悠久的智能辅导系统研究的优势并发现新兴的ChatGPT研究的风险①。 生成式AI具有变革教育的潜能，但是必须有计划、审慎地采用恰当的研究方法才能揭示其成败的原因。研究方法的正确性尤为重要，因此本文旨在帮助研究者开展能够促进我们对生成式AI教育应用了解的研究。下面我们首先重新审视20世纪八九十年代“媒介与方法”的辩论中对今天仍然有指导意义的主要观点，然后比较智能辅导系统和ChatGPT这两类研究，分析前者相关研究的优势并指出后者相关研究方法上的缺陷。这些方法上的缺陷会影响到一手和二手研究的质量。本文基于新近的两项元分析，聚焦影响研究结果的可解释性和意义的三个要素，对“快科学”(fast science)的风险和对如何以严谨的方法研究人工智能的教育应用进行了反思。 二、媒介比较研究中的易混淆的问题 1983年克拉克发表了一篇影响深远的文章(Clark，1983)。该文批判性分析了媒介与学习的关系，对当时支撑这个领域大量研究的那些理论假设提出了质疑。这篇文章引发了一批相关文章的发表，被称为“媒介与方法”辩论。克拉克的观点(Clark，1983；1994a；1994b)的主要反对者是科兹马(Kozma，1991；1994a；1994b)。这场辩论一直持续到1994年《教育技术研究与开发》(Educational Technology Research and Development)出版了一期专刊才落下帷幕。这一期专刊还发表了其他几位研究者的文章(Jonassen，Campbell，& Davidson，1994；Morrison，1994；Reiser，1994；Ross，1994；Shrock，1994；Tennyson，1994)②。 简而言之，克拉克认为媒介只不过是传送教学的工具，媒介本身不会影响学生的成绩(Clark，1983)。他把媒介比喻为运送食品的货车，认为货车虽然让运输更加方便但不会改变所运送的食品的营养价值。同样的，决定学习效果的是教学方法而不是教学媒介。虽然他承认选择一个适合学习目标的媒介有助于提升学习效率，但是他坚信原则上一种媒介可以被另外一种媒介所代替而不会影响学习效果(Clark，1994a；1994b)。科兹马则反对媒介中立论，认为媒介独特的能供性与教学方法和学习者的认知密切相关(Kozma，1991；1994a；1994b)。 虽然克拉克和科兹马都各自强调教育技术领域研究的一个很重要(最终是互补)的问题，但克拉克的观点对当下ChatGPT媒介比较研究而言更值得注意③。研究者开展媒介比较研究实验而非增值设计(value-added)或能倾处理交互设计(aptitude-treatment interaction design)(Buchner & Kerres，2023)时，经常想当然地假定能够把某种技术融入某个学习环境而无需改变教学方法(Honebein & Reigeluth，2021)。换言之，研究者的实际行动(更准确地说是通过研究设计)表明他们认为媒介与教学方法是相互独立的，这与科兹马(Kozma，1991)认为它们是相互依存的观点背道而驰。
