一、融合评价提出的背景 2020年10月,中共中央、国务院颁发了《深化新时代教育评价改革总体方案》[1](以下简称《总体方案》),这是指导深化新时代教育评价改革的纲领性文件。《总体方案》的出台实施,对于全面贯彻党的教育方针,完善立德树人体制机制,破除“五唯”顽瘴痼疾,引导全党全社会树立科学的教育发展观、人才成长观等都具有重大意义。教育评价改革是一项世界性、历史性、实践性难题,涉及历史文化传统、经济社会发展水平、思想观念等多重因素,涉及不同主体,因此改革之路任重而道远。《总体方案》发布后,相关部门出台一系列规范高等学校科学引文索引(SCI)论文相关指标使用、破“唯论文”等文件,提出改革不科学的评价体系、破“五唯”等一系列的具体改革举措,改进定量指标使用政策、鼓励创新评价方法,促进形成正确的评价“指挥棒”。新政策、新方案、新举措在国内外引起广泛关注和深入研究。围绕落地落实《总体方案》,加强教育评价方法及其应用的研究任务更加迫切、更加艰巨。通过挖掘多年来我国各类评估评审实践“富矿”,从实践中凝练具有中国特色的教育评价理论,本文延续融合评价[2]方法研究,吸纳现有研究成果,分析了过度定量评价产生的不利影响,研究了传统定量和定性评价方法存在的不足,打破评价方法设计的惯性思维,对融合评价理论和方法进行系统建构,建立了融合评价标准和方法体系,探索了一条评价方法改革落地的新途径。 (一)充分认识唯定量评价产生的不良导向 近年来,一些不科学的评价体系排名,进入大众视野,由于其发布的信息不完备等造成信息不对称,在一定程度上对大众造成了误导。将指标有限的排行榜等同于大学、学科整体质量和水平排名,并逐步扩大其影响,形成了不良的教育“指挥棒”,对教育的科学发展产生了不利导向[3]。以“简单化、易获取”为指标特征的一些大学学科排行榜,在一定程度上扮演了唯定量评价的“推手”,唯某些定量指标的教育科研评价影响广泛。缺乏立德树人、人才培养内涵,以SCI数、ESI数、影响因子、部分国际奖项,以及具有算法和数据来源缺陷的论文引用指标等作为主体的定量评价体系,在一定程度上推动了“唯定量”现象的产生,引发了“排行—强化定量—排行—更唯定量”的不良循环,进而形成了不良的教育评价生态。“五唯”现象存在两个突出问题:一是评价理念和政策导向问题,包括评价指标体系的设计理念、引导方向与政策导向不同等,如将学术论文、头衔等作为重要或唯一指标;二是评价方法问题,过于强化定量评价,如教育科研评价主要对SCI数、ESI数、科研经费数等进行直接的计量评价。因此,如何扭转不科学评价导向、解决指挥棒问题,如何尊重教育科技发展规律、科学应用评价方法技术、营造良好的评价生态,是当前教育科技评价改革落地面临的重要挑战。 (二)科学把握评价方法在体系构建中的重要维度 分析“五唯”现象可见,系统性的评价体系设计是破“五唯”等评价改革实施落地的有效途径。一般来讲,评价体系内容与评价方法之间存在密切关系,要坚持统筹和统一,才能保证体系建构的科学性。不同评价方式对接的体系内容、范围、表述规范及评价的基础设施都不同,必须保持二者在理念、形式、结构和内涵上的“默契”。可见,科学的评价方法是构建科学评价体系的重要维度,在评价体系指标设计时,应同时考虑指标设计的导向性要求和评价方法的科学性应用,而不宜按一般时序分步设计。基于评价方法的多样性,评价方法使用本身即蕴含着评价导向,而评价方法采纳和实现作为实施评价最末端最重要的环节,也影响着评价改革和优化的最终落地。因此,在学术研究和实践中,针对如何破“唯”,最终都绕不过评价方法的选择,有关政策解读和专家学者普遍认为“破‘唯论文’不是不要论文”,那么如何进行学理建构、实现以上思想是具有代表性的破“唯”难题,是评价研究与实践面临的共同挑战[4]。不唯定量是不“唯论文”的重要路径,通过同行评议替代定量评价,或简单地将定性与定量相结合,非此即彼,都不能很好地解决问题。在此背景下,在评价体系和评估机制设计中,如何采纳定量评价,如何进行定量定性结合,改进定量和定性评价,如何进行学理建构,创新评价理论方法,是教育评价改革具体实践面临的重要挑战之一,是评价改革落地在学术和应用上需要跨越的“最后一公里”。 (三)客观分析定量定性评价结合的效度 定量评价具有确定性、高分辨性和客观性的特点,而定性评价具有综合性、质性和可控性的特点;定量评价在反映教育本质时过于刚性,也存在局限性,定性评价则具有不确定性和易干扰性。定量定性结合是发挥二者科学属性的主要途径,在理论和实践上均有广泛共识,实现了方法层面的优势互补,我国教育评价改革有关文件也大力倡导二者结合。那么有什么样的结合方式和结合场景?结合程度和效果又如何呢?总结近年学科评估等评价改革创新经验,定量定性在形式和机制上结合一般有两种形式:一是体系内“独立指标间结合”,是指评价体系各末级指标分别独立采用定量或定性评价方法,各自独立形成各指标评价结果,构成体系内两者的结合;二是指标内“观测点结合”,是指一项末级指标(如学术论文评价)从不同侧面观测时,不同观测点采用定量定性不同方法,形成该指标的最终评价结果。例如,由教育部学位中心组织实施的学科评估和专业学位水平评估均采用了指标内“观测点结合”的形式。在第三、四轮学科评估中,“学术论文水平”评价指标,采用“代表性论文”同行评价和“高水平论文”计量评价结合的方式,形成该指标最终评价结果;在专业学位水平评估中,艺术类学生学习成果“艺术创作获奖、展演与发表”评价指标,采用“展演与作品发表”观测点同行评价和“高水平获奖”观测点计量评价结合的方式,形成该指标最终评价结果。独立指标间结合和指标内观测点结合两种层面的结合方式是破“唯”、评价改进的重要途径,两种结合都有利于树立良好的评价导向,更能反映教育发展状态和规律,更能体现评价对象的总体情况,其中“观测点结合”方法对于敏感指标,如“学术论文评价”,具有显性的破“唯”导向和实际效果。两种结合方法在具体实践中也受到了各界肯定,获得了良好的改革效果。