近年来，在高等教育评估实践中，案例指标日益受到重视。教育部办公厅发布的《关于开展2016-2020年“双一流”建设周期总结工作的通知》指出，每所高等学校在总结中提交不超过10个典型案例，旨在总结首轮“双一流”建设的典型成效、创新举措和成功经验。2021年，教育部、财政部、国家发展和改革委员会联合印发的《“双一流”建设成效评价办法(试行)》指出，成效评价实行定量评价与定性评议相结合，各高等学校提交的典型案例及其他写实性材料，由专家进行定性评议。此前，教育部学位与研究生教育发展中心(以下简称学位中心)组织开展的第四轮学科评估，已单独设置“社会服务贡献案例”观测点，通过“代表性案例”观测学科的社会服务贡献。2020年启动的第五轮学科评估，将强化典型案例评价作为基本原则，且社会服务案例所占权重进一步提升。[1]案例指标已成我国高等教育评价的重要依据。 一、问题提出 从国外高等教育评价实践看，英国在2014年高等教育卓越研究框架(Research Excellent Framework，REF)中首次引入案例指标，以评价科学研究影响力。[2]随后，荷兰标准化评估指南(Standard Evaluation Protocol，SEP)[3]、澳大利亚社会互动与影响力(Engagement and Impact，EI)[4]评价等相继引入案例指标。英格兰高等教育拨款委员会(Higher Education Funding Council for England，HEFCE)等研究发现，案例指标是评价高等学校科研影响力的最佳方式，[5]能够有效缓解归因问题复杂带来的评价难题[6]。 采用案例指标评价影响力有效可行，但亦存在不足。[7]分析英国高等教育卓越研究框架案例，哈兹拉吉(Khazragui，H.)和哈德逊(Hudson，J.)发现，案例主要是叙述，缺少硬性信息，难以准确反映科研影响力。[8]案例指标呈现内容千差万别，案例之间无法进行比较。通过对案例指标进行内容分析，格兰特(Grant，J.)和辛里奇斯(Hinrichs，S.)发现，支撑影响力的定量证据多种多样，其使用和表述存在不一致现象。[9]同时，作为评价指标的案例需要遵循特定格式和规则，这可能导致许多类型影响力无法提供确凿的证据材料。克尼尔(Kneale，P.)等学者发现，参评机构选择案例似乎特别受科学研究与其影响力之间证据的可用性影响，某些无法提供证据的研究领域可能不会被呈现。[10]曼维尔(Manville，C.)等学者调查访谈了一些参与英国高等教育卓越研究框架案例撰写的工作人员，发现学校提交的案例并未涵盖科学研究的所有影响。[11]此外，案例指标需借助同行进行评价，而同行评价的固有缺陷可能会影响案例指标的效果。[12]通过分析英国高等教育卓越研究框架，有学者发现，主专家评估小组成员审查子专家评估小组决定的方式，意味着科研影响力案例的评分可能较少取决于其内在价值，更多取决于两个评估小组决定的一致性。[13] 为了充分发挥案例作为评价指标的作用，一些学者也提出了改进建议，主张采用更加标准化的信息，使案例指标具有横向可比性。鲍尔(Power，M.)提出，案例指标需要有一个固定的规范核心。[14]斯塔尔(Star，S.L.)和格里瑟默(Griesemer，J.R.)指出，为实现评价目的，必须对案例指标边界进行限制。[15]班多拉-吉尔(Bandola-Gill，J.)和史密斯(Smith，K.E.)认为，让案例指标评价行之有效的关键正是它们标准化表现的能力。[16]通过对2014年英国高等教育卓越研究框架的案例文本进行内容分析，帕克斯(Parks，S.)等人对常见的科研影响力证据提出具体的标准化操作意见。[17]基于标准化的内涵，笔者认为，案例指标的标准化是对案例叙述的内容信息、影响力类型及其表述、证据形式、评分等级及评价程序等，提出统一要点、统一规格、统一流程的过程。[18] 二、研究方法 以清晰界定案例指标概念及其效度观测维度为基础，本研究以“双一流”建设战略任务为指向，采用文本内容分析方法进行分析。 (一)案例指标及其效度观测维度 作为高等教育评价指标的案例，是高等学校在人才培养、科学研究、社会服务或其他类型办学活动等方面，开展的代表性工作及其实际成效或影响力的完整呈现，是按照明确的要求系统阐述代表性工作的目标指向、实施过程、实际成效或影响力的文字表述与证据的集合。高等教育评价案例指标的构成要素，包括代表性工作的执行主体、拟解决的问题和举措等核心内容、成效及影响、支撑证据及其来源等四个部分。课题组此前的研究表明，高等教育评价的案例指标与《深化新时代教育评价改革总体方案》提出的改进结果评价、强化过程评价、探索增值评价、健全综合评价，具有很好的适切性。[19]“双一流”建设成效评价的案例指标，是各高等学校和建设学科落实总体方案确定的战略任务过程中，完成的典型性工作及实际成效的完整呈现。作为“双一流”建设成效评价指标的案例，不是一段文采飞扬的文字，而是一个结构完整的标准化例证，应具有包括典型性工作聚焦的关键任务、实施的主要举措、取得的实际成效、可靠的证据等支撑材料在内的基本框架，应具有完备翔实的内容信息、具体可观测的成效类型及其表述、客观可信且易于横向比较的证据数据资料。 “双一流”建设成效评价的案例指标能否准确、有效地呈现各高等学校建设任务和改革任务的完成程度，即案例指标的效度，可从三个维度观测。一是内容维度，即案例指标对建设任务和改革任务的覆盖程度和内容结构完整性。二是实际成效呈现，包括案例受益群体指向是否明确及对受益群体的贡献程度。三是证据形式及其来源，包括案例指标提供的证明建设成效的证据类型及其来源的适切性。
