包括大学排行和排名报告(或成绩调查)在内的各种排行榜,一般是运用从高校或公共部门获取的客观或主观数据并向有关竞争对手的比较单位赋值进行“质量测量”而构建起来的。 相对于其他大学和培养项目的绩效来说,排行榜中所运用的各种指标主要是用来衡量如何建立一种系统(投入变量)、系统的运行方式和内部效率(过程变量)以及系统的生产率与影响(产出变量)。开展比较排行的各个媒体和机构出于不同的目的,会强调不同层次的变量,这突出体现在指标的选择和权重的设置上。 有些排行是在某一类型高校内进行的,这使得各高校可以在同一个平台上以其不同的使命和发展取向展开竞争。有些排行是在所有高校中进行的,还有些仅是在具体培养项目而非整个院校层面上进行的比较。 本文主要考察排行榜和划分第三级教育机构类似的一些工具,尤其是这些工具作为公共信息机制及高校向学生提供教育质量信息方式的作用和效果。 一、排行的种类及相应的绩效责任机制 (一)发展的模式 大学比较活动可追溯到1981年的鲍勃-莫尔斯在《美国新闻与世界报道》开展的大学排行。[1]但实际上,最初由学者或教育机构所做的第三级教育机构排行则是在更早的20世纪初。最初,高校学术排行只是判断高校办学效益的一种评估方式而已。[2]后来,作为一种质量量度的声誉以及作为可靠信息来源和机制的同行评议越来越受到重视,并被计算在各排行之内。例如,1959年,肯尼斯顿在排行过程中就曾以博士科研质量和教师学术质量为主要标准,邀请25位高校的系领导评选出各领域实力最强的系。[3] 排行榜的广泛应用并成为一种普遍现象迄今仅有不到10年的历史。阿舍尔和萨维诺2006年的研究报告显示,在19个排行榜中有11个是2000年以后出现的。其中只有《美国新闻与世界报道》大学排行、加拿大的《麦克林》大学排行、波兰《展望》与《共和国报》大学排行、英国“泰晤士优秀大学指南”和中国“广东管理科学院大学排行”的历史稍长一些。排行榜的泛滥与世界范围内高等教育大众化的发展或者说高等教育入学人数的膨胀不无关系。此外,跨境私立和远程教育提供者的涌现、第三级教育国际化的浪潮以及社会各方面对提高绩效责任、透明度和效率的呼声都对质量的量化评定起到推波助澜的作用。甚至潜在的经济利益也成为人们竞相推出排行榜的一个动因。 考察排行榜发展模式的一个特殊的方式,是从各地区的分布加以考虑。表1显示,各国各地区排行活动发展并不均衡,相比之下,在工业国家更为盛行。排行榜的排行结果会因实施排行机构的不同而有所变化。首先,排行榜会影响公众的判断,尤其是报刊所进行的排行。在某些情况下,例如在阿根廷和巴基斯坦,排行已成为认证过程的一个步骤。另外,像英国和新西兰所开展的科研成果排行还会直接影响到政府对相关院校的拨款。
(二)排行榜的特征 近来,有很多文章对各种排行榜进行了广泛的探讨,并对其方法论上的缺陷进行了批判性的分析。这些文章深入剖析了排行榜的概念和理论基础,详细阐释了用作质量量度的各种指标,对排行所用的方法及其各方面的缺点提出批评意见。一般来说,排行榜具有如下一些共同的特征。 第一,都以一套或一组指标作为质量量度。各种指标通常都划分为投入指标、过程指标和产出指标三大类。阿舍尔和萨维诺将其概括为七大类指标框架。(1)学生质量:学生的高中总平均成绩、学校的选拔性等入学条件;(2)资源投入:学校提供给教师和学生的财力与物力资源、学校的经费状况;(3)师资投入:教师资格、师生比、分配的工作量以及授课时数;(4)教育产出:所获的技能、学生巩固率和学业完成率;(5)最终成果:就业率、研究生院录取率、工作满意度;(6)科研质量:论著、奖项、论文的引用率以及论文影响因子、科研经费、专利数量等;(7)声誉:同行、学术行政管理者和雇主的意见。一般比较有名的排行榜在每个维度上都会使用多种指标量度。 第二,每套或每组指标都会被赋予一定的权重值。各排行榜指标的权重都会有所不同,权重的设置使理念和排行榜推出者的意图得到更好的体现。[4]权重是一个随意的和主观的因素,这也是排行榜方法论中一个根本性的缺陷。[5]这种随意之举会使人们发觉,权重和计算公式可能每年都在变化。 克拉克曾对《美国新闻与世界报道》的“专业研究生院排行”和“本科文理学院排行”的四种变化因素进行六年多的跟踪研究发现,在全部的变化中有85%是权重、定义和方法上的变化而非增加或减少指标的问题。研究生教育排行的变化要大于本科生教育排行,同时,相对于一般学科来说,一些专业学科领域(如法律)排行的变化更为突出。在克拉克所考察的《美国新闻与世界报道》六年的排行榜中,平均有6~8个计算公式的变化,而最大的变化则在少量的指标上。克拉克认为,计算公式的变化将无法对一所院校一定时期内的业绩进行比较。如果一定要进行比较的话,只能从一个断面上考察那些长期保持稳定的指标。[6] 第三,排行榜都有其具体的比较单位,这种比较单位可能是院校,也有可能是特定的培养项目(如MBA)。国际性的排行榜通常是以院校为比较单位,而且也不区分院校的规模或类型。而在国内层面上,很多排行榜都是按照高校的类型进行排行。例如,加拿大的《麦克林》主要针对医科或具有博士授予权的高校、综合性高校和以本科教育为主的高校这三类高校进行排行。但有人认为,对使命不同、资源状况不同的院校进行比较这本身就有方法上的缺陷和不当之处,[7]也是对社会不负责任的做法。[8]由于一些规模较小的高校和非研究性高校在有关科研和声誉的指标上不可能获得高分,因此,排行无意中造成对这部分高校不利的局面。