从数量扩张向质量提升转变是我国高校科技创新面临的阶段任务,也是加快内涵发展的题中之意。科研评价作为科研管理手段之一,在推动高校创新转型中具有重要导向作用。但是,我国的科研评价现状尚不令人满意。一方面,同行专家评价中的“黑幕”不时被揭开,引发对学术腐败的声讨;另一方面,定量评价方法被指责为科研泡沫的罪魁祸首。[1]以维护科学自主性和坚持科学自治理想为借口的同行评议,成为科研评价的主要方法具有天然合理性。[2]但是定量评价方法则遭遇是否还具有存在必要性的质疑。这种质疑主要基于对定量评价以数量为导向忽视质量的认识。目前高校科研评价中普遍运用的定量方法是否具有质量属性,偏离质量导向的原因在哪里,定量方法与质量导向之间如何兼容是科研评价改革无法回避的现实问题。 一、科学研究“质量”:内涵与外在表现 “质量”是各类管理活动的永恒主题。在古希腊哲学家苏格拉底、柏拉图和亚里士多德眼里,质量被理解为卓越(excellence)。18世纪中期,随着商品经济的发展,质量被界定为价值(value)。19世纪到20世纪20年代,在大规模工业生产蓬勃发展背景下,质量被定义为产品符合规格(conformance to specifications)。20世纪30年代,质量被加入统计学意义上技术标准稳定性的内涵。20世纪80年代,随着服务业在产业结构中占据主导地位,质量标准开始被理解为满足或超越客户的期望(meeting and/or exceeding customers' expectations)。[3]对于科学研究这一古老的创新活动,“质量”更是其本质规定性所在。对于科学研究质量,学术共同体和共同体外部的科学计量学专家,从截然不同的视角进行过界定。 在科学发展史上,科学家既是科研工作的主体,也始终是科研评价的主体。因此对于科研质量,科学家最有发言权。瑞典学者赫姆林(Hemlin,S.)曾就科研质量对224位不同领域科学家进行了问卷调查,结果显示科学家对此有广泛共识。科学家们认为,科研质量是对研究问题、研究方法、理论运用、结果、推理过程(逻辑)与书写表达等六个方面新颖性、严谨性、正确性、深度、广度、与学科内部和外部关联等属性的衡量。[4]当然,因学科特点与成果表达形式差异,自然科学、工程技术、医学、人文、社会等不同领域科学家对上述六个方面在本领域科研质量评价中重要性的排序略有差异。有学者认为,对质量的评价蕴含了科研工作者的个人价值判断,应将其放在特定的场域中去理解。对入职五年以内、主要是被评价对象的年轻科研人员,他们对科研质量的理解侧重研究问题的价值、对问题的揭示是否可以获得认同、论文发表期刊的影响力等,并希望这些有助于职业晋升;对于资深科学家,作为同行经常参与各类科研评价,他们对科研质量的理解根植于所在学科特点,看重研究者的能力、扎实的理论、反思的框架以及成果蕴含的思想,对科研工作的界定也更加宽泛。[5]科学家对质量概念的共识及差异,凸显了科学研究具有创新性和不确定性,应由学术共同体对重大科学发现优先权进行识别的传统,也可以看出作为学术同行在科研质量评价中不可避免的主观性以及由此衍生的一系列弊端。 科学计量学是运用数学和统计学方法对科学活动的产出(如论文数量、被引数量)和过程(如信息传播、交流网络的形成)进行定量分析,从中找出科学活动规律的一门学科。科学计量指标系统地运用于科研评价始于20世纪50年代普赖斯(Price,J.)和加菲尔德(Garfield,E.)的开创性工作。与研究领域内部的同行专家不同,科学计量学专家对科研质量的界定不是基于研究过程和研究内容,而是站在学术共同体外部对科学工作进行审视。科学引文索引(Science Citation Index,SCI)创办人加菲尔德认为,质量在性质上是难以捉摸的,人们在不同时间用不同名称来描述它,比如“重要性”(significance),“影响”(impact),“效用”(utility),“效力”(effectiveness)等。[6]莫伊(Moed,H.)认为,质量是研究工作的内在品质,是一个客观存在,但它并不是一个具有物理性质的客观实在物体。其客观存在可以从历史发展的角度来说明,即时间将证明某一研究工作的学术价值和持久性。他认为引用其他科研人员的文献是学术共同体成员之间的一种社会行为。经常被引用(高引用率)的研究成果显然会比很少被引用的研究成果更为有用。所以,一篇论文被引次数可以被认为是它的“影响”、“重要性”,或者说“质量”的精确测量。[7]从上述观点看,科学计量学的质量概念与学术共同体的同行共识是一致的。在共同体内,一篇论文被引次数被解释为影响力(influence)或者可见度(visibility)已经达成广泛共识。[8]由于被引次数需要在成果发表若干年后才能获得,因此评价实践中,论文发表期刊的影响因子往往成为代替被引次数的即时指标。在每一个专业,最好的期刊都是那些论文很难被其采用的期刊,也是高影响因子期刊,这些期刊在影响因子被发明之前已经存在。期刊影响因子运用于测量论文质量,正是因为它与观念中认同的学科最好期刊非常吻合。[9] 综上可见,学术共同体对科研质量的界定侧重从问题提出到结果呈现及应用的全过程,并以科学家个人的专业修养作为判断依据。科学计量学对科研质量的界定通过比较特定成果与其他成果获得同行引用数量差异来对质量进行间接判断。它以科学家在学术共同体内部的社会行为一致性为基础,超越了单个科学家的主观判断的局限性。二者均是以学术共同体的行为为判断基础,但一个立足学术共同体内部,一个立足学术共同体外部,一个侧重科学家个人主观的经验判断,一个侧重科学家群体行为的客观统计描述,一个是对科研质量进行直接判断,一个是对科研质量的间接判断,形成了良好的互补关系。由此可以得出,质量是学术共同体内外部专家一致公认的科学研究的内在规定性。科学研究质量既有包括问题选择、研究方法、理论运用、结论新颖性、推理过程、书写表达等内在的创新性与规范性要求,也有可以用被学术共同体内部同行引用次数多少等定量指标测量的外在影响力表现形式。内在的创新性与规范性要求与外在的影响力表现形式是两个相互补充、各有优势的衡量科学研究质量的方法体系。同行评价方法在科学研究内在质量判断上具有天然的合理性,定量评价方法通过科学研究外在影响力表现差异对其质量进行客观测量,也具有质量属性。