充分、可靠的数据是进行学位与研究生教育评估的基础，只有在收集大量可靠而有用数据的基础上，才能作出客观正确的评价，这一点已为广大评估研究人员及实施者所共识。 收集评估数据是一项复杂的工作，造成评估者收集的数据不可靠的原因很多，既有人为原因，也有技术原因。找出评估中数据不准确的原因，制定出保证数据可靠性的措施，是学位与研究生教育评估中一个十分重要又十分必要的环节。 一、信息采集中易出现的数据失真现象 在整个学位与研究生教育评估过程中，数据采集和资料的准备需花大量的时间，人们在费了很大力气的同时，总希望收集的数据能准确有效。不管人们的主观愿望如何，数据失真现象还是很容易发生。除了计算机输入和誊写时的失误可用校对等方式检查外，还有其它一些主客观上的数据失真问题。 1.单位名称改换造成的数据收集困难。单位名称改变后，评估者及信息采集者由于不知道，或没有考虑到这种情况，造成数据的漏检。如某些学院改称为大学，某几个学校合并为一个学校，单位自身的发展造成的名称改变，这些原因使单位名称前后不一致，若收集数据时不考虑到这种情况，则单位改称或合并前的数据就收集不到，影响了数据的准确性与完整性。 2.对数据理解的歧义造成的数据不可比性。由于要求不明确、概念说明不清楚，使不同的人对同一数据产生了不同理解，从而使数据内涵不一致，使数据丧失了可比性。 3.信息分散造成的数据不全或数据重复。有些数据不是集中存放的，分散在几个相关部门，申报数据时就容易漏掉个别部门数据，或者由于各部门数据交叉，造成汇总时的数据重复，无意间夸大了数据。 4.实际要求与日常习惯不同造成的数据不一致。学校的许多数据，如有关教学的数据，大多是以“学年度”为单位进行统计，而报表要求又以“年”为单位。这样使申报数据产生了困难，且易产生数据不一致。 5.人事变动造成的数据申报问题。在一些教授、科研人员调动到新单位后，他们以前的论文、获奖、科研项目的归属问题可能混乱。如在评估中曾发现，有的学校把刚调入的教师在其它单位时的论文、获奖算作自己学校的成果，这显然不妥。 6.计量单位不同造成的数据混乱。在数据收集过程中，经常发现有些上报数据的计量单位不一致。例如有的以万元为单位，有的则以元；有的以亩，有的则以公顷。产生这种情况的原因可能有两种，一是报表要求不明确，填报人各自理解不同，二是要求明确，但填报人未加注意，致使上报数据的计量单位各异。显然，若不给予充分的注意，具体计量单位的不同会引起数据的混乱。 7.有些数据项目的具体规定不明确造成的数据不准。如某些科研项目、获奖的申报，当科研项目、获奖由不同单位的几个人合作完成时，若各单位均作为一个完整的项目申报就会造成数据夸大。再如正高、副高人数，一些退休人员如何计算，完全退休与再反聘回来的有无差别。教师总数与教工总数的差别，国家级奖尤其是文科国家级奖的具体范围等。 8.等质性的问题。原始数据应具有等质性，等质性是进行数据处理的必要条件。以国家级奖为例，国家级奖的一、二、三、四等奖显然具有很大的差别，若笼统以国家奖计，则反映不出奖项质的区别。 9.虚报数据。这是数据采集过程中遇到的主观上最恶劣的一种。当遇到和单位有利害关系的评估时，个别单位故意编造、谎报有关数据，隐瞒问题，抬高自己，这既对其它单位是一种不公平，对评估来说也就失去了公正合理的一面。 此外在由专家打分取得数据时，容易有群体效应形成的评估误差，如从众效应、威望效应、肯定效应、关系效应、趋中效应等。这类误差和前面所述的数据不准或不全有所区别，但同样也会造成数据失真。 二、数据可靠性保证措施 要保证数据的准确可靠，就必须对此作系统的关注。否则在整个学位与研究生教育评估过程中就会因数据问题造成工作的被动。 1.理论准备与指标体系制定中的数据考虑。在此阶段对数据方面应重点研究数据及指标内涵、计量单位的选择、指标本身对数据可靠性的保证等。 （1）数据内涵的确立。在收集数据时， 必须对数据的内涵作明确的界定，否则得到的数据很可能就失去了原有的意义。同一指标，在不同类型及不同时间的评估中可能内涵是有差别的，特别是在范围、数据的时间限定等方面更容易变化。如国家级奖，具体包括哪些奖项，与本次评估关系不大的国家级奖算不算在内，获奖时间限定等，很可能每次评估都不尽相同。 （2）计量单位的选择。 应根据本次评估的特点确立合理的计量单位，如万元还是元，亩还是平方米，这样做不仅仅是为了上报数据时填表的方便，而且为下一步制定报表做准备，避免由于报表要求的不明确造成计量单位混乱。 （3）指标设计时的考虑。 指标设计时单就保证数据可靠方面还应考虑两点。一是相互制约指标的设立。在设立指标时，一些合理的可相互制约的指标对抑制虚报数据有积极作用。如设立有关人数的指标时，考虑设置一些人均项目的指标。设立规模指标时，设置一些效益指标。二是惩罚性指标的设立。在对评估单位利害较大的评估中，为了保证上报数据的可靠，设立一些惩罚指标对虚报数据者予以惩罚。譬如可把这种指标放在管理水平这类指标中，对查实的虚报数据的单位予以罚分。
