随机干预试验

——影响评估的前沿方法

作 者:

作者简介:
张林秀(1962-),女,研究员,博士生导师,主要从事农村贫困与发展,农村公共基础设施与发展,农村土地和劳动力市场与发展,农村教育、医疗和社会保障以及性别等方面研究,E-mail:lxzhang.ccap@igsnrr.ac.cn,中国科学院地理科学与资源研究所,北京 100101

原文出处:
地理科学进展

内容提要:

在国际上,影响评估已经逐步成为项目设计的一部分,其最大的挑战是如何判断结果变化确实是由于项目干预或政策实施所致。影响评估的方法可以分为非试验性影响评估方法和试验性影响评估方法两类。非试验性影响评估的主要方法有事前事后评估比较法、倍差分析法、匹配法、工具变量法、断点回归法等;而试验性评估方法即随机干预试验,其最大的优点是避免了非试验性评估的选择误差问题。本文在介绍2类影响评估方法特点的基础上,重点介绍了随机干预试验的试验设计和操作步骤。开展随机干预试验首先要进行因果链分析,其次确定干预的单位和随机的方法,然后进一步分析其他可能对结果变量产生影响的因素,并在试验设计时加以控制,最后计算试验规模的大小。随机干预试验的执行过程:第一步是基线调查,第二步随机选择样本实施干预,第三步是评估调查。本文以婴幼儿营养健康和教育的影响评估项目为典型案例,对随机干预试验在中国的实践应用进行了介绍。随机干预试验在影响评估领域具有广阔的应用前景。


期刊代号:K9
分类名称:地理
复印期号:2013 年 06 期

字号:

      doi:10.11820/dlkxjz.2013.06.001

      修订日期:2013-06.

      1 引言

      近年,影响评估已经成为发展类项目或政策设计和执行的重要部分。国际上有很多组织支持科学影响评估新方法的探索并鼓励将其用于相关项目的效果及影响评估,例如贾米尔贫困行动试验室(J-PAL)、贫困行动创新(IPA)组织、世界银行发展影响评估项目(DIME)、国际影响评估基金(3ie),以及由各国政府设立或资助的影响评估机构等。随着政府部门、发展组织和机构对科学影响评估重要性认识的逐步提高,未来类似的研究活动会越来越多,开展影响评估的重要性主要基于如下问题:①有限的资源是如何使用的;②有限资源的利用有没有改善的空间;③是否有必要进一步推广或者增加投入。要回答这3个问题,关键是要评定项目是否有效地达成了预期目标,这就需要进行科学、定量的影响评估。

      科学定量地评估发展类项目的影响,在社会科学研究中已经得到广泛重视。研究者在对原来倡导的“监测与评估”在项目实施中所起的重要作用持肯定态度的同时,支持开展更加科学的影响评估。新型影响评估方法的推动者反复强调的一点,就是在开展影响评估时不但要找出哪些发展项目或政策是有效的,还要解释这些发展项目或政策为什么有效或为什么无效。这不是凭借单纯的项目“监测与评估”报告所能解决的。国际影响评估基金也强调:“研究要清楚地说明干预措施(投入)将如何影响最终结果,而且要对从投入到最终结果之间的因果链(假设)进行检验。评估设计应当包含从投入到影响之间整个因果关系链的分析。”(White,2009)

      基于以上背景,本文将介绍如何利用科学影响评估的前沿方法——随机干预试验(Randomized Controlled Trials,RCTs)进行影响评估。文章第2部分概述了常用的2类影响评估方法,并强调了采用RCTs的必要性;第3部分介绍RCTs的基本设计和操作步骤;第4部分以典型案例的形式介绍RCTs在中国影响评估实践中的应用;第5部分对当前还存在的问题及未来的应用前景进行讨论。

      2 影响评估方法概述

      2.1 影响评估的核心问题

      影响评估的核心问题是归因。影响是指政策(或者干预)的作用对象与它在未接受政策(或干预)的情况下在结果上的差别。同时,影响程度的大小也随时间变化而改变(图1)。影响评估就是要在控制其他因素作用的情况下,分解出哪些影响和变化是由于某项(组)因素干预所引起的。此类归因要借助于反事实分析,或者说找到一组有说服力的对照组(不接受干预,也称控制组)用来与干预组(接受干预,也称处理组)进行对比,影响评估的难点也在于此(White,2009)。那么反事实对照组从哪里来呢?最理想化的方案是,对于同一个接受项目干预的主体,比较其在某一时点接受项目干预与不接受项目干预之间的结果差异。但这在现实中不可行,因为我们不能既看到主体接受项目干预后的结果变化,同时又让其回到干预前的原点重新开始发展,得到该主体未接受干预的结果变化,再比较这两个变化的差异(这就是影响)。如果只是比较此主体在接受干预前后的差异,则通常不能得到可靠的结果,因为其中有一个非常关键的假设,即与结果变量相关的其他任何因素在干预时期内不能发生变化,但是现实中这一假设可能不成立(Duflo et al.2007)。有鉴于此,我们可以设法将1组接受干预的人群与1组与之类似(统计意义上)但未接受干预的人群进行对比,以此来评估项目或政策的真实影响。

      

      图1 事实与反事实(White,2009)

      Fig.1 Factual and counterfactual(White,2009)

      2.2 影响评估的2类主要方法

      2.2.1 2类方法主要特点

      影响评估的方法很多,最常见的可以分为以下2类:①传统经济学经常采用的非试验性的或者拟试验的评估方法,如事前事后评估比较法、倍差分析法、匹配法、工具变量法、断点回归法;②随机干预试验(RCTs)法,也叫做社会试验、随机分配研究等,这类方法使用的前提是可以对干预对象进行随机分配,在合格目标群体中随机分配其中的一部分对其实施干预,另外部分则作为对照组,不实施任何干预。

      以上两类方法的主要特点以及应用时所需的基本条件和环境等详见表l。从表l中可以看出,每种方法都有其关键假设条件,如果在应用中这些假设无法满足或不成立,那么采用该方法估算的影响就是有偏差的,以此得出的评估建议也会是不准确的。两类方法在作者研究团队“农村教育行动计划(Rural Education Action Program,REAP)”①开展的影响评估研究中都有应用,但采用RCTs方法的占大多数。

      2.2.2 RCTs方法的优点与适用范围

      在各类影响评估方法中,RCTs方法被认为是影响评估的“黄金准则”(Guo et al,2010)。RCTs最早用于对医疗卫生服务中的某种疗法或药物的效果进行检测和评估,后常用于医学、药学、护理学等自然科学研究,近年来在农业经济、教育等社会科学领域得到越来越多的应用,如农业推广服务、公共健康和教育项目等。

      RCTs可以解决一般影响评估中的选择误差问题,而后者是导致评估结果不准确的核心因素。例如,在评估就业培训对就业机会的影响时,如采用报名参加培训与不参加培训的人进行比较,就可能会出现选择误差,因为比较的往往不是同一类型的人——如果报名是自愿的而非随机分配的,那么主动报名的人的求职愿望可能高于不参加培训的人,无论他们参加培训与否,其获得工作的可能性都会高于不愿意参加培训的人,这样不对称的对比结果就不能反映培训的真实效果。只有将培训的机会随机分配给一组人,再将其与随机分配且特性相似的另一组没有接受培训的人比较,得到的比较结果才反映真实的培训效果。

相关文章: