科研卓越框架(REF)的绩效拨款公式研究

发布时间:2016-11-21 21:21:47

2014年,英国高等教育基金委员会首次采用“科研卓越框架”(Research Excellence Framework,简称REF),对全英154所大学在2008-2013年期间的科研情况进行评估,评估结果作为2015-2016学年度大约10亿英镑经常性科研经费拨款的依据。科研卓越框架(REF)是英国近年实施的旨在推动国家创新、有效提升国际竞争力的一种全新科研评估制度。

(一)绩效拨款的因子分析指标

英国科研的绩效拨款是以科研评估结果为主要依据,通过对学科的财务指标和非财务指标的定量与定性分析来考核学科的整体情况,是在对该学科进行客观、公正和全面的考察。英国科研绩效拨款分析指标选取主要考虑以下几个方面:

(1)科研质量:指反映学科接受拨款资格条件的数据因素,由于REF评估每5-6年开展一次,学科因此会随着国家阶段性发展重点和战略需求而有所调整,如REF2014的评估中公共健康、流行病、私人护理和健康服务相关的学科就占有较大的优势。

(2)区域财政水平:指学科所在区域的财政支付能力。英国科研评估经费的拨付是直接面向区域的,也就是说英格兰的高校与苏格兰的高校在经费竞争方面不存在竞争,换句话说同一学科的不同区域的高校所获得科研拨款也许会有差异。

(3)学科建设成本:如完成学科建设和下一阶段学科发展的成本总数。

(4)科研人员:提交学科参评的教职员工总数,值得一提的是原作为RAE评估对象的B和D类研究人员即在评价周期内短暂受雇于该机构的人员,已经不在REF指标参考范围内,

仅在描述性统计中占有少量分额。这在一定程度上限制了科研人员流动性,有利于科研的长

期发展。

(5)科研成果:指参评学科所提交的研究成果,REF规定每个参评人员最多能提交4份至2008年以来的代表性成果。还有若干因子分类,不一一列出了。

(二)绩效拨款公式模型

英国科研绩效拨款是依据科研卓越框架(REF)的评估结果为基础,因此与REF评估一样,绩效拨款中最原始的数据主要是由科研机构I和所属学科J这两组数据组成。

简单假设拨款总额构成为{Yij,Vij},i=1,2,3......I,j=1,2,3......J,I是参与评估机构的总数,J是学科单元总数。

那么,将机构i在学科j的支出设定为Sij,科研拨款构建了一个由{Yij,Vij}构成的数学映射Sij,在这里Yij代表参与REF评估中所有科研成果,Vij代表符合REF要求的所有参评科研人员。

通过集合,一所大学对全部学科的支出总金额为,而国家对一学科的支出总金额为

 (1)

 

在这个公式中,存在一个假设函数Gij这是因为在REF评估前,高等教育基金委员会就会预设一个分配比例到各个基数中去,分配比例主要取决于政府当年的资助重点和国家的发展需要;同时通过评估等级间的权重系数差反映出额外资助资金的比例和可能提高的空间。函数Gij(...)主要是由REF的五个等级分类Y={0,1,2,3,4}及对应基数X={a,b,c,d,e}相互换算而得。通过这个函数,每一个基数Yij就可以转换成一个对应的基数Xij。不过通过权重的设定,只有在等级≥3时,函数Gij(...)才能实现持续增加。

原则上,从Yij到Sij的映射应该是与特定的学科和机构相乘获得,即设定位函数Xij

因此,科研整体质量就可以用Xij来表示:Xij= Gij(Yij),i=1,2,3....I;j=1,2,3....J,

事实上,在REF评估模型中还有一个重要因素就是针对特殊学科领域以及国家优先事项的政策倾斜即保证优先投入。解决这个问题最简单的办法是降低这些学科领域的科研成本因素,随之而来生成一系列成本因素,我们将它定义为Cj,j=1,2,3,...,J。政府对优先领域的倾斜和支持政策是影响学科评估结果和获得拨款的重要因素,如何决定一个特定学科领域A比B学科重要性高出10%;如果B获得的评定等级是1,如何能够使A能得到的国家优先评定等级为1,这就需要预先设定学科领域J的国家优先指数Nj,j=1,2,3,...,J。

如果将政府决定总支出的金额设为S,那么Nj的存在就可以引导国家科研资金的分配方向。

在这里给出4个国家决策函数,包括Gij(...),成本因素Cij,国家优先支持领域指数Nij,和总支出资金S,原始数据,一般形式的支付原则应该是:

Sij=F(Xij,Cij,Nij,Vij)(2a)

(2b)

函数F(...)作为增函数,在其它所有的函数中应该持续增加

如果学科j内所提交的员工总数设定为Vj,那么全国j个学科的参评科研人员总数则为

 

那么学科j内的平均科研质量即基准科研质量则应这样计算出来

j=1,2,3,.....J(3)

我们通过

表示这个基准量,来定义学科j的相对科研质量,我们用Qj这个函数来表示:

(4)

如果,我们按照一定比例将学科权重、科研质量、科研人员数、科研成本和国家优先指数分配给每个学科,那么决定学科支出的简单映射是这样的

(5)

在这里K是一个比例系数,由总支出S除以学科支出总额决定的

(6)

由于英国REF评估是将经费下配到英格兰、苏格兰等所在行政区域,因此当所有学科J的区域社会支出已经确定,那么某一学科(在所提申请的机构中)的基金分配也就随之确定了下来。Xij代表科研机构i在学科j中的科研质量,Xi代表这个学科平均科研质量,就可以这样用函数定义了:

(7)

与方程(7)相似,我们在制度层面为每个学科设置的支付函数,就是

(8)

在这里Kj是四个行政区域内学科的比例常量,学科J的们每一个常量都要求:机构在学科j中支出的集合必须总和达到方程(5)所计算学科支付总额Sj,这样Kj就计算出来了

 

(9)

当已知Si的情况下,Sij则可以作为学校层面支出的聚合收益

(10)

需要注意的是学科区域支出Sj是必须要在单个机构的学科层面支出Sij之前确定的。而

是参考该学科历年科研完成情况及产出成果设置的,这个基准也是Sj的主要决定因素,当Sij的充分必要条件时,大学在该级别的科研配套支出Si与聚合收益Sij的关系才能成立。这就完成了符合所有前提要求的科研拨款融资模式。

(三)拨款公式的应用与验证

为了更准确评估参评学科所处的质量位次,REF引入区间排名法处理评估结果,即按照上面所提供的公式计算得出评估小组的初评成绩;在初评成绩基础上,主评估小组还要依据员工(FTE)成果前景等指标分区间进行再次评估,形成最终排名结果,各小组的评定等级分别为五个档次即四星(卓越)、三星(优秀)、二星(很好)、一星(好)和无等级。初评成绩和复评等级的计算较为复杂,这里以伦敦政治经济学院所参预评的经济学科为例。

REF评估的复评变量设置和描述性统计

 

自变量

平均值

标准实验计量偏差

最小评估

最大评估

REF小组初评成绩

4.12

0.80

1.00

5.50

员工(FTE)成果前景

22.36

12.69

5

75.53

研究人员的活跃程度

19.32

12.21

5

62.53

成果的非学术影响范围

53.11

32.80

8

155

获得外部研究收入渠道

17.67

22.41

0.00

123.00

相关科研人员的数量

1.22

1.86

5.52

4.87

 

从上表中可以看出,REF采用的是变量设置和描述性统计相结合的复评方法,某一学科在获得评估小组初评成绩的基础上,还要再综合成果的前景、影响范围和发展潜力等多方面的因素进行二次评估。在6个自变量的设计中,成果的非学术影响范围权重最大,相关科研人员的数量权重最小,可见英国科研评估是重视质量而非数量。英国REF所采取的科研评估与拨款公式模型充分体现了不同学科间的差异以及政府的导向,这在一定程度上保证了科研拨款的效能,同时公式化拨款的过程和结果更容易被大众所理解和接受,便于专业人员和公众开展监督,也便于高校能更好地理解和适应政策。

作者:李漫红(沈阳化工大学博士,大连理工大学学科评价中心研究员)

>