对我国第三轮学科评估的调查与分析

发布时间:2016-10-31 21:20:21

 

2016年3月,清华大学教育研究院袁本涛和李锋亮教授发布了他们对于我国第三轮学科评估的调查与分析的最新研究成果。主要内容摘编如下:

1.被调查对象对学科评估的总体印象

1)第三轮评估受到了普遍的关注。

在本次调查的所有1574位被调查对象中,只有156人表示没有听说过第三轮评估,而有1418人对第三轮评估有不同程度的了解,占所有被调查对象的90.1%,其中“比较了解”和“很了解”的被调查对象加在一起的比例超过了50%。在对第三轮评估没有任何了解的156人中,大部分是在校学生。可见,第三轮评估已经得到了大部分利益相关方的关注。相对而言,艺术学科的被调查对象不了解第三轮评估的比例较高,占艺术学科被调查对象的33.3%,总计33人。

2)希望学科评估制度化。

在本次调查中,有69.7%的被调查对象认为今后的学科评估需要制度化。与此同时,也有超过30%的被调查对象表示反对学科评估的制度化,其中反对学科评估制度化的主要群体是学科教师。通过问卷的开放题选项可以看出,反对者的理由主要是担心制度化的学科评估可能会“不利于学科发展”。

3)高度认可第三轮评估的结果。

在本次调查的所有1574位被调查对象中,只有122人表示评估的最终结果和自己预期的结果“不太一致”或者“很不一致”,比例为7.8%,这说明各利益相关方是高度认可第三轮评估结果的。

4)高度认可第三轮评估的一级指标设置。

在第三轮评估中,评估指标体系总共有四个一级指标,分别是“师资队伍”、“科学研究”、“人才培养”和“学科声誉”。本次调查询问了被调查对象对四个一级指标设置的看法。

在本次调查的所有1574位被调查对象中,有1536人认为“师资队伍”这个一级指标“非常重要”或者“比较重要”,比例达到了97.6%,所有学科分组这一比例均超过了93%。

在本次调查的所有1574位被调查对象中,有1506人认为“科学研究”这个一级指标“非常重要”或者“比较重要”,比例达到了95.6%,所有学科分组这一比例均超过了94%。

在本次调查的所有1574位被调查对象中,有1539人认为“人才培养”这个一级指标“非常重要”或者“比较重要”,比例达到了97.8%,所有学科分组这一比例均超过了97%。

在本次调查的所有1574位被调查对象中,有1371人认为“学科声誉”这个一级指标“非常重要”或者“比较重要”,比例达到了87.1%,所有学科分组这一比例均超过了85%。

在上述四个一级指标中,认可度最高的是“人才培养”,其次是“师资队伍”,而“学科声誉”的认可度相对而言低一点。即便如此,也有87.1%的被调查对象认为“学科声誉”“非常重要”或者“比较重要”。这说明大多数被调查对象高度认可第三轮学科评估的一级指标,认为它们能够很好地对学科建设发挥导向性作用。

2.被调查对象对学科评估的主要关注点

1)如何更好地利用评估结果,实现以评促建。

在第三轮评估结果公布之后,一些省级政府部门和高校就开始将部分资源分配与学科排名结果挂钩,希望实现学科评估的“以评促建”。本次调查也向被调查对象询问了这一问题,结果发现,尽管有一定比例的被调查对象认为学科评估结果应与政府拨款挂钩,比如人文社会学科有超过三分之一的被调查对象认为学科评估结果应与政府拨款挂钩,但通过问卷开放题的分析发现一些学科专家对于这点持怀疑态度,他们认为评估结果一旦与资源分配挂钩,就会给学校带来强烈的导向作用,促使学校按照评估指标建设自己的学科,而统一的指标体系无法充分体现学科特色和学校特色,因此,评估结果应慎重与政府拨款挂钩。

2)如何更有效地评估科学研究。

关于科学研究,大家都高度认可这是学科评估的一个重要的核心要素,但是如何评估,不仅不同学科之间的争议很大,即使在同一学科内部意见也极其分散。

其一,评估是否继续需要“著作”这一指标,以及如何评估专著的质量。对此,不同学科和不同身份的被调查对象的意见分歧较大。在理工农医学科的被调查对象中,有40.1%的人表示“认同”或者“非常认同”“专著不应再成为学科评估指标”的观点。而在人文社会学科,有67.9%的被调查对象认为专著数量可以成为学科评估的指标,只是应将其改为对专著水平进行同行打分。

其二,如何评估代表性学术论文。大家都高度认可“代表性学术论文”这一指标,但如何评估却存在巨大的分歧。这些分歧包括如何提交以及如何评判代表作。如何提交代表作的争议包括是否需要“限定每个年龄段作者提供论文数”、“限定每名作者提供论文的数量”、“限定每个二级学科(方向)提供的论文数量”、“代表作的时间范围”等。人文社会学科虽然有65.2%的被调查对象认为需要作出一定的限定,但同样有34.8%的被调查对象认为可以不作任何限定,这个比例相对较高。管理学科的被调查对象认为可以不作任何限定的比例为42.4%,在所有选项中比例最高。

如何评判代表作的争议包括如何判定“同行评议”、“引用率”、“期刊(会议)影响因子”、“A、B类刊物(会议)列表”等,即使在相同学科大类,不同被调查对象的意见可以说也是非常分散,很难得到一个比较一致的结论。

其三,如何调整科研项目的权重问题。对于人文社会学科和艺术学科而言,有不少被调查对象强烈希望降低科研项目的权重,比如人文社会学科57.2%的被调查对象认为应降低科研项目的权重,然而这仅仅是一个简单多数的比例。而且艺术学科的很多被调查对象认为,目前关于科研项目的指标过于庞杂,对于不同参评单位来说缺乏公正性与权威性。

其四,如何评估科研获奖。科研获奖情况目前主要考察政府设奖,缺乏对于非政府设立奖项与国际奖项的考量。那么如何引进非政府与国际奖项,引入奖项的标准是什么?这些问题都存在很大的争议。

其五,如何恰当处理省级项目及奖项。设置省级项目与奖项的初衷,是考虑到很多学校的学科很难拿到国家级的项目与奖项。然而,省级之间的科研项目与获奖的标准差异较大,很难统一评判。而且还有可能有些学校由于拿到了很多省级的科研项目或者奖项,通过得分累加,最后的得分超过了很多拿到了国家级项目或者奖项的学校,这样的结果显然很难让人信服。如何恰当地处理这种情况?本次调查的结果显示,大多数人比较一致的看法是对于省级项目和奖项作出得分上限的处理。

其实,如何有效评估科学研究,这是一个世界范围内的难题。可以说,只要高等教育评估存在,对这个问题的争议就会一直持续下去。

3)如何更好地体现国际化办学及国际化评估。

国际化水平是衡量学科水平一项很重要的指标,很多被调查对象认为目前的评价指标体系中国际化指标不足,比如未包括培养国际化、获奖国际化、课程国际化、教师国际化和教材国际化等。然而如何丰富国际化的指标,实际操作时统计口径如何界定?目前这些都是很难有共识的问题。另外,对于学科评估,许多被调查对象表示,邀请国际专家参与、加强国际同行评价是非常有必要的,认为可以更好地体现国际化,增强权威性。然而由于语言问题、国际同行的选择标准问题等,国际同行评价在操作上具有不小的难度。

4)如何更好地评估专家团队。

“专家团队”是一级指标“师资队伍”下的二级指标。在第三轮评估中,“专家团队”指标以人才头衔作为主要评价方式。然而本次调查发现,这种方式起码存在两个问题。其一,对于师资的结构考察欠缺。其二,对于部分学科,尤其是“头衔”较少的人文社会学科,这种方式的评价准确度不够。对于第一个问题,大多数被调查对象比较认可增加教师结构的指标,包括年龄结构、学缘结构和学历结构三个小项。但如何解决好第二个问题,目前仍是仁者见仁,智者见智。

5)是否需要强调对绩效(投入产出比)的考核。

本次调查发现,不少被调查对象表示,希望在下一轮评估中增加投入产出比的绩效指标。其中,理工农医学科这方面的诉求尤其强烈。77.2%的理工农医学科的被调查对象表示,“非常同意”或者“同意”评估必须对投入产出比的绩效指标加以考核。他们认为评估科研项目时,不能仅考察科研项目的数量、经费,更重要的是要评估科研项目的绩效,如解决了什么问题,带来了什么效益等;他们认为,增加投入产出比的绩效指标有利于学科从外延式发展向内涵式发展转变,同时更能反映学科的发展潜力,优化学科建设的资源配置。艺术学科的很多被调查对象也强烈表示,希望下一轮学科评估要进一步完善绩效考核制度。

然而,也有不少被调查对象,尤其是学科专家,认为学科评估是一种水平评估、排名评估,如果过分关注绩效,一方面是很难找到令人信服的评估绩效的指标;另外一方面,过度关注绩效指标可能会使评估出现和常识不符的结果。

6)如何确定合理的评估周期。

虽然绝大多数被调查对象认为需要建立起制度化的学科评估,而且大多数被调查对象也认为评估周期应该在3-5年之间,然而具体是3年、4年还是5年为宜,不同的人就存在很大的分歧,没有任何一个选项具有绝对多数的优势。

7)如何设置合理的材料报送规则。

在本次调查中,管理、人文和社会等学科的多数管理人员及教师均反映,在第三轮评估时,一些学校提供的评估材料存在不合理整合的问题,有的学校有策略地进行了材料整合包装,使得有些最终显示排名靠前的学校的学科,其实并不是业界普遍认可的最好的学科。在人文社会学科,我们通过在问卷中增加题目的形式对这个问题进行了专门的调查,发现有64.9%的被调查对象反对学校在材料申报时采取整合包装的做法。

当然,也有一定比例的被调查对象认为材料的包装整合是一个合理的策略,对此表示可以理解,而且还有一些被调查对象,尤其是学科专家,认为这能在一定程度上促进学科交叉、协调与整合。

总之,在本次调查中,很多利益相关方看到了材料不合理整合导致的负面效果,也有一部分人认为这是正常的,不应该强行制止,认为“这种做法是可以的,因为学科有交叉,学科发展也需要融合,不能够将一个人固定在某一个学科上”。但是,对于如何扬长避短、趋利除弊,大家似乎没有达成一致的解决方案。有被调查对象认为,为了防止多个学科包装整合,各参评单位拥有的所有一级学科均需参评;但同样有被调查对象认为,这样做就违背了学科评估“自愿申请参加”的大原则。

另外,被调查对象对于申报材料追溯年份的期限也分歧很大。一般而言,应用性学科倾向于申报材料的追溯年份短,而理论性学科趋向于申报材料的追溯年份长。

3. 结论

依据对教育行政管理人员、培养单位管理人员、学科教师与专家、用人单位、在校学生等利益相关方的大规模问卷调查所获数据与材料,本研究有以下重要的发现:

其一,学科评估不仅受到了普遍的关注,而且获得了利益相关方的高度认可。大多数被调查对象认可第三轮评估的结果和一级指标的设置,并且希望学科评估制度化。

其二,利益相关方对学科评估以评促建的实现、科学研究的有效评估、国际化的更好体现以及专家团队的组建与评估绩效(投入产出比)的考核、合理评估周期的确定、合理材料报送规则的设置等问题表现出普遍关切,但在上述问题上存在着明显的学科差异以及不同身份的差异。

其三,利益相关方对下一轮学科评估提出了一系列的改进建议,包括进一步提高学科评估的透明度,进一步推进特色化分类评估,对于特定学科增加非文献计量指标数量和权重,进一步扩大评估主体等。

来源:袁本涛,李锋亮.对我国学科评估发展的调查与分析[J].高等教育研究,2016,(3).

>