科研星球

杨卫院士详解科研评审制度:基金申请5点建议来了!

作者 | 杨卫(中国科学院院士)

2020年9月21日-25日是同行评议周(Peer Review Week),主题是“同行评议中的信任”。


国家自然科学基金委员会原主任,浙江大学教授、原校长杨卫做客爱思唯尔专题线上研讨会,畅谈对“信任与科研评审制度”的理解,给青年科研人员进行项目评审、基金申请提出了不少中肯、操作性强的建议,并与网友进行互动。


《中国科学报》对研讨会内容进行了整理,以下为研讨会实录:

Q1: 同行评议除了在期刊评审发挥作用外,相信您还了解同行评议在其他方面的广泛应用,可以介绍一下吗?

 

杨卫:

不同方面的同行评议我都做过,现在还是爱思唯尔一个期刊的编辑之一。每年从我手里要评五六百篇来稿,涉及发送给审稿人、判断其审稿意见、决定录取与否等。


我们一般谈论的广义评审,可以称作“三评”——评审、评估、评价。其最基本的形式有两种:主观评价和客观评价,分别指由人来评价和由数据来评价。当然也有主观和客观结合在一起进行评价。


我曾做过一个报告,将目前国内实施的主客观相结合的评价归结为9种具体形式。


主观评价,即同行评议(peer review),是一种最基本的评价形式。广泛应用在期刊、科研项目、奖项、职称乃至学生奖学金、先进模范等评审中。


与期刊的同行评议相比,科研项目评审呈现出以下不同特点:


1. 评价项目涉及标的更大,并涉及到国家经费,即纳税人的钱。所以评审过程中一旦出现问题,审计、监督部门就会介入。


科研项目的评审一般是单向的,评完后通知评审结论和意见,没有评上的很难以学术观点不同的争辩而改变结果。


国家自然科学基金条例中规定,评审过程中如果违反了程序,可以申诉,维持程序正义。但如果对评价意见有异议,只能保留。


这和期刊评审采取交互的方式,审稿人、编辑、投稿人有时候可以进行争辩而有所不同。


这是因为,在评价过程中,国家自然科学基金委认为它已经找了一组最权威、最合适的专家,如果你对意见不满意,想要推翻这些专家的意见,就需要找更加权威的专家。


2. 项目评审的时间,尤其是会评的时间往往比较固定,在评审之前不公开专家信息。


在评审之前公布专家信息行不行呢?我们以前试过,在某一年,依照当时一份文件,公开了专家信息。结果很多专家的手机都被打爆了,电话、短信几百个。


这些申请人们并不直接找相应的评审专家,而是去找一个评审专家最难说不的人当说客,这就带来很多问题。


一直以来,我们让评审专家互相打分,来判断组里别的评审专家是否公正,公正程度分为A、B、C,在信息公布的那一年,这个分数一下子下降很多。


因此,从下一年起,我们就不再提前公开评审人的信息,而是在评审之后公布。同时把统计数据、情况说明等报给了相应的管理部门。

 

3. 项目评审往往会框定一个项目的总数量,如30项或50项,有时则是定出资助金额总量,如1000万等。


一般采取定额补助的财务管理模式,对比所有参评的项目,从中择优选取。


可能你的分数很高,评价也不错,但如果同组里的其他申请人分数更高,你就会被淘汰。


这是一种学术共识性的评价,即综合几个评审人的意见,最终给出结论。这对具有颠覆性的、从0到1的创新是不利的。


既然是颠覆性的,还能形成共识吗?现在大家也在探索,对这种项目该以什么方式去评审。

 

4. 在评审项目时,除了要看项目本身的重要性外,还要看它有没有可能做成、价值怎么样,要检查可行性。


这与期刊评审不同,论文是经过可以形成完备论证链的理论、实验、计算工作所取得的成果。


但研究项目在提出时并不一定能保证成功,是某人提议去做这么个项目,即使最后做不成,也不完全是申请人的责任。毕竟科学探索不一定都是成功的,如果要追求一定成功,那可能就不会有大的创造。


而评奖更加滞后一些,所以更注重应用价值、突破和进步的程度、别人对其评价和引用、相应问题知识产权的占有情况。


比如科技进步奖,就要看经济效益和社会效益。曾经有诺贝尔奖评奖委员会的评委告诉我,诺贝尔奖最注重两点:是否是“开门之作”,有没有持续的影响力。


Q2: 期刊为了提高透明度和可信度,会公布审稿人的意见,科研项目在评审之后会公布评审人信息,同时给单向的评审意见。


您认为除了目前这些措施外,还可以从哪些方面提高整个评审程序的透明度?

 

杨卫:

透明度目前还是一个有一定争议的议题,得特别谨慎地加以处理。


评审人和申请人的角色经常互换,并不是固定的。评审的意见一般要求非常具体,要让在申请人拿到意见之后,无论赞同与否都有收获。


这个意见要隐去所有能揭示自己身份的信息,对国家自然科学基金来讲,在函评时,谁审得谁,是基金委的核心机密,任何一个工作人员如果透露出这个信息,就不再适宜在基金委工作。


我曾担任国家自然科学基金委主任,也不知道是谁审了谁,系统里这块内容对我是封闭的。


只有具体操作的人才知道,他们的操作,也必然留下痕迹。所以一旦泄露,很容易追踪到这个人。这才能保证大家对国家自然科学基金的信任感,不至于出现专家之间的猜疑和人身报复。这一体系在绝大多数情况下也是被认可的。


毕竟目前来看,中国还是比较讲人情的,如果你要把审稿人公布给申请人,还要求提出尖锐的意见,大部分人就拒绝审稿了。即使不拒绝,其意见也会含混不清、模棱两可。


期刊也是这样,大多数期刊也不会把审稿人告诉给作者。以我所在的期刊来说,如果审稿人的名字被泄露给作者,就算是一个事故。


Q3: 匿名评审是为了保护同行评议的信任感,但评审委员会内部如何决定谁审谁?怎么避免人为的偏见呢?

 

杨卫:

我刚才讲到,我们的基金评审是学术共识性的。一般的程序是,先把所有的申请按照关键词进行分类,分成若干个包,每个包可能有十几份申请,会发送给同一拨专家。


在评审专家看到申请人名字和申请课题后,他们依照原有的认知,对申请人形成一个排序,这是预判断。


在对申请书进行比较、分析之后,他们可能会调整预判断,形成个人最终的次序判断。最后,对这一组的评审人意见进行汇总,形成最终的意见。


Q4:您对青年科研人员有哪些建议?在申请基金时有什么需要注意的?

 

杨卫:

自然科学基金委原来的规矩是,项目主管不许给别人讲怎么能申请到基金。我不做主任有两三年时间了,但现在我不能主动去详细讲述这件事。


在我当校长的时候,年年都给老师们讲,怎么才能申请到基金。现在我只能给大家讲,在我当国家自然科学基金委主任以前,给年轻老师的提议。


1. 项目背景要能够让大同行明确理解。


有些年轻的申请人以为,自己写的东西别人都应该知道,但其实很多时候别人并不知道,隔行如隔山。缺了解释性的一两句话,中间的逻辑就会断裂。因此,要照顾到大同行的理解程度。


2. 研究内容、技术路线、创新点等要适度聚焦,但在难点上要一线贯通。


你的项目可能涉及很多个方面,但并不需要面面俱到,不然大家看的也很疲惫。而要把最难实现的路径、别人认为最不可行的问题讲清楚,包括技术细节等。


这样评审人会觉得,最难的东西你都讲清楚了,其他的问题也不大。


这和写论文不一样,写论文要把所有的步骤、方法都讲明白,但是项目要求内容聚焦,要论证其执行路径的可行性。

 

3. 不能省略同行的工作。


有人在进行阐述时,忘了提自己同行的工作。但评审人很有可能就是你没提到的某个同行,或者是他们的学生、同事等。别人做过的工作,绝不能只字不提,尤其是国内同行的相关工作,要写清楚。


4. 写自己的研究经历及成果时,突出重点。


不需要一一罗列,写几十页,只需要把自己最重要的和与研究问题最相关的工作写清楚。


5. 思考如何才能令人眼前一亮。


刚才我讲到,最初申请书是由人工智能系统检索打包的,将相似主题的申请发送给给同一拨人。


这时你要想:在这十几份申请书里,我的课题申请凭什么能打动评审人?一般的中标率是20%左右,15份申请里的前3名有可能中标。大家要思考如何才能成为前3名,令人眼前一亮。


不同的学科习惯不一样,生命科学可能要求把故事讲好,而工程类的呢,要保证写得实实在在、精确到位。


上述意见仅供参考。


Q5: 青年科研人员也逐渐参与到各项评审工作中,通过经验积累来提升自己的评审能力,但目前市面上很少有专门的课程指导大家如何去做同行评议。


在这方面,项目评审是否有同样的挑战?如何成为优秀的评审人?


杨卫:

国家自然科学基金委有一个专家库,里面大概有十几、二十万个专家。在项目主管指定评审人的时候,根据项目主题和内容,可以看到相关专家在关联度上的降序排序。


项目主管可以选择系统筛选出专家,也可以根据自己的知识,指定其他更合适的专家,他的选择也会被带到机器学习中,相应做出调整。


这个系统的信息一般是从科研人员的网站搜过来的,因此建设个人网站很重要。如果网站信息显示你曾经研究过某一类的问题,就有可能请你来评审。


你给的分数等级普遍比大家高或低都没问题,但如果总是跟大家的平均结果缺乏相关性的话,你在系统中的优先级就会下降。比如多次出现这种情况,其他人一般给B,你给了D,其他人给C,你给了A。


再有,基金委给大家规定了评审时间,你最好及时审回提交,项目主任一般比较喜欢审的及时、意见具体准确的人。基金委很自豪的是其邀请审查基金的审回率在90%以上,比所有的期刊都要高,期刊的评审人有一半能审回就不错了。


Q6: 如何调动审稿人的积极性?有哪些激励措施?


杨卫:

首先,跟期刊审稿一样,评审一次基金项目,就能了解到某一个问题。而且项目书所覆盖的面往往比论文更宽,审完后对大家做什么题目,同行中比较重要的团队做些什么都有了解,这对学术生涯有正面作用。


第二,评审费在2年前就增涨了,而且涨幅很大。审一包项目书,肯定比你干一天活挣的工资要多。


同时,心理上来说,这也是为学界服务,是在做贡献。


Q7: 您提到,我们目前的评审制度是学术共识性的评审,对颠覆性的、创新性较强的项目有局限性,但目前中国正从科研大国到科研强国转变,越来越强调科研原创性,如何改变这种局限性?


杨卫:

基金委最近出了一个对待“从0到1”研究项目的特殊评审办法,更多地强调申请人和基金项目主管的交互。


申请人最开始写的项目书可以很简单,然后被拿去预审。只要其中有一处明显的创新点,就可以让申请人围绕这一点,重新写一个比较详细的项目书


这是一个迭代过程,希望能最终迭代出最能突出创新性的版本。在项目进行过程中,也会分阶段进行评估,根据评估结果决定资助金额。


延伸阅读:

基金委与阿里云达成合作,应用 AI 技术遴选评审专家

中国科学报从中国政府采购网和阿里云获得的消息,国家自然科学基金委员会已和阿里云达成合作,建设应用人工智能技术的科学基金项目管理系统,支撑自然科学项目申请、评审、立项、在研、结题、成果等等核心业务稳定可靠运转。阿里云方面介绍称,本次项目基于科研大数据、人工智能等技术,提取科研项目申请书、评议人的多维特征及科研行为信息,对科研对象进行更加准确的定义描述。基于 AI 技术的辅助指派系统,将为科研项目申请书遴选出最合适的评审专家,并结合反馈调节机制持续完善评议指派准确度

基金委正在搭建的这套 AI 系统则更加复杂。Nature的报道中,基金委主任李静海描述了系统的工作原理:爬虫会在网络上抓取文献数据库、学者的个人主页等在线数据,然后使用自然语言处理的方法提取学者的学术出版物、科研项目等信息的关键细节;匹配基金申请项目与潜在评审人时,系统将对两部分信息进行语义分析,以得到最优的结果。 

基金委前任主任杨卫称,2018年,这个系统的一个早期版本已经在为基金委提供服务:基金申请书的评审工作由3~7人组成的专家组承担,而系统为44000个批准了基金申请的专家组各推荐了至少一位成员。 

科研人员的裙带关系一直是基金评审公正性的一大阻碍,基金委希望使用AI系统减少评审的偏向性。李静海认为,“AI是不会被被腐化的”。《中国科学报》称,虽然此前基金委已经为规范评审纪律采取了遏制措施,比如提高评审信息保密水平、提高评审人员纪律意识,但今年仍有人通过各种途径“活动关系”,甚至有“广撒网”式的“打招呼”现象存在。 

过去5年内,基金委收到的项目申请以每年约10%的速度增长,这让评审公正性面临的压力进一步提升。2018年下半年,基金委提出要用5~10年的时间对科学基金进行深层次的重大改革,“完善评审机制”是彼时提出的三大改革任务之一,任务的实现措施中,明确包括了“使用智能辅助评审管理系统”。 

0.jpg

智能系统的工作质量,将是影响改革成效的关键因素之一。Nature 的报道显示,加拿大卫生研究院使用的一个评审人挑选算法,效果并不尽如人意:算法挑选出的评审人可能与项目存在利益冲突,或者不适合、甚至根本不具备评审项目的资格。

 目前,基金委的这套试验性系统只能处理中文的网络信息,英文信息的处理将是下一步的计划。


QQ客服
电子邮箱
淘宝官店
没有账号?