科研星球

拒绝数量为王:「卷」出来的论文,正在阻碍科学发展?

文章来源:“环球科学” 


「不发文就没门」Publish or perish)是学术研究圈子里流行的一句话。学术论文不仅是科学发展的重要一环,也是如今全世界的学者们要面对的「绩效」指标——发表论文的多少,成了大家关心的话题。不过新的研究表明,论文发表得多并不一定是好事,甚至可能阻碍科学的发展。

在我们的普遍印象里,学术论文往往代表着科学的发展和进步,因此人们可能会产生一种直观的想法:「多即是好」——一个科学领域发表的论文越多,这个领域的进步就越快。

与这一观念相应,科学家似乎也在越来越努力地发表论文:从1800年至21世纪初,全世界每年产出的论文数量呈指数级数增长;而美国自然科学基金会(NSF)的报告显示,2008-2018年,若以同行评议的科学和工程类期刊论文和会议论文的发表量计,全世界的科研产出以平均每年约3.8%的速度增长,2018年时「产量」已超过250万篇

0.jpg
不同的文献数据库每年收录的文献量变化情况。注意纵坐标轴为对数尺度坐标轴。两片阴影区域分别对应第一次和第二次世界大战。
图片来源:
https://www.pnas.org/content/115/11/2632

尽管研究者发表成果的迅猛势头有增无减,但真正具有开创性的科学进展却凤毛麟角。在1996年出版的《科学的终结》The End of Science)一书中,美国理论物理学家利奥·卡达诺夫(Leo Kadanoff)在接受作者约翰·霍根(John Horgan)采访时说道:

「事实上,在近几十年里,没有任何科学进展能达到诸如建立量子力学、发现DNA双螺旋结构或提出相对论这些级别的成就。」

在这种怪象之下,不少学者也在思考一个问题:论文发表得越多,科学的发展就越快吗?近日,发表在《美国科学院院刊》(PNAS)上的一项研究,给出了否定的回答。

论文越多,新观点越难出头

这篇文章的两位作者,一位来自美国西北大学凯洛格管理学院,另一位来自美国芝加哥大学社会学系,同时还是该校知识实验室的主任。他们从Web of Science数据库中,获取了 1960 - 2014 年间的文献数据集,共包括超过 9000 万篇文献和超过18亿条引用记录,而这些文献又可以分为 241 个学科(领域)。利用这些数据,他们对各个领域的论文被引用的情况进行了分析,并以此评估论文产生的学术影响力。

或许是由于社会科学出身,两位作者想到了借用经济学中常用于反映收入分配不平等程度的概念——基尼系数,来反映论文获得引用的「不平等」程度。基尼系数的取值范围为 0-1,它的值越大,表示不平等越严重

结果表明,一个领域的论文发表数量越多,「不平等」现象越严重。在那些规模最大,即论文最多的领域,论文引用的基尼系数在 0.5 左右——作为类比,根据世界银行的数据,目前全世界只有16个国家的基尼系数大于 0.5。
0 (1).png
左:论文被引量的基尼系数和领域内年发文总量(对数值)的关系;右:相邻两年之间被引量前50名的论文排名的相关系数和领域内年发文总量(对数值)的关系。不同颜色的曲线代表不同的领域。
图片来源:
https://www.pnas.org/content/118/41/e2021636118

被引量最高的那些论文获得的引用占比远高于这些论文的数量占比,即少数论文获得了大量引用,导致了这一不平等的状况。以电气和电子工程领域为例:当每年发表的论文约为 1 万篇时,被引量排名前 0.1% 的论文获得了这个领域全部引用量的 1.5% ,而后 50% 的论文则能获得 43.7% ;但随着发文量增加,「强者愈强、弱者愈弱」的马太效应愈发明显;当每年发表的论文达到 10 万篇时,前 0.1% 的论文能获得 5.7% 的引用量,而后 50% 的论文则只得到了略高于 20% 的引用量。

更糟糕的是,论文的引用似乎还存在「阶级固化」的现象。一个领域的年发文量越多,前后两年的高被引论文排名相关性就越强,这些论文被引量的衰竭率也越低。换句话说,前一年被大量引用的论文,下一年更可能仍然被大量引用,而且它们的「热度」几乎不会随着时间流逝而下降。这同时也表明,新发表的论文很难挤进前列。
 
新研究被迫「内卷」

这项研究的另一项有趣发现是,随着一个领域新发表的论文增加,发展、完善已有观点、理论的论文比例也会越来越高,而那些打破常规、提出创新观点的「搅局」论文的比例则会下降——仅从这个角度来看,新研究变得更倾向于在人们已经熟知的框架内深耕,呈现出「内卷」的激烈竞争态势。这也进一步导致新发表的论文很难撼动已有的观点。

0.png
随着领域内年发文量(横轴)增加,「搅局」的论文(蓝色)比例逐渐下降,发展、完善已有观点的论文(红色)比例逐渐上升。
图片来源:
https://www.pnas.org/content/118/41/e2021636118

对于上述的这些现象,作者提到的两种机制或许可以给出一定解释。首先,如果领域内短时间内有大量论文发表,由于认知系统「过载」,学者在阅读文献时更容易接受那些和已有知识更相关的观点——毕竟,科学家也是人。

作者也提到了他们的一个小发现:即使是已经「久经沙场」的学者,当领域内的发文量变多时,他们也会更倾向于引用经典文献。其次,如果新观点频繁出现,新观点之间的竞争也会导致很难有一种观点成为主流

除此之外,已有的研究也许能给我们提供别的线索。事实上,2019年发表在《自然》(Nature)上的一项研究提出了一个「扰乱」指标,用于衡量新研究打破老观点「垄断」的程度。

在这项研究中,研究者利用 1954-2014 年间的 6500 万篇(件)论文、专利和软件的数据,分析了产出成果的团队规模和成果的「扰乱」程度之间的关系。

作者发现,小团队倾向于提出新观点、创造新机会,来「扰乱」科技发展的进程,而大团队倾向于发展、巩固现有的成果。此外,大团队的工作,往往建立在较新、热度较高的进展上,并且能迅速获得关注;小团队则会深入地考察更早的成果,即便能取得成功,也需要较长的时间才能慢慢得到人们的认可。

作者还指出,如今在科学界的各个领域,大型研究团队越来越多,独立研究者和小团队则越来越少。可能的原因,包括了科研工作专项化、通讯技术进步,以及现代科学问题需要交叉学科知识来解决。从这项研究来看,我们或许可以猜想,大型研究团队越来越普遍,也是导致新研究倾向于深入成熟领域的原因之一

 
难解的困局

对于这样的结果,新研究的作者也表达了忧虑:在那些体量庞大的领域,大量新论文的涌现,会让评审人和其他读者无暇仔细研读文章、领会创新的学术观点、甄别真正有价值的创新成果,从而阻碍领域的更新和进步。

尽管学者自己也意识到了论文太多可能并无裨益,但种种现实的因素却让这种困局难以破解。在如今的科研体系中,「数量」是评估和奖励机制中非常关键的一个指标,它影响着学者的职业生涯轨迹,以及对学术研究部门、机构和国家的评估

新研究的作者指出,单纯地削减论文、期刊、研究机构或者科学家的数量是不现实的,反而会导致研究人员采取「保守战略」,不敢去尝试新颖但重要的方向。

好消息是,科学界正在努力解决这一问题。2014年,荷兰莱顿大学主办了第19届国际科学技术指标大会(STI)。次年,数名学者在《自然》上发表了会议的成果之一——《莱顿宣言》Leiden Manifesto),提出了10条帮助学界更好地评估研究工作的准则,希望研究者正确地看待和使用文献计量工具。在荷兰,「转变中的科学」(Science in Transition)运动,已经说服一些大型学术机构摒弃将「产量」作为评价指标的做法。
 
依然在进步

好在,尽管被引量最高的论文总是那些「常客」,但科学还是在进步。比如,分子生物学领域被引量最高的论文发表于1976年,提出了大名鼎鼎的测定蛋白质浓度的「考马斯亮蓝法」,这一方法至今仍被广泛应用。从 1982 年至今,这篇论文每一年都雄踞被引量榜首,如今它的被引量已经超过 20 万次但并没有阻碍近几十年来分子生物学领域的飞速发展。

遗憾的是,开天辟地式的科学突破始终难以再现。对此,美国生物学家本特利·格拉斯(Bentley Glass)的一席话,或许能揭示「残酷」的真相:

「我无论如何都难以想象,像达尔文关于演化的观点,或孟德尔对遗传本质的理解那样复杂、轰动性的科学发现,会轻易地再次出现。」

格拉斯在接受霍根采访时说道。

「毕竟,这些都已经被发现了!」

参考链接:
https://www.pnas.org/content/118/41/e2021636118
https://www.pnas.org/content/115/11/2632
https://ncses.nsf.gov/pubs/nsb20206/
https://www.theatlantic.com/science/archive/2018/11/diminishing-returns-science/575665/
https://data.worldbank.org/indicator/SI.POV.GINI
https://www.nature.com/articles/s41586-019-0941-9
https://www.nature.com/articles/520429a
https://www.sciencedirect.com/science/article/abs/pii/0003269776905273


没有账号?