科研星球

Nature社论:顶刊上肿瘤研究50%以上结果不能重复的幕后真相

近期一项规模浩大的肿瘤生物学复现项目不尽人意。科学家们也尝试找出原因,最近《自然》上就发表了相关社论,这项研究其实也和吃瓜科研群众息息相关,一起来看看幕后结果吧!

(https://elifesciences.org/articles/71601)

0 (4).png


复现计划的提出

因为十余年前部分药企发现无法重复许多肿瘤生物学论文中的结果,但并未指明是哪篇论文,也没有确定复现的标准,所以十年前一家开放科学中心和Science Exchange公司组织了一项癌症生物学 (RPCB) 结果复现计划,目的在于检测著名期刊中的高引用论文的结论是否可以复现。研究人员记录了七种实验结果或“效果”;其中五个可以量化。总体而言,46%的结果复现是成功的,也就是说有54%的结果无法重复

0.png

图片来源:https://www.nature.com/articles/d41586-021-03736-4


初步结果

最明确的发现之一是实验性治疗的效果(例如杀死癌细胞或缩小肿瘤),总体上比最初报道的低85%。可以说大部分肿瘤杀灭作用都没办法较好地重现。而且阴性结果往往更容易重复。出现这类现象可能有以下原因:①统计误差;②原始研究或复现中的偏差;③复现者缺乏专业知识,无法重复研究的关键操作。该项目的时间也比预期长了五年多,只覆盖原计划的四分之一评估实验。说明此类评估需要更多时间和精力。


复现操作也困难重重。所选的 53 篇论文中没有一篇包含足够的细节让研究人员可以重复实验。因此,复现者必须联系作者以获取信息,例如注射了多少细胞、通过什么途径或使用的准确试剂。这些细节甚至连作者也无法提供,因为这些信息没有被记录或实验室成员已经离开。三分之一的作者拒绝提供更多信息或没有回应。此外,复现者还必须向原始作者(例如细胞系、质粒或模型生物)索取关键试剂,因为他们无法购买或从仓库中获取。不过好在大约 69% 的作者愿意分享他们的试剂,也有助于推动整个计划的实施。


更棘手的是,在一个实验室中有效的方法可能另一个实验室中完全无效,这可能是因为实验室的硬件差异或方法学差异。例如:一项研究追踪了某种类型的细胞是否有助于肿瘤的血液供应。跟踪这些细胞需要它们表达“报告”分子(即绿色荧光蛋白)。但是尽管进行多次尝试和调整,复现团队仍无法使绿色荧光蛋白报告基因在要跟踪的细胞中充分表达,因此复现实验被停止。

0 (3).png

0 (1).png

图:绿色荧光蛋白报告分子(右下角)


努力与进步

自项目开始以来,学界作出许多努力,以鼓励作者分享更精确的研究方法学细节。例如:①Nature与其他期刊于2013年推出了可重复性检查表。要求作者报告关键实验数据,例如所用动物的品系、年龄和性别。②还鼓励作者将实验协议存放在公共库中,以便其他研究人员访问。③于 2012 年发布Landis 4”标准,以促进严格的动物研究。它们包括对盲法、随机化和统计评估样本量的要求。④发布注册报告这也是研究人员在进行实验之前发布研究设计的一种文章格式。这意味着阴性结果”更有可能被发布。项目团队发现阴性结果(Original null)更有可能被复

0 (2).png

图:阴性结果更容易被重复,阳性结果则较难重复。

来源doi: https://doi.org/10.1038/d41586-018-07118-1


此外,美国国防高级研究计划局 (DARPA)还增设独立的验证团队,研究团队必须协助并支持验证团队获得同样的关键结果,才能发表工作。不过此类验证需要额外分配3-8%的科研资金,所以广泛实施难度也较大。未来也需要寻找更多解决方法。


总结

复现结果不是单纯为了复现,而是为了获得对科学进步至关重要的保证。小编认为文章可重复性是一个大趋势,也就意味着发文章会越来越严格。目前高分文章都要求至少三组独立重复实验证明一个结论,发表文章的同时还要提交细胞系、动物品系等的检测报告,要求来源可控,无支原体污染等等。扪心而论,目前能够做到严格管控的实验室还较少,但未来是一个大趋势,科研群众吃瓜同时,也需要慢慢提高意识,重视实验的可重复性,为未来的数据验证打下坚实的基础。


没有账号?