科研星球

Nature:高被引文章无法重复,怎么破?

0.png


可复制性(重复实验时获得相同结果的能力)是科学的基础。但在许多研究领域,事实证明这很难实现。现在,一组重要且备受期待的研究论文表明,在癌症生物学中进行和解释复制研究是多么复杂、耗时和困难。


近十年前,弗吉尼亚州夏洛茨维尔非营利性开放科学中心和总部位于加利福尼亚州帕洛阿尔托的研究服务公司ScienceExchange组织的研究团队开始系统地测试是否可以复制著名科学期刊上高引用论文中的特定实验。这项工作是备受瞩目的可复制性项目:癌症生物学(RPCB)倡议的一部分。研究人员记录了七项实验结果或“效果”;其中五项可以进行数值测量。总体而言,46%复制成功,因为这些指标有三个或更多指标评分,例如结果是否在实验预测的置信区间内,还是保留了统计意义。



该项目是在制药公司报告称他们无法复制在许多癌症生物学论文中的发现后启动的。但这些报道没有指明论文的名称,也没有说明复制的标准。RPCB的设想是为这种回顾性复制研究带来严格的标准。


初步调查结果




最清晰的发现之一是,实验治疗的效果,如杀死癌细胞或缩小肿瘤,复制效果要小得多,总体而言比最初报告的要小85%。很难知道为什么。例如,可能存在统计学侥幸;原始研究或复制中存在偏差;或复制者缺乏专业知识,导致重复研究遗漏了原始研究的一些基本质量。

该项目也比预期的要长五年多,尽管花费了额外的时间,但团队只能评估他们最初计划涵盖的实验的四分之一。这说明了一个事实,即此类评估花费的时间和精力比预期的要多得多。

RPCB研究的预算为在三年内花费130万美元。这增加到了150万美元,不包括人事或项目管理费用。


在选定的53篇论文中,没有一篇包含足够的细节,供研究人员重复实验。因此,复制者必须联系作者以获取信息,例如注射了多少细胞,通过什么途径,或者使用的确切试剂。通常,这些细节甚至连作者都无法提供,因为信息没有记录下来或实验室成员已经离职。三分之一的作者要么拒绝了更多信息的请求,要么没有回复。在评估的193项实验中,复制者还必须向原始作者索取关键试剂(如细胞系、质粒或模型生物),因为他们无法购买或从存储库中获得。大约69%的作者愿意分享他们的试剂。

开放性和准确性




自可复制性项目开始以来,鼓励作者分享他们研究的更精确的方法细节。Nature与其他期刊一起,于2013年推出了可复制性清单。它要求作者报告关键的实验数据,如所用动物的菌株、年龄和性别。还鼓励作者将其实验方案存储在存储库中,以便其他研究人员可以获得它们。

此外,2012年发布了“Landis 4”标准,以促进严格的动物研究。它们包括对致盲、随机化和统计评估样本大小的要求。注册报告是另一个关键发展,这是研究人员在进行实验之前发布研究设计的文章格式。这意味着“无效实验”更有可能发布,而不是埋在文件抽屉中。项目团队发现,“无效实验”更有可能被复制;80%的此类研究通过三个指标,而“积极结果”仅为40%。

更难解决的事实是,在一个实验室有效的东西可能在另一个实验室不起作用,这可能是因为固有的差异或方法上的差异没有观察到。以下为例:一项研究跟踪了某种类型的细胞是否有助于肿瘤的血液供应。跟踪这些细胞需要它们表达“报道”分子(在这种情况下,是绿色荧光蛋白)。但是,尽管进行了多次尝试和调整,复制团队仍然无法使“报道”分子在要跟踪的细胞中足够活跃,因此复制尝试被停止了。

RPCB团队与原始作者一起审查了复制协议,并对其进行了同行审查。但关于实验设计的详细预先协议本身并不一定能解释重复研究时遇到的挫折。这就是为什么美国国防高级研究项目局(DARPA)使用另一种复制方法。在一个DARPA项目中,为研究团队分配了独立的验证团队。研究团队必须帮助验证团队进行故障诊断和支持,以便在工作发布之前,在另一个实验室获得关键结果。这种方法包含在方案要求中:分配给研究方案的资金的3-8%用于此类核查工作。


这些研究还表明,研究人员、研究资助者和出版商必须更认真地对待复制研究。研究人员需要参与此类行动,资助者必须增加对这些研究的投资,出版商也必须发挥作用,以便研究人员能够确信这项工作很重要。值得称赞的是,宣布该项目结果的新闻发布会包括美国国家科学、工程和医学学院以及国家卫生研究院领导人的讲话和赞扬。但该项目由德克萨斯州休斯顿的慈善投资基金阿诺德风险投资公司资助。

整个科学界必须认识到,不是为了重复而重复,而是为了获得对科学进步至关重要的保证:观察或结果足够可信,可以启发未来的工作。下一波复制工作应旨在使这工作更容易实现。

原文链接




https://www.nature.com/articles/d41586-021-03736-4


没有账号?