該計畫是迄今為止,最強力的論文再現性(reproducibility)研究之一,由美國非營利組織「開放科學中心(Center for Open Science)」和「科學交易平台(Science Exchange)」(一個提供研究服務的平台)合作執行,並由慈善投資基金Arnold Ventures資助。
該計畫於2013年啟動,團隊著手對2010到2012年間發表在《Nature》、《Science》和《Cell》等重量級期刊上,備受矚目的53篇臨床前癌症研究論文,系統性地複製實驗。 最初規劃重複(repeat)53篇論文中的193項實驗,但由於論文記載的實驗步驟模糊、原作者不合作等原因,最後僅執行了23篇論文中的50項實驗,並延宕五年才完成。
調查結果:32%作者沒幫助、僅46%實驗可重複
RPCB由2017年開始發布其調查結果,暗示著混亂的結果即將到來。研究人員現在在 12月7日發表於《eLife》的兩篇論文中,總結了他們的整體發現。
第一篇論文對研究人員遇到的障礙進行分類,例如,他們所關注的每一個實驗,由於原始論文缺乏資料與細節,他們都需要聯繫原作者以取得關於實驗設計的建議。他們認為26%的作者「非常有幫助」,有時會花費數個月的時間,尋找答案並分享試劑。但32%的作者「完全沒有幫助」,通常會完全忽略他們的詢問。
這種缺乏合作的情況,加上實驗開始後需要調整或修改方案,都造成了損失。平均而言,該團隊需要197週來複製一項研究。由於每次實驗的成本加起來高達5.3萬美元——大約是團隊最初分配到的兩倍——該計畫的預算無法滿足其最初的雄心壯志。
第二篇論文詳細分析這些實驗的整體結果。分析指出,只有46%的嘗試複製實驗,證實了最初的發現。RPCB調查員、開放科學中心執行主任Brian Nosek說:「這些結果並不令人意外,同時,又令人震撼。」
而且,平均來說,研究人員觀察到的效果量(effect sizes)比最初報告的低85%。擁有最大效果量的實驗,是最有可能被複製的實驗。動物實驗表現最差,主要是因為活體(in vivo)實驗的效果量,往往小於體外(in vitro)實驗。
反駁與建議
然而,並非所有人都相信這份研究的價值,反駁尤其來自研究沒有被成功複製的研究人員。
桑福德- 伯納姆普利比斯醫學研究院(Sanford Burnham Prebys Medical Discovery Institute)的癌症生物學家Erkki Ruoslahti說:「我不確定這些一次性實驗有多大價值。」
2017年,RPCB團隊報告說,無法證實Ruoslahti團隊的發現,但Ruoslahti反駁說,外部實驗室至少重複了其有爭議的結果20次,而這項工作產生的候選藥物現已進入臨床二期試驗。「我很難相信,所有論文中有一半是無效的。」他說。
Nosek表示, 設立RPCB並不是為了叫停或使特定研究無效。複製,就像科學一樣,是關於整個證據體系。相反地,RPCB的目標是捕捉再現性危機的驅動因素和嚴重程度,並關注系統級的解決方案。
已有一些解決方案被提出,例如體外和動物研究能受益於盲性研究、更大的樣本量、更高的統計嚴謹度、預先註冊研究計畫。研究人員建議,論文應該減少聲稱,並提供更多證據。對於共享和報告數據的要求,需要被納入至科學流程。
參考資料:https://www.nature.com/articles/d41586-021-03691-0
論文1:https://elifesciences.org/articles/67995
論文2:https://elifesciences.org/articles/71601
(編譯/劉馨香)