科學發現：結論顯著的研究更容易被發表？


圖片來源：Pixabay
在科學的交流和發表方式方麵，人們最關心的問題之一就是發表偏倚（publication bias），即證實某一假設的結果往往比不證實某假設的結果更容易發表。
發表偏倚的出現有許多原因，但同行評審過程被普遍視為一個關鍵的驅動因素。人們普遍認為，同行評審人更喜歡“陽性的”結果（有統計顯著性差異）。
但審稿人對陽性結果的偏好是真實存在的嗎？最近發表的一項研究表明，這種偏好確實存在，但對研究發表的影響並不是很大。
研究人員瑪爾特•艾倫（Malte Elson）、馬庫斯·赫夫（Markus Huff）和索尼婭•伍茲（Sonja Utz）進行了一項巧妙的實驗，以確定統計顯著性對同行評審結果的影響。這些作者是 2015年一個會議的組織者，參會的研究者要提交摘要，隨後這些摘要會經過同行評審。


圖片來源：Pixabay
艾倫等人創建了一個虛構的摘要，並將這份虛構的“投稿”與真實投稿放在一起，給會議的同行評審人評審。每個評審專家被隨機分配到這個摘要的一個版本，要麽有顯著差異性結果，要麽沒有顯著差異性結果；在其它方麵，這項虛構研究的細節是相同的。這項研究最終的樣本量為127名評審專家（n=127）。
作者們還在文章中討論了這個有點不尋常的實驗的倫理問題。
這項研究發現，具有統計顯著性差異的摘要版本比不具有統計顯著性差異的摘要版本獲得了更高的“總體推薦”分數。在滿分為10分的情況下，兩者之間的差異約為1分，具有統計顯著性差異，盡管差異不大（p=0.039）。
論文作者總結：
我們觀察到一些證據，表明（審稿人）對有顯著差異性的結果有較小的偏倚。不過，至少就這次會議而言，其影響似乎並沒有大到足以對該摘要的接受率產生可見的影響。


圖片來源：Pixabay
該實驗還測試了審稿人對原創性研究和重複性研究的偏好（所以總共有四個虛構的摘要版本）。結果表明，審稿人對這兩種研究沒有偏好。
因此這項研究表明，至少在這次會議上，審稿人確實更喜歡陽性結果。但正如作者提到的，很難推斷該結論是否適用於其它情況。
例如，這次會議的摘要被限製在300個詞以內。在其它情況下，特別是在期刊文章評審中，審稿人可以獲得更多信息，以作出更全麵的判斷。在僅有300個詞的情況下，本研究中的審稿人可能會更關注結果，因為沒有太多其它東西可以作為評判參考。
另一方麵，作者指出，2015年那次會議的與會者可能對發表偏倚問題有高於常人的認識，因此更有可能對陰性結果給予公正的評判。
開展本研究的會議背景也值得一提，該研究領域分支（及其當時的領導）在開放科學的理想和實踐方麵可以說是相當進步的。這是事實。畢竟筆者作為一個使用化名的博客作者，也受邀到會議上進行演講，僅僅因為寫過關於開放科學的文章。
以前隻有少數研究使用類似的實驗設計來調查同行評審的偏倚，而且發現的偏倚通常更大。1982年的一篇論文發現，一份心理學雜誌對顯著差異性結果存在很強的偏倚，2010年對一份醫學雜誌的研究也得到了同樣的結果。
撰文：Neuroskeptic
翻譯：頁一
審校：戚譯引
引進來源：Discover Magazine
引進鏈接：https://www.discovermagazine.com/the-sciences/do-peer-reviewers-prefer-significant-results


關注【深圳科普】微信公眾號，在對話框：
回複【最新活動】，了解近期科普活動
回複【科普行】，了解最新深圳科普行活動
回複【研學營】，了解最新科普研學營
回複【科普課堂】，了解最新科普課堂
回複【科普書籍】，了解最新科普書籍
回複【團體定製】，了解最新團體定製活動
回複【科普基地】，了解深圳科普基地詳情
回複【觀鳥星空体育官网入口网站】，學習觀鳥相關科普星空体育官网入口网站
回複【博物學院】，了解更多博物學院活動詳情