close

F1.large.jpg

但是原始論文已經被引用瞭1417次--其中400多次引用是在2018年的復制項目之後。平均而言,這遠遠多於該項目中確實復制瞭的論文。現在,一項新的研究支持瞭不可靠的研究的流行。未能復制的社會科學論文平均比成功復制的論文多出153次引用。

馬裡蘭大學學院帕克分校的認知科學傢Michael Dougherty說,這一最新結果“相當具有破壞性”,他並沒有參與這項研究。他表示:“長期以來,引用次數被視為研究質量的代表,”因此,不太可靠的研究被更多地引用,這一發現表明在如何評估這些工作方面存在一個“根本問題”。

F2.large.jpg

加州大學聖迭戈分校的經濟學傢Marta Serra-Garcia和Uri Gneezy對吸引人的研究想法是否會比平凡的想法得到更多關註感興趣,即使它們不太可能是真的。因此,他們收集瞭三個不同項目的80篇論文的數據,這些項目試圖復制重要的社會科學發現,取得瞭不同程度的成功。

他們周一在《科學進展》雜志上報告說,那些未能復制的論文在Google學術上的引用次數明顯增加,平均每年增加16次引用。Serra-Garcia和Gneezy說,這是一個很大的數字--在同一時期,高影響力期刊上的論文平均每年積累瞭約40次引用。

當研究人員檢查瞭這些具有裡程碑意義的復制項目之後發表的論文的引用情況時,他們發現這些論文很少承認復制失敗,隻有12%的時間提到它。

Serra-Garcia指出,復制失敗並不一定意味著最初的發現是錯誤的。方法的改變和參與者不斷變化的習慣--比如互聯網使用模式的改變--可能會解釋為什麼一個以前的結果可能不成立。但她補充說,她的發現指向瞭研究中的一個基本矛盾。科學傢們希望他們的工作是準確的,但他們也希望發表吸引人的結果。她說,當結果特別令人驚訝或激動時,同行評審員可能會降低他們對證據的要求,這可能意味著引人註目的結果和較弱的證據往往是並行不悖的。

3.jpg

梅西大學計算生物學傢Thomas Pfeiffer同意 "非凡的主張需要非凡的證據 "這一準則,他研究復制問題,但沒有參與這項工作。他說,這表明有必要采取額外的保障措施,以提高已發表作品的可信度,比如對什麼是好的證據設置更高的門檻,以及做出更多的努力來關註強有力的研究問題和方法,而不是浮誇的發現。

弗吉尼亞大學的心理學傢Brian Nosek說:"這一發現對於像我這樣的(研究)文化變革倡導者來說是一種貓膩。"他曾帶頭進行瞭一些復制工作,並且是 Serra-Garcia 和 Gneezy 所借鑒的三個復制項目中的兩個的共同作者。他說,但在過於認真地對待它之前,值得看看這一發現本身是否可以用不同的論文樣本進行復制。

4.jpg

這個結果與以前的研究一致,這些研究表明流行的研究不太可靠。例如,2011年《感染與免疫》雜志的一項研究發現,高影響力的期刊比低影響力的期刊有更高的撤稿率。他說,Dougherty的研究--目前是一個未經審查的預印本--發現更多高引用率的論文是基於較弱的數據。但是,2020年《美國國傢科學院院刊》上的一篇論文對一個不同的論文樣本進行瞭研究,發現引用和復制之間沒有關系。Pfeiffer說,這表明論文的樣本可能真的很重要--例如,這種影響在高影響力的期刊中可能特別強烈。

Nosek 補充說,如果引人註目的結果的人氣競賽結束瞭,更強大但不那麼吸引人的論文仍可能長期積累更多的引用。“我們都看過足夠多的青少年電影,知道受歡迎的孩子最後會輸給聰明的怪胎。也許科學發現的運作方式也是如此。可信的研究結果不會得到太多的關註,但它們會堅持下去並最終獲勝。”

arrow
arrow
    全站熱搜
    創作者介紹
    創作者 Ken641228 的頭像
    Ken641228

    Ken641228的部落格

    Ken641228 發表在 痞客邦 留言(0) 人氣()