時態門~無法再現的社會心理學實驗是因為不乾淨的資料

去年我寫的網誌「紀錄已經出現與即將出現的再現危機1」,介紹加拿大阿拉巴馬大學社會心理學助理教授William Hart於2013年發表在心理科學期刊的論文Learning About What Others Were Doing: Verb Aspect and Attributions of Mundane and Criminal Intent for Past Actions,無法被12間實驗室再現的事件。這個月初(2/7)心理科學期刊宣佈撤銷William Hart於2013年發表的另一篇論文Unlocking Past Emotion: Verb Use Affects Mood and Happiness,使得事件有新的發展。這篇網誌整理至今為止,這兩篇論文牽涉的資料造假證據如何浮現。

描述過去經驗的動詞時態能影響當下情緒?

William Hart的兩篇論文都是檢驗一個假設:描述一項事件的文字所使用的動詞時態(verb tense),會影響聽者對事件的信念與情感。這兩篇論文讓受試者評估的敘事文,都有設計動詞是非完成時態(I am walking on …)與完成時態(I walked on …)兩種版本,2011的論文請受試者假想自已是陪審團團員,判斷一件虛擬的兇殺案情節裡,嫌疑人有沒有意圖殺害被害人。2013的論文有四個實驗,讓受試者以非完成或完成時態,回憶正面或負面記憶–包括個人或在實驗室裡操作的情節。2011年的研究假設完成時態較容易讓人相信嫌疑人有犯意,2013的研究假設非完成時態讓受試者能回憶負面記憶的更多細節,造成比完成時態更大的負面情緒。
2011論文的掛名作者是William Hart與UIUC的Dolores Albarracín,但是2013論文是William Hart單獨掛名。根據Retraction Watch的消息,是由實際參與2013論文研究的某位不具名的研究生,向阿拉巴馬大學的研究核實辦公室(Office of Research Compliance)舉發,提出這份論文原始資料的加工證據。校方通知心理科學期刊編輯部後,由期刊做出撤稿決定。讀者下載2013年論文會發現,包括摘要的每個段落,幾乎都有第一人稱代名詞開頭的句子,像是I tested…, I examined, I analyzed…。雖然現代學術論文寫作指引建議作者可以適當地使用人稱代名詞,但是使用頻率如此之高,足以媲美現任美國總統川普先生的公開演講。
英國卡迪夫大學(Cardiff University)的Richard Morey,在事發數天後提出一個可公佈在PubPeer的論文內容檢查。論文之中的一個實驗,讓受試者一開始進行改錯字(anagrams)任務,William Hart的想法是調整改錯字的難度,造成受試者的正面(簡單的錯字)與負面(困難的錯字)記憶。之後以一項紀錄反應時間的記憶作業,評估受試者回憶負面記憶的效率。以論文報告的數據來看,非完成時態的反應時間比完成時態的反應時間快了一百毫秒。這對有研究經驗的心理學家來說是非常驚人的結果,因為只有少數經典的認知心理學實驗能在多次再現實驗中得到,社會心理學的計時實驗能有20毫秒的差距就是了不起的效果。

描述犯案情節的動詞時態能推測犯意?

2013論文被撤稿的討論還方興未艾,曾參與2011論文再現研究的荷蘭鹿特丹伊拉謨斯大學(Erasmus University Rotterdam)的Rolf Zwaan,在2月21日於個人部落格公佈一項內幕消息,為後續發展投下震撼彈。2013論文撤稿消息公開之後,Zwaan收到一項可靠消息來源(註1):William Hart在去年的再現研究結果正式發表後,自己進行了2011論文的再現研究,這次收集194位受試者的資料,並且成功再現2011論文的結果。但是Zwaan檢視來源提供的原始資料,發現其中73筆是複製貼上而成。能發現的原因很簡單,這項William Hart親自主持的再現實驗,最後會請受試者自由回答這項研究的可能目的,逐字紀錄在獨立欄位,用試算表軟體排序一下,就發現不尋常之處,就像下圖Zwaan公佈的部分資料內容:

給心理學以及整個科學界的教訓

這起事件的發展再次顯出開放資料的重要性,這是各國各領域科學研究人員都必須面對的課題,差別僅在於要著重的層次。對心理學來說,採取註冊研究及開放資料的正當性再次提高。對於現在的台灣科學界,最急迫的任務是如何在造假事件發生初期,建立可徵信的研究資料保存機制。這起國外造假案件的後續發展,值得有心人士一起關注。

註1: 根據私人通信,Rolf Zwaan表示,因為完整資料已經交給阿拉巴馬大學,目前他必須隱匿消息來源。不過根據部落格內容,我推測十之八九與那位不具名的研究生有關。

!登入個人github帳號就能留言!
陳紹慶
陳紹慶
認知心理學副教授