再現危機 | 暗微幽光

開放科學與資料科學如何兼容？

Mon, 16 Oct 2017 00:00:00 +0000

按：這是為2017/11/11將在台灣資料科學年會發表的演講，所寫的文字稿。演講投影片以圖像為主，講述幾個相關的故事。文字版濃縮我想傳達的想法與觀察，為一年之後有機會再做演講時，比較此時與彼時的變化。

三年前(2014)，我得知 Many Labs Project的出現，開始注意這種大規模合作的心理學研究，將對心理科學的研究文化產生什麼影響。這類專案運用的資料科學方法，帶領我在隔一年透過Coursera自學資料科學課程，並嘗試翻新自已的研究與教學內容。這一段時間，我曾以為我從事的科學研究要向資料科學學習，才能有所突破。又一年，經歷與國外推動開放科學的學者第一手合作註冊研究的經驗，認清如果要更新我所從事的經典科學，要先覺悟長久習慣的研究手段容易造成低品質的科學成果，吸納資料科學的可重製方法，改善個人乃至團隊的科學活動品質，經典科學才能蛻變為開放科學 。

為何稱呼我從事的科學是經典科學 ？這要從經典科學與資料科學的根本分際談起。從目的來說，任何領域的經典科學是要根據可重現的事實建立能被考驗的理論。資料科學追求能有效預測、控制現象發生的模型。中央研究院資訊所陳昇瑋老師的知名簡報：網路購書大數據－給出版者的洞察分析，其中所舉的三種類型暢銷書預測模型，體現資料科學所追求的目標。把這些模型放到經典科學的場域，提問的方向應該會變成：「這些模型能呈現這個社會的閱讀品味嗎？」

目的不同還不足以充分解釋經典科學為何是經典，應該從兩種科學家的知識觀(Epistemology)做一些探討。我認為了解兩者如何收集與處理資料，能對兩造知識觀做一個簡單剖析。經典科學是依研究計畫收集資料，資料格式符合設計與分析方法的設定。資料科學取用未具格式或待清理的資料，使用各種數學方法(機器學習是當紅的一種)，找出最能解釋資料的模型。資料最終都會形成有意義的知識，但是經典科學家追求能成為經典的知識典範。而許多資料科學家獲得的知識，是能助人能獲得實際利益的模式。

經典科學與資料科學在達到目的與追求新知的過程，都遇到的失敗的經驗，從兩個例子可略窺一二。2008年google團隊提出預測流感的演算法而喧騰一時，不出一年就預測失準而修正。經過幾年數次的修正，到了2014年，團隊宣佈失敗並關閉網站，將資料釋出給其他團隊接手。其中細節並非我的專業不便評論，但是這個故事給所有期待依賴資料與統計模型獲取知識的人們明確的教訓：只有資料無法萃鍊真正有效的預測模型。

與之對比的經典科學失敗之例也發生在2014年。當年美國國家科學院通訊(搜尋結果 Proceedings of the National Academy of Sciences)刊登一篇臉書研發部門與康乃爾大學合作的情緒渲染實驗。除了研究倫理問題導致臉書在論文發表數月後，公開向受影響的70萬用戶致歉，這篇論文宣稱臉書使用者接受大量負面情緒訊息，個人在臉書留言的負面訊息會顯著增加。實際上，這句結論根據的統計資訊，是非常微弱的效果量(d = 0.001)。這筆數值反映一位臉書使用者的留言要累積達一萬字，才會出現四個負面字眼。因為收集的樣本龐大，如此微小的差距才有統計顯著，但是毫無實質的科學意義，或者吸引投資研發的魅力。

更值得探討的是，登場時光芒萬丈，過沒幾年甚至幾天黯然下台的知識案例，在過去的科學史層出不窮，也可預期未來還有更多經不起長久考驗的知識出現。為何會出現這些案例的原因，是值得從事經典科學與資料科學的人士探究的題目。我認為有兩個方向是所有現代科學製造低品質知識的起源：一是因子大雜燴(Crud Factors)，二是以確證的主張包裝尚在探索的發現(Exploration-as-Confirmation Fallacy)。

因子大雜燴是已故的美國心理學家Paul Mheel於 1990年的論文提出的現象歸納。他以此名稱，形容任何無盡地累積一種現象的資料，最終必能發現顯著變項間相關的任何研究(the phenomenon that ultimately everything correlates to some extent with everything else)。Meehl以1966年與同事Lkynn曾從事的研究為例，他們接受委託分析57,000名明尼蘇達州高中生的諮商量表資料，一共有15項變項，構成105筆相關係數。以顯著性檢定分析，他們發現其中101筆的p值最大者只到小數點後6位。在此我讓讀者自己評斷，這些情節與前面提到的google流感預測，是不是有相似之處？

如果有研究會被人以確證的主張包裝尚在探索的發現，通常帶著幾個明顯的特徵：觀點新穎、發表的成果一面倒支持原作者觀點、尚未有與原作者無利益衝突的其他研究者成功重現。近期最著名的例子就是權力姿勢效應 ，請參考我過去寫的文章。

當我彙整上述案例時，部落客Ruben Arslan發表 Overfitting vs. Open Data，談論資料科學實務經常碰到的過度適應(Overfitting)與科學界的再現危機(Replication crisis)相似之處，讓我想到這是讓資料科學人士理解為何經典科學要邁進開放科學的好入口。許多案例的預測模型都是先透過訓練資料(Training data)建立，再以測試資料(Testing data)驗證。有時模型能完美預測訓練資料的變項關係，測試資料的預測誤差卻超過容許範圍，這種情況就是過度適應。如果把訓練資料當成新穎的研究成果，測試資料就是後續的再現研究，無法被重現的新奇發現，就是經典科學版過度適應現象。

開放科學人士推廣註冊研究的重要原因，就是要消除經典科學家們製造因子大雜燴，以及用確證的主張為探索性目的做結論的內在動機。資料科學克服過度適應所獲得的經驗，我相信是現在期望借重資料科學方法的經典科學人士，應該學習的課題。如此產生的知識，才能有效的累積。要促進這樣的景況，需要參與其中的任何人，不管是經典科學家還是資料科學家，過程中要維持當下的決定與作為，會不會造成無法再現或過度適應。

讀書心得：現代心理科學的七大罪

Wed, 05 Jul 2017 00:00:00 +0000

物理學家理查．費曼(Richard Feyman)於1974年加州理工學院的畢業典禮致辭，有以下兩段內容：

大戰期間在南太平洋有一些土人，看到飛機降落在地面，卸下來一包包的好東西，其中一些是送給他們的。往後他們仍然希望能發生同樣的事，於是他們在同樣的地點鋪飛機跑道，兩旁還點上了火，蓋了間小茅屋，派人坐在那裡，頭上綁了兩塊木頭（假裝是耳機）、插了根竹子（假裝是天線），以為這就等於控制塔裡的領航員了──然後他們等待、等待飛機降落。他們被稱為草包族，他們每件事都做對了、一切都十分神似，看來跟戰時沒什麼兩樣；但這行不通：飛機始終沒有降落下來。這是為什麼我叫這類東西為「草包族科學」，因為它們完全學足了科學研究的外表，一切都十分神似，但是事實上它們缺乏了最重要的部分──因為飛機始終沒有降落下來。

她很喜歡這個新構想，跑去跟教授說；但教授的回答是：「不，你不能那樣做，因為那個實驗已經有人做過，你在浪費時間。」這大約是一九四七年的事，其後那好像變成心理學的一般通則了：大家都不重複別人的實驗，而單純地改變實驗條件看結果。

這段講稿後來被收錄於費曼的回憶錄「別鬧了，費曼先生」(Surely You’re Joking Mr. Feynman:Adventures of a Curious Character)，也是諺語「草包族科學」(Cargo Cult Scinece)的起源。英國卡迪夫大學心理學者克里斯．錢伯斯(Chris Chambers)在個人新書「心理學的七宗罪」，引用這兩個段落描述自己對現代心理學現況及未來的擔心：如果今天的心理學家不真誠面對與解決知識生產模式裡存在的問題，今天的心理學知識會變成草包族科學 的真實教訓～總是有正面結果的報告，卻無法確認正面結果的正確性。

費曼遇到的狀況到了21世紀不但沒有改變，2011年還達到了高峰：造假與太美好的心理學研究案例在這一年先後現世，促成錢伯斯寫這本書做為紀錄。書中歸納的七宗罪體現經年累月累積問題，每一章標題都是理解問題的線索，閱讀整本書之後，我認為各種問題出於兩個成因，前三項罪體現直接導致的問題，後四項體現助長問題嚴重性的相關因素。為了方便之後的解說，我先簡單摘要七宗罪所體現的問題：(1)偏好正面結果導致的偏誤；(2)不受拘束的檯面下研究操作；(3)高影響力但低信度的研究結果；(4)缺乏公開分享研究資料的科學社群文化；(5)造假的誘惑；(6)限制付費取用的第一手文獻；(7)充滿集點狂的世界。

成因1：過度追求概念性再現(Conceptual Replication)

我曾在之前的文章說明什麼是概念性再現 ，在此引述如下：

原始研究的關鍵操作，以假設條件可容許，但是與原始研究相異的方式設置，在其它控制變項接近原始研究進行的再現研究。例如自我耗損實驗有其它學者使用其它物品，例如檸檬汁，或可以耗損意志力的其它方法，例如這項RRR使用的挑字母作業，能得到相同效應的結果。概念性再現通常用來測試假說的通用性，也有許多學者認為這是改善實驗研究的外在效度，最佳的方案之一。

回首1947年費雪與心理學研究生的對話，再看自己一年之前寫的說明，讓我想到至少有七十年，每一代心理學家都被教育要避免重覆已經發表的研究，最單純的原因只是認為完整的重現已經發表的研究是浪費時間的事？克里斯引用研究數據證實心理學家過度追求概念性再現的風氣已有百年之久，這種風氣在以期刊引用因子評估影響力的今天，造成心理學家以為使用不同條件，重現發表在高引用數期刊的論文研究結果為成就捷徑。就像上述說明中的自我耗損實驗 ，出版的多數結果是經過有確認偏見(confirmation bias)的審查系統，而這樣的系統與需要讀者付費的論文出版集團是利益共同體。

其他可能助長過度追求概念性再現風氣的因素，是原創研究很難完整重現。原因可能是研究者沒有意願分享原始研究資料，或者研究結果其實是是蓄意造假的。後者在最近幾年有太多例子可說，前者則是研究者深受社群文化與行規潛移默化的結果。即使在講究開放的西方學術社群，幾項調查顯示不到一半的研究者願意向任何人分享完整的研究資料，即使美國心理學會的倫理守則載明研究者應無私地公開資料，永遠會有1001個不能分享資料的理由。

成因2：彈性無限制的研究操作

錢伯斯以隱藏的彈性 稱呼研究者的待澄清研究操作(Questionable Research Practice, QRPs)，更多探討這個課題的論文稱之為研究者的自由程度(Researcher Degree of Freedom)。就像2016年，荷蘭蒂爾堡大學心理學家約特．惠切特斯(Jelte Wicherts)帶領的團隊，把太過自由而導致的研究操作問題，整理成一分 QRPs清單。範圍包括：主題的形成、研究的設計、資料的收集、資料的分析、與報告的撰寫。這份清單呼應克里斯在前三章描述的現象。有問題的研究操作並未違反任何已有共識的研究倫理，但是只要能獲得美好的結果，很少有研究者不會採取其中幾項操作。有些甚至已內化至心理學教育系統：像是分析資料時改變原始計畫裡，處理極端值的標準，是可接受的。導致養成過程就是增加研究者自由程度，或者削弱覺察有疑問操作的能力。

許多研究者開始注意QRPs引起的問題，是讀過統計學者約翰．伊歐埃迪斯(John Ioannidis)於2005年發表，討論醫學與生命科學充斥太多偽陽性結果的論文。他提出估計一系列報告陽性結果的研究，存在偽陽性結果比率的方法。這套方法綜合假設為真的事前機率(prior probability)、顯著水準、統計考驗力、與人為逼出陽性結果的比例(p-hacking)，估計存在真陽性結果比率的陽性預測值(positive preditive value)，也是QRPs嚴重度的估計值。

使用這個網頁，你可以自行調整四項參數，了解偽陽性結果增加的條件。伊歐埃迪斯指出，如果一系列研究報告都是陽性結果，而且真陽性結果比率要高達90%以上的話，假設為真的事前機率要達80%以上，統計考驗力也要達90%。另一方面，一套假設為真的機率只有一半的研究系列，統計考驗力僅有33%時，如果研究者都很誠實不做有疑問研究操作，報告研究結果是陽性的比率不到20%，其中真陽性結果的比率將近90%；但是，若大部份的研究結果是QRPs導致，例如70%的研究有QRPs，陽性結果的報告比率會超過70%，然而其中真陽性結果只有一半。

伊歐埃迪斯論文的預設讀者是醫學與生命科學領域的研究者，但是先被打動的讀者群是社會科學的學者–或者更精確的說，在2011年覺醒的心理學家們。因為多數心理學領域的假設為真之事前機率約50%，也就是以看待隨機事件的立場，期待假設得到研究結果支持。如果多數呈現陽性結果的心理學研究是真陽性，心理學家不靠QRPs，只靠提高統計考驗力得到顯著結果，預計陽性結果與陰性結果的報告在所有文獻中應該各佔一半。實際情況卻如同自我耗損實驗 系列一樣，可獲得發表的心理學論文超過90%是陽性結果。如此景況，只有用QRPs做研究才能達成。

當一個科學領域視QRPs為理所當然，直接導致檯面下的研究操作無限擴張 ，以及多數研究結果有高影響力但低信度 的現象。如果有人無法抵抗造假的誘惑 ，隔一陣子就出現一則學術不端新聞是可預料的趨勢。與付費論文出版集團 緊密相連的期刊編輯及審查者，只追求表面影響力但輕忽論文內容信度的教研機構管理，是助長QRPs的媒介。近幾年績效管理主義 的盛行，只看表面可數字化的表現：如期刊引用因子、獲得的補助經費金額、掛名的論文數目及排序，更助長研究者為求在短期內累積績效，有意無意地在研究流程中採用QRPs。為了幫助有良心的心理學家擺脫QRPs，克里斯．錢伯斯提出及執行有同儕審查的註冊研究 。

終極解方：開放審查機制的註冊研究平台

錢伯斯以第一位負責註冊研究同儕審查的期刊編輯，在書中最後一章分享這幾年遇到的同行人士對此機制的迷思與誤解，如何回覆與破除的經驗，值得讀者親自閱讀。我認為這本書給希望透過註冊研究提昇自己與團隊研究能力的研究者，傳達一道明確的訊息：準備好擺脫過度的概念性再現與QRPs的研究者們，有審查機制的註冊研究是最適合的途徑。

註冊研究的概念與操作能不能廣泛流傳，其實科學社群之內的生態，以及研究者所處的社會文化氛圍支持因素的多寡有關。如果週圍的因素，如期刊的編輯方針、經費補助政策、甚至是大眾對科學工作的期許，不能與註冊研究一起演進，很難改變一個科學領域的研究操作習性。因此錢伯思期許，現在正在幾本期刊運作的註冊研究審查機制，能演進為公開透明的科學知識生產與傳播體系。

我推想錢伯思期望兩階段的評審機制，能演進為研究計畫書的公開競價平台 ，與論文手稿的開放審查平台 。透過平台提交計畫與論文的研究者面對的評審者，不只是由期刊編輯或經費提供者委派的專業人士，也是有興趣並有意願提供意見的同行或關注該科學域現況的相關人士，如科普寫作者。研究者的最新成果也可以即刻交付同行研究者，進行獨立的直接再現，考驗其知識品質。科普寫作者亦能隨時關注最新研究從發想到結案的過程，向有長期接收資訊的讀者報告，顯現科學研究者對社會的真正貢獻。

雖然距離理想的模式還有很長的路要走，開放平台的部分功能已有實際運作的例子。例如許多期刊已同意作者在投稿之後，審查結果未定之前，將預印本(preprint)公開於開放的網路平台，例如arXiv、 OSF Preprints，讓有興趣的讀者瀏覽，並可經過網路社群傳播。開放科學中心正在建設的專案 StudySwap，招募有穩定樣本來源的研究者加入，經由平台將最新成果的研究資料分享給其他研究者，在最短時間內重新執行相同的實驗與分析，確認研究成果的可再現性。

最後從理想拉回現實，在華文世界能否實現開放科學平台還在未定之數，因為有多少研究者能理解並願意實踐有審查機制的註冊研究，尚無法估計。如果讀過這本書，能讓更多研究者理解背後的問題，以及體認自己至今習以為常的QRPs，也許能引發出一股發展東方開放科學的力量。

擺姿勢也許能增加你的自信，但是不能真正改變你

Mon, 10 Apr 2017 00:00:00 +0000

初稿2016/10/6 12:59:58上線
一校2016/10/6 21:50:00完成
二校2016/10/11 22:33:00完成加強版：增加2017年2月22日TED訪問Amy Cuddy的摘要，以及各方評論。

事件起因

2016年的九月底，最受注目的國際新聞是當屆美國總候選人首次電視辯論會，還有當年度搞笑諾貝爾獎陸續公佈，為十月初的諾貝爾獎公佈暖身。就在這段時間，有一份心理科學危機消息在歐美社會科學圈引起關注，在九月的最後一個星期引起許多討論。雖然這則事件的熱度被其它更重大的新聞消息蓋過， Retraction Watch轉述 New York magazine的消息之後，一星期之內與事件有關的核心人士先後公開表態。

為何這個事件值得關心心理科學知識進展的讀者注意？要從9月25日晚上，目前任職UC Berkeley的Dana Carney，在個人網頁發表的公開信說起。Dana Carney是2010年發表於心理科學期刊(Pscyhological Science)的論文“ Power posing brief nonverbal displays affect neuroendocrine levels and risk tolerance”共同作者之一。這篇論文為大眾所知，是另一位共同作者Amy Cubby於2012年在TED talk的演講，以這篇論文的研究結果向聽眾宣傳權力姿勢效應 ：改變身體語言能增加個人執行力。演講錄影的中文字幕版見下方影片：

這場演講錄影在英語世界至今已累積3千6百萬的瀏覽次數，youtube中文字幕版的瀏覽次數也逼近54萬人次。使用“ 權力姿勢(Power Posing)”輸入google搜尋，會發現許多介紹及推廣這項研究及觀點的中文資料，而且都是一面倒的肯定。其中有一篇刊登於泛科學的介紹文，有研究內容的詳細介紹，尚不清楚權力姿勢效應 為何這麼轟動的讀者，建議先轉個彎去看這篇介紹文和Amy Cubby的演講，再回來看這場925事件:)

9月25日晚上，Dana Carney在公開信裡表示我不再相信權力姿勢效應是真的(…I do not believe that “power pose” effects are real.) 。就在一年前，2010年原始論文的共同作者還在同一本期刊，發表回顧文章 Review and summary of research on the embodied effects of expansive (vs. contractive) nonverbal displays.，捍衛2010年的研究成果，相信權力姿勢效應經得起原研究團隊與其它實驗室的考驗。為何一年之後，其中一位成員轉換立場，並且做出學術界罕見的認錯聲明？心理科學人士與大眾能從這次事件獲得什麼教訓？

2015年的隔洋交鋒

刊登Dana Carney三人第一份Power Posing研究成果的心理科學期刊，於2015年五月刊登一份由瑞士的學者Eva Ranehill等人主導的註冊再現研究(Registered Replication Research，參考我寫的介紹)，在Dana Carney三人的原始研究設計中，Eva Ranehill等人增加原始研究沒有的權勢感受(feeling of power)自我評估，用意是確認擺姿勢會改變參與者的主觀自信，檢驗研究操作基本有效程度。這項評估在2010年之後，有部分後續研究採用，做為增加實驗信效度的措施，但是沒有研究採用與原始研究相同的操作條件與測量方式。
Eva Ranehill等人招募的參與者數目是Dana Carney三位的五倍(2010有42位；2015有200位)，同樣測量參與者在擺指定姿勢兩分鐘之後的決策行為與荷爾蒙濃度變化。結果如同大部分註冊再現研究一樣，行為與荷爾蒙的變化都沒有顯示權力姿勢效應 。Dana Carney三人也在這篇報告刊出時，彙整包括2010年原始研究在內的33份已發表研究，主張Eva Ranehill等人的再現研究，只是眾多顯示有效的研究之中，少數顯示無效的發現。看似合理且有效的防衛，為何一年之後的9月25日，Dana Carney的立場發生180度的轉變？

天外飛來P-Curve補刀

在U Penn任教的Uri Simonsohn與同事長期開發能評估某種主題的研究論文，存在出版偏誤 與人為逼出顯著結果(p-hacking) 的方法。出版偏誤 是只有統計結果顯著的實驗機會，會獲得較高的出版機會，或者才會被研究者被寫入論文。人為逼出顯著結果 是對收集後的資料，在分析程序中進行各式“拷問手段”，直到獲得一般同意小於.05的p值為止。如果讀者不懂什麼是p值，可先看這篇blog建立概念。

Uri Simonsohn在2014年發表的第一版P-Curve，提出一種可實作的方法學：如果一系列研究的有效結果都是因為出版偏誤 與人為逼出顯著結果 ，才能得到顯著的報告，必定有很高比例的p值是在.05到.04之間。只要把一系列研究的p值排成次數分配，就能用統計檢定方法，讓有嫌疑的研究結果現形。

由德國心理學家Felix Schönbrodt建置的互動式網站shinyapps.org，已經納入最新版的P-Curve及經過驗證的資料。透過簡單的操作，讀者可以了解如何利用P-Curve判斷資料存在人為操作的程度。點開 p-checker網頁之後，先點選中間的p-Curve ，接著從網頁最左下角Load demo data ，選取想要看到的P-Curve分析資料。我建議讀者先選擇Non-hacked JPSP data ，看看沒有人為操作的研究結果P-Curve是什麼樣子。選取後網頁自動繪出下圖：

如果一系列研究結果是過度操作分析程序，而導致的結果，就會得到相反的曲線。從Load demo data 選取Elderly priming analysis ，就會看到下圖的P-Curve：

那麼Dana Carney三人所列出的33篇實驗結果，繪製成P-Curve呈現什麼模樣？

讓Dana Carney認輸的P-Curve

Uri Simonsohn與同事在2016年九月正式公佈已被接受的最新論文，p-checker網頁已經整合這份論文的資料，讀者只要從Load demo data 選取Power posing ，就會看到下圖：

這條P-Curve呈現扁平的W，正好介於前兩張圖之間的形態，表示這條P-Curve與虛無效應 相差無幾。也就是說2010年的原始研究與後續研究所發現的權力姿勢效應，都是不存在的 。這也是 Dana Carney的公開信裡首先提及，放棄 2015年回顧論文立場的關鍵。

不過從好的方面來看，如果這條P-Curve類似圖2，就可以懷疑參與這33篇研究的團隊有集體造假(fabrication)的嫌疑。新聞熱度絕對上昇好幾倍，也許我不必出手寫這篇文章，就有華文媒體記者主動報導。這也透露P-Curve的限制，如果是僅有一篇報告的研究，除非有高手深入查案，外人無法得知是否經得起檢驗。

Amy Cuddy仍不放棄

Dana Carney的公開信發佈後五天，9月30日Amy Cuddy發表公開聲明表達個人看法。聲明的重點是Amy Cuddy認為雖然決策行為與荷爾蒙改變都沒有顯示真正的權力姿勢效應，但是改變身體姿勢的確對個人自信心的主觀評估有明顯的改變。

雖然這份公開聲明裡沒有明白表示，Amy Cuddy提到她試圖確立一種弱版本權力姿勢效應。如公開聲明中的其中一句話：

…the one that I would call “the power posing effect,” is simple: adopting expansive postures causes people to feel more powerful.

2017年2月22日，Amy Cuddy接受 TED的訪談中透露她現在的研究專注於擺出*有擴張性的(expansive)*身體姿勢如何增強個人信心，並且使用新名詞 姿勢回饋效應(postural feedback effect)稱呼她的研究主題。可參考有關TED的問題「什麼是權力姿勢效應？」，Amy Cuddy的回答：

I now refer to this general phenomenon as the “postural feedback effect,” but if I am choosing just one effect – one outcome — the key finding is simple: adopting expansive postures causes people to feel more powerful.

但是擺姿勢會讓人有自信，有沒有必要靠這種科學研究來了解原因？心理科學人士檢討的重點在於要在「擺姿勢」與「提高自信」建立因果關係，研究設計要能控制兩者之外的任何因素，才能得到充分的證據。然而Amy Cuddy的答覆看不出她準備採取更嚴謹的研究方法，面對重新設定的主題。更有人懷疑她有沒有能力做真正嚴謹的研究，畢竟她的論文會出現中小學生都能指出的算術錯誤，請參考下面統計學者Andrew Gelman演講錄影的開頭六分鐘片段。

至於大眾能學習的重點，我認為不是Amy Cubby的TED演講錄影何時會被下架，而是理解如何辨別這類看似有開創性的研究成果，實際是尚待檢驗，未能成為真正知識的假設。2016年10月1日Uri Simonsohn接受NPR的訪談，他提到一開始看起來有開創性的研究發現，其實只是意念(idea)與原型(prototype)，距離實質的應用，還欠缺足夠的檢驗。Amy Cuddy的TED演講讓許多人以為她們的發現，是可以直接運用的成果。

經過Uri Simonsohn等學者的宣傳之後，已有美國網友能用持平的角度看待Amy Cuddy的演講宣揚的觀點。就像2017年3月29日出現於原始演講影片下方的留言，這位網友指出Amy Cuddy的姿勢提昇個人自信的說法，也許只適合剛好遇上重大打擊的一小群人，只是演講渲染成所有人在任何有需要的狀況，都可以嘗試的辦法。然而在中文世界，這起事件剛爆發時，Amy Cuddy的暢銷書中文版剛好上市，並且經由中文科普雜誌廣告，現在是時候提供眾多中文讀者另一種觀點。

2017愚人節補記：任職於德國波鴻魯爾大學的博士後研究員Malte Elson，這天在與友人一起經營的部落格 The 100% CI，發表一篇指控Andrew Gelman刻意長期隱匿支持權力姿勢效應正面證據，卻三不五時批評Amy Cuddy的貼文。文中指出Andrew Gelman收集的資料足於證實權力姿勢能有效提昇個人自信心與冒險信念，並公開側錄Andrew Gelman研究過程的影片。不過Andrew Gelman看過之後，只說Malte Elson這夥人做研究還行，寫部落格還不到家。看到貼文發佈日期後，網友皆留言按讚並延伸即興創作。

時態門～無法再現的社會心理學實驗是因為不乾淨的資料

Mon, 20 Feb 2017 00:00:00 +0000

去年我寫的網誌「紀錄已經出現與即將出現的再現危機 1」，介紹加拿大阿拉巴馬大學社會心理學助理教授William Hart於2013年發表在心理科學期刊的論文 Learning About What Others Were Doing: Verb Aspect and Attributions of Mundane and Criminal Intent for Past Actions，無法被12間實驗室再現的事件。這個月初(2⁄7)心理科學期刊宣佈撤銷William Hart於2013年發表的另一篇論文 Unlocking Past Emotion: Verb Use Affects Mood and Happiness，使得事件有新的發展。這篇網誌整理至今為止，這兩篇論文牽涉的資料造假證據如何浮現。

描述過去經驗的動詞時態能影響當下情緒？

William Hart的兩篇論文都是檢驗一個假設：描述一項事件的文字所使用的動詞時態(verb tense)，會影響聽者對事件的信念與情感。這兩篇論文讓受試者評估的敘事文，都有設計動詞是非完成時態(I am walking on …)與完成時態(I walked on …)兩種版本，2011的論文請受試者假想自已是陪審團團員，判斷一件虛擬的兇殺案情節裡，嫌疑人有沒有意圖殺害被害人。2013的論文有四個實驗，讓受試者以非完成或完成時態，回憶正面或負面記憶–包括個人或在實驗室裡操作的情節。2011年的研究假設完成時態較容易讓人相信嫌疑人有犯意，2013的研究假設非完成時態讓受試者能回憶負面記憶的更多細節，造成比完成時態更大的負面情緒。
2011論文的掛名作者是William Hart與UIUC的Dolores Albarracín，但是2013論文是William Hart單獨掛名。根據Retraction Watch的消息，是由實際參與2013論文研究的某位不具名的研究生，向阿拉巴馬大學的研究核實辦公室(Office of Research Compliance)舉發，提出這份論文原始資料的加工證據。校方通知心理科學期刊編輯部後，由期刊做出撤稿決定。讀者下載 2013年論文會發現，包括摘要的每個段落，幾乎都有第一人稱代名詞開頭的句子，像是I tested…, I examined, I analyzed…。雖然現代學術論文寫作指引建議作者可以適當地使用人稱代名詞，但是使用頻率如此之高，足以媲美現任美國總統川普先生的公開演講。
英國卡迪夫大學(Cardiff University)的Richard Morey，在事發數天後提出一個可公佈在PubPeer的論文內容檢查。論文之中的一個實驗，讓受試者一開始進行改錯字(anagrams)任務，William Hart的想法是調整改錯字的難度，造成受試者的正面(簡單的錯字)與負面(困難的錯字)記憶。之後以一項紀錄反應時間的記憶作業，評估受試者回憶負面記憶的效率。以論文報告的數據來看，非完成時態的反應時間比完成時態的反應時間快了一百毫秒。這對有研究經驗的心理學家來說是非常驚人的結果，因為只有少數經典的認知心理學實驗能在多次再現實驗中得到，社會心理學的計時實驗能有20毫秒的差距就是了不起的效果。

描述犯案情節的動詞時態能推測犯意？

2013論文被撤稿的討論還方興未艾，曾參與2011論文再現研究的荷蘭鹿特丹伊拉謨斯大學(Erasmus University Rotterdam)的Rolf Zwaan，在2月21日於個人部落格公佈一項內幕消息，為後續發展投下震撼彈。2013論文撤稿消息公開之後，Zwaan收到一項可靠消息來源(註1)：William Hart在去年的再現研究結果正式發表後，自己進行了2011論文的再現研究，這次收集194位受試者的資料，並且成功再現2011論文的結果。但是Zwaan檢視來源提供的原始資料，發現其中73筆是複製貼上而成。能發現的原因很簡單，這項William Hart親自主持的再現實驗，最後會請受試者自由回答這項研究的可能目的，逐字紀錄在獨立欄位，用試算表軟體排序一下，就發現不尋常之處，就像下圖Zwaan公佈的部分資料內容：

給心理學以及整個科學界的教訓

這起事件的發展再次顯出開放資料的重要性，這是各國各領域科學研究人員都必須面對的課題，差別僅在於要著重的層次。對心理學來說，採取註冊研究及開放資料的正當性再次提高。對於現在的台灣科學界，最急迫的任務是如何在造假事件發生初期，建立可徵信的研究資料保存機制。這起國外造假案件的後續發展，值得有心人士一起關注。

註1: 根據私人通信，Rolf Zwaan表示，因為完整資料已經交給阿拉巴馬大學，目前他必須隱匿消息來源。不過根據部落格內容，我推測十之八九與那位不具名的研究生有關。

擺姿勢也許能增加你的自信，但是不能真正改變你

Thu, 01 Sep 2016 00:00:00 +0000

事件起因

9月25日晚上，Dana Carney在公開信裡表示我不再相信權力姿勢效應是真的(…I do not believe that “power pose” effects are real.) 。就在一年前，2010年的三位共同作者還在同一本期刊，發表回顧文章 Review and summary of research on the embodied effects of expansive (vs. contractive) nonverbal displays.，捍衛2010年的研究成果，相信權力姿勢效應經得起原研究團隊與其它實驗室的考驗。為何一年之後，其中一位成員轉換立場，並且做出學術界罕見的認錯聲明？心理科學人士與大眾能從這次事件獲得什麼教訓？

2015年的隔洋交鋒

天外飛來P-Curve補刀

在U Penn任教的Uri Simonsohn與同事長期開發能評估某種主題的研究論文，存在出版偏誤 與p-hacking 的方法。出版偏誤 是只有統計結果顯著的實驗機會，會獲得較高的出版機會，或者才會被研究者被寫入論文。p-hacking 是對已存在的資料，在分析程序中進行各式“拷問手段”，直到獲得一般同意小於.05的p值為止。如果讀者不懂什麼是p值，可先看這篇blog建立概念。如果想深入了解，現在Cosera已有視頻教學，但是建議讀者從第一堂課開始，請參考 Improving your statistical inferences的課程主頁。

在power posing的案例裡，宣稱有效的實驗結果，都是統計分析報表顯示不同姿勢在某種測量得到的差異，有至少小於.05的p值。如果研究者有時不能直接從原始資料得到小於.05的p值，可能會採用“拷問手段”調整資料，再跑一次分析程序，看看報表會不會出現小於.05的p值。包括我在內，在台灣成長的心理學學生，長久以來都在有意及無意的狀況下，接受“拷問手段”可行、至少是學術界能容許的觀念。

Uri Simonsohn在2014年發表的第一版P-Curve，提出一種可實作的方法學：如果一系列研究的有效結果都是因為出版偏誤 與p-hacking ，才能得到顯著的報告，必定有很高比例的p值是在.05到.04之間。只要把一系列研究的p值排成次數分配，就能用統計檢定方法，讓有嫌疑的研究結果現形。借用這篇論文的第三張圖來說明，因為有嫌疑的研究多數p值偏高(.04 ~ .05)，會累積如左圖的負偏態曲線(left-skewed curve)。如果效果的確存在，報告結果都是分析未做調整的資料，就會累積如右圖的正偏態曲線(right-skewed curve)。

上圖未顯示的另一種情況是實驗操作完全不會導致任何效果，面對這種情況的研究者如果從未拷問資料，分析報表出現顯著的p值，從大(接近.05)到小(等於或少於.01)的機會應該相等，如同上圖中的紅色虛線，這條紅色虛線稱為虛無效應 。因此如果一系列研究顯示的有效結果，其實來自對虛無效應 的重覆實驗，就會發現P-Curve和紅色虛線沒有差別，或者差別不顯著。

那麼Dana Carney三人所列出的33篇實驗結果，繪製成P-Curve呈現什麼模樣？

讓Dana Carney認輸的P-Curve

Uri Simonsohn與同事在2016年九月正式公佈已被接受的最新論文，以及 P-Curve第四版。他們依訂出的步驟，整理Dana Carney三人舉出的研究論文之中的統計值，輸入繪製與分析P-Curve的R code，獲得與虛無效應 無明顯差別的P-Curve。Uri Simonsohn將分析的資料公開於osf，並將R code轉換成可讓任何人輸入資料的網頁。讀者可從公開的excel檔案裡，找到擷取自33份研究的關鍵統計值。將”Main P-Curve”這欄之下的所有統計值選取複製，貼到 p-curve app 4.05，就可以得到與 Uri Simonsohn的最新論文相同的下圖：

這條P-Curve呈現扁平的W。圖上方欄位中的紅色虛線標示Null of no effect，下面的小字是這條P-Curve與虛無效應 的比較分析結果，$$p {Full}$$與$$p{Half}$$是這項比較分析的p值，遠大於.05的數值表示這條P-Curve與虛無效應 相差無幾。也就是說2010年的原始研究與後續研究所發現的權力姿勢效應，都是不存在的 。這也是 Dana Carney的公開信裡首先提及，放棄 2015年回顧論文立場的關鍵。

不過從好的方面來看，如果這條P-Curve是負偏態，又與虛無效應 有顯著差別，就可以懷疑參與這33篇研究的團隊有集體造假(fabrication)的嫌疑。新聞熱度絕對上昇好幾倍，也許我不必出手寫這篇文章，就有華文媒體記者主動報導。這方面也透露P-Curve的限制，如果是僅有一篇報告的研究，除非有高手深入查案，外人無法得知是否經得起檢驗。

Amy Cuddy仍不放棄

Dana Carney的公開信發佈後五天，9月30日Amy Cuddy發表公開聲明表達個人看法。聲明的重點是Amy Cuddy認為雖然決策行為與荷爾蒙改變都沒有顯示真正的權力姿勢效應，但是改變身體姿勢的確對個人自信心的主觀評估有明顯的改變。雖然這份公開聲明裡沒有明白表示，我們可以理解Amy Cuddy試圖確立一種弱版本權力姿勢效應。如公開聲明中的其中一句話：

…the one that I would call “the power posing effect,” is simple: adopting expansive postures causes people to feel more powerful.

Amy Cuddy認為在2015年回顧的研究裡，其中八項納入自信心主觀評估的研究結果都支持她的主張，此外還有Eva Ranehill等人主導的註冊研究，都是呈現統計顯著的結果。這樣的聲明透露Amy Cuddy試圖提出一種權力姿勢能明顯影響個人內在感受，但是對外在行為與生理狀態影響微小的弱版本。在理論立場由強轉弱的修正，能不能被學術界及大眾接受是純粹概念的思辨。但是我們可以檢視支持弱版本主張的證據，因為Uri Simonsohn也把這九項研究的自信主觀評估統計值，列在同一份excel裡。將這些數值複製貼到 p-curve app 4.05，可以得到下圖：

我們可以看到一條稍微昇起的正偏態P-Curve，但是與虛無效應 的比較分析，只有$$p_{Full}$$比.05大一點點。多累積一些測量自信心主觀評估的權力姿勢效應研究，會不會變成絕非**虛無效應** 的P-Cruve？這裡我不敢妄下斷言，但是擺姿勢會讓人有自信，有沒有必要靠這種科學研究來證實？是值得心理科學人士省思的重點。

至於大眾能學習的重點，我認為不是Amy Cubby的TED演講錄影何時會被下架，而是增進自己辨別這類看似有開創性的心理科學研究。10月1日Uri Simonsohn接受NPR的訪談，他向節目主持人提到如何看待這類看起來有實用價值的心理科學發現。他強調在一開始看起來有開創性的研究發現，其實只是意念(idea)與原型(prototype)，距離實質的應用，還欠缺足夠的檢驗。Amy Cuddy的TED演講讓許多人以為她們的發現，是可以直接運用的成果。

我個人的解釋是如同今日有許多正在被研究的再生能源方案，有些方案例如太陽能已經有初具規模的應用成果，如果有某個企業號稱能打造完全以再生能源維持居住品質的城市，嚮往這種生活的人也許會願意投資，或成為首批住民。然而有一日這間企業被爆料在許多環節造假，只是運用看起來可運作的原型設施，做為行銷宣傳的材料。非專業的一般人士要如何保持辨別的眼光，需要從多方面的教育管道著手，寫作這篇文章正是一個方向。

初稿2016/10/6 12:59:58上線
一校2016/10/6 21:50:00完成
二校2016/10/11 22:33:00完成

纪錄已經出現與即將出現的再現危機~2016版

Mon, 15 Aug 2016 00:00:00 +0000

紀錄的理由

註冊再現研究(Registered Replication Report，以下簡稱RRR)廣為世人注意，是2015年發表於科學期刊的 Estimating the reproducibility of psychological science。實際上有多項RRR從2012年開始運作，2014年就有論文發表，例如 In vestigating Variation inReplicability: A “Many Labs” Replication Project。心理科學協會(Association for Psychological Science)在2014年開始徵求跨實驗室合作的RRR項目，完成的研究刊登於協會發行的專業期刊 Perspectives on Psychological Science。從第一項RRR成案開始，協會公開 RRR近況網頁，讓各界可以追蹤每件RRR項目的近況與結果。這項紀錄撰寫於2016年七月下旬至九月上旬，這段期間網頁已登錄8件項目，其中三件已經結案並發表論文，四件已結案尚在撰寫報告(其中兩件在2016年8月被正式接受)，最新一件正在徵求合作團隊。已正式發表的三件只有一件能成功再現原始研究的部分結果，令人好奇還未正發表的其他五件結果會是如何？

奠基研究(Capstone Research)

在特定領域中有高引用數的原創性研究，引用該研究的研究直接或概念性重現原創性研究的方法與發現，逐漸形成正面支持這項原創性研究論點的發表鏈。這項原創性研究在主觀或客觀來看，吸引許多研究者嘗試確認研究結果，或探索研究結果啟發的新問題。

比起一次性再現多項研究的 Estimating the reproducibility of psychological science，心理科學協會支持的RRR項目是針對一項或數項奠基研究(capstone research)，招募實驗室或個人依照同一份計劃協議(protocol)同時進行獨立研究。協議內容是收集與分析資料的標準化程序：含刺激材料、施測軟硬體設置、招募參與者的人數與條件、資料處理及分析的流程、研究過程的紀錄格式、以及最後獨立報告的撰寫格式。發起RRR項目的總主持人會延請原始研究的主要發表者檢視計劃協議，待原始研究者同意協議細節之後，才會正式招募有意參與的團隊。所有RRR項目可以看成各方有志一同的研究者，針對學界有共識但存在爭議的奠基研究，進行炮口一致的集火射擊，檢驗這份研究能否經得起再現性考驗。
參與一項公開招募的RRR項目簡要流程是：一項計劃協議經APS同意開始進行之後，有意參加的研究者先閱讀首先公開的計劃協議，確定自已的團隊有能力執行，依指定格式填寫計畫書，並於Perspectives on Psychological Science的投稿網站提交，由項目總主持人審核研究者的團隊可否參加。研究者所在地如果有研究倫理審查的需要，可將此計畫書逕行送合格的IRB審核。如果研究者有合適的補助管道，也能自行爭取經費。

我在此彙整介紹現已公開的RRR項目，以及各方面的意見迴響。

Schooler and Engstler-Schooler(1990)： Verbal Overshadowing Effect已完成。己發表。

先給原始研究一個中文稱呼「口語過度跟隨」。這項記憶實驗請參與者在實驗室裡觀賞一支虛構的銀行搶案錄影片段，稍後指認在影片裡犯下搶劫的嫌疑人。在看完影片到指認犯人之間，有的參與者要口頭說明犯人的特徵，有的參與者進行無相關的作業，例如完成一項字謎遊戲。原始研究發現詳細說明特徵的參與者，平均指認正確率比進行無關作業的參與者低25%。因為是中途口語報告造成的回憶正確率下降，故得此名。

直接再現(direct replication)

其它實驗室按照原始研究的方法細節，於不同地點時間完整照表操課收集資料，檢視能否再現原始研究的發現。這種再現模式在有規模的實驗室之間經常發生，一篇緊接著原創性研究出現的研究論文，首先會嘗試直接再現原始研究的發現。不過最理想的直接再現研究並不存在，即使是在曾進行原創研究的地點，以相同的設備進行，能招募的參與者已經不同於原始研究。有共識的直接再現模式是由原始研究者提供研究材料，甚至資料分析程序，讓其它研究者在不同地點以最逼近原始條件的空間設備進行再現。或者諮詢原始研究者的意見，在許可範圍內變更部分研究細節，APS公開的RRR項目皆屬稍做變動的直接再現。

Schooler與Engstler-Schooler的原始研究之後有許多研究報告表示無法再現原始研究的成果，這個項目針對原始研究的第一項與第四項實驗，進行研究程序稍做變動的直接再現(direct replication)。選擇這兩項實驗的原因是第一項的程序比第四項緊湊，第一項的參與者完成中途作業馬上指認犯人，第四項有延宕20分鍾，原始研究結果顯示兩項實驗都有顯著的指認正確率差異。
彙整所有參與再現的實驗團隊結果，第一項的平均差異只有4%，第四項的平均差異為16%。這項RRR報告的結論肯定有口語過度跟隨效果，但是程序延宕的影響需要被謹慎評估。這是至今為止經APS RRR認證的認知心理學實驗結果，其後的單項研究RRR都是社會心理學領域的研究，也是目前唯一一項再現結果爭議較小的項目。

Hart & Albarracín (2011): Linguistic Cues and Firing Guns已完成。己發表。

用比較聳動的說法描述這項RRR的原始研究：「動詞時態會控制法庭的判決」。原始研究符合西方社會心理學的規格，運用三種設計各異的實驗檢驗同一個假設：使用完成式的文字(例如He pulled the gun)描述被告的犯罪過程，會比使用非完成式的文字(例如He was pulling the gun)，更容易讓法官或陪審團員相信被告有充分的犯罪意圖。這項RRR是直接再現原始研究的第三項實驗，因為唯一操作的獨變項是判例中的動詞是完成式或非完成式，程序是參與者對一椿判例裡的被告有無槍殺被害都的意圖，填寫三種量表表達自已的看法。三種量表分別請參與者評估被告知曉個人行為過程的程度，做出行為的意圖強烈度，對犯案結果的覺知度。看過完成式判例的參與者在三種量表給的評分，都顯著高於看過非完式判例的參與者給的評分。
這項RRR的參與團隊運用紙筆問卷施測及網路閱卷施測，一面倒地顯示未發現如同原始研究的顯著結果。總主持人之一Rolf Zwaan在論文正式發表時，於個人部落格有發表一篇介紹這項RRR 來龍去脈的文章。兩個月後，原始研究者Hart於Perspective on Psychological Science發表評論，認為這項RRR之所以沒有實驗室能成功再現，是因為原始研究招募的採與者都是偏保守立場的學生(以2016年美國總統大選情勢比喻，都是共和黨候選人Donald Trump的鐵粉)，參與RRR的實驗室招募的參與者來自四面八方，各種立場都有，因此「稀釋」原始研究發現的效應。這篇評論刊登時，Zwaan在部落格以一個問題回應Hart的評論：原始研究根本沒提過參與者的政治立場？
這項RRR雖然是針對一篇較新的社會心理學研究，但是理論基礎來自語言理解的認知心理學研究，因此原始研究的想法與發現都有原創價值。原始研究者想要捍衛其研究結果有其情感基礎，但是科學訓練讓所有研究者依循一種沙漏模型表達研究內容，也就是理論->假設->方法->結果->討論。這項RRR揭露原始研究的方法不如研究者所宣稱有效，可說是一具破碎的沙漏。若從科學知識進步的角度來看，RRR的反面證據讓有爭議的研究有個較清楚的處理方向(雖然大多數還是吵架)，檢查最初的研究是否如原始研究者宣稱，是一具能產出可再現結果的沙漏。

Sripada et al. (2014): Ego Depletion已完成。己發表。

「自我耗損」是已經出版的APS的RRR項目中，知名度較高的課題。因為Roy Baumeister的原始研究不只在社會心理學界開枝散葉，其中一支成為正向心理學的重要課題，也已經透過數本暢銷書讓大眾認識，特別是談「意志力」的書藉。原始研究是請參與者到實驗室裡參加一項解題測試，只是實驗從測試前就開始，參與者被隨機分派到兩種測試前清況之一：面前有小餅乾卻只能吃紅蘿蔔；面前有小餅乾可以拿來吃。測試題目是無人能解的難題，測量項目是參與者放棄解題的時間，結果顯示不能吃小餅乾的參與者，顯著比能吃小餅乾的參與者提早放棄作答。這項發現支持Roy Baumeister的假設：意志力是一種認知資源，過度運用之後需要足夠時間恢復，否則會影響個人認知表現。

概念性再現(conceptual replication)

原始研究的關鍵操作，以假設條件可容許，但是與原始研究相異的方式設置，在其它控制變項接近原始研究進行的再現研究。例如自我耗損實驗有其它學者使用其它物品，例如檸檬汁，或可以耗損意志力的其它方法，例如這項RRR使用的挑字母作業，能得到相同效應的結果。概念性再現通常用來測試假說的通用性，也有許多學者認為這是改善實驗研究的外在效度，最佳的方案之一。

不過心理學界對於原始研究以及正面支持的概念性再現(conceptual replication)，一直存在懷疑及批判之聲。這些批評在這項RRR的總主持人Hagger與Chatzisarantis發覺出版偏誤(publication bias)可能造成各式自我耗損效應被高估(參考 Everthing is Crumbling)，因此提案這項RRR，並邀請包括Roy Baumeister在內的三位研究者審核計畫協議。這項RRR的目標是再現Sripada等人於2014年發表的注意力耗損作業，這項作業的操作是把Roy Baumeister的小餅乾換成在電腦螢幕執行的挑字母作業(簡介參考果殼網的翻譯)，Sripada的原始發現是作業難度起高，後續作業表現越差，與其它自我耗損研究發現一致。

出版偏誤(publication bias)

當一個研究主題的原創研究，與緊接著的再現研究都普遍支持原創研究的發現。再之後的研究如果有與原創研究不一致的發現，很不容易獲得接受發表的機會。結構性因素是原創研究的發表者與支持者，很容易成為相關論文的同儕審查者。近年許多實驗科學領域的原創研究案例因為樣本數少，統計考驗力偏低，有學者如 Ioannidis(2005)以實際資料配合數據模擬，估計一門實驗科學的發展規模隨論文數擴增，難以再現的原創及概念性再現研究增加幅度。出版偏誤因此被視為不利一門主題研究健康發展的因素。

然而經過23個獨立實驗室的直接再現，沒有一間獲得與Sripada同樣顯著的結果。Roy Baumeister的初期反應與Hart類似，他的論點是這個項目的總主持人只採納他建議的各種作業之中，最容易重製的電腦實驗版。不過Roy Baumeister的回應更有道理：Sripada的實驗只是眾多自我耗損作業的一種，不代表所有自我耗損作業都不能再現。也就是說一個沙漏品質有問題，不是所有沙漏都有問題。著名科學懷疑論部落客neuroskeptic特別標記Roy Baumeister回應之中的宣言:支持自我耗損的研究者們將推出以早期發表的作業為主的RRR項目。APS的RRR網頁何時的更新會新增這一條？或者這群研究者會另外尋找其它執行RRR的平台？甚至直接開闢一個新平台？後續情勢會如何影響註冊研究的發展值得觀注。

Many Labs 2: Investigating Variation in Replicability Across Sample and Setting

不只是心理科學，任何實驗科學都會發現這樣的例子：甲教授的實驗室發現A效果確實存在，乙教授採用極為接近甲教授實驗室的條件，卻沒有發現A效果。是什麼導致同一項實驗在兩個實驗室有完全不同的結果？樣本來源？實驗環境設置？還是取樣誤差？這個是統計學者與實驗科學家一直在探討的老問題，對於再現研究來說，如果並未發現如同原始研究一致的結果，卻沒有提出樣本或設置造成的偏誤評估，很難說服原始研究發現的支持者接受再現研究的結論，就像 Estimating the reproducibility of psychological science的每項研究只有一個實驗室負責，可能因為樣本與設置已不同於原始研究，而導致不同的發現。

這個項目的前身 Many Lab Project以研究的奠基程度挑選13項社會心理學研究，每項經過36個實驗室的直接再現，發現再現研究得到的關鍵效果量，與樣本及設置的變異並不大。然而Many Lab發起的目的裡，並未有系統檢測樣本及設置的變異，13項再現研究的資料，只能推論使用促發程序的社會心理學研究。Many Lab 2的發起小組首先海選100多件認知與社會心理學研究，候選的研究關鍵效果在原始研究目的之中，就有預測樣本或實驗設置造成的差異。再經由進一步投票決定28件研究，並分成兩群分別是13項與15項的兩套專案串(slate)，參與的實驗室要再現至少其中一串的每項實驗。這次專案包含多項道德認知的研究，包括已在2010年因研究造假案而辭去哈佛大學教授職位的Mark Hauser，於2007年發表的語言認與與道德認知研究，他的道德認知研究被放在15項專案串。此外，在Many Lab Project大獲全勝的己故學者Tversky，他的研究有框架效應與相似性效應的兩項研究入選。
這項專案的資料收集已在2014年結束之前完成，不過報告至紀錄的時候尚未傳出已被接收的消息。但是從已公開的報表，可知第一套13項專案串有70個實驗室參與，其中有當時在台灣師範大學任教的張仁和老師領導的團隊，第二套15項專案串有61個實驗室參與。從報表的統計圖推測，Mark Hauser的語言認知研究應該有成功再現(Hauser.1)，但是道德認知的研究有無成功再現需要等待團隊的判讀(Hauser.4)。Tversky的框架效應再現結果並未出現在這張報表裡，原因有待報告出爐，相似性效應的分析結果分散在四張統計圖，一半有明顯效果一半則無，如果要了解這些結果的意義需要參照原始論文，或等待Many Labs 2的最終報告。

Strack et al. (1988): Facial Feedback Hypothesis已完成。發表中。

我私自認為這項RRR的公開資料可以直接運用於心理學教學與研究法實作。「臉部肌肉回饋假說」的想法始於Charles Darwin有關人類與動物情緒表達的報告，他觀察到人類與動物都有運動意識可控制的骨胳肌，表達內在情緒的能力，也可以抑制情緒表達，因此猜想控制表達情緒的骨骼肌可能會影響內在情緒。之後美國心理學家William James在他的重要著作 The Principles of Psychology，主張身體肌肉的變化是引發情緒的重要刺激。從此之後，心理學家的任務是建立可檢驗Willam James主張的實驗方法。到了1988年Strack, Martin, 與Stepper三人於Journal of Personality and Social Psychology發表的方法，是第一個能在過程維持參與者的笑肌(Risorius)運動模式，並測量參與者快樂感受的實驗。原始研究在維持參與者的笑肌運動模式時，測量參與者觀賞卡通影片之後，評估卡通的歡樂程度，做為臉部表情能導致情緒的直接證據。除了控制組是用非慣用手全程作答，另外兩個實驗組：嘴唇組 與牙齒組 是按以下照片的方式，參與者全程用嘴巴含住原子筆作答：

嘴唇組：嘴唇含筆，不可用牙齒咬

牙齒組：牙齒含筆，不可碰觸嘴唇

以上兩張圖節錄自這項RRR公開的嘴唇組示範投影片與牙齒組示範投影片，很明顯牙齒組自然地做出微笑表情。Strack三人的原始結果顯示牙齒組觀賞影片後給的評分，顯著高於嘴唇組。這套實驗方法被廣泛運用在許多情緒感受與表達的研究，雖然後來的多數研究也有類似發現，但是都未完全依照原始研究的細節設計，特別是含住原子筆的方式，以及使用其它反應設備作答等。所以「臉部肌肉回饋假說」類似「自我耗損」的狀況：原始研究之後出現很多概念性再現，但是最初的發現從未經過直接再現的考驗。
因為要完整再現原始實驗，每個參與實驗室都要有獨立空間，讓個別參與者以紙筆進行實驗，所以公開的計劃協議與實驗材料相當完整，我也從寫作這項紀錄更新以前對此研究的錯誤認識。
2016年8月中旬，這項RRR的報告已被正式接受，將與Strack的回應同時出版。16個橫跨歐美的實驗室再現結果，經整合分析之後，發現牙齒組與嘴唇組的差異只有0.03，遠低於原始研究的0.82，因此團隊結論這項原始研究無法直接再現。Strack的回應提出四點造成再現失敗的可能因素，都有值得思考之處：(1)這項實驗在許多大學的基礎心理學課程中，都會向學生介紹，參與這項RRR的多數實驗室，是從參與者庫招募正在修課的學生。計劃協議有設定事先知道此實驗內容的參與者，參與資料不能列入分析，最後總計有24%的參與者資料因此被排除，究竟參與者的先備知識對再現實驗結果的影響有多大，還需要更深入的分析。(2)讓參與者評分的卡通影片是1988年的原始研究使用的同系列影片，如此雖然符合直接再現的要旨，但是現在的大學生與三十年前的大學生笑點是否相同？(3)與原始研究不同之處是這項RRR使用數位相機全程錄影，讓參與者自覺維持含筆的姿勢，但是如此是否反而讓參與者有意識維持臉部肌肉的動作，降低無意識的影響？(4)通常有出版偏誤(publication bias)或人為逼出顯著結果(p-hacking)嫌疑的系列研究，有關鍵效果量與樣本數呈現負相關的特徵。也就是說樣本數越少，效果越明顯的研究越容易被接受出版。這項RRR的16個獨立再現結果，卻呈現相反的正相關，如此結果會不會是一種逆出版偏誤 ：不顯著的結果才會受到RRR的青睞？

人為逼出顯著結果(p-hacking)

在完成資料收集，進行資料分析的過程中，會發現即使已依慣例排除或轉換極端值，依然存在一筆資料導致分析後的結果不如預期顯著。有研究者會改用較低的顯著水準，報告結果符合預期。有研究者會剔除不利的資料，以達到符合預期的分析結果。現在歐美心理學界更關注一種製造顯著結果的模式，一個實驗室內多次執行一項實驗，挑出一次符合預期的顯著結果，再以此結果寫成論文。這種行為又稱為 挑賣相好的(cherry picking)。
這些行為都屬於人為逼出顯著結果，而根本原因有研究者對統計方法的誤解與誤用，以及需要發表論文的壓力。這類行為還稱不上學術造假，因為資料皆是按計劃收集得來且未經變造。人為逼出顯著結果對研究再現性的傷害，來自原始研究者不願意公開資料分析的程序，導致其它研究者難以再現卻又找不到真正原因。現行註冊研究流程設計，就是要讓研究者承擔公開分析資料程序的責任，也讓期刊審查者願意接受不如預期的分析結果。

Finkel et al. (2002): Power of Commitment已完成。發表中。

親密關係如何維持是社會心理學中最引人感興趣，也吸引心理學家使用各種已知的研究方法探討的課題。其中一個主題是伴侶之間若有一人背叛對方，被背叛者會選擇原諒的主要因素是什麼，McCullough等人在1998年整理至當時為止的研究，已知會影響被背叛的一方願意原諒伴侶的諸項因素，為後來的學者建立某些因素與原諒行為的因果關係指出導路，其中一項最可能有直接因果關係的因素是「承諾感」(commitment)。Finkel等人的這份研究使用促發程序，在經過設計的實驗情境誘導參與者與想像的伴侶，彼此之間存在高承諾感(high commitment)或低承諾感(low commitment)，接著被詢問假想伴侶背叛自已的情境裡，會選擇好言相勸(voice)或忠心守候(lotalty)之類的正面原諒行為，還是主動離開(exit)或視而不見(neglect)之類的負面原諒行為。
由於這類研究文獻數量可觀，許多概念非長期接觸相關研究者能夠嘗握，光看計劃協議我無法準確掌握實驗操作與測量的意義。為了妥善說明研究內容，我請教了專門寫作親密行為的科普寫手海苔熊，學會使用「承諾感」這個詞彙，描述這項研究的獨變項操作。Finkel設計五道問題讓參與者自行想像寫作，被分派到高承諾感組的參與者得到的題目是「描述兩件與伴侶在一起時，日常生活最常做的事」，低承諾感組的參與者得到的題目是「描述兩件伴侶不在一起時，日常生活最常做的事」。完成各組的五道題目之後，所有參與者再對12種被伴侶背叛的假想情境，從代表四種原諒行為的選項，選出自已最有可能做出的行為。12種狀況的作答次數依選項統計，轉換為兩組會做出某項原諒行為的指標分數。Finkel等人發現高低承諾感兩組參與者之間行為在原諒的選擇表現沒有顯著差別，只在結束關係的選擇有明顯差異。由此發現開始，Finkel與他的同事致力建立伴侶之間的承諾感，如何決定原諒行為的因果關係模型。
兩位現任的加拿大心理學教授，Irene Cheung與Lorne Campbell，以及服務於柏克萊大學推動社會科學透明化中心(Initiative for Transparency in the Social Sciences, BITSS)的Etienne LeBel等三位社會心理學者，有鑑於Finkel等人的因果推論在社會心理學界存在許多爭議，例如Riek與Mania在2012年發表的整合性分析顯示，與原諒行為相關性最高的是當事人的同理心，承諾感與背叛者的歉意有顯著相關，並非直接影響原諒行為的因素。而且原始研究的結果並未有明確的直接再現結果，因此提出直接再現Finkel等人2002第一項實驗的RRR項目。除了參與者全程於電腦輸入作答，取代原始研究的紙筆作答，其它可控制的條件都逼近原始研究。下表合併呈現原始研究與參與這項RRR的16個實驗室的整合分析結果。

主動離開(Exit)	好言相勸(Voice)	忠心守候(Loyalty)	視而不見(Neglect)
低承諾感 Finkel(2002)	2.51	4.95	3.80	3.92
高承諾感 Finkel(2002)	1.85	5.39	4.10	3.50
組間差異 Finkel(2002)	-.42*	.17	.05	-.32*
RRR組間差異平均值,95%信賴區間	-.06, [-.17, .05]	.03,[-.08, .13]	.00,[-.08, .09]	-.06,[-.18, .07]

*代表組間差異的p值小於設定的顯著水準

簡而言之，原始研究沒有顯著組間差異的正面原諒行為，RRR同樣沒有顯著，但是原始研究有顯著組間差異的負面原諒行為，RRR的結果相當於沒有差異。原始研究者Eli Finkel對此結果的回應，則出現了至今為止僅見的君子風度。我引述回應結論部分的一句話結束這項紀錄。
Consequently, I will no longer cite that study as providing causal evidence for the effect of commitment on forgiveness, and I discourage others from doing so.

Rand et al. (2012): Spontaneous Giving and Calculated Greed

要了解這項RRR要先認識公共財賽局(public goods game)。最著名的實驗方法由經濟學者 Fehr與Gächter提出，參與者從一開始擁有相同資產，每回合開始都有捐出部分資產以增加分紅，與不捐獻任何資產兩種選項，在不同條件之下的十回合賽局中，紀錄參與者願意捐獻的資產數目。一回合中所有參與者，能獲得的分紅由四項參數決定：捐獻資產的增加倍數、捐獻資產的人數、個別捐獻的資產數值、以及該回合所有參與人數。前三項參數的乘積除以所有參與人數，就是所有參與者在該回合能獲得的分紅。例如有三十位參與者在一開始各自拿到100塊資產，第一回合有六位捐出全部100塊資產，這回合捐獻資產的增加倍數是5，因此回合結束所有參與者拿到1000塊分紅。此時6位有100塊資產與24位有200塊資產的參與者要在即將開始的第二回合，決定要不要捐獻？以及捐獻多少？
實驗經濟學的重點是觀察不同情勢之下，參與者想堅持做一個理性的經濟決策者：不捐獻任何一毛錢；還是做合作的投資者：評估情勢捐出自認合理的資產額度。心理學家則想了解人類在此情況下，什麼條件造成個人願意合作的動機？因此Rand等人(2012)採用一回合制公共財賽局(one shot public goods game)，依照決策時間越少人類越依賴直覺做決策的假設，操作決策時間條件：限時之內做決定(time pressure)與限時之後做決定(forced delay)，預測必須在限時之內做決定的多數參與者，捐獻的資產數值會顯著高於限時之後做決定的參與者。根據Rand等人的論文報告，在線上實驗平台 Amazon Mechanical Turk與能容納多人同時施測的電腦教室之中，都發現符合預期的實驗結果。
然而在2012年之後，Rand的團隊與其它研究者在Amazon Mechanical Turk直接再現數次相同實驗，都發現組間差異逐漸縮小至無差異。可能原因是有在Amazon Mechanical Turk註冊的參與者，大多數越來越熟悉這套線上平台，任何實驗條件操作對參與者來說影響有限。實驗室實驗有改變條件的概念性再現，但尚未有直接再現。這項RRR收集的資料是來自Amazon Mechanical Turk，與參與實驗室在所屬機構的電腦教室進行。Amazon Mechanical Turk部分會區分註冊參與者的「資深程度」。
參與這項專案的22個實驗室在2016年五月結束資料收集，寫成紀錄的時候整體資料尚在分析中。在將來報告出爐時，值得關注的是Amazon Mechanical Turk再現結果與實驗室再現結果的比較，因為除了臉部回饋假設，紀錄於此的每項RRR，都有透過Amazon Mechanical Turk進行再現研究。如果這項專案能發現參與者資深程度對實驗表現的影響，對於要再評估已出版的RRR資料，以及未來的RRR運用線上實驗平台進行再現研究，要如何評估測量限制等，應能提供可靠的參考條件。

「想像自已是貝多芬，就能考高分；想像自已是笨蛋，只能考鴨蛋」。這是模倣媒體記者如果讀過這項原始研究，應該會下的新聞標題。這項專案來自原始研究作者 Ap Dijksterhuis在1998年於Journal of Personality and Social Psychology發表的研究，他與合作者設計四個實驗，讓參與者先做一段想像是某種典型人物的自我表述，當年的實驗採用大學教授(貝多芬)與足球流氓(笨蛋)做典型人物，參與者被隨機指派想像自已是其中一種身份。經過五分鐘的自我想像之後，進行20題益智問答。實驗的測量就是兩組參與者的益知問答答對率的差異。1998論文的第四個實驗，也就是這項RRR要再現的實驗，發現想像自已是大學教授的參與者平均答對率達56%，想像自已是足球流氓 的參與者平均答對率有43%，兩組相差13%，並且達到統計顯著水準。然而Dijksterhuis後來自已嘗試重現，兩組差異不到3%，這項發現至今從未發表。
這項RRR與之前的RRR最大不同之處，是由原始研究者主動提出，而非其它學者邀請Dijksterhuis評估計劃協議而成案。從計劃協議透露的背景資訊，Dijksterhuis有鑑於自已無法再現自已研究的經驗，以及這幾年心理學界對促發實驗可再現性的質疑與案例接踵出現(參考拙作啟動你對促發實驗的認識)，自已向APS提案，邀請全世界想挑戰這項實驗可再現性的心理學者。除了將1998年的另一個獨變項改成參與者性別，變動益智問答題目與實驗程序控制軟體，其餘條件都與1998年的設定相同。此次實驗也歡迎不同語言的心理學實驗室一起參與，我認為這是觀察RRR的概念在這段時間已經散佈多廣的一個機會。與這項實驗類似的促發實驗，並且爭議頗多的原始研究者(拙作中有點名)，會不會受到激勵而接受挑戰？

再現危機 | 暗微幽光

開放科學與資料科學如何兼容？

讀書心得：現代心理科學的七大罪

成因1：過度追求概念性再現(Conceptual Replication)

成因2：彈性無限制的研究操作

終極解方：開放審查機制的註冊研究平台

擺姿勢也許能增加你的自信，但是不能真正改變你

事件起因

2015年的隔洋交鋒

天外飛來P-Curve補刀

讓Dana Carney認輸的P-Curve

Amy Cuddy仍不放棄

時態門～無法再現的社會心理學實驗是因為不乾淨的資料

描述過去經驗的動詞時態能影響當下情緒？

描述犯案情節的動詞時態能推測犯意？

給心理學以及整個科學界的教訓

擺姿勢也許能增加你的自信，但是不能真正改變你

事件起因

2015年的隔洋交鋒

天外飛來P-Curve補刀

讓Dana Carney認輸的P-Curve

Amy Cuddy仍不放棄

纪錄已經出現與即將出現的再現危機~2016版

紀錄的理由

奠基研究(Capstone Research)

Schooler and Engstler-Schooler(1990)： Verbal Overshadowing Effect已完成。己發表。

直接再現(direct replication)

Hart & Albarracín (2011): Linguistic Cues and Firing Guns已完成。己發表。

Sripada et al. (2014): Ego Depletion已完成。己發表。

概念性再現(conceptual replication)

出版偏誤(publication bias)

Many Labs 2: Investigating Variation in Replicability Across Sample and Setting

Strack et al. (1988): Facial Feedback Hypothesis已完成。發表中。

人為逼出顯著結果(p-hacking)

Finkel et al. (2002): Power of Commitment已完成。發表中。

Rand et al. (2012): Spontaneous Giving and Calculated Greed

Dijksterhuis & van Knippenberg (1998): Foundation of Unconscious Social Cognition2016/8/28募集完成