<?xml version="1.0" encoding="utf-8" standalone="yes" ?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
  <channel>
    <title>學術不端 | 暗微幽光</title>
    <link>http://scchen.com/zh/tags/%E5%AD%B8%E8%A1%93%E4%B8%8D%E7%AB%AF/</link>
      <atom:link href="http://scchen.com/zh/tags/%E5%AD%B8%E8%A1%93%E4%B8%8D%E7%AB%AF/index.xml" rel="self" type="application/rss+xml" />
    <description>學術不端</description>
    <generator>Source Themes Academic (https://sourcethemes.com/academic/)</generator><language>zh-Hant</language><copyright>© 2017 Sau-Chin Chen</copyright><lastBuildDate>Wed, 05 Jul 2017 00:00:00 +0000</lastBuildDate>
    <image>
      <url>img/map[email:pmsp96@gmail.com gravatar:%!s(bool=false) shape:circle]</url>
      <title>學術不端</title>
      <link>http://scchen.com/zh/tags/%E5%AD%B8%E8%A1%93%E4%B8%8D%E7%AB%AF/</link>
    </image>
    
    <item>
      <title>讀書心得：現代心理科學的七大罪</title>
      <link>http://scchen.com/zh/post/text_2017007/text_2017007/</link>
      <pubDate>Wed, 05 Jul 2017 00:00:00 +0000</pubDate>
      <guid>http://scchen.com/zh/post/text_2017007/text_2017007/</guid>
      <description>&lt;p&gt;&lt;img src=&#34;http://scchen.com/images/k10970.gif&#34; alt=&#34;&#34;&gt;&lt;/p&gt;
&lt;p&gt;物理學家理查．費曼(Richard Feyman)於1974年加州理工學院的畢業典禮致辭，有以下兩段內容：&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;大戰期間在南太平洋有一些土人，看到飛機降落在地面，卸下來一包包的好東西，其中一些是送給他們的。往後他們仍然希望能發生同樣的事，於是他們在同樣的地點鋪飛機跑道，兩旁還點上了火，蓋了間小茅屋，派人坐在那裡，頭上綁了兩塊木頭（假裝是耳機）、插了根竹子（假裝是天線），以為這就等於控制塔裡的領航員了──然後他們等待、等待飛機降落。他們被稱為草包族，他們每件事都做對了、一切都十分神似，看來跟戰時沒什麼兩樣；但這行不通：飛機始終沒有降落下來。這是為什麼我叫這類東西為「草包族科學」，因為它們完全學足了科學研究的外表，一切都十分神似，但是事實上它們缺乏了最重要的部分──因為飛機始終沒有降落下來。&lt;/p&gt;
&lt;p&gt;她很喜歡這個新構想，跑去跟教授說；但教授的回答是：「不，你不能那樣做，因為那個實驗已經有人做過，你在浪費時間。」這大約是一九四七年的事，其後那好像變成心理學的一般通則了：大家都不重複別人的實驗，而單純地改變實驗條件看結果。&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;這段講稿後來被收錄於費曼的回憶錄「別鬧了，費曼先生」(Surely You’re Joking Mr. Feynman:Adventures of a Curious Character)，也是諺語「草包族科學」(Cargo Cult Scinece)的起源。英國卡迪夫大學心理學者克里斯．錢伯斯(Chris Chambers)在個人新書「心理學的七宗罪」，引用這兩個段落描述自己對現代心理學現況及未來的擔心：如果今天的心理學家不真誠面對與解決知識生產模式裡存在的問題，今天的心理學知識會變成&lt;strong&gt;草包族科學&lt;/strong&gt; 的真實教訓～總是有正面結果的報告，卻無法確認正面結果的正確性。&lt;/p&gt;
&lt;p&gt;費曼遇到的狀況到了21世紀不但沒有改變，2011年還達到了高峰：
&lt;a href=&#34;https://en.wikipedia.org/wiki/Diederik_Stapel&#34; title=&#34;Diederik Stapel&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;造假&lt;/a&gt;與
&lt;a href=&#34;https://en.wikipedia.org/wiki/Daryl_Bem#.22Feeling_the_Future.22_controversy&#34; title=&#34;Daryl Bem: &amp;#39;Feeling the Future&amp;#39; controversy&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;太美好的心理學研究案例&lt;/a&gt;在這一年先後現世，促成錢伯斯寫這本書做為紀錄。書中歸納的七宗罪體現經年累月累積問題，每一章標題都是理解問題的線索，閱讀整本書之後，我認為各種問題出於兩個成因，前三項罪體現直接導致的問題，後四項體現助長問題嚴重性的相關因素。為了方便之後的解說，我先簡單摘要七宗罪所體現的問題：(1)偏好正面結果導致的偏誤；(2)不受拘束的檯面下研究操作；(3)高影響力但低信度的研究結果；(4)缺乏公開分享研究資料的科學社群文化；(5)造假的誘惑；(6)限制付費取用的第一手文獻；(7)充滿集點狂的世界。&lt;/p&gt;
&lt;h3 id=&#34;成因1過度追求概念性再現conceptual-replication&#34;&gt;成因1：過度追求概念性再現(Conceptual Replication)&lt;/h3&gt;
&lt;p&gt;我曾在
&lt;a href=&#34;http://scchen.com/Text/text_2016004/&#34; title=&#34;纪錄已經出現與即將出現的再現危機~2016版&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;之前的文章&lt;/a&gt;說明什麼是&lt;strong&gt;概念性再現&lt;/strong&gt; ，在此引述如下：&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;原始研究的關鍵操作，以假設條件可容許，但是與原始研究相異的方式設置，在其它控制變項接近原始研究進行的再現研究。例如自我耗損實驗有其它學者使用其它物品，例如檸檬汁，或可以耗損意志力的其它方法，例如這項RRR使用的挑字母作業，能得到相同效應的結果。概念性再現通常用來測試假說的通用性，也有許多學者認為這是改善實驗研究的外在效度，最佳的方案之一。&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;回首1947年費雪與心理學研究生的對話，再看自己一年之前寫的說明，讓我想到至少有七十年，每一代心理學家都被教育要避免重覆已經發表的研究，最單純的原因只是認為完整的重現已經發表的研究是浪費時間的事？克里斯引用
&lt;a href=&#34;http://pps.sagepub.com/content/7/6/537&#34; title=&#34;Replications in Psychology Research How Often Do They Really Occur?&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;研究數據&lt;/a&gt;證實心理學家過度追求概念性再現的風氣已有百年之久，這種風氣在以期刊引用因子評估影響力的今天，造成心理學家以為使用不同條件，重現發表在高引用數期刊的論文研究結果為成就捷徑。就像上述說明中的&lt;strong&gt;自我耗損實驗&lt;/strong&gt; ，出版的多數結果是經過有確認偏見(confirmation bias)的審查系統，而這樣的系統與需要讀者付費的論文出版集團是利益共同體。&lt;/p&gt;
&lt;p&gt;其他可能助長過度追求概念性再現風氣的因素，是原創研究很難完整重現。原因可能是研究者沒有意願分享原始研究資料，或者研究結果其實是是蓄意造假的。後者在最近幾年有太多例子可說，前者則是研究者深受社群文化與行規潛移默化的結果。即使在講究開放的西方學術社群，
&lt;a href=&#34;http://wicherts.socsci.uva.nl/datasharing.pdf&#34; title=&#34;The poor availability of psychological research data for reanalysis&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;幾項調查&lt;/a&gt;顯示不到一半的研究者願意向任何人分享完整的研究資料，即使美國心理學會的倫理守則載明研究者應無私地公開資料，永遠會有1001個不能分享資料的理由。&lt;/p&gt;
&lt;h3 id=&#34;成因2彈性無限制的研究操作&#34;&gt;成因2：彈性無限制的研究操作&lt;/h3&gt;
&lt;p&gt;錢伯斯以&lt;strong&gt;隱藏的彈性&lt;/strong&gt; 稱呼研究者的待澄清研究操作(Questionable Research Practice, QRPs)，更多探討這個課題的論文稱之為&lt;strong&gt;研究者的自由程度&lt;/strong&gt;(Researcher Degree of Freedom)。就像2016年，荷蘭蒂爾堡大學心理學家約特．惠切特斯(Jelte Wicherts)帶領的團隊，把太過自由而導致的研究操作問題，整理成一分
&lt;a href=&#34;http://journal.frontiersin.org/article/10.3389/fpsyg.2016.01832/abstract&#34; title=&#34;Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid p-Hacking&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;QRPs清單&lt;/a&gt;。範圍包括：主題的形成、研究的設計、資料的收集、資料的分析、與報告的撰寫。這份清單呼應克里斯在前三章描述的現象。有問題的研究操作並未違反任何已有共識的研究倫理，但是只要能獲得美好的結果，很少有研究者不會採取其中幾項操作。有些甚至已內化至心理學教育系統：像是分析資料時改變原始計畫裡，處理極端值的標準，是可接受的。導致養成過程就是增加研究者自由程度，或者削弱覺察有疑問操作的能力。&lt;/p&gt;
&lt;p&gt;許多研究者開始注意QRPs引起的問題，是讀過統計學者約翰．伊歐埃迪斯(John Ioannidis)於2005年發表，討論醫學與生命科學充斥太多偽陽性結果的
&lt;a href=&#34;http://doi.org/10.1371/journal.pmed.0020124&#34; title=&#34;Why most published research findings are false&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;論文&lt;/a&gt;。他提出估計一系列報告陽性結果的研究，存在偽陽性結果比率的方法。這套方法綜合假設為真的事前機率(prior probability)、顯著水準、統計考驗力、與人為逼出陽性結果的比例(p-hacking)，估計存在真陽性結果比率的陽性預測值(positive preditive value)，也是QRPs嚴重度的估計值。&lt;/p&gt;
&lt;p&gt;使用
&lt;a href=&#34;http://shinyapps.org/showapp.php?app=http://lmpp10e-mucesm.srv.mwn.de:3838/felix/PPV&amp;amp;by=Michael%20Zehetleitner%20and%20Felix%20Sch%C3%B6nbrodt&amp;amp;title=When%20does%20a%20significant%20p-value%20indicate%20a%20true%20effect?&amp;amp;shorttitle=When%20does%20a%20significant%20p-value%20indicate%20a%20true%20effect?&#34; title=&#34;When does a significant p-value indicate a true effect?&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;這個網頁&lt;/a&gt;，你可以自行調整四項參數，了解偽陽性結果增加的條件。伊歐埃迪斯指出，如果一系列研究報告都是陽性結果，而且真陽性結果比率要高達90%以上的話，假設為真的事前機率要達80%以上，統計考驗力也要達90%。另一方面，一套假設為真的機率只有一半的研究系列，統計考驗力僅有33%時，如果研究者都很誠實不做有疑問研究操作，報告研究結果是陽性的比率不到20%，其中真陽性結果的比率將近90%；但是，若大部份的研究結果是QRPs導致，例如70%的研究有QRPs，陽性結果的報告比率會超過70%，然而其中真陽性結果只有一半。&lt;/p&gt;
&lt;p&gt;伊歐埃迪斯論文的預設讀者是醫學與生命科學領域的研究者，但是先被打動的讀者群是社會科學的學者–或者更精確的說，在2011年覺醒的心理學家們。因為多數心理學領域的假設為真之事前機率約50%，也就是以看待隨機事件的立場，期待假設得到研究結果支持。如果多數呈現陽性結果的心理學研究是真陽性，心理學家不靠QRPs，只靠提高統計考驗力得到顯著結果，預計陽性結果與陰性結果的報告在所有文獻中應該各佔一半。實際情況卻如同&lt;strong&gt;自我耗損實驗&lt;/strong&gt; 系列一樣，
&lt;a href=&#34;http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0010068&#34; title=&#34;“Positive” Results Increase Down the Hierarchy of the Sciences&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;可獲得發表的心理學論文超過90%是陽性結果&lt;/a&gt;。如此景況，只有用QRPs做研究才能達成。&lt;/p&gt;
&lt;p&gt;當一個科學領域視QRPs為理所當然，直接導致&lt;strong&gt;檯面下的研究操作無限擴張&lt;/strong&gt; ，以及多數研究結果&lt;strong&gt;有高影響力但低信度&lt;/strong&gt; 的現象。如果有人無法抵抗&lt;strong&gt;造假的誘惑&lt;/strong&gt; ，隔一陣子就出現一則學術不端新聞是可預料的趨勢。與&lt;strong&gt;付費論文出版集團&lt;/strong&gt; 緊密相連的期刊編輯及審查者，只追求表面影響力但輕忽論文內容信度的教研機構管理，是助長QRPs的媒介。近幾年&lt;strong&gt;績效管理主義&lt;/strong&gt; 的盛行，只看表面可數字化的表現：如期刊引用因子、獲得的補助經費金額、掛名的論文數目及排序，更助長研究者為求在短期內累積績效，有意無意地在研究流程中採用QRPs。為了幫助有良心的心理學家擺脫QRPs，克里斯．錢伯斯提出及執行&lt;strong&gt;有同儕審查的註冊研究&lt;/strong&gt; 。&lt;/p&gt;
&lt;p&gt;&lt;img src=&#34;http://scchen.com/images/Registered-Reports_EditorialPipeline.jpg&#34; alt=&#34;&#34;&gt;&lt;/p&gt;
&lt;h3 id=&#34;終極解方開放審查機制的註冊研究平台&#34;&gt;終極解方：開放審查機制的註冊研究平台&lt;/h3&gt;
&lt;p&gt;錢伯斯以第一位負責註冊研究同儕審查的期刊編輯，在書中最後一章分享這幾年遇到的同行人士對此機制的迷思與誤解，如何回覆與破除的經驗，值得讀者親自閱讀。我認為這本書給希望透過註冊研究提昇自己與團隊研究能力的研究者，傳達一道明確的訊息：&lt;em&gt;準備好擺脫過度的概念性再現與QRPs的研究者們，有審查機制的註冊研究是最適合的途徑&lt;/em&gt;。&lt;/p&gt;
&lt;p&gt;註冊研究的概念與操作能不能廣泛流傳，其實科學社群之內的生態，以及研究者所處的社會文化氛圍支持因素的多寡有關。如果週圍的因素，如期刊的編輯方針、經費補助政策、甚至是大眾對科學工作的期許，不能與註冊研究一起演進，很難改變一個科學領域的研究操作習性。因此錢伯思期許，現在正在幾本期刊運作的註冊研究審查機制，能演進為公開透明的科學知識生產與傳播體系。&lt;/p&gt;
&lt;p&gt;我推想錢伯思期望兩階段的評審機制，能演進為研究計畫書的&lt;strong&gt;公開競價平台&lt;/strong&gt; ，與論文手稿的&lt;strong&gt;開放審查平台&lt;/strong&gt; 。透過平台提交計畫與論文的研究者面對的評審者，不只是由期刊編輯或經費提供者委派的專業人士，也是有興趣並有意願提供意見的同行或關注該科學域現況的相關人士，如科普寫作者。研究者的最新成果也可以即刻交付同行研究者，進行獨立的直接再現，考驗其知識品質。科普寫作者亦能隨時關注最新研究從發想到結案的過程，向有長期接收資訊的讀者報告，顯現科學研究者對社會的真正貢獻。&lt;/p&gt;
&lt;p&gt;&lt;img src=&#34;http://scchen.com/images/RR_Future.jpg&#34; alt=&#34;&#34;&gt;&lt;/p&gt;
&lt;p&gt;雖然距離理想的模式還有很長的路要走，開放平台的部分功能已有實際運作的例子。例如許多期刊已同意作者在投稿之後，審查結果未定之前，將預印本(preprint)公開於開放的網路平台，例如arXiv、
&lt;a href=&#34;https://osf.io/preprints/&#34; title=&#34;OSF Preprints&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;OSF Preprints&lt;/a&gt;，讓有興趣的讀者瀏覽，並可經過網路社群傳播。開放科學中心正在建設的專案
&lt;a href=&#34;https://osf.io/view/studyswap/&#34; title=&#34;StudySwap: A platform for interlab replication, collaboration, and research resource exchange&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;StudySwap&lt;/a&gt;，招募有穩定樣本來源的研究者加入，經由平台將最新成果的研究資料分享給其他研究者，在最短時間內重新執行相同的實驗與分析，確認研究成果的可再現性。&lt;/p&gt;
&lt;p&gt;最後從理想拉回現實，在華文世界能否實現開放科學平台還在未定之數，因為有多少研究者能理解並願意實踐有審查機制的註冊研究，尚無法估計。如果讀過這本書，能讓更多研究者理解背後的問題，以及體認自己至今習以為常的QRPs，也許能引發出一股發展東方開放科學的力量。&lt;/p&gt;
</description>
    </item>
    
    <item>
      <title>披薩門(*1)：「瞎吃」教主的完美自爆</title>
      <link>http://scchen.com/zh/post/text_2017006/text_2017006/</link>
      <pubDate>Mon, 10 Apr 2017 00:00:00 +0000</pubDate>
      <guid>http://scchen.com/zh/post/text_2017006/text_2017006/</guid>
      <description>&lt;blockquote&gt;
&lt;p&gt;註1: 本文標題借用哥倫比亞大學統計學教授、知名學術部落客安德魯．蓋爾曼(Andrew Gelman)從2017年1月31號起，在個人部落格對此事件的稱呼(
&lt;a href=&#34;http://andrewgelman.com/2017/02/03/pizzagate-curious-incident-researcher-response-people-pointing-150-errors-four-papers-2/&#34; title=&#34;Pizzagate, or the curious incident of the researcher in response to people pointing out 150 errors in four of his papers.&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;Pizzagate&lt;/a&gt;)。早在2016年聖誕節之前，安德魯教授就
&lt;a href=&#34;http://andrewgelman.com/2016/12/15/hark-hark-p-value-heavens-gate-sings/&#34; title=&#34;Hark, hark! the p-value at heaven’s gate sings.&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;&lt;strong&gt;眉頭一皺，發覺案情並不單純&lt;/strong&gt;&lt;/a&gt;。&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;如果你是位關心人類飲食習慣研究最新資訊的科普作家，在2016年11月21日看到出版暢銷書「瞎吃」(Mindless Eating: Why We Eat More Than We Think)的康乃爾大學布萊恩．汪辛克教授（Brian Wansink）在個人部落格張貼的文章
&lt;a href=&#34;http://www.brianwansink.com/phd-advice/the-grad-student-who-never-said-no&#34; title=&#34;The grad student who never say &amp;#39;no&amp;#39;.&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;「永不說“不”的研究生」&lt;/a&gt;，應該會想寫篇文章轉述教授與這位研究生的合作成果。轉述內容必定會引用這篇文章提到的論文，以及評論為何一夥人想聚餐吃披薩，總是以吃到飽餐廳做為首選。然而汪辛克教授的首版部落格文章，有幾段文字吸引了近幾年學術圈內惡名昭彰的&lt;strong&gt;方法學恐怖份子&lt;/strong&gt;(methodological terrorists)注意，2017年開始沒有幾天，文章裡提到的四篇論文就被挑出多達150筆錯誤的統計數字。汪辛克看到這篇
&lt;a href=&#34;https://peerj.com/preprints/2748/&#34; title=&#34;Statistical heartburn: An attempt to digest four pizza publications from the Cornell Food and Brand Lab&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;尚未經同儕審查的論文&lt;/a&gt;，完全無法辯解被指出的錯誤，只能在原始部落格文章兩度發佈追加致歉訊息，還有向各方聲明會針對出現錯誤的四篇論文，
&lt;a href=&#34;http://retractionwatch.com/2017/02/16/social-science-isnt-definitive-like-chemistry-embattled-food-researcher-defends-work/&#34; title=&#34;&amp;#39;Social science isn’t definitive like chemistry:&amp;#39; Embattled food researcher defends his work&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;檢討自己的研究方法與指導學生的方式，並召集人員重新進行核實研究&lt;/a&gt;。另一方面，有媒體記者關心近幾年社會科學虛假報告不斷被揭發的爭議，向大學及實驗室公關請求採訪汪辛克本人有關數據為何出錯的細節，汪辛克卻做出出道二十多年以來，
&lt;a href=&#34;http://www.chronicle.com/article/Spoiled-Science/239529&#34; title=&#34;Spoiled Science.&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;首次閃避媒體採訪的舉動&lt;/a&gt;。究竟汪辛克在個人部落格說了什麼話而引起這新一波學術爭議？論文中的錯誤怎麼被人挑出來？「方法學恐怖份子」又是何方神聖？&lt;/p&gt;
&lt;h3 id=&#34;公開示範人為逼出的顯著結果p-hacking&#34;&gt;公開示範人為逼出的顯著結果(p-hacking)&lt;/h3&gt;
&lt;p&gt;汪辛克在部落格文章提到剛發表的五篇論文，是與一位來自土耳其，與他短期合作的研究生，一起分析一批以前在某家義式餐廳收集完成的資料。文章中提到當時他對這位研究生說「收集這些資料花了很多時間與經費，因為這批資料裡可以挖出很多酷玩意，我們應該能做點什麼補救。」(” &lt;em&gt;This cost us a lot of time and our own money to collect. There’s got to be something here we can salvage because it’s a cool (rich &amp;amp; unique) data set.&lt;/em&gt;”)。他們的討論過程提到幾個可能的補救方式，也提到如果這位研究生願意出手的話，汪辛克期望看到的分析結果與圖表是什麼模樣(” &lt;em&gt;I told her what the analyses should be and what the tables should look like. I then asked her if she wanted to do them.&lt;/em&gt; ”)。&lt;/p&gt;
&lt;p&gt;這段說法(現在看起來是不打自招)看在方法學恐怖份子眼裡，馬上察覺這不就是人為逼出顯著結果的標準作業程序？也就是為了得到小於顯著水準的p值，資料分析過程裡不擇手段修改與增減研究資料的一切行為。社會科學–特別是社會心理學–已經有好幾起受到大眾媒體青睞的主題，起初被發現當成鐵證的原始研究結果，最後被證實是人為過度操作資料分析的產物。像是丹尼爾．卡尼曼(Daniel Kahneman)在暢銷著作《快思慢想》（Thinking, Fast and Slow）引用約翰．巴赫(John Bargh)的老年化促發(Elderly Priming)，因為這一系列的相關論文報告列出的多數p值恰好接近顯著水準(比如0.04)，已被專業統計方法認證是
&lt;a href=&#34;http://ssrn.com/abstract=2381936&#34; title=&#34;Lakens, D. \[2014\]. Professors are not elderly: Evaluating the evidential value of two social priming effects through p-curve analyses.&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;人為逼出的顯著結果&lt;/a&gt;。&lt;/p&gt;
&lt;h3 id=&#34;統計數據錯誤太多而導致的胃食道逆流statistical-heartburn&#34;&gt;統計數據錯誤太多而導致的胃食道逆流(Statistical heartburn)&lt;/h3&gt;
&lt;p&gt;兩位荷蘭博士生，提姆．凡迪利(Tim van de Zee)與尼克．布朗(Nick Brown)，加上一位美國的統計學家喬丹．安那亞(Jordan Anaya)決定合作破解這些論文是不是人為逼出顯著結果的謎題。尼克．布朗與其指導教授在2016年於社會心理與人格科學(Social Psychological and Personality Science)發表一篇論文，介紹偵測心理學論文中報告的平均值，與其報告的樣本數不一致程度的方法：
&lt;a href=&#34;https://www.researchgate.net/publication/309275131_The_GRIM_Test_A_Simple_Technique_Detects_Numerous_Anomalies_in_the_Reporting_of_Results_in_Psychology&#34; title=&#34;The GRIM Test: A Simple Technique Detects Numerous Anomalies in the Reporting of Results in Psychology&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;GRIM測試&lt;/a&gt;。喬丹將GRIM測試結合網路爬蟲程式，開發出可探勘大量文獻並挑出錯誤的應用軟體。看了汪辛克的部落格文章之後，他們與提姆決定要好好檢視汪辛克列出的其中四篇論文，因為他們研判這四篇的資料來源應該是同一家餐廳的現地實驗(Field Experiment)。&lt;/p&gt;
&lt;p&gt;在2017年1月27日公開
&lt;a href=&#34;https://peerj.com/preprints/2748/&#34; title=&#34;Statistical heartburn: An attempt to digest four pizza publications from the Cornell Food and Brand Lab&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;尚未經同儕審查的手稿&lt;/a&gt;，三人簡述曾向汪辛克主持的實驗室索取原始資料，卻被婉拒的過程。這個轉折之後，三人決定使用手邊能運用的壞科學探測器(Bad Science Detectors)(*2)檢查論文之中的數據。除了喬丹開發的程式，還有荷蘭蒂爾堡大學的博士生蜜雪兒．諾特(Michele Nuijten)開發，用來檢查t分數等統計值是否有計算錯誤的應用程式
&lt;a href=&#34;https://github.com/MicheleNuijten/statcheck&#34; title=&#34;MicheleNuijten/statcheck&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;statcheck&lt;/a&gt;。最後，他們從四篇論文挑出150項錯誤，大多數錯誤是圖表中的樣本數與正文報告的樣本數兜不攏，還有同一筆資料在不同表格列出的平均值與樣本數彼此不一致。如果讀者是在大學裡教統計的老師們，甚至是在中小學教數學的老師們，看到幾十頁的數據和圖表充滿這樣的錯誤，想必都需要趕緊來一錠「吉胃服適」。&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;註2: 壞科學探測器(Bad Science Detectors)一詞出自英國醫師與科普作家班．高達可(Ben Goldacre)的著作《壞科學》(Bad Science)。有興趣的讀者可參考
&lt;a href=&#34;https://www.ted.com/talks/ben_goldacre_battling_bad_science&#34; title=&#34;Ben Goldarcre: Batting bad science.&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;班．高達可的TED演講&lt;/a&gt;。&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;&lt;img src=&#34;http://scchen.com/images/errors-overlay.jpg&#34; alt=&#34;&#34;&gt;&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;圖片來源：提姆、凡迪利的個人貼文
&lt;a href=&#34;http://www.timvanderzee.com/the-wansink-dossier-an-overview/&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;The Wansink Dossier: An Overview&lt;/a&gt;，經提姆、凡迪利同意轉載於此。&lt;/p&gt;
&lt;/blockquote&gt;
&lt;h3 id=&#34;方法學恐怖份子從何而來&#34;&gt;方法學恐怖份子從何而來？&lt;/h3&gt;
&lt;p&gt;提姆、尼克、與喬丹的行動完美揭發虛假科學報告，讓世人減少被虛假科學消息誤導的機會。但是對於像汪辛克等成名已久，習慣傳統社會科學研究模式的學者們來說，這種行徑猶如恐怖行動。普林斯頓大學的資深社會心理學教授蘇珊．費斯克(Susan Fiske)，曾在2016年9月被人發現，本來要發表在心理科學學會(Association of Psychological Science)的學會會員刊物專欄文章裡，草稿曾使用&lt;strong&gt;方法學恐怖主義&lt;/strong&gt;(methodological terrorism)一詞，形容這些公開挑論文數據錯誤、指出某項研究無法再現等
&lt;a href=&#34;http://www.businessinsider.com/susan-fiske-methodological-terrorism-2016-9&#34; title=&#34;Scientists are furious after a famous psychologist accused her peers of &amp;#39;methodological terrorism&amp;#39;&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;非常規學術發表樣態&lt;/a&gt;。這項消息見報的時機，也剛好發生蘇珊．費斯克的高徒艾美．柯蒂(Amy Cuddy)的成名作-權力姿勢效應(power posing effect)，其昔日同儕戴娜．卡奈(Dana Carney)公開坦承
&lt;a href=&#34;http://scchen.com/Text/text_2016005e01/&#34; title=&#34;擺姿勢也許能增加你的自信，但是不能真正改變你&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;「權力姿勢效應是虛假的效應」的事件&lt;/a&gt;。&lt;/p&gt;
&lt;p&gt;艾美．柯蒂曾於2012年在
&lt;a href=&#34;https://www.ted.com/talks/amy_cuddy_your_body_language_shapes_who_you_are&#34; title=&#34;Amy Cuddy: Your body language shapes who you are.&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;TED演講擺出高權力姿勢的好處&lt;/a&gt;，從此成為家喻戶曉的社會心理學教授。事件發生之前一年，其他實驗室發表以比原始研究多出四倍的樣本數，卻
&lt;a href=&#34;http://journals.sagepub.com/doi/10.1177/0956797614553946&#34; title=&#34;Assessing the Robustness of Power Posing: No Effect on Hormones and Risk Tolerance in a Large Sample of Men and Women&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;無法再現原始研究的結果&lt;/a&gt;，接著一系列研究的p值被其他學者使用另一種壞科學探測器
&lt;a href=&#34;http://www.p-curve.com/&#34; title=&#34;P-curve.com&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;P-Curve&lt;/a&gt;分析之後，確定是無真正顯著結果的效應，因此造成昔日同儕與艾美．柯蒂分道揚鑣。現在的艾美．柯蒂在美國大眾的形象，有些像南韓世越號事件發生之後的朴瑾惠，有興趣的讀者可留意
&lt;a href=&#34;https://www.ted.com/talks/amy_cuddy_your_body_language_shapes_who_you_are&#34; title=&#34;Amy Cuddy: Your body language shapes who you are.&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;演講影片&lt;/a&gt;下方的討論留言，看到近幾個月要求影片下架與支持艾美．柯蒂的意見相互交鋒。也許那一天發生類似閏蜜門的事件，她從演講權力姿勢效應得到的光環會徹底消失。&lt;/p&gt;
&lt;h3 id=&#34;科普圈如何面對另類事實&#34;&gt;科普圈如何面對另類事實&lt;/h3&gt;
&lt;p&gt;布萊恩．汪辛克與艾美．柯蒂向大眾傳達的資訊，在中文世界，或者至少是台灣的科普圈，依然被多數閱聽者認為是&lt;strong&gt;科學事實&lt;/strong&gt; 。科普文章與專業科學論文一樣，要傳遞的是真實的科學知識。即使是由實驗室裡的科學家，親自面向大眾介紹最新研究成果，讀者也要保持求真的意志，而非以內容夠不夠新奇，傳播者有沒有名氣來判斷內容的價值。&lt;/p&gt;
&lt;p&gt;然而這對處於專業科學家與讀者之間的科普作家，將帶來更巨大的挑戰。雖然沒有明確規範，科普作家應當具備比一般讀者更好的批判能力，研判科學成果的真實性，特別是許多作家身兼大學教師或研究生，甚至是第一線科學家的身份。不過現在的事實是，多數中文讀者認識布萊恩．汪辛克與艾美．柯蒂，主要是透過這群科普作家的著作及演講，也因此相信這兩人的&lt;em&gt;研究成果&lt;/em&gt;是有助個人生命成長的正面建議。&lt;/p&gt;
&lt;p&gt;我並非在此否定這群科普作家的貢獻，只想藉由說明這些事件，提醒現在的中文科普是不是已經來到必須升級的時刻。除了傳達最新的科學知識，科普作家也要負起啟發讀者辨識科學資訊真實性的責任。在個人與群體之間交換資訊的各種場域，許多科普作家應該能預見查核資訊真實性的實際方法無法配合傳達真實知識的理想，而衍生各種問題。要如何掌握與解決這些問題，還需要更多的資訊與討論，不過我相信隨著這類事件不斷浮現，問題的輪廓將越來越清晰。&lt;/p&gt;
</description>
    </item>
    
    <item>
      <title>時態門～無法再現的社會心理學實驗是因為不乾淨的資料</title>
      <link>http://scchen.com/zh/post/text_2017004/text_2017004/</link>
      <pubDate>Mon, 20 Feb 2017 00:00:00 +0000</pubDate>
      <guid>http://scchen.com/zh/post/text_2017004/text_2017004/</guid>
      <description>&lt;p&gt;去年我寫的網誌「紀錄已經出現與即將出現的再現危機
&lt;a href=&#34;http://scchen.com/post/zh/text_2016004/&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;1&lt;/a&gt;」，介紹加拿大阿拉巴馬大學社會心理學助理教授William Hart於2013年發表在心理科學期刊的論文
&lt;a href=&#34;https://www.ncbi.nlm.nih.gov/pubmed/21193778&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;Learning About What Others Were Doing: Verb Aspect and Attributions of Mundane and Criminal Intent for Past Actions&lt;/a&gt;，無法被12間實驗室再現的事件。這個月初(2⁄7)心理科學期刊宣佈撤銷William Hart於2013年發表的另一篇論文
&lt;a href=&#34;http://journals.sagepub.com/doi/pdf/10.1177/0956797612446351&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;Unlocking Past Emotion: Verb Use Affects Mood and Happiness&lt;/a&gt;，使得事件有新的發展。這篇網誌整理至今為止，這兩篇論文牽涉的資料造假證據如何浮現。&lt;/p&gt;
&lt;p&gt;&lt;img src=&#34;http://scchen.com/images/william_Hart.jpg&#34; alt=&#34;&#34;&gt;&lt;/p&gt;
&lt;h3 id=&#34;描述過去經驗的動詞時態能影響當下情緒&#34;&gt;描述過去經驗的動詞時態能影響當下情緒？&lt;/h3&gt;
&lt;p&gt;William Hart的兩篇論文都是檢驗一個假設：描述一項事件的文字所使用的動詞時態(verb tense)，會影響聽者對事件的信念與情感。這兩篇論文讓受試者評估的敘事文，都有設計動詞是非完成時態(I am walking on …)與完成時態(I walked on …)兩種版本，2011的論文請受試者假想自已是陪審團團員，判斷一件虛擬的兇殺案情節裡，嫌疑人有沒有意圖殺害被害人。2013的論文有四個實驗，讓受試者以非完成或完成時態，回憶正面或負面記憶–包括個人或在實驗室裡操作的情節。2011年的研究假設完成時態較容易讓人相信嫌疑人有犯意，2013的研究假設非完成時態讓受試者能回憶負面記憶的更多細節，造成比完成時態更大的負面情緒。&lt;br&gt;
2011論文的掛名作者是William Hart與UIUC的Dolores Albarracín，但是2013論文是William Hart單獨掛名。根據Retraction Watch的
&lt;a href=&#34;http://retractionwatch.com/2017/02/07/study-words-effect-mood-retracted-investigation-finds-evidence-data-manipulation/&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;消息&lt;/a&gt;，是由實際參與2013論文研究的某位不具名的研究生，向阿拉巴馬大學的研究核實辦公室(Office of Research Compliance)舉發，提出這份論文原始資料的加工證據。校方通知心理科學期刊編輯部後，由期刊做出撤稿決定。讀者下載
&lt;a href=&#34;http://journals.sagepub.com/doi/pdf/10.1177/0956797612446351&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;2013年論文&lt;/a&gt;會發現，包括摘要的每個段落，幾乎都有第一人稱代名詞開頭的句子，像是I tested…, I examined, I analyzed…。雖然現代學術論文寫作指引建議作者可以適當地使用人稱代名詞，但是使用頻率如此之高，足以媲美現任美國總統川普先生的公開演講。&lt;br&gt;
英國卡迪夫大學(Cardiff University)的Richard Morey，在事發數天後提出一個可公佈在PubPeer的
&lt;a href=&#34;https://medium.com/@richarddmorey/about-that-hart-2013-retraction-79cfdaea5cb0#.j0v3rda4x&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;論文內容檢查&lt;/a&gt;。論文之中的一個實驗，讓受試者一開始進行改錯字(anagrams)任務，William Hart的想法是調整改錯字的難度，造成受試者的正面(簡單的錯字)與負面(困難的錯字)記憶。之後以一項紀錄反應時間的記憶作業，評估受試者回憶負面記憶的效率。以論文報告的數據來看，非完成時態的反應時間比完成時態的反應時間快了一百毫秒。這對有研究經驗的心理學家來說是非常驚人的結果，因為只有少數經典的認知心理學實驗能在多次再現實驗中得到，社會心理學的計時實驗能有20毫秒的差距就是了不起的效果。&lt;/p&gt;
&lt;p&gt;&lt;img src=&#34;http://scchen.com/images/Hart2013.png&#34; alt=&#34;&#34;&gt;&lt;/p&gt;
&lt;h3 id=&#34;描述犯案情節的動詞時態能推測犯意&#34;&gt;描述犯案情節的動詞時態能推測犯意？&lt;/h3&gt;
&lt;p&gt;2013論文被撤稿的討論還方興未艾，曾參與2011論文再現研究的荷蘭鹿特丹伊拉謨斯大學(Erasmus University Rotterdam)的Rolf Zwaan，在2月21日於個人部落格公佈一項
&lt;a href=&#34;https://rolfzwaan.blogspot.tw/2017/02/replicating-effects-by-duplicating-data.html&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;內幕消息&lt;/a&gt;，為後續發展投下震撼彈。2013論文撤稿消息公開之後，Zwaan收到一項可靠消息來源(&lt;strong&gt;註1&lt;/strong&gt;)：William Hart在去年的再現研究結果正式發表後，自己進行了2011論文的再現研究，這次收集194位受試者的資料，並且成功再現2011論文的結果。但是Zwaan檢視來源提供的原始資料，發現其中73筆是複製貼上而成。能發現的原因很簡單，這項William Hart親自主持的再現實驗，最後會請受試者自由回答這項研究的可能目的，逐字紀錄在獨立欄位，用試算表軟體排序一下，就發現不尋常之處，就像下圖Zwaan公佈的部分資料內容：&lt;/p&gt;
&lt;p&gt;&lt;img src=&#34;http://scchen.com/images/Screen_Shot_Zwaan_blog.png&#34; alt=&#34;&#34;&gt;&lt;/p&gt;
&lt;h3 id=&#34;給心理學以及整個科學界的教訓&#34;&gt;給心理學以及整個科學界的教訓&lt;/h3&gt;
&lt;p&gt;這起事件的發展再次顯出開放資料的重要性，這是各國各領域科學研究人員都必須面對的課題，差別僅在於要著重的層次。對心理學來說，採取
&lt;a href=&#34;http://scchen.com/post/zh/text_2017002/&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;註冊研究&lt;/a&gt;及開放資料的正當性再次提高。對於現在的台灣科學界，最急迫的任務是如何在造假事件發生初期，建立可徵信的研究資料保存機制。這起國外造假案件的後續發展，值得有心人士一起關注。&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;註1:&lt;/strong&gt; 根據私人通信，Rolf Zwaan表示，因為完整資料已經交給阿拉巴馬大學，目前他必須隱匿消息來源。不過根據部落格內容，我推測十之八九與那位不具名的研究生有關。&lt;/p&gt;
</description>
    </item>
    
    <item>
      <title>影片介紹：科學家之路</title>
      <link>http://scchen.com/zh/post/text_2017001/text_2017001/</link>
      <pubDate>Sun, 29 Jan 2017 00:00:00 +0000</pubDate>
      <guid>http://scchen.com/zh/post/text_2017001/text_2017001/</guid>
      <description>&lt;p&gt;沒有想到有一天我會寫影劇介紹文，這部有意思的影片是找尋資料時的意外發現。荷蘭萊登大學(Leiden University)在2016年4月於校內首映並在youtube公開自製的微電影「科學家之路」(On Being a Scientist)。第一次知道這部影片的朋友，可以先花一小時來看看，或者先往下看劇情簡介與角色介紹：&lt;/p&gt;
&lt;p&gt;這部微電影由萊登大學的MOOCs製作與發佈，演員都以英語發音，英聽好的朋友都能了解劇情。不過每一幕之間切換與跳躍手法很像好萊塢的懸疑片，雖然重要角色只有四位，要在前十五分鐘內認識他們，加上理解彼此的關係會有些吃力，可能無法抓住這部影片的主題。以下簡介四位角色的設定與關係：&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;Nicholas: 本劇主角，一位曾獲得學術榮耀的科學家，如同所有處於學術生涯巔峰的科學家，整天忙著做研究發論文，還有訓練新一代科學家。故事從他接受某所知名大學聘任開始。&lt;br&gt;
&lt;img src=&#34;http://scchen.com/images/AFL_Nicholas.jpg&#34; alt=&#34;&#34;&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;Sophie: Nicholas的女兒。在Nicholas任教的大學從事科學歷史研究，母親過世後與Nicholas相依為命。父女情感深厚，但是會因為彼此的學術價值觀落差而爭吵。與另一位重要角色Rebecca是好朋友。&lt;br&gt;
&lt;img src=&#34;http://scchen.com/images/AFL_Sophie.jpg&#34; alt=&#34;&#34;&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;Rebecca: Nicholas在新學校收的博士生，被Nicholas認為是有潛力的科學界明日之星。Rebecca對個人的科學生涯有很強的企圖，過強的企圖讓她捲入Nicholas與另一位重要角色Pierre的衝突，也因此犯下嚴重的研究倫理過失。&lt;br&gt;
&lt;img src=&#34;http://scchen.com/images/AFL_Rebbeca.jpg&#34; alt=&#34;&#34;&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;Pierre: Nicholas的前任學生，Nicholas的學術榮耀來自與他合作的成果，也因此埋下兩人衝突的原因。觀眾在理解兩人衝突原因的過程中，會發現Nicholas與Pierre不為人知的一面。&lt;br&gt;
&lt;img src=&#34;http://scchen.com/images/AFL_Pierre.jpg&#34; alt=&#34;&#34;&gt;&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;全劇在萊登大學校園中取景，相信在萊登大學求學工作的朋友很有即視感。不過從背景 設定來看，可以當成世界上任何一所大學裡發生的故事。基於不破壞觀影樂趣，我在不洩露劇情的前提下，聊聊吸引我的特色：這部影片的主題與演繹手法。&lt;/p&gt;
&lt;p&gt;劇名加上主角的設定，我一開始以為這是講研究倫理的劇情片。整部影片看過後我發現研究倫理只是一部分，這部還探討導致劇中人物犯下研究倫理的人性因素。而且到了結尾時，會發現Nicholas與Pierre的衝突原因，並不是那一方觸犯研究倫理的問題，而是在外人看不見的實驗室裡，科學家也與一般人相同，會因眼前利益而做出短線行為。這種行為只做一兩次，其實不會違反普羅大眾的道德觀念，更談不上研究倫理的問題。但是像Nicholas一樣領導實驗室的科學家，自己不以為意還視為理所當然，並且影響後輩的價值觀。日積月累就會演變成實際的研究倫理事件，就像劇中Rebecca的情節所展現的。為何這種短線行為會出現在一位卓越的科學家身上，我認為才是這部片要探討的主題。現在這類短線行為已有正式學名：
&lt;a href=&#34;https://www.cmu.edu/dietrich/sds/docs/loewenstein/MeasPrevalQuestTruthTelling.pdf&#34; target=&#34;_blank&#34; rel=&#34;noopener&#34;&gt;待澄清的研究操作(Questionable Research Practices)&lt;/a&gt;。&lt;/p&gt;
&lt;p&gt;主題的真意也讓我留意這部片的演繹手法，因為主題還是個很難明確討論的議題，所以劇情片比紀錄片或模擬劇更適合演繹。編劇與導演將主題的微言大意，透過角色之間的對手戲呈現。我認為中段Nicholas與Rebecca在實驗室裡對話的一幕，可以把前後劇情所有角色的行為動機折射出來。第二遍看到這幕，我終於明白是什麼原因造就了Nicholas的假道學與Rebecca的不擇手段。這個部分再講下去會劇透，等之後有機會再來分享了。&lt;/p&gt;
</description>
    </item>
    
  </channel>
</rss>
