啟動你對促發實驗的認識

Sun, 15 May 2016 00:00:00 +0000

什麼是促發實驗(Priming Experiemnt)？

今年4月4號在家鄉台灣還在過清明長假的時候，我在臉書發現有人轉貼民報的報導：【獨家】電競遊戲登上Nature‐台灣囝仔Jeffrey Lin 林侑霆。看了內文發現這位林侑霆先生與我算是同行，雖然標題強調林侑霆的台灣人身份應該要吸引同鄉網友點閱，兩位記者在報導內容努力地摘要自然期刊的重要內容並翻譯成中文，並將林侑霆2013到2015年在GDC的演講錄影連結附於文末，讓讀者能了解林侑霆的科學成就。不過自然期刊的原文格局是以林侑霆的研究成果為軸，探討如何運用科學方法認識並改變網路遊戲玩家的惡意行為(toxic behavior)。
然而這兩位記者大概沒有玩過任何網路遊戲(像是把toxic behavior照字面翻成 毒性行為)，更未曾查證心理學，讓一篇可以引發讀者探究林侑霆如何運用心理科學提昇英雄聯盟遊戲體驗的好文章，變得難以咀嚼。最重要的是自然期刊原文的其中一段：“Lin borrowed a concept from classic psychology. In late 2012, he initiated a massive test of priming, the idea that imagery or messages presented just before an activity can nudge behaviours in one direction or another.”，心理學系的學生都了解這是指林侑霆採用的是心理學研究常用的促發實驗(priming，大陸的心理學界稱為啟動實驗)。民報的中文報導變成在2012年底林侑霆採用經典的心理學概念啟動大規模的測試… 。這一句使用粗體字是因為原來的中文報導也是粗體字標示，這個標示方式也成功達到心理學家在實驗室中的發現，兩天之後促發其它媒體對這則新聞的標題設定。像是中央社的台裔LOL首席設計師林侑霆登上自然期刊，以及關鍵評論網的《英雄聯盟》首席設計師是位台灣男孩—他用「經典心理學」讓電玩不再充滿仇恨。內容也都是民報的報導再精簡化，模式與這幾年常出現的「台灣沾光」新聞如出一轍，很難讓讀者看過後想去了解背後的科學，從轉載民報報導的批踢踢認知科學討論區，引用者與推文者只有想到批踢踢的惡意行為可知一二。
我比較偏好台灣的心理學界將priming翻成_促發_的慣例，因為促發實驗在許多心理學實驗主題之內廣泛運用，不僅有得到增加行為表現的促進效應(facilitation effect)，也有降低行為表現的抑制效應(inhibition effect)。如果把priming翻成_啟動_，初次認識的讀者不自覺地會認為使用這種實驗方法，都會得到增加行為表現的結果。中文報導的二手及至三手傳播，很大程度地抑制讀者認識這種實驗方法的興趣，也讓看到這些標題就跳過的台灣心理學研究者與工作者，失去一次思辨心理學在台灣如何發展的機會。好在我有收集閱讀原始報導的習慣，所以撰寫這篇文章來談談什麼是促發實驗，以及今天的心理學家如何使用以及評價這種實驗方法對心理學知識的貢獻。

心理學家如何運用促發實驗

就從自然期刊的原報導 Can a video game company tame toxic behaviour?，來認識什麼是促發實驗。之前引用的原文段落，自然期刊記者用簡潔的筆法說明實驗原則，透過報導語境翻譯就是：“在玩家行動之前，呈現的圖像或訊息能誘發某種行為表現”。在心理學家精心設計的實驗裡，參與者(participant)行動之前呈現的圖像或訊息稱為促發項(prime)或誘導項(probe)，呈現內容是促發實驗必定操作的獨變項，心理學實驗都會隨機分派設計好的促發項給參與者，再紀錄參與者經歷促發項之後的行動。參與者的行動可以是做出某種反應的速度，或者某種表現的次數，也是心理學家要先規劃好的資料分析項目。
自然期刊介紹的促發實驗，來自林侑霆在2013GDC大會的發表 The Science Behind Shaping Player Behavior in Online Games，其中介紹的The Optimus Experiment。從這項實驗報告，可以一窺如何將線上遊戲介面，轉變成心理學實驗室。在網路平台越來越發達之後，有眾多玩家支持的電腦遊戲，開發者都會在遊戲介面安插遊戲提示，告知玩家遊戲訣竅或提醒保持網路禮節，像是這裡提到的「英雄聯盟」，還有暴雪公司的「魔獸世界」，都有設計在程式讀取畫面或遊戲畫面呈現提示。林侑霆的團點利用這個特性，設計五類24種提示訊息文字，有正向鼓勵合作行為，有負面警告惡意行為等等，玩家會收到那一類訊息，都是在遊戲開局前由伺服器端程式隨機決定。文字顏色也設計用紅色、藍色或白色隨機呈現，林侑霆的想法是在電腦遊戲或實驗裡，紅色文字通常有警告的意味，藍色文字有鼓勵受測者表現的暗示，白色文字常用於解說。再搭配提示訊息隨機出現在讀取畫面、遊戲畫面、或兩者皆有的設計，構成216種實驗情況。此外還有一種玩家從登入到登出都沒有提示的完全控制組(overall control)，做為216種實驗情況的測量基準線(baseline)，從2012年底開始進行這項實驗，當時全球英雄聯盟玩家之中的10%被分派到完全控制組，其它90%則隨機分派到216種實驗情況。雖然我沒有玩過英雄聯盟，我相信當時沒有一位玩家察覺自已正在參與一項心理學實驗。
所有玩家的遊戲表現，以及與隊友的即時溝通內容，都成為研究團隊的分析資料。運用簡單的統計方法，把任何一種實驗情況的玩家行為紀錄，與完全控制組玩家的行為紀錄相互比較，就能知道提示訊息內容，或文字顏色，以及提示出現時機，究竟促進或抑制什麼樣的行為表現。林侑霆2013GDC報告的投影片，以及自然期刊的原文報導，都有呈現一些有趣的分析結果，對於關切英雄聯盟的遊戲體驗的玩家或開發者，是很有意義的資訊。不過對於想認識促發實驗的讀者，值得認識更高一層的問題，像是研究倫理(Research Ethics)與開放資料(Open Data)的價值。我建議延伸閱讀紐約的科普作家 Jeremy Hsu在2015年1月發表的 Inside the Largest Virtual Psychology Lab in the World。
推薦延伸閱讀的原因是雖然自然期刊也有談到這兩項問題，但是僅限於Riot的英雄聯盟，Jeremy Hsu的文章則從業界與學界的反應與現況，描寫研究倫理與開放資料的議題發展。以發表時間順序來看，很有可能是Jaremy Hsu的文章引發自然期刊編輯部的興趣。
除了Riot，臉書也有用自家平台進行線上心理學實驗，並且更為大眾所知，就是臉書與康乃爾大學合作，已於2014年發表於PNAS的情緒傳播實驗。這項實驗設計原則也是一種促發實驗，但是大眾更關注的是這項研究引起的倫理問題，例如常發表科普文章的黃揚名老師，就對這篇論文引發的研究倫理問題發表評論。那麼林侑霆透過英雄聯盟的平台進行實驗，有沒有相同的倫理爭議呢？我認為兩者對比突顯研究倫理問題的複雜度，來自研究者設計與執行專案的初始宗旨。我沒有詳細追蹤臉書的案例，不過就其於學術期刊發表成果的這項事實來看，業界與學界的雙方合作者有各自的利益考量，對學界來說就是在頂尖期刊發表論文，對業界來說就是改進能帶來更多收益的臉書演算法，所以這項研究所牽涉的利益衝突(conflict of interest)，一所大學的IRB也許無法預見這項研究成果會帶來的爭議。
不過英雄聯盟的線上實驗相對單純，因為Riot的目標是降低玩家之間惡意行為的發生，提高玩家的遊戲體驗。為此在公司內部設立IRB，審核像是林侑霆主持的內部研究案，林侑霆採用的方法是不直接改變玩家體驗的方式進行實驗，就像The Optimus Experiment操作遊戲內提示訊息，不只是玩家，一般電腦使用者對這些提示覺得可有可無。而從2014和2015的報告，可見到林侑霆的團隊是採用類實驗方法(quasi-experimental design)，結合文字探勘與機器學習等資料科學技術，根據玩家已熟悉的獎懲機制系統紀錄，分析惡意行為的起因與改變的過程。研究成果直接用於改進Riot自家產品，研究團隊除了拿部份結果去GDC報告，並未像臉書把全部資料整理之後投稿到學術期刊發表。所以一個研究來自利益目標不同的多方合作者時，誰有資格或如何辨識和衡量其中的利益問題？尤其像臉書是幾乎每個有上網設備的使用者都具備的社交平台，有沒有能超出所有利益角色，保障使用者個人權益不被研究措施侵害的措施？或者這種措施存在的合法性？這是對比英雄聯盟與臉書的線上大型實驗研究，所呈現的問題高度。
網路遊戲和臉書讓我們看到商業世界有運用網路平台，進行大型心理學實驗的實例，那麼已經運用促發實驗超過一世紀的學術界呢？Jeremy Hsu舉維吉尼亞大學社會心理學教授Brian Noek主持的 Project Implicit為例，說明學術界早就明白大型實驗的好處以及未來的潛力。Project Implicit是使用內隱連結測試(Implicit Association Test)研究不同語言與文化的參與者，對於特定議題的大型實驗計畫。台灣的科學人雜誌在2006年的一篇翻譯文章隱藏在內心的偏見，就已介紹這項測驗的源起與Project Implicit運作至2006年的狀況。我在這裡要談談這種大型實驗被心理學家重視的另一種功能，就是檢驗促發實驗結果的可再現性與帶來的知識價值，我想放到開放資料這一層來談。

運用開放資料評價促發實驗的知識價值

為什麼談開放資料要兼談實驗結果的可再現性？這個切入點來自林侑霆在2013GDC報告的一張投影片。一開始介紹The Optimus Experiment，他用兩個著名的促發實驗向觀眾解釋實驗原理，一個是歷史悠久的Stroop效應，另一個是現於耶魯大學心理學系任教的John Bargh於1996年在Journal of personality and social psychology發表的 Elderly Priming。Bargh的促發實驗對今天美國的社會心理學具有重要的影響力，實驗的促發項是排字作業，讓參與者從一系列順序雜亂的單詞，排成有意義的句子，實驗者操作要排列的字詞內容，有與年老相關的字詞，以及與年輕有關的字詞。測量的行為是參與者完成排字作業之後，離開實驗室的走路速度。Bargh的論文報告的兩項實驗，顯示排列年老字詞的參與者，走路速度顯著比排列年輕字詞的參與者慢。這項實驗結果在發表後十年，帶動美國社會心理學家使用類似的促發實驗模式，研究概念建構促進或抑制的個人行動。甚至曾獲諾貝爾獎的心理學者Daniel Kahneman近年最為人所知的著作Thinking, Fast and Slow(快思慢想)，也引用John Bargh研究做為系統一自動化理論的佐證。
在Thinking, Fast and Slow出版的同一年，知名的開放取用期刊Plos One接受了一篇證實Elderly Priming無法再現的研究，此後開始了歐美科普作家對心理科學成果的批判，科普作家與John Bargh的筆戰，以及科普作家對於原始實驗樣本太少的質疑。同一年秋天，Kahenman本人還親自發表一封公開信，表達他對Elderly Priming的無法被其它實驗室再現的立場。
歐美科普作家對於Bargh的研究無法被同行再現有深刻的背景因素。就在Elderly Priming風波開始的前一年，時任荷蘭Tilburg大學的社會心理學教授 Diederik Stapel，被踢爆所發表的研究結果都是自行捏造的數據，一直到今天，清查工作都還未結束。Diederik Stapel的研究類似youtube上某些知名頻道主設計的社會實驗節目，論文描述在公共場所或實驗室設計會誘發預期行為情節或擺設，實驗者從旁觀察行人的現場反應。也因此設計類似的Elderly Priming會被挑出來批判，至今依然餘波盪漾。其中一個值得注意的事件是一本刊登社會心理學研究的學術期刊Basic and Applied Social Psychology，在 2015年2月宣佈投稿到該期刊的論文只能報告描述統計，傳統的推論統計如t檢定與變異數分析不必報告，以及有條件接受貝式統計分析結果。雖然未見過新聞報導與部落客將這件事與Elderly Priming風波放在一起談論，許多促發實驗無法被成功重現的現實，讓心理學家開始思考在實驗室裡執行的實驗結果，即使成功發表也不一定有真正的知識價值。
再回來看開放資料對於學術與商業的意義，最重要的是讓資料生產過程透明化。學術研究者可以使用開放資料檢驗實驗結果符合與不符合預期的條件，降低檢驗可再現性的成本。像是Elderly Priming的案例，如果在發表時能提供開放資料供評審或第三人檢驗，保證可再現的品質，也許至少不會引起無助澄清事實的各種風波。商品開發者可以使用開放資料檢視產品符合開發構想的程度，還可以藉此尋找有助改進產品的工程師。知識的價值不僅體現於研究者將所發現的事物包裝為讓讀者或消費者願意接受，更是提供開啟他人自行檢驗或探索知識的條件，讓原來的知識價值持續增加。如果英雄聯盟的營運能因此維持到下一個世代的玩家，那麼本來培養林侑霆的學術體系，有沒有可能藉著開放資料的時代機會，找到啟發新世代學人的新途徑？

促發效應 | 暗微幽光

啟動你對促發實驗的認識

什麼是促發實驗(Priming Experiemnt)？

心理學家如何運用促發實驗

運用開放資料評價促發實驗的知識價值