物件方向效應跨語言研究經驗分享(一):心理科學加速器合作專案
心理科學加速器是什麼?
心理科學存在高比例的偽陽性結果(false positive results)的事實(Fanelli 2010; Ioannidis 2005),促成全球心理學者認清要評估研究發現的普遍性與真實性,需要累積大量的再現資料。最好的作法是組織不同地區的實驗室同時進行相同程序的實驗,以整合分析方法解析結果。2000年之後已經出現以多個機構長期合作收集資料的專案(Reifman and Grahe 2016),以及課題導向的短期合作專案(Klein et al., n.d.; Open Science Collaboration 2015; Ebersole et al. 2016; Frank 2016; Reifman and Grahe 2016)。兩種合作模式關注的課題圍繞核心學者關心的方向,或多數學者公認的重要題目。尚有許多獨立研究者規劃長期經營,有理論潛力但是出版成果還不足以判斷研究發現的普遍性。2016年第一屆SIPS研討會,與會學者提出提供獨立研究徵求合作者,合作重現最新研究成果的媒合平台Study Swap,方便心理學原創研究,能透過語言文化條件相同的合作實驗室,迅速累積再現成果。
Study Swap平台主持人Christopher Chartier於2017年8月26日,在個人部落格發佈建立心理科學加速器的第一份公開文章,招集有共同理念的各國研究者組織十個運作與諮詢委員會,將Study Swap的運作模式推廣至全球心理科學研究。心理科學加速器的初期報導已在2017年11月翻譯為中文,發起建立的第一天就邀請90多位各國學者一起發想及撰寫的說明(Moshontz et al. 2018)剛於4月上旬正式投稿期刊Advances in Methods and Practices in Psychological Science (AMPPS),五月至六月期間進行的第二次計畫徵件,每項計畫將由十位參與研究者以公開評審的方式,評估適合加盟實驗室同步進行的研究計畫。這篇文章整理提出計畫與參與運作的經驗,以及至目前為止的準備過程,給有興趣提出計畫的先進及後輩一些參考。
研究構想提出過程
Christopher Chartier在召集創始成員時,同時開啟第一次計畫徵件。當時我剛將與Rolf Zwaan及Bjorn De Koning合作的物件方向研究計畫書送第一階段評審,這個計畫源自2001年Stanfield與Zwaan運用句圖判別作業發現的物件方向反應優勢(Stanfield and Zwaan 2001)。這項研究發現被許多研究者認為與Glenberg與Kaschak(Glenberg and Kaschak 2002)提出的動作相容效應(Action-compatibility effect),可用來檢驗體現知理論對語言理解的預測。然而合作過程中我理解物件方向反應優勢的原始構想是根據閱讀者讀過句子後,心智會模擬物件呈現形象的體現認知理論(Barsalou 1999),動作的心智模擬並未在可預測的因素之列。而且物件方向反應優勢是同類型實驗結果最微弱的系列,不過目前只有英語及荷語的研究結果(Zwaan and Pecher 2012)。
有沒有語言能發現比英語更明顯的物件方向反應優勢,成為我提出研究構想的重要動機。第一次徵件包括我的計畫有8件,經由最初的領導小組(Leadership Team)與研究計畫遴選委員會(Study Selection Committee)成員合作評審。我本來只是抱持嘗試的心態姑且試之,沒想到最後被選為三件研究案之一,讀者可參考我根據評審反應修改的構想書,我的網頁與心理科學加速器部落格都有這項計畫的介紹。這項研究案與其他兩項的不同處有這是此次唯一的認知心理學研究,唯一需要每個實驗室安裝指定實驗軟體的實驗,以及使用貝氏統計隨時分析實驗結果,讓每個實驗室自行能調節實際的研究參與者人數。
前置準備經驗
接受構想書之後,就是開始準備讓專業期刊進行審查的註冊研究計畫書。提出構想的研究者如果是獨立研究者,Christopher Chartier會媒合一位參與運作小組或委員會的成員,與主要研究者一起合作規畫與撰寫計畫書。像是我的與另一項研究案The Gendered Nature of Prejudice,都有與一位不同機構甚至不同國家的研究者遠端合作。心理科學加速器也希望藉此機會嘗試同時執行兩種不同性質的研究,加盟實驗室的執行狀況,還有資料的可用性。
因為有國外合作者的幫忙,很快就選定要投稿的期刊。撰寫計畫書時了解到原始實驗的刺激材料,對於非英語系國家或長期生活於美國社會的參與者來說,不見得全部都熟悉。所以我們規劃一套物件熟悉度評量表,將請聯盟實驗室的成員協助評估,做為正式實驗調整不同語言刺激項目的參考。
由於有兩個不同性質的研究可能同時進行,為了評估遷移效應(carry-over effect)對兩件研究結果的影響,現在正在五間美國的實驗室進行預先試驗(pilot study)。我還有一個目的是建立任何實驗室都能操作的實驗結果分析方法,藉著目前已收集到的資料,我已經完成分析方法的程序說明與範例。等預先試驗資料收集且分析完成,計畫書即可正式投稿。至於接受合作實驗室的報名,最早可能會在正式投稿之前,因為現在有部分期刊要求正式投稿時,要附上合作實驗室的倫理審查證明。
給有意提案者的建議
因為第一次的經驗,新一波計畫徵件的評審預計將更有系統的挑選評審者。登記參與心理科學加速器的實驗室主持人,都有機會參與評審,但是為了讓委員會能找到適當的評審者,建議已登記的研究者在實驗室現況登記表,登錄主持人專長資料。觀察他人的計畫構想,有助思考自已想探索的問題,需要全世界實驗室一起收集資料的計畫。
如果你目前不是有正職工作的獨立研究者,你還是可以提出計畫,也可以向Christopher Chartier自我推薦參與某個委員會的運作,只要你備齊個人履歷與說明能幫助目標委員會運作的理由,領導小組同意就能加入。除了是計畫評審候補,也有機會與被接受的計畫主持人合作,增加研究經歷。
今後計畫的可執行性是必要考量條件,不需要加盟實驗室付出增添軟硬體的額外成本,也能執行的計畫較容易獲得青睞。像是第一次接受的另外兩項研究,都是網頁實驗,資料直接由計畫主持人管理。計畫有沒有讓全球實驗室合作參與價值,也會是評審的重點,只是價值的判斷可能將隨著運作經驗的累積,變得越來越細緻複雜。
所有的計畫都必須投稿期刊,取得第一階段註冊研究計畫接受才能正式開始研究。因此有信心取得目標期刊接受的計畫,也會是得到PSA選案委員接受的重點。這也代表加盟實驗室想用運用註冊研究或開放科學原則經營團隊,可以透過提交計畫或參與執行學習。例如我的計畫需要合作實驗室預先註冊逐次分析的樣本數。
Barsalou, Lawrence W. 1999. “Perceptual Symbol Systems.” Behavioral and Brain Sciences 22: 577–660. https://doi.org/10.1017/S0140525X99002149.
Ebersole, Charles R., Olivia E. Atherton, Aimee L. Belanger, Hayley M. Skulborstad, Jill M. Allen, Jonathan B. Banks, Erica Baranski, et al. 2016. “Many Labs 3: Evaluating Participant Pool Quality Across the Academic Semester via Replication.” Journal of Experimental Social Psychology, Special issue: Confirmatory, 67 (November): 68–82. https://doi.org/10.1016/j.jesp.2015.10.012.
Fanelli, Daniele. 2010. “‘Positive’ Results Increase down the Hierarchy of the Sciences.” PLOS ONE 5 (4): e10068. https://doi.org/10.1371/journal.pone.0010068.
Frank, Michael. 2016. “A Collaborative Approach to Infant Research: Promoting Reproducibility, Best Practices, and Theory-Building.” PsyArXiv. https://doi.org/10.17605/OSF.IO/27B43.
Glenberg, ArthurM, and MichaelP Kaschak. 2002. “Grounding Language in Action.” Psychonomic Bulletin & Review 9 (September): 558–65. https://doi.org/10.3758/bf03196313.
Ioannidis, John P. A. 2005. “Why Most Published Research Findings Are False.” PLOS Med 2 (8): e124. https://doi.org/10.1371/journal.pmed.0020124.
Klein, Richard A., Kate A. Ratliff, Michelangelo Vianello, Reginald B. Adams Jr, Štěpán Bahnı́k, Michael J. Bernstein, Konrad Bocian, et al. n.d. “Investigating Variation in Replicability.” Social Psychology 45: 142–52. https://doi.org/10.1027/1864-9335/a000178.
Moshontz, Hannah, Lorne Campbell, Charles R. Ebersole, Hans IJzerman, Heather L. Urry, Patrick S. Forscher, Jon Grahe, et al. 2018. “The Psychological Science Accelerator: Advancing Psychology Through a Distributed Collaborative Network.” PsyArXiv, April. https://doi.org/10.17605/OSF.IO/785QU.
Open Science Collaboration. 2015. “Estimating the Reproducibility of Psychological Science.” Science 349 (6251): aac4716. https://doi.org/10.1126/science.aac4716.
Reifman, Alan, and Jon E. Grahe. 2016. “Introduction to the Special Issue of Emerging Adulthood.” Emerging Adulthood 4 (3): 135–41. https://doi.org/10.1177/2167696815588022.
Stanfield, R. A., and R. A. Zwaan. 2001. “The Effect of Implied Orientation Derived from Verbal Context on Picture Recognition.” Psychological Science 12 (2): 153–56. https://doi.org/10.1111/1467-9280.00326.
Zwaan, Rolf A., and Diane Pecher. 2012. “Revisiting Mental Simulation in Language Comprehension: Six Replication Attempts.” PLoS ONE 7: e51382. https://doi.org/10.1371/journal.pone.0051382.
!登入個人github帳號就能留言!