註冊研究(Registered Research)

我曾在纪錄已經出現與即將出現的再現危機與開放科學在荷蘭談過註冊研究。這篇文章整理個人經驗與收集各方資料，完整說明現在的心理科學研究如何規畫與執行註冊研究，做為個人研究與教學，以及向各方推廣註冊研究的參考依據。註冊研究發展至今已進入核心觀念穩定的階段，正由熱心的科學研究者在不同科學領域推廣落實。2015年之後值得注意的研究成果，除了心理科學的100項重要期刊論文之可再現性，50項高引用數癌症研究之可再現性的研究成果正在陸續公開，不論最後的結果是讓人振奮或令人失望，2017年很可能是註冊研究執行樣態向所有科學領域拓展的重要時機。未來如果出現值得宣傳的概念或方法，以及個人認為重要的突破，會適度補充更新文章內容。

什麼樣的研究可以成為註冊研究？

以我的理解，只要是有系統地累積資料或事實，分析資料提出能更新人類知識的論述，研究題目都可以成為註冊研究。開放科學中心(Center of Open Sciences)整理各種學科領域的註冊研究樣態，歸納出四項要件：(1)有明確的研究問題(Research Question)；(2)掌握樣本母群與合理樣本數(Population and sample size)；(3)能回應研究問題的研究設計(General design)；(4)依照設定的變項(variables)或已編碼的資料集(dataset)處理資料。

趁著一年一度奥斯卡金像獎即將到來，我藉勢設定一個範例研究：「入圍年度奧斯卡且正在台灣各地電影院上映的電影，一旦獲獎，台灣民眾會不會更願意進電影院觀賞？樣本來源就是奧斯卡頒獎典禮前一個月與後一個月的票房資訊，能回答問題的設計是列舉這兩個月期間，正在台灣上映的入圍電影的票房資料，要分析的資料是這些電影在典禮前後的票房收入與放映廳數。」。範例中的設定涵蓋以上提到的四個要件。　　

我相信無論是熟悉或正在學習研究方法的研究者，都能根據四項要件擬定這個題目的假設與方法，寫出更充實的計畫書。然而不論計畫書寫得多麼長，參考文獻有多豐富，實際操作往往是另一回事。研究過程中會遇到許多誘因或阻礙，讓研究者中途更改研究計畫的設定。即使得到會讓人感興趣的結果，資料分析也變得不可信。註冊研究就是要研究者遵循自己設定的假設與方法，自始至終地貫徹執行。接下來我要說明為何今天的研究者需要適應註冊研究，以及現在的研究者能運用什麼樣的資源，完成內容可信的註冊研究。

為何需要註冊研究？

如果讀者真的親手找資料執行我提出來的範例研究，有可能遇到一些天人交戰的時刻。例如「我該不該找更多的資料，像是典禮前後網友的評論？」、「剛好不在典禮前檔期上映的電影要不要剔除？」、「更早以前的票房資訊要不要納入分析？」、「我要用總票房收入，還是除以放映廳數的平均收入做為分析變項？」、「我要不要順便分析youtube影評者的影響？」。如果這些問題出現在你的腦海裡，表示你陷入要不要保持研究者自由度的困境(Researcher degrees of freedom)。

不論研究的執行規模大小，或者成本高低，都會遇上要不要擴張研究者自由度的抉擇時刻。註冊研究問世之前，研究者都是憑個人價值觀自行判斷，在注重輩份的社會裡，學生與資淺研究者就是聽從師長前輩的意見。如果這項研究在其中一個地方做點調整，就能得出吸引人的結論，很少研究者能不心動。像是如果可以發現台灣的網路影評人會跟著入圍名單的公佈引導台灣觀眾的觀影意願，這個結論雖然偏離一開始設定的計畫目標，不過只要增加一些不在計畫範圍內的資料以及分析方法，你願不願意這麼做？更重要的問題：*你認為自己有沒有責任告知報告的讀者，你要改變執行內容的原因？

拿這個問題詢問有註冊研究經驗的學者，他們會告訴你認為不必負責任的想法，是滋養待澄清的研究操作(Questionable Research Practices，簡稱QRPs)的溫床。碰上像範例研究提到的天人交戰時刻，一旦研究者決定改變計畫設定，後續採取的任何行動都是QRP。觀察這幾年在歐美學術界發生的案例，對QRPs習以為常的研究者，即使能生產引人注目的研究成果，很有可能落得如Amy Cubby，或者Diderick Stapel的下場。近期(2016~2017)讓台灣社會憂心的學術造假案，從某一則流出的內幕消息來看，就顯示這個實驗團隊的成員視QRPs為理所當然。

不可否認，許多改變人類對世界認識的研究成果，與研究者一開始設定的執行內容完全不同。但是因為縱容QRPs而產生的研究發現佔全球文獻的比例越來越高，造成科學危機的研究案例層出不窮，已造成無效的心理科學知識經由大眾媒體傳播，就像讓著名的科普書「快思慢想」跌價的「促發效應研究」；還有推廣神經語言規劃（Neuro-Linguistic Programming）的民間人士，經常舉例的「權力姿勢效應」。長此以往，很難將學術品質的保證寄託於研究者個人的價值判斷，註冊研究正是為扭轉這樣的趨勢應運而生。

評估合適的註冊模式

將研究計畫註冊之前，先再想想這份計畫是探索性(Exploratory Research)還是確證性(Confimatory)，還是兩者皆具。我曾在纪錄已經出現與即將出現的再現危機一文說明兩種研究的差異，當時還以為一項研究不是探索性就是確證性，之後親身參加開放科學中心的工作坊，以及自己與Rolf Zwaan和Björn de Koning/的合作經驗，了解一項註冊研究可以有彈性地兼容兩者。讀者可以用以下兩道問題，評估正在構想或進行中的計畫，屬於探索或確證的部分是什麼：

1. 收集資料是要發展假設，還是驗證假設？
2. 收集資料前有什麼已經確定的分析方法？

以本文所舉的範例研究來說，要驗證的假設是電影得獎狀況或許會反映在典禮前後的台灣地區票房收入。與此假設有直接關係資料來源是有入圍年度奧斯卡獎，並且典禮前後正在台灣各大戲院上映的電影，這些資料就是確證性的部分。能直接驗證假設的分析方法是計算這些電影在典禮前後的收入差異，與放映廳數的變化，最後用t檢定或卡方檢定呈現前後數字的對比程度。除去可直接驗證假設的資料來源與分析方法，中途發現其它值得探討的問題，而需要增加的資料來源與分析方法，都是探索性的部分。註冊研究就是在收集資料前，在計畫書裡明確區分要確證與要探索的部分，經註冊程序宣告自己在確證性的部分如何照章行事，以及規範探索性部分的自由度範圍。

確證性研究的分析方法有必須事先宣告的要件，包括樣本數大小(Sample size)，資料處理與篩選程序(Data processing and cleaning procedures)，剔除無效資料的標準(Exclusion criterion)，以及任何預定要執行的統計分析方法(Statistical Analyses)。在能達成的範圍內，研究者要在註冊的計畫書中，儘可能交待這些分析方法要件的關鍵。

如何辨識研究計畫的探索性與確證性內容

探索性必要條件	確證性必要條件
需要累積資料(事實)才能回答的研究問題	事先評估所需樣本數
掌握資料(事實)來源的樣本	已擬定的資料處理與篩選程序
能將資料(事實)轉化為可推論證據的研究設計	剔除無效資料的標準
已設定資料(事實)的集合結構或變項	能做有效推論的統計分析方法

**註：**上表適用所有根據可檢測的假設設計研究，累積資料驗證假設的科學領域。表內所提的專有名詞來自筆者熟悉之心理科學，如果與讀者熟悉的專有名詞有所出入，可自行置換。

註冊研究的執行模式

無論是什麼樣的註冊模式，研究者必須於收集資料前，在支援開放資料的雲端平台(例如OSF)，備份註冊計畫書與已準備好的研究內容。現在科學界接受的註冊研究模式有三種：無同儕審核的事前註冊計畫(Unreviewed preregisteration)，有同儕審核的註冊報告(Registered Reports)，跨團隊合作的註冊再現研究(Registered Replication Reports)。最後一種我在纪錄已經出現與即將出現的再現危機有詳細介紹，在此僅補充說明個人認為值得注意的特點。由於註冊再現研究是直接再現已經發表的研究(direct replication)，需在計畫總主持人能允許的條件之內，執行收集與分析資料的工作。合作研究者如果有想探索的部分，例如採用不同於總主持人制定的分析方法，可以在獨立報告中提出。如果讀者想更了解註冊再現研究的成果，除了由總主持人主筆的論文，還可以查看各實驗室的獨立報告。

有同儕審核的註冊報告是研究者在收集資料之前，把要註冊的研究計畫投稿給期刊，經過期刊邀請的審查者同意接受後，再進行資料收集與分析。最後正式論文再經過樣的審查者審稿，與傳統投稿審查不同之處是，這些審查者評價正式論文的標準是有沒有依照計畫進行，而非檢視研究結果有沒有確實支持假設。與此模式類似，且在醫藥科學領域行之有年的臨床研究(Clinical Research)相互比較，不同之處在於無主管機關監督，而是研究者要自行完整公開過程中的所有衍生資訊，可否出版(上市)也不是以有無達成計畫目標為依據。

以一份兼容探索性與確證性的研究專案來說，如果兩者所佔比例不相上下，有同儕審核的註冊報告是最適合的。若想評估自已的研究是否適合這種模式，可以參考已公開徵求註冊報告的期刊。這些期刊的投稿說明都有解釋現在接受的研究報告，屬於確證性研究的基本條件，以及能允許的研究者自由度範圍。如果期刊主題及政策相容正在進行的研究，不妨試試看。

無同儕審核的事前註冊計畫可在分析方法的設定保持更大的彈性空間，但是需公開的內容與有同儕審核的註冊報告完全相同。運用這個模式完成研究之後，可以將事前註冊的計畫書做為附件投稿給傳統期刊。許多對註冊研究抱持觀望態度的期刊，都能接受這種方式。

至今為止，最多學術領域可接受的事前註冊計畫書格式有Open-Ended Registration與AsPredicted Preregistration兩種，而且OSF都有支援。前者是一份空白表格，讓研究者自行以任意長度的文字表達想確認與想探索的部分，不過原則上不超過一頁的A4或Letter頁面最佳。後者來自Uri Simonsohn，Joe Simmons與Leif Nelson三位學者建立的網站，設定8項問題及3200字元的限制，研究者以此格式說明研究專案裡屬於確證性的部分，做為註冊內容。由於OSF的支援，研究者可以把待探索的研究項目，撰寫內容更完整的計畫書或準備用來收集資料的預備文件及程式等，與Aspredicted計畫書一起備份。

小心得：儘管確證性的內容只佔研究計畫1%，建議使用AsPredicted格式註冊。

註冊研究的好處

有許多歐美學者身體力行，讓同儕與後輩理解註冊研究能對學術知識的新陳代謝帶來長期的正面影響。這裡擷取幾位學者的部落格文章，供讀者參考。首先是Rolf Zwaan的2017新年心願，列出12條研究者能做到的註冊研究事項，前兩項就是前面談到，在擬定研究計畫時，如何判別研究內容屬於確證性與探索性的部分。後十條是規劃與執行註冊研究的細節，這些細節都是維持註冊研究品質的關鍵，像是傳統研究模式忽略的資料公開是第三點，優先於其它細節，這點表示註冊研究是開放科學的發動機。我認為這幾點透過交互辯證更能理解這些細節的意義，將在正式課程與公開報告中提出說明並與聽眾及學生討論。

史丹福大學研究嬰幼兒語言發展的Michael Frank在Preregister everything提到四個好處：增加分析結果的可信度(confidence)、促進研究者養成隨時紀錄執行狀況的習慣、訓練學生做研究的最佳模式、不妨礙研究者探索新問題。我只在第一點加上英文原始附註，是因為只提中文的「可信度」，讀者也許會以為Michael Frank講的是「信度」(reliability)。為何增加分析結果的可信度是好處？請讀者看一看台大論文造假案的新聞便可領略。第二點與第四點我有親身體會，是讓我寫出這篇文章的動力。第三點是未來我要在教學中落實的措施，而且很我很好奇在只有閱讀書藉文獻的課程，加入註冊研究的觀念會有什麼效果？

最後分享Tim van der Zee的夢想，他是正在攻讀教育學博士學位的年輕學者，卻有與前兩位前輩一樣的願景。他的貼文指出註冊研究對研究者個人的好處，是能掌握研究過程的每個階段性目標，這也是Rolf Zwaan建議更好的研究操作所提的細節，都能具體落實之後，能帶來的實際效果。Tim van der Zee也提到如果每個研究者都能用註冊研究的規格執行個人研究計畫，整體學術發展的終極好處是出版偏誤(publication bias)會成為歷史名詞。究竟會不會成真，需要收集長期的證據來證實，而你我都可以為此夢想做出貢獻。

如何調適轉換

如果你認為註冊研究不適合自己的研究模式，不妨參考Michael Frank的覺醒經驗。在貼出Preregister everything之前，Michael Frank在至少長達兩年的時間裡，對註冊研究抱持懷疑態度。親自實踐之後，他發現可以對研究計畫內容想得更深入，評估完成實驗所需的成本有更準確的評估，不只是能估計達成有效分析的樣本大小，也因為更能掌握分析方法，而縮短寫作論文的時程。

另一個可參考的是英屬哥倫比亞大學的社會心理學教授Elizabeth Dunn，在2017年一月的人格與社會心理學學會年會(SPSP)分享執行註冊研究的經驗，以及一些可以讓註冊研究更能兼容驗證性與探索性項目的技巧。她也曾經歷一段懷疑時期，嘗試之後就經驗到前面所提的好處，更表示註冊研究能有效利用計畫補助的每一分錢。

註冊研究對任何科學領域都是全新的研究模式，就像Elizabeth Dunn的演講提到，沒有老師會教，沒有可參考的教科書。但是對於一些處境風雨飄搖的知識體系，從現在起累積可信任的註冊研究成果，就能重建知識價值。只要是有心的研究者，不論過去成就如何，未來進行研究之前先做註冊，以及開放研究資料，就有機會逐步重建大眾對科學專業的信心。本文以Elizabeth Dunn的演講錄影作為結束：

2017/3/5更新：COS webinar~ Registered Reports for Early Career Researchers

Cortex註冊報告(Registered Report)責任主編Chris Chambers現身說法，以及解答註冊研究的FAQ: 重要問題開始時間~ [22:52](https://youtu.be/tnugQLY2Zog?t=22m52s) 我的研究領適合註冊報告嗎? [26:08](https://youtu.be/tnugQLY2Zog?t=26m8s) 註冊報告的退稿率/接收率? [27:47](https://youtu.be/tnugQLY2Zog?t=27m47s) 註冊報告審稿時間多長? [37:19](https://youtu.be/tnugQLY2Zog?t=37m19s) reviewer會不會趁機偷走我的點子? [41:09](https://youtu.be/tnugQLY2Zog?t=41m9s) 如何說服我的老闆/指導教授嘗試註冊研究?

參考資料

Research Preregistration 101
Preregister everything
A Commitment to Better Research Practices (BRPs) in Psychological Science
Academic dreams
COS Reproducibility Workshops in Europe
What p-hacking really looks like: A comment on Masicampo & LaLande (2012)
Preregistration: The Perspective of a Skeptical Convert