Posts

以再現研究教學的必要性

多數原創研究難以再現的問題已由許多大型專案報告揭露,例如重製100件心理學研究複數實驗室的註冊再現研究等。如何向大學生傳達再現研究的經驗與重要性,也是推動開放科學的重點。第一線的教學者藉此重新省思該如何介紹何謂科學,我所參考的國外公開教材與部落格,有許多推動開放科學的國外老師都重新閱讀科學哲學家卡爾.波普爾(Karl Popper)於1959年出版的科學發現的邏輯(The Logic of Scientific Discovery),引述波普爾對於研究再現是科學基礎的說法。以下這段關於科學發現再現的說法,出自查汝強與邱仁宗的中譯版

只有當某些事件能按照定律或規律性重複發生時,像在可 重複的實驗裡的情況那樣,我們的觀察在原則上才能被任何人所檢驗。在我們重複 和檢驗它們之前,我們甚至對自己的觀察也不大認真對待,也不承認它們是科學的 觀察。只有根據這些重複,我們才確信我們處理的並不僅是一個孤立的「巧合」, 而是原則上可以主體間相互檢驗的事件,因為它們有規律性和可重複性。

我的實踐方式是使用有完整公開資料的心理學實驗專案做為教材,引導學生運用接近原始專案的方式,設計與執行實驗專案,親自體會經典實驗揭示的規律性和可重複性

專案介紹

Rolf Zwaan與同事從2014年起設計九套認知心理學實驗的線上版本,分別來自知覺、記憶與語言三個領域。經Amazon Mechanical Turk徵求參與者登錄其中一套實驗,並間隔數天參與相同程序的實驗。這九套實驗的第一次參與結果與第二次參與結果的效果量有高度正相關,顯示這九套實驗能成為認知心理學的知識基石,是因為實驗結果的規律性與重複性。這一系列結果給希望提出能做為知識奠基的原始研究,可以邀請同一批參與者重新參與,確認研究結果的可重複性。

九套實驗的研究材料與實驗資料都完整公開,任何人都能下載檢驗分析結果與使用程序腳本執行實驗。Zwaan設計的專案使用次數主義統計與貝氏統計進行分析,能讓學生在收集資料的過程,學習根據證據強度評估可結束實驗的時機。更重要的是九套實驗執行前已有預先註冊,是在實驗心理學導入註冊研究的最佳範本。

這學期讓同學自行選擇三套記憶實驗演練,三項專案都已經完成,由於資源有限,收集的資料不多,所有專案只邀請參與者進行一次實驗,卻都得到有最低證據強度的研究結果。藉此網誌分享經驗,提供有意設計中文開放科學教材的師生,進行改造與創作。

序列效應

Murdock (1962) 報告的自由回憶實驗顯示,人類連續背誦一系列項目,接著測試表現最好的是位置排序最前面(初始效應)與最後面(新近效應)的項目。這套實驗請參與者記憶一系列項目後,在測驗視窗限時輸入記得的項目。這項實驗對多數心理系學生來說並不陌生,我們把Zwaan版的刺激詞翻成中文,收集7位有效參與者就得到有效結果,實驗材料與分析報告可參考專案OSF

間隔效應

同樣是學習一系列項目,應該要密集學習還是間隔學習,才有最好的學習效果?其中顯現的記憶特性是什麼?是1970年代之後記憶心理學者熱衷探討的主題。Greene(1989)提出重覆學習-自由回憶作業,測試導致間隔效應的假設。重覆學習的項目有連續兩個嘗試的密集學習項目,以及間隔至少一個嘗試再重覆學習的項目。Greene發現後者的回憶正率顯著高於前者,Zwaan版的線上作業也顯示穩定的差異效果,我們把學習與測試詞改成詞頻分佈接近的中文詞彙,有效的14位參與者資料也得到可靠的結果

假記憶(DRM)

在序列效應研究蓬勃發展1960年代,就有心理學者發現有些參與者會在自由回憶作業報告並非學習項目,卻與學習項目有關的詞彙。直到1995年,Roediger與McDermott終於提出能穩定重現實驗結果的程序。因為改良自Desse(1959)的程序,這套假記憶實驗程序又稱為DRM作業。Zwaan版的DRM作業學習詞根據1995年的設計原則,擴充挑選32套項目之間有強度聯想關係的列表,我們的專案取其中一半的列表做本土化翻譯,收集6位有效參與者資料,就發現有關誘導詞誤答率高於無關誘導詞誤答率。

使用建議

  1. 自由實驗軟體學習素材 所有專案都是在實驗室之內的單機操作,程序腳本以自由實驗軟體OpenSesame準備及執行,每項專案的刺激項目都存於腳本之內。有興趣的讀者如果不熟悉OpenSesame,可以從微調刺激項目,配合OpenSesame官方的教程,學習如何使用專案素材執行實驗。

  2. 預先註冊演練範本 我們的專案以創用CC(姓名標示─非商業性)公開授權,執行一項專案之前,都有預先註冊假設方法區塊,兩個區塊是一般研究計畫書必備內容,加上事先準備紀錄及程序腳本。想演練預先註冊的老師同學,可以參考專案內容,提出自行準備的假設與方法進行預先註冊,再照表操作,按步完成最終報告。希望參考操作的各界人士能公開分享你們的專案成果,我們很有興趣了解在不同學校場域執行的研究成果,也可以檢驗這些經典實驗結果在華文地區的普遍性。

  3. 統計分析教材 所有專案延續Zwaan版的分析方法,都有計算關鍵效果的貝氏因子,以及關鍵效果與刺激版本的二因子混合變異數分析。有興趣的老師可以整合Rolf Zwaan與我們的專案資料,作為如何事前決定樣本數,或者了解如何使用貝氏統計評估當前資料的證據強度,為註冊研究計畫設定有合理彈性的資料收集計畫。

CONTINUE READING

My brief notes after realize the usage of bookdownplus.

CONTINUE READING

How to wisely manage someone’s blog post?

CONTINUE READING

This post is for future posts.

Check the lines 5 to 9 of my post template head.html.

    <meta name="generator" content="blogger"/>
    <meta name="author" content="Sau-Chin Chen"/>
    # A if-then loop imports page.title.
    <meta property="og:title" content="{% if page.title %}{{ page.title }}{% else %}{{ site.title }}{% endif %}"/>
    # A if-then loop imports page.date.
    <meta property="article:published_time" content="{% if page.date %}{{ page.date | date: "%B %-d, %Y"}}{% else %}{{ site.date }}{% endif %}"/>
    <meta property="og:site_name" content="Sau-Chin Chen's website"/>

CONTINUE READING

Visualized the experimental desigin in the experimental software

CONTINUE READING

How to begin the data analysis properly at first?

CONTINUE READING

Visualized my thinking about p values.

CONTINUE READING

My short note when I was learning Bayesian statistics.

CONTINUE READING

After I read “Statistics Rethink”

CONTINUE READING

test latex in RMarkdown

CONTINUE READING

comments powered by Disqus