認知行為實驗研究中最佳素材容量的選擇與確定：多元概化理論應用

羅照盛 郭小軍

(江西師范大學心理學院, 南昌 330022)

1 前言

心理學實驗首先必須保證結果的有效性和可靠性。實驗信度指的是實驗結果和結論的可靠性、穩定性及一致性程度。如果實驗結果是不可靠的,那么研究結論將毫無價值。影響實驗結果的因素非常多, 而現在認知行為實驗已經發展出了許多精巧的實驗研究范式及其變式, 在控制實驗誤差方面也已經考慮得非常周到。實驗素材是影響實驗研究結果的核心因素之一, 它指的是心理學實驗中使用的各種刺激材料, 實驗素材的選擇會直接影響實驗的結果, 實驗素材的選擇需要考慮材料的性質及其容量。在認知行為實驗研究中, 經常是同一種實驗范式下相似的實驗使用了非常不同的素材容量, 那么,什么樣的素材容量才是最合適的呢？眾所周知, 過少的實驗素材會影響實驗結果和結論的可靠性, 而過多的實驗材料又可能導致被試疲勞及尾端實驗數據不可靠, 同時還會導致實驗耗時、增加實驗成本等。因此, 選擇一個最佳實驗素材容量對實驗結果就顯得非常重要。

不同的實驗素材容量明顯會對實驗信度產生影響。在許多已有的實驗研究文獻中, 甚至同一類型實驗, 實驗素材的容量并不確定。如認知研究IAT范式中, 有采用5個(吳明證, 2006)、8個(何安明, 劉華山, 惠秋平, 2013)等不同素材容量進行實驗; 言語研究中圖-詞干擾范式上有采用48個(孫勇,郭可教, 1992)、96個(劉亞, 王振宏, 2011)、256個(陳雪飛, 蔣軍, 趙曉, 陳安濤, 2010)等不同素材容量; 注意研究的線索提示范式中, 有研究者選擇了160個(潘運, 沈德立, 王杰, 2009)、256個(李迎娣,張學民, 2010)等不同素材容量; 在雙耳分聽范式(張學民, 舒華, 唐云, 2008; 郭春彥, 朱謹, 侯培莊,1998)與情緒啟動效應(楊麗珠, 蔣重清, 劉穎, 2005;呂勇, 張偉娜, 沈德立, 2010)等研究范式中也存在這種現象。由此可以看到, 不同研究在相同類型范式的研究中采用的素材容量都存在著明顯的不同,雖然這些具體的實驗之間存在著差異, 但是, 素材容量的選擇還是存在著許多的主觀性, 因此, 探討最佳實驗素材容量的選擇, 從而更好的保證實驗結果和結論的信度就顯得非常重要。然而, 至今未發現專門對認知行為實驗中最佳素材容量問題進行過專門的研究。

概化理論(Generalizability Theory, GT) 是一種把測量誤差作為模型參數來處理的測量理論(Brennan, 2001; 楊志明, 張雷, 2003), 通過分析各種測量誤差來源對測量目標的影響模式, 進而提出改進研究方案, 降低實驗誤差, 從而最終提高測量結果概化能力(Generalizability)的最佳方案。概化理論中關于變量的關鍵概念是測量目標和測量側面,測量目標一般就是被試在某項任務上的成績, 而測量側面就是影響測量目標的變量, 也就是測量誤差來源。概化理論分為一元與多元概化理論。多元概化理論(Multivariate Generalizability Theory, MGT)是對一元概化理論(Univariate Generalizability Theory, UGT )的推廣與發展。多元概化理論指測量目標在某個特定全域分數上有多個全域分數。當前,針對MGT開發的常用軟件是mGENOVA (Brennan,2001), 該軟件使用比較簡單, 即使對不太熟悉概化理論的人也容易學會。其分析結果一般包括(楊志明, 張雷, 2003) ：第一, 分別估計測量目標、測量側面以及目標與側面或側面與側面之間的主效應和交互效應在各個變量的方差與變量間協方差;第二, 估計考生在各個變量上全域分數、全域分數的方差、絕對誤差、相對誤差等, 并估計出測量目標在各個變量上的概化系數和可靠性指數; 第三,估計全域合成分數及其方差; 第四, 估計全域合成分數的絕對誤差方差和相對誤差方差以及全域合成分數的可靠性指數、概化系數和信噪比; 第五,對研究者所提出的改進方案估計其合理性。

概化理論根據樣本值估計總體真值, 同時通過D研究指出真值所適用的空間與概括全域以及相應的精度估計值(G系數與

φ

指數), 并且以相對誤差與絕對誤差的形式探討了經典測量理論中的信度與效度。概化理論可以在多個范圍上對測驗分數做推論與解釋, 并且分別提供測量的精度指標, 即一個測驗提供多個“信度”值, 所以概化理論被廣泛的應用在考試(楊志明, 張雷, 馬世曄, 2004; 白娟,2013)、量表編制(楊志明, 張雷, 2003; 何立國, 周愛保, 2006)與人才測評(孫曉敏, 張厚粲, 薛剛, 黎堅, 2009; 康春花, 姜宇, 辛濤, 2010)等研究中, 探討不同變量的容量與整體信度(概化系數與可靠性指數)之間的關系。

本研究的目的是, 通過多元概化理論分析技術對3個經典認知行為實驗范式下的具體實驗數據進行分析, 來研究認知行為實驗研究中最佳實驗素材容量的確定問題。以為其他不同的實驗研究在素材容量選擇上提供借鑒, 在保證實驗信度的前提下,使得實驗設計更加科學合理。

2 研究方法

本研究選擇了3個經典認知行為實驗研究范式的具體實驗, 即, 研究認知的IAT范式(Greenwald,McGhee, & Schwartz, 1998)、言語的圖-詞干擾范式(Stroop, 1935)與注意的線索提示范式(Posner, 1980),實驗程序統一采用E-prime 1.1軟件編制, 數據處理基于多元概化理論, 運用mGENOVA軟件對3個實驗的數據進行分析, 以保證實驗信度合理為條件,選擇和確定各實驗中最合適的素材容量。

實驗設計中采用的因變量均是反應時, 在進行多元概化理論分析前, 3個實驗所收集的數據都要經過篩選與預處理, 統一要求每個被試的正確率在80%以上, 并且每個素材所有被試在該項目上的作答正確率為80%以上, 否則作為無效被試或素材,在此基礎上, 對于作答錯誤素材, 采用在該素材上作答正確被試的平均反應時替換。

3個認知行為實驗采用的是相同的數據分析模型, 其中G研究包括兩個維度的單面p×i交叉設計,Xpi為被試在維度h (h = 1, 2)中第i個實驗材料上的正確反應時, 則G研究的數學模型為：

在模型(1)中, p是指測量目標, i指測量的側面, pi為測量目標與測量側面的交互效應。

2.1 研究1 實驗素材容量選擇：IAT范式MGT分析

2.1.1 IAT范式研究過程

被試選擇：從某校選擇40名大一新生做被試,其中男生20人, 女生20人, 所有被試都是右利手,矯正視力正常, 沒有做過類似實驗。

實驗程序：實驗材料選擇了黃色和紅色作為彩色概念, 黑色和灰色做為非彩色概念, 同時選擇了褒、貶詞各10個高頻詞匯; 仿照Greenwald花蟲實驗七步驟程序流程, 只選取第四步與第七步的數據,兩步素材容量分別為20, 共40個刺激, 注視點(黑色加號+)呈現時間為500 ms, 被試按鍵反應后或者4000 ms未做出反應, 則刺激消失。實驗流程通過e-prime 1.1軟件編制程序, 以保證各個被試接收的刺激同等, 實驗實施統一在一個光線適當的機房進行, 由負責人統一開始, 旁邊由經過專門指導的人員負責被試在實驗過程中可能遇到的問題。

數據預處理先按照統一要求篩選合格數據, 再對高于3000 ms或者低于300 ms的數據分別替換為3000 ms和300 ms, 之后替換作答錯誤素材的反應時。對于是否要求對數據進行自然對數轉換, 目前研究尚有爭議, 本文為了與后續研究一致, 統一不進行轉換。

2.1.2 IAT范式G研究

基于模型(1)通過軟件mGENOVA, 可以得到被試(p)、任務(i：相容與不相容任務)以及被試與任務(pi)的交互效應在相容與不相容任務上的方差與協方差分量的估計結果, 如表1。

表1 G研究中效應在不同任務上的方差與協方差分量估計

對IAT的概化理論分析是基于IAT效應存在的前提下進行的, 從相容與不相容任務的平均反應時發現, IAT效應 = M- M= 760.76 - 653.33= 107.43, 說明本實驗存在IAT效應并且能夠作為IAT范式的一個代表樣例。由表1可知, 在p (被試)主效應上, 相容任務的方差分量要比不相容任務的方差分量大, 這說明被試在相容任務上的變異要大于不相容任務。同時從協方差分量與相關系數可以看出, 相容任務與不相容任務的相關比較低, 相關系數只有0.40; 在i (項目)主效應上, 不相容任務的方差分量要高于相容任務的方差分量, 說明不相容任務的項目引起的變異要高于相容任務; 在pi交互效應上, 不相容任務的方差分量也要大于相容任務的方差分量。

2.1.3 IAT范式D研究

根據G研究估計的方差和協方差矩陣, 可以進一步估計不同任務上的全域分數、誤差的方差分量、概化系數及可靠性指數, 結果見表2。

從表2可以看出, 相容任務的全域方差分量(33140.42)要小于不相容任務的全域方差分量(13842.32)。從測量精度來說, 由于本文是實驗研究,不是常模參照測驗或標準參照測驗, 必須要考慮測量的絕對誤差, 在可靠性指數上, 不相容任務為0.56, 明顯要低于相容任務(0.90), 而從絕對誤差上來看, 相容任務要低于不相容任務的方差分量也能反應出來。

在內隱聯想實驗中, 相容與不相容任務的實驗素材容量是一樣的, 所以兩者的權重系數相同, 各為0.5, 在此基礎上合成全域分數, 結果如表3。

表2 不同任務上的方差分量值

表3 D研究合成全域分數的方差分量等指標估計

從表3中數據可以看出, 全域概化系數值為0.82, 可靠性指數為0.81, 處于中等水平。全域總分相對誤差的方差分量(3478.74)與絕對誤差的方差分量(3711.94)差異較小, 所以概化系數與可靠性指數差異不大, 同時從可靠性指數大小而言是可以接受的, 測量精度中等。

實驗分析了不同任務類型對總方差的貢獻比例, 結果如下表4。

表4 不同任務對總方差貢獻比例

不同任務素材容量一致, 從理論上說, 按照任務均等影響, 其貢獻比例應是相同, 但受到p (被試)、i (任務)以及pi交互效應的影響, 導致相容與不相容任務的貢獻比例出現變化。在表4中可以看出, p主效應在相容任務的方差分量大于不相容任務的方差分量, 相容任務對全域總分的方差貢獻比例為65.07%, 而不相容任務只有32.26%。在相對誤差與絕對誤差上, 相容任務的貢獻比例都低于不相容任務的貢獻比例。

以保證IAT范式實驗信度為目標, 探討最佳的實驗素材容量的選擇, 結果見表5。

表5 D研究中不同任務樣本量與可靠性指數關系

當不同任務的素材容量只有1個時(基準), 總分可靠性指數只有0.18, 素材容量增至5時, 總分可靠性指數也只有0.52, 增加了0.34, 在實驗中,這樣的精度是不被接受的, 于是素材容量增加到10, 也就是不同任務各有10個, 總分可靠性指數增加了0.16, 達到了0.68, 在實際中, 這個實驗信度還是偏低, 于是當增加到20, 也就是本文中G研究的樣本素材容量時, 可靠性指數增加了0.13, 達到了中等精度要求0.81, 之后繼續增加實驗素材容量,在增加到60、70、80時, 增量之間的差異非常小, 趨于穩定, 相對在2.5倍模式時, 即素材容量為50時,增量的差異為0.01, 而且增量為0.02, 是隨著素材容量增加, 可靠性指數變化趨勢的轉折點, 同時全域總分可靠性指數為0.92, 綜合認為在IAT范式中,最佳的素材容量為50。

2.2 研究2 實驗素材容量選擇：圖-詞干擾范式

(stroop效應)MGT分析

2.2.1 圖-詞干擾范式研究過程

被試選擇：從某校選擇31名大二新生, 其中男生10人, 女生21人, 所有被試都是右利手, 矯正視力正常, 沒有做過類似實驗。

實驗程序：圖片采用250×200像素, 字體大小為100磅, 干擾條件用紅、綠、黃、藍4種顏色書寫紅、綠、黃、藍漢字(不包括呈現顏色與內容顏色一致的材料), 控制任務用紅、綠、黃、藍4種顏色正三角形、圓形和正方形、正六邊形4種幾何圖形, 每個刺激在實驗中重復呈現2次, 并且從4個圖形中抽取一種顏色作為練習, 使得干擾與控制素材容量一致, 所以被試在正式實驗中, 控制與色詞素材容量分別為24個, 實驗要求忽略詞義對呈現的顏色作按鍵反應, 被試按鍵要求分別用左手中指、食指和右手的食指、中指按D鍵、F鍵、J鍵和K鍵(紅、綠、黃、藍), 每個實驗界面中下位置會出現4個顏色詞與對應按鍵, 注視點(黑色加號+)呈現時間為500 ms, 被試按鍵反應后或者3000 ms未做出反應, 則刺激消失。實驗采用E-prime程序編制, 電腦統一采用DELL臺式, 在計算機機房統一進行。

數據預處理采用上文一致標準篩選, 同時替換錯誤作答素材的反應時之后, 再進行多元概化理論分析。

2.2.2 圖-詞干擾范式G研究

被試(p)、任務(i：色詞與控制任務)以及被試與任務(pi)的交互效應在色詞與控制任務上的方差與協方差分量的估計結果, 如表6。

表6 G研究中效應在不同任務上的方差與協方差分量估計

由表6可以看出, 首先保證stroop效應的存在,經過對色詞與控制任務分別計算均值發現, stroop效應 = M- M= 1092.58 - 966.04 = 126.54。在p (被試)主效應上, 色詞的方差分量要高于控制任務的方差分量值; 在測量側面i上, 控制任務的方差分量為4637.96, 而色詞任務的方差分量為10767.89, 所以控制任務的變異明顯要低于色詞任務; 同時在pi交互效應上, 色詞任務的方差分量也要高于控制任務, 從色詞與控制任務的相關與協方差值可以看出, 兩者呈高度相關。

根據G研究估計的方差和協方差矩陣, 可以進一步估計不同任務上的全域分數、誤差的方差分量、概化系數及可靠性指數, 結果見表7。

表7 不同任務上的方差分量值

從全域分數的方差分量來看, 控制任務的方差分量明顯要低于色詞任務的方差分量。在概化系數與可靠性指數上, 控制任務與色詞任務相差不大,都為0.82以上, 達到了良好水平, 相對而言, 色詞任務的測量精度更好一些, 但兩者差異不明顯。

2.2.3 圖-詞干擾范式D研究

實驗中, 由于色詞任務與控制任務的素材容量相同, 所以兩者以0.5為權重合成了全域總分, 結果如表8。

表8 D研究合成全域分數的方差分量等指標估計

從表8可以看出, 全域總分的概化系數與可靠性指數都達到了0.91以上, 這是一個比較高的值,說明圖-詞干擾范式的實驗控制得比較好, 受誤差影響較低, 精度較高。

不同任務對總方差貢獻比例的分析結果如表9所示,

由表9可知, 色詞任務的方差貢獻比控制任務高11%, 同時在相對誤差與絕對誤差上色詞都要高于控制任務, 但各自在相對與絕對誤差上差異較小。

以保證實驗信度為目標, 探討了本實驗范式的最佳實驗素材容量的選擇, 結果見表10。

表9 不同任務對總方差貢獻比例

表10 D研究中不同任務樣本量與可靠性指數關系

從表10可以看出, 色詞與控制任務素材容量為基準模式時, 可靠性指數只有0.30, 當容量達到G研究樣本的0.5倍, 即12時, 可靠性指數就能達到0.84, 并且比0.25倍容量增加了0.12, 在增加一倍后, 即為24時, 增量為0.07, 總分可靠性指數達到0.91。當色詞與控制任務素材容量各為36與48時, 增量分別為0.03和0.01, 全域總分可靠性指數為0.94和0.95,之后繼續增加, 可靠性指數的增量只有0.01, 同時在2倍模式時, 與1.5倍模式增量變化為0.01, 與2.5倍模式的增量比較也只有0.01,增量極低。綜合考慮認為, 總分可靠性指數達到了0.95, 素材容量為48時,實驗素材容量達到最佳,繼續增加素材容量時的可靠性指數變化不大。

2.3 研究3 實驗素材容量選擇：線索提示范式MGT分析

2.3.1 線索提示范式研究過程

實驗被試：實驗同樣收集了31個被試的反應時數據, 其中男生10人, 女生21, 皆為大二學生。

實驗程序：實驗圖片都采用240×170像素, 以箭頭為提示線索, “*”為目標刺激, 線索提示呈現時間為300～600 ms之間隨機一個點, 目標刺激呈現1500 ms, 在實驗前告知被試線索提示與目標一致性概率分別為80%與50%, 對左右不同位置的目標刺激分別按“d”鍵與“k”鍵。正式實驗中, 有效提示與無效提示素材容量都為25, 共50個素材。實驗采用E-prime程序編制, 統一在學院機房進行。

數據預處理在線索提示范式實驗中也采用上文一致標準篩選, 同時替換錯誤作答反應時。

2.3.2 線索提示范式G研究

被試(p)、任務(i：有效提示與無效提示任務)以及被試與任務(pi)的交互效應在有效提示與無效提示任務上的方差與協方差分量的估計結果, 如表11。

表11 G研究中效應在不同任務上的方差與協方差分量估計

在表11中, 首先對線索提示范式的效應存在時進行分析, 通過比較有效提示與無效提示均值發現, 提示效應 = M- M= 414.35 - 377.42 =36.93, 說明提示效應是存在的。在p主效應上, 無效提示的方差分量(3879.22)要高于有效提示的方差分量(3214.10), 說明無效提示變異更大; 對于不同提示效果的測量側面i可以看出, 兩者的方差分量相差不大; 在pi交互效應上, 無效提示的方差分量要高于有效提示的方差分量, 同時從協方差與相關系數可以看出, 有效與無效任務的相關較高。

2.3.3 線索提示范式D研究

根據G研究估計的方差和協方差矩陣, 可以進一步估計不同任務上的全域分數、誤差的方差分量、概化系數及可靠性指數。結果見表12。

從表12可以看出, 在全域分數的分差分量中,有效提示產生的方差分量明顯要低于無效提示的方差分量。有效提示和無效提示的概化系數分別為0.93和0.94, 可靠性指數也達到了0.93和0.94, 說明實驗的精度在有效與無效提示任務上都比較高,受到誤差影響較小。

由于有效提示為50%, 所以有效提示與無效提示素材容量的權重是一樣的, 從而合成了如表13所示的全域總分的不同數據指標。

表12 不同任務上的方差分量值

表13 D研究合成全域分數的方差分量等指標估計

全域總分的相對誤差與絕對誤差相差較小, 從全域總分的概化系數與可靠性指數的差異也可以看出來。全域總分的概化系數達到了0.96, 而可靠性指數也為0.96, 所以, 絕對與相對誤差或者標準差之間的差異都比較小。全域總分的可靠性指數為0.96, 這是非常高的一個數值, 說明線索提示范式的實驗測量精度非常高。

不同提示任務對總方差的貢獻比例分析結果,如表14所示。

表14 不同提示對總方差貢獻比例

在表14中, 從不同提示任務對總方差的貢獻比例可以看出, 雖然無效提示與有效提示的素材容量是一樣的, 但是無效提示對總方差的貢獻明顯要高于有效提示的作用, 兩者分別為52.58%、47.42%,但不同提示任務在相對誤差與絕對誤差上差別還是比較小的。

以保證實驗信度為目標, 探討了本實驗范式的最佳實驗素材容量的選擇, 結果見表15。

表15 D研究中不同提示樣本量與可靠性指數關系

在表15中, 基準模式的可靠性指數只有0.51,到G研究樣本容量25時, 可靠性指數達到了0.96以上, 相對0.5倍模式, 增加了0.02, 當素材容量增加至35時, 增量為0.01, 可靠性指數為0.97, 當達到2倍模式與2.5倍模式時, 增量分別為0.01、0.00,可靠性指數達到了0.98、0.98, 但可靠性指數增量明顯變小, 所以綜合而言, 線索提示范式的最佳素材容量為35, 可靠性指數為0.97。

3 討論與結論

在許多的認知行為實驗研究中, 典型的素材容量的選擇從20左右到100左右, 相互相差很大, 還未發現研究者對各種容量選擇情形下的誤差進行解釋。那么, 當容量為20時就夠了嗎？達到100時是否合適呢？

在認知行為實驗研究中, 如何確定最佳的實驗素材容量？有的研究者可能依據前人的研究設計,有的研究者可能依據自身的經驗, 有的研究者可能會依據認知行為實驗研究的一般性要求, 有的研究者可能只能根據素材的實際可得性條件來確定。許多相同的實驗范式之間使用的素材容量相差極大。素材容量主要是影響實驗結果的信度, 即結果的穩定性、一致性程度。研究者當然可以通過不斷增加容量以確保實驗結果的穩定性, 然而, 究竟多少是合適的呢？研究者也許可以通過不斷試驗的方式來進行研究, 但是, 基于概化理論的分析也許是一種更加直接高效的分析架構, 因為它既可以分析出一種理想的素材容量, 同時也可以指出當素材無法達到最佳容量要求時可能存在的誤差大小。概化理論可以在同時考慮多個影響測量目標的因素的情形下分析出最佳的實驗設計模式。

本文運用多元概化理論技術, 以追求良好的實驗信度為目標, 同時考慮實驗成本, 探討了不同實驗(認知、語言、注意)的素材容量的最佳選擇。同時在確定實驗效應存在的前提下, 通過素材容量的改變, 結合可靠性指數的增量變化大小, 從而確定最佳實驗素材容量, 為實驗研究在素材容量選擇上提供有價值的參考。結合前面對IAT內隱聯想范式、圖-詞干擾范式、線索提示范式的分析, 以及圖1所示, 可以認為, 在IAT實驗上, 相容與不相容任務的素材容量為50時, 即2.5倍模式, 可靠性指數為0.92, 之后實驗的可靠性指數變化趨于直線; 在圖-詞干擾范式中, 素材容量位于2倍模式后, 增幅趨于直線, 所以其素材容量以48為最佳, 可靠性指數為0.95; 對線索提示范式, 當50%線索為有效提示時, 有效與無效提示最佳素材容量為35, 即素材容量為1.5倍模式, 其測量精度為0.97。

圖1 不同實驗素材容量的可靠性指數

本研究可以為認知行為實驗研究者在選擇合適的實驗素材容量時提供一些有益的借鑒。

Bai, J. (2003). Study of the multivariate generalizability analysis of Chinese medicine entrance tests in 2012.

Examinations Research,

(1), 51-56.[白娟. (2013). 2012年全國碩士研究生入學中醫綜合考試的多元概化理論研究.

考試研究,

(1), 51-56.]Brennan, R. L. (2001).

Generalizability theory

. New York：Springer-Verlag.Chen, X. F., Jiang, J., Zhao, X., & Chen, A. T. (2010). Effects of practice on semantic conflict and response conflict in the Stroop task.

Psychological Science, 33

(4), 869-871.[陳雪飛, 蔣軍, 趙曉, 陳安濤. (2010). 練習對Stroop效應中語義沖突和反應沖突的影響.

心理科學,

33(4),869-871.]Greenwald, A. G., McGhee, D. E., & Schwartz, J. L. K. (1998).Measuring individual differences in implicit cognition： The implicit association test.

Journal of Personal and Social Psychology, 74

(6), 1462-1480.Guo, C. Y., Zhu, Y., & Hou, P. Z. (1998). An experimental study of the influence of binaural hearing and word-fragment completion on immediate recall and delayed recall.

Psychological Science, 21

(2), 118-122.[郭春彥, 朱瀅, 侯培莊. (1998). 雙耳分聽和補筆對立即回憶、延遲回憶影響的實驗研究.

心理科學, 21

(2), 118-122.]He, A. M., Liu, H. S., & Hui, Q. P. (2013). An experimental research on implicit and explicit gratitude of undergraduates.

Psychological Development and Education, 45

(1), 22-30.[何安明, 劉華山, 惠秋平. (2013). 大學生感恩內隱效應的實驗研究.

心理發展與教育, 45

(1), 22-30.]He, L. G., & Zhou, A. B. (2006). A study of life satisfaction scales applicable to Chinese adolescent students by the Generalizability theory.

Psychological Science, 29

(5),1199-1202.[何立國, 周愛保. (2006). “青少年學生生活滿意度量表”的概化理論研究.

心理科學, 29

(5), 1199-1202.]Kang, C. H., Jiang, Y., & Xin, T. (2010). Generalizability theory in the study of raters’ consistency of personnel evaluation.

Psychological Science, 33

(6), 1456-1460.[康春花, 姜宇, 辛濤. (2010). 概化理論在人事測評中的評分者一致性研究.

心理科學, 33

(6), 1456-1460.]Li, Y. D., & Zhang, X. M. (2010). The different cuing effect of three types of cue.

Psychological Science, 33

(3), 627-630.[李迎娣, 張學民. (2010). 不同類型提示線索提示效應的大小比較.

心理科學, 33

(3), 627-630.]Liu, Y., & Wang, Z. H. (2011). The relationship between the emotional Stroop effect and the Stroop effect.

Psychological Science, 34

(4), 806-812.[劉亞, 王振宏. (2011). 情緒Stroop效應與Stroop效應的關系.

心理科學, 34

(4), 806-812.]Lü, Y., Zhang, W. N., & Shen, D. L. (2010). Subliminal affective priming effect by faces with different valence： An ERP study.

Acta Psychologica Sinica, 42

(9), 929-938.[呂勇, 張偉娜, 沈德立. (2010). 不同愉悅度面孔閾下情緒啟動效應,來自ERP的證據.

心理學報, 42

(9), 929-938.]Pan, Y., Shen, D. L., & Wang, J. (2009). The spatial numerical association of response codes effect of Chinese character number processing in different attention referential cues.

Studies of Psychology and Behavior, 7

(1), 2l-26.[潘運, 沈德立, 王杰. (2009). 不同注意提示線索條件下漢字數字加工的SNARC效應.

心理與行為研究, 7

(1),2l-26.]Posner, M. I. (1980). Orienting of attention.

Quarterly Journal of Experimental Psychology, 32

, 22-25.Stroop, J. R. (1935). Studies of interference in serial-verbal reaction.

Journal of Experimental Psychology, 18

(6),643-662.Sun, X. M., Zhang, H. C., Xue, G., & Li, J. (2009). The application of the multivariate generalizability theory to a structured interview.

Psychological Science, 32

(4), 916-919.[孫曉敏, 張厚粲, 薛剛, 黎堅. (2009). 多元概化理論在結構化面試中的應用研究.

心理科學, 32

(4), 916-919.]Sun, Y., & Guo, K. J. (1992). Hemispheric asymmetry in the processing of Stroop stimuli.

Psychological Science,

(2),20-25.[孫勇, 郭可教. (1992). Stroop色詞干擾效應與大腦兩半球言語功能的不對稱性.

心理科學,

(2), 20-25.]Wu, M. Z. (2006). The relationship between the IAT effect and the target-concept’s association.

Psychological Science,29

(3), 580-582, 531.[吳明證. (2006). 內隱聯結測驗的IAT效應和概念聯系的對應關系研究.

心理科學, 29

(3), 580-582, 531.]Yang, L. Z., Jiang, Z. Q., & Liu, Y. (2005). A comparative study of subliminal affective priming and the emotional Stroop effect.

Psychological Science, 28

(4), 784-787.[楊麗珠, 蔣重清, 劉穎. (2005). 閾下情緒啟動效應和Stroop效應之對比實驗研究.

心理科學, 28

(4), 784-787.]Yang Z. M., & Zhang, L. (2003).

Generalizability theory and its applications

. Beijing： Educational Science Publishing House.[楊志明, 張雷. (2003).

測評的概化理論及其應用

. 北京：教育科學出版社.]Yang, Z. M., & Zhang, L. (2003). Can we measure the third factor by WISC-CR? —a study of WISC CR by the Multivariate Generalizability Theory.

Psychological Science, 26

(2), 305-307.[楊志明, 張雷. (2003). 韋氏兒童智力量表能否測量第3因子—WISC-CR的多元概化理論研究.

心理科學, 26

(2),305-307.]Yang, Z. M., Zhang, L., & Ma, S. Y. (2004). Multivariate generalizability analysis of the Chinese college entrance comprehensive examination.

Psychological Science, 36

(2),195-200.[楊志明, 張雷, 馬世曄. (2004). 從多元概化理論看高考綜合能力測試的改進.

心理學報, 36

(2), 195-200.]Zhang, X. M., Shu, H., & Tang, Y. (2008). Phonological effect on Chinese word cognition in dichotic listening task.

Applied Linguistics,

(2), 72-80.[張學民, 舒華, 唐云. (2008). 雙耳分聽任務中語音相似性對漢字認知的影響.

語言文字應用,

(2), 72-80.]