不相關言語對視覺覺察的影響*

2016-01-10 00:47:16劉思耘賈會賓趙慶柏

心理學報 2016年7期

關鍵詞：實驗

劉思耘周倩賈會賓趙慶柏

(青少年網絡心理與行為教育部重點實驗室,華中師范大學心理學院,武漢 430079)

1 前言

在現實生活中,人類在加工某種信息時,不可避免地會受到其它無關信息的干擾,如無關聲音對視覺信息加工的跨感覺通道的干擾。視聽交互的認知加工機制一直是認知科學領域探討的熱門話題之一,不相關言語效應(the Irrelevant Speech Effect,ISE,又稱the Unattended Speech Effect)即為其中現象之一,指無關的言語聲音對個體當下的視覺序列回憶成績產生不可抗拒的干擾,即使事先告知被試不要留意該聲音刺激(Baddeley &Salamé,1986;Colle &Welsh,1976;Jones,Macken,&Murray,1993;Neath,2000)。

前人針對這一現象提出了諸多理論模型,但這些模型之間并未達成一致觀點,且自身也并不能完滿解釋所有與不相關言語效應有關的現象,其中爭議較大的是關于這一過程中的認知干擾機制本質及是否有注意機制參與。

1.1 不相關言語對視覺信息加工產生干擾的機制

在關于不相關言語干擾機制的爭論中,爭論的焦點主要集中在以下兩點：(1)不相關言語效應產生的原因到底是由于聽覺刺激和視覺刺激的內容產生沖突造成的還是兩個通道輸入的刺激形成的序列不一致從而是在序列上產生沖突造成的？(2)不相關言語效應產生過程中是否涉及注意的機制。

由于前人多采用讓被試對視覺刺激進行序列回憶的方式來探討不相關言語對視覺信息加工的影響,因此所提出的理論模型的內容也與視覺序列回憶這種實驗范式有關,如視覺刺激總是呈一定序列、視覺刺激不止一個、視覺刺激多為數字/字母/單詞之類的抽象符號等等。可以說,前人所提出的多個不相關言語效應模型具有相當濃厚的范式色彩。如語音存儲假說(the Phonological Store Hypothesis)(Salamé &Baddeley,1986)認為,不相關言語效應產生的機制是聽覺信息對視覺信息的語音存儲產生干擾,與個體的注意機制無關;而改變狀態假說(the Changing State Hypothesis)則認為,不相關言語效應產生的關鍵是由于前后變化的不相關聽覺刺激(如音位或音調上的變化)也構成了一個序列,而這個序列干擾了以相同方式形成的視覺信息序列表征,從而降低了視覺信息的回憶成績(Jones &Macken,1993;Jones et al.,1993;張樂,梁寧建,2007)。改變狀態假說認為不相關言語的干擾與刺激的內容無關,是對視覺刺激加工過程的干擾(Jones&Tremblay,2000)。這種嚴重依賴于特別實驗范式產生的理論模型內容無疑限制了我們從根本上去了解此類視聽交互加工的本質,因此有必要突破特定實驗范式的限制,建構基于干擾本質的模型。

有的研究者提出不相關言語不僅僅在記憶層面干擾視覺加工,還通過對注意機制的調節來產生影響,如建立在記憶和注意框架內的具身加工模型(Embedded-Processes Model) (Cowan,1995,1999)認為,不相關言語對視覺信息系列回憶的干擾是通過注意的偏離導致的,視覺呈現的記憶項目在有限資源的注意焦點內得以復述和保留,而新異的或與任務無關的變化刺激則引起一種朝向反應(orienting response),該反應分散了復述加工過程中的注意力,從而減少了目標表征的激活及成功復述的概率。多個其它研究支持了這個解釋(Bell,Dentale,Buchner,&Mayr,2010;Buchner,Bell,Rothermund,&Wentura,2008;Chein &Fiez,2010)。也有研究者運用時間獨特性假說(the Temporal Distinctiveness Theory),從注意資源分配的角度提出了注意機制對這一過程的參與(LeCompte,1996)。由此看來,前人已經察覺到不相關言語對視覺刺激加工的干擾不僅僅停留在單個的認知加工層面(如記憶),既使他們是在某個特定的認知層面采用相對固定的實驗范式去觀察的(如視覺記憶任務)。

1.2 與不相關言語有關的ERP研究

近些年研究者采用事件相關電位(ERP)和腦成像(如fMRI)等神經機制探究方法,探討與不相關言語效應有關的腦機制。其中有關 ERP腦電的研究分為兩類,一類關注無關言語刺激所誘發的 ERP成分,另一類關注當前任務中視覺刺激所誘發的ERP成分。

研究者提出無關聽覺刺激能夠誘發 N1、P3a和重新定向負波(reorienting negativity,RON)等多個 ERP成分,且這些成分可能反映了注意轉換的不同階段(Bell et al.,2010;Bendixen,Roeber,&Schr?ger,2007;Escera &Corral,2007;Campbell,Winkler,&Kujala,2007;Campbell,Winkler,Kujala,&N??t?nen,2003),暗示著不相關言語刺激很有可能影響了注意的認知加工。具體來說,N1是聽覺ERP成分中最具代表性或通道特異性的早期成分,是刺激開始后100 ms左右記錄到的一個負成分(趙侖,2010)。從功能上來說,聽覺刺激的早期 N1成分具有注意效應。不相關言語效應的研究發現,盡管要求被試忽略聽覺通道而集中注意視覺刺激,忽略的聽覺通道刺激還是誘發了 N1,且主要分布在頭皮的額中央區,波幅由刺激的物理性質改變的多少決定(Bell et al.,2010)。當控制狀態改變的數量時,不同類型的聽覺刺激(如音調、言語、環境聲音等)產生非常相似的N1反應(N??t?nen &Picton,1987)。P3家族包括很多成分,而與不相關言語效應有關的P3a (Novelty P3)是由頻次較少的、與任務不相關的刺激(新異刺激)在 300 ms左右誘發出的一個正成分,潛伏期較短,比反映了靶刺激注意加工過程的P3b靠前(如250～300 ms),頭皮分布也較為廣泛,最大波幅位于額葉后部,也較 P3b明顯靠前(趙侖,2010)。從功能上來說,P3a反映了刺激驅動的自下而上的前腦區注意加工機制(Polich,2007),且 P3a是現已公認的朝向反應的主要標志。在不相關言語效應產生過程中,盡管要求被試忽略聽覺通道出現的刺激,但其固有的新異性仍有可能引起被試的朝向反應。因此,P3a的出現很有可能是由于被試的注意資源被分散,導致他們在主任務中表現出更高的錯誤率和更長的反應時(Escera,Alho,Winkler,&N??t?nen,1998;Escera,Yago,&Alho,2001)。另外,P3a成分之后會出現一個后期負成分,且在額區達到最大(Escera et al.,2001)。鑒于這種負偏離可能至少部分反映了注意重新定向到主要任務上的假設,因此該成分被稱為重新定向負波(RON) (Berti,2008;Escera et al.,2001)。

前人針對視覺呈現的記憶項目的加工是否受不相關言語的影響也進行了多個 ERP的研究。他們認為如果不相關言語吸引了當前視覺任務的注意力,那么視覺活動相關的神經活動會被減弱。而視覺 ERP早期成分通常包括 C1、顳枕區的 P1和N1/N170、額中央區的N1和P2(趙侖,2010),這些ERP成分應該或多或少有不同程度的反映。這里我們主要分析并總結前人找到的與視覺注意有關的P1/N1成分。P1一般開始于刺激呈現后的60～90 ms,幅度通常在偏側枕區(如O1、O2)達到最大,峰值潛伏期在100～130 ms之間,且受刺激對比度、空間注意指向以及被試的喚醒狀態等因素的影響,但與其它自上而下的變量無關(Hillyard &Anllo-Vento,1998;Hillyard,Vogel,&Luck,1998)。N1出現在P1之后,常出現在頂枕外側紋狀區,與刺激特征的加工過程有關(Hillyard &Anllo-Vento,1998;Hillyard et al.,1998)。它包括幾種視覺N1子成分,某些子成分反映了某種辨別過程(趙侖,2010)。研究發現,頭皮后部的P1、N1以及額區的N1均受到注意的顯著影響,表現為幅值的增強(Hillyard &Anllo-Vento,1998;Hillyard et al.,1998)。由于不相關言語可能會自動獲取注意資源,損害被試對視覺表征項目的認知加工,因此很有可能會導致與視覺記憶項目加工相應的 ERP成份波幅減弱,有研究通過采集EEG數據支持了這一假設,發現了N1波幅的減弱(Weisz &Schlittmeier,2005)。

由以上諸多 ERP研究可以看出,關于不相關言語效應的腦電研究結果在某種程度上均支持了注意在這種跨通道信息加工過程中的參與作用,為不相關言語效應與注意機制的關聯提供了腦神經機制的依據。同時也表明,雖然前人是在記憶層面觀察到的不相關言語效應,但并不表明不相關言語只在記憶層面對認知功能造成損害,不排除更早階段的認知加工也會受到影響。

1.3 視覺意識覺察研究

從前人提出的多種理論以及相關的 ERP研究來看,在記憶層面完全揭示不相關言語干擾的機制以及探討注意在其中的作用似乎沒有那么容易。盡管視覺信息的記憶成績受損是迄今為止發現的最明顯的不相關言語造成的影響,但這并不能說明更早階段的視覺信息加工過程沒有受到干擾。本研究將不從傳統的記憶層面探討該問題,而是從知覺層面去探討跨感覺通道信息加工間的干擾本質,試圖從不同的角度獲取解決相關理論爭論的關鍵信息。

盡管知覺過程發生在個體對外界信息加工的早期階段,遠早于記憶階段,但知覺過程仍是一個復雜的過程,包含了多個步驟(Eysenck &Keane,2000)。因此,為了更有效地探測不相關言語效應的機制,我們將探測窗口移至視知覺加工的早期階段,即視覺意識或覺察階段。視覺意識或覺察(visual consciousness or awareness)指的是被試根據自身的主觀體驗確實感知到某個刺激的存在,而不是隨機猜測或根據無意識視覺體驗,或后續對體驗到的內容進行再加工來判斷刺激是否呈現。該過程與無意識視覺加工或后期意識加工過程有所不同(Block,2001)。在本研究中,我們交替使用視覺意識(visual consciousness)和視覺覺察(visual awareness)兩個概念,使用前者時偏向從靜態的角度強調意識概念本身,使用后者時偏向從動態的角度強調個體產生視覺意識的過程。值得注意的是,視覺意識并不完全等同于視覺閾限。雖然前者始于閾限,但其可靠的覺察階段應該出現在閾限之上的短暫時間內。因此,我們在本研究中將不會采用觀察視覺刺激閾限的方式來探討視覺覺察過程,而是采用一種能夠產生足夠視知覺但僅僅停留在覺察階段的刺激呈現方式。

目前,大量研究表明與視覺意識相關的 ERP成分可能有以下3種(Koivisto &Revonsuo,2010)：(1) P1,大約在刺激出現后100 ms;(2)早期后部負波VAN (visual awareness negativity),大約在刺激出現后200 ms,也稱為視覺覺察負波;(3)后期正波LP(late positivity),位于 P3時間窗口內,大約是刺激出現后400 ms。P1成分是刺激呈現后100 ms的正成分,反映的是個體對刺激的感覺反應,且與空間注意有關(Luck &Ford,1998)。然而,根據視覺意識的不同操作范式,只有部分研究發現視覺意識中P1成分得到增強(Koivisto &Revonsuo,2010),表明P1還不是視覺意識的穩定腦電成分表征。相比于未進入視覺意識的刺激,VAN是進入意識的視覺刺激在200 ms左右引發的早期負波的增強,主要分布于顳葉后部和頂枕葉,且對視覺意識具有跨任務范式的穩定性。VAN之后常常跟隨一個晚期正向差異成分(LP),通常在P3時間窗口,尤其是頂葉和中央記錄位置。多個研究表明,VAN被認為是上述3種成分中代表視覺意識產生的最早最可靠的相關成分(Koivisto &Revonsuo,2010;Koivisto et al.,2008)。

本研究共設計了3個實驗,均采用視覺掩蔽范式和聽覺刺激輸入的視聽交互范式,采用信號檢測論技術和ERP技術探討不相關言語對視覺覺察過程的影響。在選取視覺加工材料時,我們選取了兼具視覺普遍性和重要性的灰色實心圓、卡通圓形時鐘和卡通面孔作為簡單圖片材料,真實的客體(房子和面孔)作為復雜圖片材料。實驗 1的假設是：不相關言語對簡單客體(灰色實心圓、卡通時鐘、卡通面孔)的視覺意識會產生顯著干擾,而不相關純音并不會產生明顯的干擾,且這種不相關言語效應對不同物體視知覺覺察的影響并無差異。實驗2的假設是：不相關言語對復雜物體的視覺意識也會產生顯著干擾,且由于面孔加工所具有的某種可能的特殊性,不同復雜程度物體受到的干擾會有所不同。實驗3在前兩個行為實驗的基礎上,采用ERP技術進一步探討不相關言語效應發生的神經機制。該實驗的假設為：行為學結果與實驗1和實驗2假設基本保持一致,即不相關言語會對視覺意識產生干擾。腦電結果預期為,在不相關言語條件下,被試后部腦區誘發的 VAN成分顯著削弱,進一步支持不相關言語會對視覺覺察過程造成干擾。

2 實驗1 不相關言語對簡單圖片視覺覺察的影響

2.1 實驗目的

采用視覺掩蔽范式和信號檢測論技術,比較 3種不同聲音背景條件下被試對不同簡單圖片進行視覺覺察的行為表現,探討視覺覺察過程是否存在不相關言語的干擾,以及這種效應在不同物體覺察中是否存在差異。

2.2 研究方法

本實驗的視覺刺激呈現方式參考了Koivisto等人(2008)在探測視覺意識最早ERP成分的研究中實驗1所使用的實驗范式。

2.2.1 被試

華中師范大學在校大學生70名(男生18名,女生52名),年齡范圍在19 ～26歲之間(

=23.13,

=2.14),均自愿參加實驗。所有被試的聽力、視力或矯正視力正常。每位被試完成實驗后均獲得精美禮品一份。

2.2.2 實驗材料

不相關聲音材料分為兩類：單字(bei4)和純音(嘟)。其中單字由一位普通話標準的女生在語音室錄制,然后通過Goldwave Digital Audio Editor編輯軟件對單字及純音聲音材料進行處理,并單獨保存形成時長均為0.025 s的兩個聲音文件。實驗過程中該聲音文件會通過程序被連續調用呈現。聲音大小的范圍是70～80 dB。

用于視覺意識的圖片材料分為三類：灰色實心圓,卡通面孔,卡通時鐘,其視角均為 3.27°×3.27°,所有圖片(RGB分別是 235、235、235)的大小為113.1 kb,分辨率為72像素/英寸。程序中前后掩蔽刺激為黑白模式的方塊,其視角也為3.27°×3.27°。

2.2.3 實驗設計

采用 3(不相關聲音類型：單字 vs.純音 vs.安靜 )×3(視覺覺察圖片類型：灰色實心圓 vs.卡通面孔 vs.卡通時鐘)兩因素混合設計。其中,不相關聲音類型為被試內變量,視覺覺察圖片類型為被試間變量。要求被試完成視覺覺察任務,即判斷是否覺察到靶刺激圖片。本實驗采用信號檢測論技術,靶刺激圖片為信號,空白圖片為噪音,記錄被試的擊中、漏報、虛報、正確拒斥的反應,因變量為被試的辨別力(

)和反應傾向(

)。

2.2.4 實驗程序

采用E-Prime 1.1進行編程。整個實驗在顯示分辨率為 1440×900的臺式 Lenovo計算機上完成,屏幕刷新率為 60 Hz。被試進入隔音實驗室后,被隨機劃分到不同的實驗條件組,然后保持舒適坐姿坐在計算機屏幕前,眼睛與顯示器平直,視距約為60cm (50～70cm)。在每個實驗條件下每個被試要完成3種不相關聲音條件下的視覺覺察任務。每一種實驗條件包括160個試次,其中80次靶刺激呈現,80次靶刺激缺失,所有試次隨機呈現,共 160×3(單字、純音和安靜條件)=480個試次。

顯示器背景為白色,顯示器亮度、對比度和色彩均為統一設置。首先,給被試呈現指導語,待被試完全正確理解實驗過程和任務內容后開始實驗。每個試次的具體流程如下：首先計算機屏幕中央呈現1200 ms的黑白模式前掩蔽刺激,作為警示被試集中注意的注視點。隨后在前掩蔽刺激出現的位置呈現靶刺激或者空屏,呈現時間為 83 ms,兩種情況出現的概率均為 50%。然后在同一位置再呈現83 ms的空屏,直到黑白模式的后掩蔽刺激出現并持續1200 ms。試次間隔ISI為1600 ms。被試在整個實驗過程中佩戴耳機,不相關聲音(單字和純音)在整個實驗中一直呈現。實驗要求被試集中注意屏幕中央,并避免在試次進行中眨眼和轉動眼睛。如果被試有意識地察覺到靶刺激就按“是”鍵,如果沒有察覺到就按“否”鍵。不鼓勵他們猜測,而是根據自己的意識知覺來做出反應。

實驗依據背景聲音的3個水平分為3個實驗單元,呈現順序在被試間做了平衡。每個正式實驗開始之前都有一個演示和練習階段,練習階段中刺激和后掩蔽間隔逐漸縮短至正式實驗的水平,且在練習階段給被試提供反饋,確保被試正確理解實驗指導語。每個實驗單元結束后被試有短暫的休息時間。

2.3 實驗結果

對3組被試的辨別力和反應傾向分別進行計算和分析。辨別力指標(

)即被試對刺激的感受性。當

＞0時,表明被試對信號是敏感的,信號是足夠強的;

值越大表示被試對刺激的敏感性越高;而當

＜0時,表明被試對信號不敏感,被試是隨機做出的反應。反應傾向(

)是被試在判斷過程中所持的決策標準,可用于推斷被試的反應是基于真實的視覺覺察還是摻雜了猜測的成分在里面。當

＞1時,表明被試在對信號不夠敏感的情況下傾向于做出“否”的反應,是一種較為保守的、嚴格的策略和標準;而當

＜1時,表明被試在對信號不夠敏感的情況下傾向于做出“是”的反應,是一種較為冒險激進或寬松的策略和標準;當

值接近或等于1時,表明被試在對信號敏感性不強的情況下采取了不松也不嚴的標準。辨別力和反應傾向的計算方法為：1)計算被試的擊中率、漏報率、虛報率、正確拒斥率;2)根據PZO轉化表,將擊中率和虛報率轉化為相應的

值和

值;3)根據公式

d’

=Z?Z

,計算相應的

d’

和

。根據信號檢測論的數據分析方法,排除辨別力指標不合格(

≤0)的被試10名,共采集60名有效被試數據。其中灰色實心圓條件下有效被試17名,卡通面孔條件下有效被試 19名,卡通時鐘條件下有效被試24名。實驗1被試的擊中率和虛報率數據見表1。

表1 實驗 1中被試對不同視覺刺激覺察的擊中率和虛報率

2.3.1 辨別力指標

首先,對被試的辨別力指標進行單樣本

檢驗。結果發現,當覺察到灰色實心圓時,被試在 3種不同聽覺條件下的辨別力指標均顯著大于 0 (

(16)=7.99,

＜0.001;

(16)=6.75,

＜0.001;

(16)=7.82,

＜0.001);當覺察到卡通面孔時,被試在3種不同聽覺條件下的辨別力指標也均顯著大于 0 (

(18)=10.50,

＜0.001;

(18)=12.31,

＜0.001;

(18)=12.52,

＜0.001);當覺察到卡通時鐘圖片時,被試在3種不同聽覺條件下的辨別力指標也均顯著大于0 (

(23)=8.54,

＜0.001;

(23)=16.09,

＜0.001;

(23)=21.01,

＜0.001)。這些結果表明所有被試對于刺激的敏感度都足夠強,都是基于個人真實觀察而不是隨機猜測做出的反應。

圖1 不同聲音背景條件下被試對不同圖片覺察反應的辨別力

2.3.2 反應傾向指標

首先,對被試的反應傾向指標進行單樣本

檢驗。結果顯示,當覺察到灰色實心圓時,被試在 3種聲音背景條件下的反應傾向指標均顯著大于 1(

(16)=2.81,

=0.013;

(16)=2.81,

=0.013;

(16)=2.12,

=0.050);當覺察到是卡通面孔時,被試在單字背景條件下的反應傾向顯著大于1 (

(18)=2.31,

=0.033),而在純音條件和安靜條件下的反應傾向與1差異不顯著(

(18)=1.95,

=0.066;

(18)=1.17,

=0.258);當覺察到是卡通時鐘時,被試在3種背景下的反應傾向指標也均顯著大于 1 (

(23)=2.77,

=0.011;

(23)=2.76,

=0.011;

(23)=2.51,

=0.020)。這些結果表明被試在大多數聲音背景條件下,對視覺覺察過程采取的是較嚴的保守策略。

2.4 討論

以上結果表明被試在視覺覺察加工過程中受到了不相關言語的干擾,但由于不相關聲音類型和圖片類型之間無交互作用,表明不相關言語在視覺覺察階段產生的干擾與覺察內容無關。這一結果從不同的層面和角度支持了前人提出的改變狀態假說,即認為不相關言語是對視覺刺激加工過程的一種干擾(Jones &Tremblay,2000),而不是如語音存儲假說(Salamé &Baddeley,1986)所認為的對視覺信息內容產生的干擾。但是,由于實驗1中的視覺刺激是單個的靜止的圖片,并不涉及任何序列問題,因此我們推斷至少在這個階段產生的視聽交互沖突并不是來自于序列,而是刺激內容本身。另外,被試對卡通面孔和卡通時鐘的辨別力顯著高于對灰色實心圓的辨別力,而對卡通面孔和卡通時鐘的辨別力則無顯著差異。這個結果似乎并不支持面孔加工特異的觀點。對于人類來說,面孔是一種內容非常豐富、意義不同尋常的視覺刺激,有研究者認為面孔識別有別于其它類型的物體識別(如 Farah,Klein,&Levinson,1995),大腦有專門的區域(顳葉區)負責加工人類面孔(Desimone,1991);但也有研究者認為面孔識別只是物體識別的特殊形式,本質上與物體識別沒有差異。如研究發現面孔知覺的整體加工優勢和梭狀回面孔識別區都是后天習得性增強或募集的結果,表明面孔識別能力只是后天經驗積累的結果,即面孔知覺的專家理論(趙侖,2010)。卡通面孔和卡通時鐘由于具有某些共同的特征,如圓的外形、且內部都有一些明顯的特點,被試完全可以采取相同的策略來識別這兩個不同的客體。但由于實驗1中的材料是卡通性質的,與真實面孔的復雜性相比過于簡單,因此還不能完全推斷出人們對真實面孔加工的情況。同時,該結果表明隨著圖形復雜程度的增加,被試的辨別力也會有所增強。

進一步分析這幾個圖形的區別,發現相對于灰色實心圓而言,卡通面孔和卡通時鐘多了一些客體特有的屬性,如眼睛、嘴巴、時針和分針等。雖然這3種圖片的灰度保持一致,但卡通面孔和卡通時鐘確實比灰色實心圓多了很多空白,在快速呈現的條件下,由于亮度的不同形成明顯的輪廓。因此,被試在覺察卡通面孔和卡通時鐘過程中可能僅僅依賴是否察覺到了輪廓,而非真正覺察到面孔和時鐘。這從被試對卡通面孔和卡通時鐘辨別力并無差異也可獲得一定程度的支持。因此,灰色圓和卡通面孔/卡通時鐘之間的覺察差異有可能是由于被試采取了不同的策略導致的。

3 實驗2 不相關言語對復雜圖片視覺覺察的影響

3.1 實驗目的

由于卡通面孔、卡通時鐘與真實面孔、真實時鐘仍有許多不同,因此實驗2采用客體的真實圖片,即真人面孔和真實房子,作為實驗材料并分別作為彼此的信號和噪音,以探討不相關言語對復雜圖片的視覺覺察是否造成干擾,以及這種干擾與實驗 1中產生的干擾效應是否有所不同。

3.2 研究方法

3.2.1 被試

華中師范大學在校大學生24名(男生6名,女生18名),年齡范圍在22～26歲之間(

=24.25,

=0.99),均自愿參加實驗。所有被試的聽力、視力或矯治視力正常。每位被試完成實驗后均獲得精美禮品一份。

3.2.2 實驗材料

不相關言語聲音材料：同實驗1。

視覺覺察圖片材料為真人面孔圖片和真實房子圖片。同時,為確保被試在安靜條件下對不同圖片具有相同的辨別力,我們將真實房子圖片和真人面孔圖片進行不同灰度水平的處理,以確保兩種圖片在判斷難度上無差異。實驗材料篩選過程的具體操作方法如下：

首先,通過Adobe Photoshop CS 5軟件處理真實房子和真人面孔的原始圖片,使其大小為 113.1 kb,分辨率為 72像素/英寸,設置圖層不同的不透明度。根據不透明度這一指標,從中選取不透明度分別為 77%和82%的房子圖片及不透明度分別為77%和80%的面孔圖片作為預實驗的刺激材料。將這4類圖片分為兩組：A.77%房子圖片和80%面孔圖片;B.82%房子圖片和77%面孔圖片。在每組條件下房子和面孔圖片互為信號和噪音,分別計算各自的擊中率、漏報率、虛報率和正確拒斥率。

隨機選取華中師范大學在校 15名學生進行預實驗,每名被試參與兩種條件(A和B)下的實驗。根據實驗1排除被試的標準,采集到14名被試的有效數據。所有被試的視力或矯治視力正常。同實驗1的數據處理過程,首先對辨別力和反應傾向指標進行單樣本t檢驗,該14名被試的數據均符合要求,即均基于個人觀察作出的反應,且采用的判斷標準適中。然后,分別對兩組條件下被試對房子和面孔的辨別力和反應傾向指標進行配對t檢驗。結果發現,被試對不透明度分別為77%的房子和80%的面孔的辨別力和反應傾向及對不透明度分別為 82%的房子和77%的面孔的辨別力和反應傾向之間差異都不顯著(

(13)=?2.00,

=0.067;

(13)=1.06,

=0.307;

(12)=1.45,

=0.174;

(13)=?1.52,

=0.151;

(13)=0.87,

=0.401;

(13)=0.82,

=0.428)。由于我們采用的是被試內設計,故可以將4種圖片類型的辨別力和反應傾向指標進行單因素方差分析,具體結果分別如下：在辨別力這一指標上,4種圖片類型的主效應也不顯著,

(3,39)=0.17,

MSE

=1.30,

=0.918。兩兩比較發現結果同擊中率,四者彼此之間差異不顯著(

＞0.05)。在反應傾向這一指標上,4種圖片類型主效應也不顯著,

(3,39)=1.14,

MSE

=0.51,

=0.346。兩兩比較發現結果同擊中率和辨別力指標,四者彼此之間差異不顯著(

＞0.05)。結合擊中率、辨別力和反應傾向3個指標,本實驗采取不透明度 82%的房子和77%的面孔作為正式實驗的刺激材料。

3.2.3 實驗設計

采用 3(不相關聲音類型：單字 vs.純音 vs.安靜 )×2(視覺覺察圖片類型：真實房子圖片 vs.真人面孔圖片)兩因素被試內設計。其它同實驗1。

3.2.4 實驗程序

同實驗1。不同之處在于實驗1中靶刺激要么出現要么不出現,噪音為空屏。而實驗2中真實房子圖片和真實面孔圖片,彼此作為信號和噪音隨機呈現,且無空屏呈現。

3.3 實驗結果

對被試的辨別力和反應傾向分別進行計算和分析,計算和分析方法同實驗 1。首先根據信號檢測論的辨別力指標(

)排除不符合要求的 4名被試數據,故有效被試為20名(男生5名,女生15名)。有效被試年齡范圍是 22～26歲(

=24.20,

=1.01),采用同實驗 1相同的方式對數據進行處理,不同之處在于真實房子圖片和真人面孔圖片分別作為彼此的信號和噪音。被試的擊中率和虛報率數據見表2。

表2 實驗 2中被試對不同視覺刺激覺察的擊中率和虛報率

3.3.1 辨別力指標

同實驗 1,首先對被試的辨別力指標進行單樣本

檢驗。結果表明,當真實房子圖片作為信號、真人面孔圖片作為噪音時,被試對房子圖片的辨別力在 3種背景下均顯著大于 0 (

(19)=6.63,

＜0.001;

(19)=10.63,

＜0.001;

(19)=13.37,

＜0.001);當真人面孔圖片作為信號、真實房子圖片作為噪音時,被試對面孔的辨別力在3種背景下也均顯著大于0 (

(19)=6.65,

＜0.001;

(19)=10.65,

＜0.001;

(19)=13.39,

＜0.001)。這些結果表明所有被試對上述材料是基于個人觀察做出的反應而不是憑隨機猜測做出的反應。采用兩因素重復測量的方差分析(MANOVA)對被試在3種不同背景聲音條件下的辨別力進行分析,發現只有不相關聲音類型主效應顯著,

(2,38)=13.78,

MSE

=1.31,

＜0.001,

=0.42。對不相關聲音類型兩兩比較發現,單字背景條件下的辨別力與純音背景和安靜條件下的辨別力差異顯著(單字vs.純音：

=0.003;單字 vs.安靜：

＜0.001),而純音背景條件和安靜條件下的辨別力差異不顯著(

=0.230)。見圖2。

圖2 不同聲音背景條件下被試對復雜圖片覺察反應的辨別力

3.3.2 反應傾向指標

同實驗 1,首先對被試的反應傾向指標進行單樣本

檢驗。結果顯示,當真實房子圖片作為信號、真人面孔圖片作為噪音時,被試對房子圖片的反應傾向指標在純音和安靜背景下均顯著大于1 (

(19)=2.21,

=0.040;

(19)=2.41,

=0.026),而在單字聲音背景下與1無顯著差異(

(19)=1.38,

=0.184);當真人面孔圖片作為信號、真實房子圖片作為噪音時,被試對面孔的反應傾向指標在3種背景下與1并無明顯差異(

(19)=1.25,

=0.227;

(19)=0.49,

=0.627;

(19)=?0.74,

=0.470)。該結果表明被試在大多數情況下對真實面孔或物體采取的標準不嚴也不松。

3.4 討論

以上分析表明,被試對真實復雜圖片的視覺覺察過程亦受到不相關言語聲音的干擾,即被試在單字條件下的辨別力比在純音和安靜條件下的辨別力差,且干擾效應與覺察的內容無關。實驗2雖然采用了更為復雜的視覺刺激圖片,但其結果仍與實驗1的結果保持了一致,表明視覺刺激內容復雜性的增加并不會改變視聽交互過程中聽覺刺激對視覺刺激影響的模式,即聽覺刺激是對視覺刺激加工過程而不是內容的干擾,且這個過程至少在視覺意識階段不涉及與序列有關的信息。同樣的,實驗 2的結果在一定程度上駁斥了前人提出的語音存儲假說(Salamé &Baddeley,1986),支持了與改變狀態假說類似的觀點(Jones &Macken,1993;Jones et al.,1993)。另外,實驗2并未發現被試對真實面孔和真實房子圖片的覺察過程有任何不同,該結果似乎表明面孔覺察過程與其它類別的客體識別沒有本質的差異。但盡管如此,我們仍不能由此來否定面孔知覺(face perception)的特殊性,這是因為當前專門的面孔知覺的研究更多是從社會層面去考慮的,涉及到面孔識別的社會功能,即更復雜的面孔情緒的加工和判斷(Bruce &Young,1986;McArthur &Baron,1983),因此所采用的視覺刺激材料在情緒特征和種族特征上更豐富、更具社會信息功能(Tottenham et al.,2009),這就有可能和本實驗中單純判斷是否為面孔有所不同。因此,本實驗 2的結果僅在意識覺察階段揭示了面孔加工與其它客體加工相似的本質。

為了從腦機制層面進一步揭示視覺覺察過程受不相關言語聲音影響的本質,在實驗 3中,我們將采用ERP腦電技術對該過程做更細致的觀察。

4 實驗3 不相關言語對簡單圖形視覺覺察影響的神經機制

4.1 實驗目的

由于在實驗1和實驗2中觀察到了不相關言語的干擾作用,因此推測在神經活動層面,不相關言語會影響到頂枕區的 VAN成分,即與純音和安靜條件相比,不相關言語條件下被試頂枕區的 VAN波幅顯著降低。

4.2 研究方法

4.2.1 被試

在校大學生28名(男生9名,女生19名),年齡范圍在18～25歲之間(

=21.61,

=1.62),均自愿參加實驗。所有被試的聽力、視力或矯正視力正常,無精神疾病和神經障礙病史。所有被試之前均未參加過本研究的實驗1和實驗2。實驗結束后被試獲得若干報酬。

4.2.2 實驗材料

由于本實驗的主要目的是觀察在不相關言語聲音干擾的過程中,視覺覺察負波 VAN是否會受到影響,從而驗證實驗 1和實驗 2的行為學結果,因此本實驗將采用與實驗1相同的不相關聲音材料,而視覺覺察圖片材料同實驗1中的灰色實心圓圖片。

4.2.3 實驗設計

采用單因素3水平(不相關聲音類型：單字vs.純音vs.安靜 )設計。其它同實驗1。

4.2.4 實驗程序

同實驗1。

4.2.5 ERP數據記錄與分析

使用德國Brian Products公司的腦電事件相關電位記錄分析系統,按照國際10-20系統擴展的64導電極帽記錄EEG。參考電極設定在FCz。同時在右眼外側記錄水平眼電(HEOG)和左眼眶上側記錄垂直眼電(VEOG)。保證電極與頭皮接觸處平均電阻小于 5k?。濾波帶寬為 0.05～100 Hz,采樣率為250 Hz/導。腦電采集的同時記錄被試的行為數據。

離線分析中,將參考電極轉換為雙側乳突平均。帶通濾波0.05～45 Hz以去除高頻噪音,并利用獨立成分分析校正眼電等偽跡。分別對擊中和漏報條件下的 ERP進行疊加平均,事件分析的時間窗鎖定在目標刺激呈現后的0～1000 ms,以刺激前的200 ms作為基線。

4.3 研究結果

首先整理所有被試的數據,剔除無效數據。剔除的標準有兩個,一個是行為數據中辨別力和反應傾向的標準,另一個是腦電數據分析的標準。對被試的辨別力和反應傾向分別進行計算和分析,計算和分析方法同實驗1。根據信號檢測論的辨別力指標(

＜0)排除不合格數據的被試6名,另根據ERP數據要求(疊加次數不少于30次)排除另外6名被試,故最終有效被試為16名(男生5名,女生11名)。有效被試年齡范圍是20～25歲(

=21.88,

=1.71)。

4.3.1 行為結果

被試的擊中率和虛報率數據見表3。

表3 實驗 3中被試(N=16)覺察灰色實心圓時的擊中率和虛報率

(1)辨別力指標

同實驗 1和實驗 2,首先對被試的辨別力指標進行單樣本

檢驗。結果表明,當覺察到灰色實心圓時,被試在3種聲音背景下的辨別力指標均顯著大于 0 (

(15)=3.79,

=0.002;

(15)=5.66,

＜0.001;

(15)=5.22,

＜0.001)。這些結果表明所有被試都是基于個人真實觀察所做出的反應而不是隨機的反應,且被試在該腦電實驗中的辨別力與前人用腦電探測視覺意識時所探測到的圖形辨別力較為一致(參見Koivisto et al.,2008).單因素重復測量的方差分析發現,不相關聲音類型主效應顯著,

(2,30)=6.17,

MSE

=1.28,

=0.006,

=0.29。對不相關聲音類型兩兩比較發現,被試在單字背景條件下的辨別力與純音和安靜背景下的辨別力存在顯著差異(單字 vs.純音：

=0.004;單字vs.安靜：

=0.011),而純音和安靜背景下的辨別力差異則不顯著(

=0.593)。見圖3。

圖3 不同聲音背景條件下被試對灰色實心圓覺察反應的辨別力指標

(2)反應傾向指標

同實驗 1和實驗 2,首先對被試的反應傾向指標進行單樣本

檢驗。結果顯示,當被試覺察到灰色實心圓時,被試在3種背景下的反應傾向指標與1并無顯著差異(

(15)=1.65,

=0.121;

(15)=1.65,

=0.121;

(15)=1.91,

=0.076)。這些結果表明被試采取的標準適中,不松也不嚴。單因素重復測量的方差分析發現,不相關聲音類型主效應不顯著(

(2,30)=0.30,

MSE

=2.03,

=0.746)。

4.3.2 腦電數據結果

4.4 討論

實驗3結果發現在3種聲音背景條件下,擊中比漏報在200 ms左右的后部皮層上誘發了一個更負成分,研究認為該成分是VAN,反映的是視覺意識(Koivisto &Revonsuo,2010;Koivisto et al.,2008)。與VAN在產生時間、極性和皮層位置上均比較相似的成分有N2pc (N2-posterior-contralateral)和選擇負波(Selection Negtivity,SN),這二個成分均與選擇注意有關(Luck &Ford,1998)。本研究中,被試只是對是否覺察到靶刺激進行判斷,而不是對靶刺激進行視覺搜索,因此發現的負成分應該不是N2pc。而SN成分反映的是相對于非目標刺激或屬性,被試對目標刺激或屬性的注意力(Hillyard &Anllo-Vento,1998)。如果認為實驗3中擊中減去漏報的負差異波是 SN,反映的是被試在目標視覺刺激和背景聽覺刺激間的選擇性注意,那么在安靜條件下,由于聽覺刺激不存在,該差異波也應該不存在。但結果并非如此,說明該差異波并非SN。此外,在對注意和意識的關系探討研究中,有研究者(Koivisto,Revonsuo,&Salminen,2005)通過操控對視覺刺激的意識(有意識和無意識)和注意(目標與非目標)發現,對于注意和非注意刺激,VAN的早期部分是相似的,且早于任何與選擇性注意相關的電生理效應。由此,研究者認為視覺意識和選擇性注意在最初是彼此獨立的。基于上述討論和實驗3所采用的實驗范式,可以確認實驗3中發現的擊中與漏報在 200ms以后后部皮層的負向差異波就是VAN。在實驗3中,ERP結果與行為辨別力結果一致,VAN波幅也表現出從安靜到純音到單字的逐漸降低的趨勢,且單字條件和安靜條件相比存在顯著差異,表明單字條件下被試的視覺覺察過程在行為學層面和腦神經機制層面均受到了干擾。

對于注意是否在不相關言語對視覺覺察過程中發揮作用的問題,由于視覺意識和注意是彼此獨立的,因此不能直接確定注意在其中發揮了作用。如果說不相關言語是通過注意機制來影響視覺覺察的,那么與注意相關的 ERP成分應該早于 VAN出現。在視覺意識相關研究中,與注意相關的早期ERP成分是P1,反映了個體對刺激的感覺反應(Luck&Ford,1998)。但實驗3與很多其它同類的研究一樣,未發現與視覺覺察相關的 P1成分(Koivisto &Revonsuo,2010),也就無從比較3種聲音背景下的視覺加工差異。由此可以推斷,雖然無法否認不相關言語對注意機制產生了干擾,但可以確認對注意的干擾不會發生在視覺覺察之前。也就是說,在視覺信息加工的初期是意識覺察過程本身而非注意機制受到了不相關言語的干擾。

圖4 三種聲音背景條件下VAN波形和地形圖

5 綜合討論

前人在定義不相關言語效應時大多指無關言語顯著損害同時進行的記憶任務成績的一種現象(Baddeley &Salamé,1986;Colle &Welsh,1976;Jones et al.,1993;Neath,2000),所采用的實驗范式基本上圍繞回憶任務展開(如Farley,Neath,Allbritton,&Surprenant,2007),如短時序列回憶或自由回憶。但在此類研究的基礎之上所提出的多個理論模型仍不能圓滿地解釋不相關言語的干擾本質。本研究將觀察的窗口設定在知覺的早期階段,即視覺意識階段,探討當視覺呈現不同復雜程度的客體讓被試進行視覺覺察判斷時,不相關言語是否會干擾被試的視覺信息加工。

實驗1首先觀察不相關言語對灰色實心圓、卡通面孔和卡通時鐘等簡單視覺刺激覺察過程的影響,結果發現不相關言語對視覺覺察產生了影響,且對不同內容圖片的影響是一樣的,表明不相關言語的干擾與視覺覺察內容無關。實驗2在保證各圖片知覺難度無差異的條件下探討不相關言語對更為復雜的真人面孔和真實房子圖片覺察過程的影響,結果與實驗1結果一致。實驗3利用事件相關電位高時間分辨率的優點,觀察視覺覺察過程中不相關言語影響的腦電活動,結果驗證了實驗1和實驗2所發現的不相關言語效應的行為學研究結果。

5.1 不相關言語效應

本研究中的 3個實驗,不論是行為數據還是ERPs數據,都表明在視覺覺察這一短暫的視知覺初期不相關言語也產生了干擾,且這個層面的視聽交互間的干擾不受視覺意識內容的影響。如果不相關言語在視覺覺察層面干擾的不是視覺內容的加工,那干擾的是什么呢？

在不相關言語效應的相關理論中,語音存儲假說(Salamé &Baddeley,1986)認為不相關言語干擾了內容的加工過程,即是聽覺言語刺激與視覺刺激在內容上的類別相似性導致了兩者加工的沖突;而改變狀態假說(Jones &Macken,1993;Jones et al.,1993)則從序列加工干擾的角度探討不相關言語效應的本質,即認為是聽覺言語刺激組成的序列和視覺刺激組成的序列相互間產生了干擾。從本研究的行為學實驗結果來看,不相關言語對不同內容的信息加工并不存在不同的干擾,視覺刺激的復雜程度的改變以及不同類型的視覺刺激均不會改變聽覺刺激的干擾模式。這個結果可能由兩種原因導致：一)不同內容的視覺信息加工在意識覺察階段并無本質不同;二)不相關言語對視覺意識的內容確實不造成干擾,而是對意識覺察的過程造成干擾。本研究實驗1發現,被試對灰色實心圓和卡通圖片的辨別力確實有所不同,表明被試對不同內容視覺刺激的視覺覺察能力是不同的,即不同內容的視覺信息在視覺覺察階段是有區別的。如果是這樣的話,那么不相關言語產生的干擾很有可能與視覺意識內容無關,而與視覺覺察的過程有關。接下來我們從意識和注意的關系進一步討論在意識覺察過程中所涉及到的認知加工成分。

5.2 注意機制與不相關言語效應關系

在探討不相關言語效應的過程中,研究者們還一直關注注意的機制在其中是否起到作用,即該效應的產生是否是由于聽覺刺激干擾了個體對視覺刺激的注意分配所導致的(LeCompte,1996),很多ERP研究為注意機制的參與也提供了支持性證據(Bell et al.,2010;Buchner et al.,2008;Chein &Fiez,2010;Escera et al.,1998,2001),但上述研究中提到的注意機制的參與均發生在記憶階段,而本研究則從視覺覺察階段為注意機制是否參與其中提供了證據。

意識和注意這兩個認知機制在功能上的一個共性是都能幫助人類從海量信息中選取部分信息進行進一步加工(Lamme,2003),但兩者無論在機制還是功能上又有很大的不同,研究者們一直在探討這兩者的關系是相互獨立的還是相互依存的。典型的注意變化盲(change blindness)和無意視盲(inattentional blindness)現象使得有些學者提出沒有注意就沒有視覺意識,個體當前所意識到的就是他們當前注意到的東西,兩者在本質上是一樣的(O’Regan &No?,2001;Posner,1994)。但也有學者認為兩者不僅在功能上是可分離的,且發生在兩個不同的階段(如Koch &Tsuchiya,2007;Lamme,2003;Eimer &Grubert,2015),如有些選擇性注意并不一定能導致意識(He,Cavanagh,&Intriligator,1996),而有些研究發現注意的參與不僅在行為水平上可以促進個體對客體的意識,還可在腦電水平上使之與未注意到的客體意識產生差異(Wyart &Tallon-Baudry,2008)。

鑒于意識和注意兩者關系的緊密性及可分離性,結合本研究的目的和實驗過程,我們來分析一下在本研究的3個實驗中注意是否參與到其中,且是否是由于注意機制受到影響導致意識覺察行為受到影響？本研究的3個實驗均是在實驗室的電腦上進行的,且由于視覺刺激在屏幕上呈現的時間有限,因此每個刺激出現之前,被試均被要求集中注意力對屏幕上的刺激進行又快又準確的意識覺察反應。也就是說在所有實驗中,在視覺刺激呈現之前,被試的注意機制已經得以調用和運轉,實驗中所有的意識覺察判斷都是與注意相結合情況下的行為。那么在這個過程中,是注意的機制受到了干擾還是意識覺察過程本身受到干擾呢？在實驗3的ERP研究中,3種不相關聲音條件下均未發現明顯的表征注意的 P1成分,但卻發現了表征視覺覺察的VAN成分的顯著差異。由此可以推斷,在視覺信息加工的初期是意識覺察過程本身而非注意機制受到了不相關言語的干擾。

6 結論

本研究要求被試分別在安靜、純音及不相關言語三種聽覺條件下判斷是否察覺到靶刺激圖片,探討了聽覺信息輸入對視覺刺激覺察過程的影響。結果表明：(1)視知覺覺察過程中存在不相關言語的干擾;(2)不相關言語對視覺覺察的干擾與視覺刺激內容無關,是對覺察過程的干擾;(3)不相干言語在視覺意識覺察階段不對注意產生影響,干擾的是純粹的意識覺察過程。

Baddeley,A.,&Salamé,P.(1986).The unattended speech effect:Perception or memory?

Journal of Experimental Psychology:Learning,Memory,and Cognition,12

(4),525?529.Bell,R.,Dentale,S.,Buchner,A.,&Mayr,S.(2010).ERP correlates of the irrelevant sound effect.

Psychophysiology,47

(6),1182?1191.Bendixen,A.,Roeber,U.,&Schr?ger,E.(2007).Regularity extraction and application in dynamic auditory stimulus sequences.

Journal of Cognitive Neuroscience,19

(10),1664?1677.Berti,S.(2008).Cognitive control after distraction:Eventrelated brain potentials (ERPs) dissociate between different processes of attentional allocation.

Psychophysiology,45

(4),608?620.Block,N.(2001).Paradox and cross purposes in recent work on consciousness.

Cognition,79

(1-2),197?219.Bruce,V.,&Young,A.(1986).Understanding face recognition.

British Journal of Psychology,77

(3),305?327.Buchner,A.,Bell,R.,Rothermund,K.,&Wentura,D.(2008).Sound source location modulates the irrelevant-sound effect.

Memory &Cognition,36

(3),617?628.Campbell,T.,Winkler,I.,&Kujala,T.(2007).N1 and the mismatch negativity are spatiotemporally distinct ERP components:Disruption of immediate memory by auditory distraction can be related to N1.

Psychophysiology,44

(4),530?540.Campbell,T.,Winkler,I.,Kujala,T.,&N??t?nen,R.(2003).The N1 hypothesis and irrelevant sound:Evidence from token set size effects.

Cognitive Brain Research,18

(1),39?47.Chein,J.M.,&Fiez,J.A.(2010).Evaluating models of working memory through the effects of concurrent irrelevant information.

Journal of Experimental Psychology:General,139

(1),117?137.Colle,H.A.,&Welsh,A.(1976).Acoustic masking in primary memory.

Journal of Verbal Learning and Verbal Behavior,15

(1),17?31.Cowan,N.(1995).

Attention and memory:An integrated framework

.New York:Oxford University Press.Cowan,N.(1999).An embedded-processes model of working memory.In A.Miyake &P.Shah (Eds.),

Models of working memory:Mechanisms of active maintenance and executive control

(pp.62?101).Cambridge:Cambridge University Press.Desimone,R.(1991).Face-selective cells in the temporal cortex of monkeys.

Journal of Cognitive Neuroscience,3

,1?8.Eimer,M.,&Grubert,A.(2015).A dissociation between selective attention and conscious awareness in the representation of temporal order information.

Consciousness and Cognition,35

,274?281.Escera,C.,Alho,K.,Winkler,I.,&N??t?nen,R.(1998).Neural mechanisms of involuntary attention to acoustic novelty and change.

Journal of Cognitive Neuroscience,10

(5),590?604.Escera,C.,&Corral,M.(2007).Role of mismatch negativity and novelty-P3 in involuntary auditory attention.

Journal of Psychophysiology,21

(3-4),251?264.Escera,C.,Yago,E.,&Alho,K.(2001).Electrical responses reveal the temporal dynamics of brain events during involuntary attention switching.

European Journal of Neuroscience,14

(5),877?883.Eysenck,M.,&Keane,M.T.(2000).

Cognitive psychology:A student's handbook

(4th ed.)

Philadelphia:Psychology Press.Farah,M.J.,Klein,K.L.,&Levinson,K.L.(1995).Face perception and within-category discrimination in prosopagnosia.

Neuropsychologia,33

,661–674.Farley,L.A.,Neath,I.,Allbritton,D.W.,&Surprenant,A.M.(2007).Irrelevant speech effects and sequence learning.

Memory &Cognition,35

(1),156?165.He,S.,Cavanagh,P.,&Intriligator,J.(1996).Attentional resolution and the locus of visual awareness.

Nature,383

,334?337.Hillyard,S.A.,&Anllo-Vento,L.(1998).Event-related brain potentials in the study of visual selective attention.

Proceedings of the National Academy of Sciences of the United States of America,95

(3),781?787.Hillyard,S.A.,Vogel,E.K.,&Luck,S.J.(1998).Sensory gain control (amplification) as a mechanism of selective attention:Electrophysiological and neuroimaging evidence.

Philosophical Transactions of the Royal Society B:Biological Sciences,353

(1373),1257?1270.Jones,D.M.,&Macken,W.J.(1993).Irrelevant tones produce an irrelevant speech effect:Implications for phonological coding in working memory.

Journal of Experimental Psychology:Learning,Memory,and Cognition,19

(2),369?381.Jones,D.M.,Macken,W.J.,&Murray,A.C.(1993).Disruption of visual short-term memory by changing-state auditory stimuli:The role of segmentation.

Memory &Cognition,21

(3),318?328.Jones,D.M.,&Tremblay,S.(2000).Interference in memory by process or content? A reply to Neath (2000).

Psychonomic Bulletin &Review,7

(3),550?558.Koch,C.,&Tsuchiya,N.(2007).Attention and consciousness:Two distinct brain processes.

Trends in Cognitive Sciences,11

,16?22.Koivisto,M.,L?hteenm?ki,M.,S?rensen,T.A.,Vangkilde,S.,Overgaard,M.,&Revonsuo,A.(2008).The earliest electrophysiological correlate of visual awareness?

Brain and Cognition,66

(1),91?103.Koivisto,M.,&Revonsuo,A.(2010).Event-related brain potential correlates of visual awareness.

Neuroscience &Biobehavioral Reviews,34

(6),922?934.Koivisto,M.,Revonsuo,A.,&Salminen,N.(2005).Independence of visual awareness from attention at early processing stages.

Neuroreport,16

,817?821.Lamme,V.A.F.(2003).Why visual attention and awareness are different.

Trends in Cognitive Sciences,7

,12?18.LeCompte,D.C.(1996).Irrelevant speech,serial rehearsal,and temporal distinctiveness:A new approach to the irrelevant speech effect.

Journal of Experimental Psychology:Learning,Memory,and Cognition,22(5)

,1154?1165.Luck,S.J.,&Ford,M.A.(1998).On the role of selective attention in visual perception.

Proceedings of the National

Academy of Sciences of the United States of America,95

(3),825?830.McArthur,L.,&Baron,R.(1983).Toward an ecological theory of social perception.

Psychological Review,90

,215?238.N??t?nen,R.,&Picton,T.(1987).The N1 wave of the human electric and magnetic response to sound:A review and an analysis of the component structure.

Psychophysiology,24

(4),375?425.Neath,I.(2000).Modeling the effects of irrelevant speech on memory.

Psychonomic Bulletin &Review,7

(3),403?423.O’Regan,J.K.,&No?,A.(2001).A sensorimotor account of vision and visual consciousness.

Behavioral and Brain Sciences,24

,939?973.Polich,J.(2007).Updating P300:An integrative theory of P3a and P3b.

Clinical Neurophysiology,118

(10),2128?2148.Posner,M.I.(1994).Attention:The mechanisms of consciousness.

Proceedings of the National Academy of Sciences of the United States of America,91

,7398?7403.Salamé,P.,&Baddeley,A.D.(1986).Phonological factors in STM:Similarity and the unattended speech effect.

Bulletin of the Psychonomic Society,24

,263?265.Tottenham,N.;Tanaka,J.W.;Leon,A.C.;McCarry,T.;Nurse,M.,Hare,T.A.,… Nelson,C.(2009).The NimStim set of facial expressions:Judgments from untrained research participants.

Psychiatry Research,168

,242?249.Weisz,N.,&Schlittmeier,S.J.(2005).Detrimental effects of irrelevant speech on serial recall of visual items are reflected in reduced visual N1 and reduced theta activity.

Cerebral Cortex,16

(8),1097?1105.Wyart,V.,&Tallon-Baudry,C.(2008).Neural dissociation between visual awareness and spatial attention.

Journal of Neuroscience,28

,2667?2679.Zhang,L.,&Liang,N.-J.(2007).A review of the irrelevant sound effect.

Psychological Science,30

(5),1139?1142.[張樂,梁寧建.(2007).無關聲音效應研究述評.

心理科學,30

(5),1139?1142.]Zhao,L.(2010).

ERPs experimental tutorial.

Nanjing,China:Dongnan University Publisher.[趙侖.(2010).

ERPs實驗教程

.南京:東南大學出版社.]