雙通道分配性注意對視聽覺返回抑制的影響*

唐曉雨 孫佳影 彭 姓

(1遼寧師范大學心理學院; 遼寧省兒童青少年健康人格評定與培養協同創新中心, 大連 116029)

(2中國民用航空飛行學院航空人因與工效學研究所, 四川 廣漢 418307)

1 前言

在日常生活中, 我們每時每刻都在接受來自外界的大量信息。注意幫助我們有選擇地加工信息,其中外源性空間注意(exogenous spatial attention)是指個體的注意被凸顯的外部信息自動地、反射性地吸引到某一或某些空間位置(Eimer & Driver, 2001)。線索?靶子范式(cue-target paradigm)是考察外源性空間注意的經典范式(Posner & Cohen, 1984), Posner和 Cohen (1984)將左/右側外周位置的方框變亮作為線索, 經過一段時間間隔(stimulus onset asynchronies,SOA)后, 在外周或中間方框內出現目標, 其中呈現在中間方框內的目標比例為60%, 以達到注意從外周位置回到中央注視點的目的, 要求被試覺察到目標時盡快做出按鍵反應。結果發現, 當SOA在約250 ms以內時, 被試對呈現在與線索相同(即：有效線索)位置上目標的反應快于相對(即：無效線索)位置, 這種促進作用被稱為“易化效應” (facilitation effect)。然而當SOA超過約300 ms時, 有效線索位置上目標的反應時顯著慢于無效線索位置, 這種抑制作用被稱為“返回抑制” (Inhibition of Return,IOR) (Posner & Cohen, 1984; Zhang, Tang, & Wu, 2013)。IOR作為外源性空間注意的一種重要機制, 有助于注意從已經搜索過的位置轉向新的空間位置, 在視覺搜索中起重要作用(Klein, 2000)。

IOR 最初在視覺領域中發現(Lupiá?ez, Milán,Tornay, Madrid, & Tudela, 1997; Pratt, Kingstone, &Khoe, 1997), 隨后在聽覺(Spence & Driver, 1998;Spence, Lloyd, Mcglone, Nicholls, & Driver, 2000)、觸覺(Mcdonald & Ward, 1999)以及跨通道(如視覺線索?聽覺目標或聽覺線索?視覺目標)領域均觀察到該效應(Reuter-Lorenz & Rosenquist, 1996)。隨著研究的深入, 研究者們開始關注雙通道視聽覺IOR效應, 即同時呈現視覺與聽覺目標時的IOR效應。當視覺與聽覺目標同時呈現時會發生視聽覺整合(audiovisual integration) (van der Stoep, van der Stigchel,& Nijboer 2015), 即個體將來自視覺和聽覺的信息整合為統一的、連貫的和有意義的知覺過程(Tang,Wu, & Shen, 2016)。前人研究發現, 整合后的雙通道視聽覺刺激的反應時會快于單通道的視覺、聽覺刺激(Talsma & Woldorff, 2005)。并且雙通道刺激比單通道刺激更加能增強上丘神經元(superior colliculus,SC)的反應, 從而更容易產生注意定向(Meredith &Stein, 1986)。另外, 視聽覺整合能夠影響外源性注意, 有研究表明與單通道線索相比, 即使在高感知/注意負荷條件下, 視聽覺線索也可能會自動吸引注意(Santangelo & Spence, 2007; Matusz & Eimer,2011)。此外, 在視覺搜索任務中, 聽覺刺激與視覺目標同時呈現時, 可以使視覺目標更加凸顯, 也就是說視聽覺整合可以提高視覺搜索效率, 更有效地調節注意捕獲(van der Burg, Olivers, Bronkhorst, &Theeuwes, 2008; van der Burg, Talsma, Olivers, Hickey,& Theeuwes, 2011)。根據視聽覺整合對外源性注意的影響, 視聽覺IOR與單通道視覺IOR效應可能也由于視聽覺整合的作用而有所不同。

van der Stoep等(2016)基于傳統的線索?靶子范式, 將呈現在左/中/右位置的目標比例設置為1:1:1, 采用 Go/No-go定位檢測任務, 要求被試對呈現在左或右側(Go-trials)的視覺、聽覺和視聽覺目標刺激進行定位檢測反應, 呈現在中間(No-go trials)的目標刺激不反應。結果發現, 在雙通道分配性注意條件下, 即同時需要對視覺與聽覺目標作出反應時, 視覺目標產生顯著的IOR效應, 視聽覺目標不存在IOR效應(van der Stoep, van der Stigchel,Nijboer, & Spence, 2016)。隨后, Tang 等(2019)進一步考察視聽覺 IOR效應, 她們采用的范式是在Posner經典的線索?靶子范式基礎上增加中央重新定向事件(central reorienting event, CRE), 即在線索與目標的中間將中央注視點變大變粗以喚起被試注意回到中心位置。結果發現, 在視覺通道選擇性注意條件下, 視聽覺IOR與視覺IOR效應沒有顯著差異; 而在雙通道分配性注意條件下, 視聽覺 IOR顯著小于視覺IOR效應。Tang等(2019)認為視覺目標與同時呈現的、被注意的聽覺目標產生視聽覺整合提高了視聽覺目標的感知覺顯著性, 從而幫助其抵抗抑制效應(Tang et al., 2019)。

目前為止僅有上述兩項研究涉及視聽覺 IOR效應, 二者結果稍有不同(Tang et al., 2019; van der Stoep et al., 2016)。Tang等(2019)發現在雙通道分配性注意條件下, 視聽覺 IOR效應雖然有所減弱,但尚存在顯著的視聽覺IOR效應; 而van der Stoep等(2016)研究中的視聽覺IOR效應消失。具體分析發現, 兩項研究所用范式存在差異, 主要在于強制周邊位置的注意回到中央注視點的方式不同。van der Stoep等(2016)將中央位置目標刺激的呈現比例定為 1/3, 而 Tang等(2019)通過增加中央線索的方式使注意回到中央注視點的概率為 100%。強制被試注意回到中央有助于促進IOR效應的產生, 因此,概率為 100%時更容易促進視聽覺 IOR效應的發生。鑒于這兩項研究所采用的將注意引回中央位置的方式差異較大, 且實驗任務有所不同：Go/No-go定位檢測任務 vs.檢測任務, 因此難以確定視聽覺IOR效應究竟是否存在以及雙通道分配性注意是否影響視聽覺IOR效應。為了平衡實驗范式的影響,本研究根據 Posner線索?靶子范式, 將中央位置目標刺激的比例定為 60%, 且采用 Go/No-go定位檢測任務, 考察雙通道分配性注意條件(實驗 1)下視聽覺IOR效應的產生與變化, 除此之外, 雙通道分配性注意與通道選擇性注意對視聽覺整合的調制存在差異(Tang et al., 2016)。在視覺通道選擇性注意條件下, 視聽覺整合對行為表現的影響可以減弱甚至消除(Wu et al., 2012)。因此, 實驗2主要考察在視覺通道選擇性注意條件下, 視聽覺IOR效應的產生與變化。本研究通過實驗1與實驗2深入探討雙通道分配性注意對視聽覺IOR效應的影響。

另外, Tang等(2019)與van der Stoep等(2016)兩項研究中關于視聽覺IOR的結果略有不同, 但兩者均認為視聽覺 IOR效應減少或消失是由于視聽覺整合的作用。因此視聽覺整合的影響因素會有可能對視聽覺IOR效應具有調節作用。上述兩項研究中, 聽覺與視覺刺激均在左/右兩側呈現(Tang et al.,2019; van der Stoep et al., 2016), 這種空間一致的位置關系可能更容易發生視聽覺整合并影響視聽覺IOR效應。有研究表明當視覺和聽覺刺激在相近空間位置同時呈現時, 視聽覺整合效應最大(Frassinetti,Bolognini, & Làdavas, 2002), 而且聽覺刺激與外周的視覺刺激在同側呈現時的視聽覺整合比聽覺刺激在中間位置呈現時更強(Gao et al., 2014)。因此,本研究實驗3將聽覺刺激在中間位置呈現, 進一步考察聽覺刺激的空間位置對視聽覺IOR效應的影響。

綜上, 本研究基于經典的線索?靶子范式, 結合van der Stoep等(2016)中的Go/No-go定位檢測任務, 操控目標刺激類型(視覺、聽覺、視聽覺)、線索有效性(有效線索、中性條件、無效線索), 通過3個實驗來考察兩個問題：(1)雙通道分配性注意對視聽覺IOR效應的影響; (2)聽覺刺激的空間位置對視聽覺IOR效應的影響。根據先前研究結果可以預期的是, 在雙通道分配性注意條件下, 外源性線索誘發的視聽覺IOR效應會小于視覺IOR效應。

2 實驗 1：雙通道分配性注意條件下的視聽覺IOR效應

2.1 研究方法

2.1.1 被試

招募遼寧省高校在校學生37名(男生8名, 女生29名), 最終剔除被試4人, 剩余有效被試33名(男生8名, 女生25名)。年齡跨度為19～27歲,M=21.06歲,SD= 1.85歲。所有被試均為右利手, 聽力、視力或矯正視力正常, 無神經或精神疾病史,無腦部損傷史。被試在實驗完成后會獲得相應的報酬。

2.1.2 實驗儀器和材料

實驗在黑暗的實驗室中進行, 視覺刺激呈現在AOC液晶顯示器上, 型號為G2770PF (270LM00009),屏幕可視尺寸為27英寸, 屏幕分辨率為 1024×768像素, 刷新率為 100 Hz。實驗程序由 E-prime 2.0軟件編程, 所有視覺刺激呈現背景為黑色, 亮度指標為0.4 cd/m2。被試距離電腦屏幕60 cm。如圖1左所示, 注視點由白色(155.2 cd/m2)的加號“+”組成(0.05°×0.05°), 外源性線索為白色方框(4° × 4°; 水平距離: 12°; 垂直距離: 6°)。視覺目標刺激為白色水平方波光柵(4° × 4°; 垂直距離:6°; 空間頻率: 1周/度), 聽覺目標刺激采用 SoundEngine Free軟件制作和處理, 為1000 Hz的純音(65 dB, 100 ms, 10 ms的rise和fall time), 聽覺刺激通過位于屏幕后兩側(左/右)的揚聲器來呈現(離中央注視點: 19°), 根據所有被試的口頭報告, 可以準確判斷左側或右側聽覺刺激。視聽覺目標刺激由同時呈現的視覺和聽覺目標刺激組成。

2.1.3 實驗程序與實驗設計

實驗階段單個試次的流程如圖1右所示：首先,注視點在屏幕的中央隨機呈現800～1000 ms, 接下來在屏幕的左/右下方隨機出現視覺線索, 呈現時間為100 ms, 經300～500 ms隨機時間間隔后(SOA為400～600 ms), 視覺目標刺激在屏幕的左/中/右下方呈現, 聽覺目標刺激從左/中/右三個方向呈現,時間為100 ms, 其中有50%的視覺刺激伴隨著聽覺刺激呈現。最后, 注視點呈現1000 ms以便被試做出相應的反應。

實驗采用3(目標刺激類型：視覺、聽覺、視聽覺) × 3(線索有效性：有效線索、中性條件、無效線索)的被試內實驗設計。包括練習和正式實驗, 練習實驗共36個試次, 正式實驗共5組, 每組180個試次, 實驗中刺激呈現在屏幕左/右下方的比例均為20% (Go trials), 呈現在中間位置的比例為 60%(No-go trials), 每個條件下60個試次。用食指既快又準地對左/右兩側呈現的目標刺激作出按鍵反應(鍵盤上的“B”), 對中央呈現的任何刺激均不反應,即中性條件為No-go刺激。每組結束后, 給予正確次數的反饋, 被試可以在每組間短暫休息, 整個實驗大約持續45分鐘。

圖1 實驗1流程示意圖

2.2 實驗結果

E-prime 2.0用于呈現刺激并記錄響應。首先計算每個被試的平均正確率(Accuracy; 簡稱 ACC)和反應時(Reaction time; 簡稱RT)。并進行3(目標刺激類型：視覺、聽覺、視聽覺) × 2(線索有效性：有效線索、無效線索)的重復測量方差分析。其次,為了比較不同條件下的相對多感覺反應增強(relative amount of multisensory response enhancement, rMRE),采用以下公式對視聽覺目標反應時(中位數)與單通道視覺、聽覺目標中最快反應時(中位數)的相對差值進行計算。rMRE值反映了與單通道視覺、聽覺目標中最短的反應時相比, 個體對視聽覺目標反應時的加速或減速的相對量, 代表多感覺反應增強效應(Tang et al., 2019; van der Stoep et al., 2016)。然后進行配對樣本t檢驗比較有效線索與無效線索位置上的rMRE。

數據分析之前, 按以下標準剔除被試：(1)個人反應時或正確率超出總平均反應時、正確率的正負3個標準差。(2)個人反應時小于100 ms或大于1000 ms。

2.2.1 正確率

被試正確反應率為 97%, 正確拒絕率為 97%,對正確率進行3(目標刺激類型：視覺、聽覺、視聽覺) × 2(線索有效性：有效線索、無效線索)的重復測量方差分析。結果如表1所示：目標刺激類型的主效應顯著,F(2, 64) = 30.63,p <0.001,= 0.48,聽覺目標正確反應率(95%)顯著小于視覺目標(97%),視覺目標正確反應率(97%)顯著小于視聽覺目標(99%), 表現出雙通道加工優勢; 線索有效性的主效應顯著,F(1, 32) = 8.77,p= 0.006,= 0.21, 有效線索(97%)顯著大于無效線索(96%)位置上的正確反應率; 目標刺激類型與線索有效性的交互作用不顯著,F(2, 64) = 2.87,p= 0.072。

2.2.2 反應時

對反應時進行3(目標刺激通道：聽覺、視覺、視聽覺) × 2(線索有效性：有效線索、無效線索)的重復測量方差分析。

結果如表1及圖2所示：目標刺激類型的主效應顯著,F(2, 64) = 51.95,p< 0.001,= 0.61, 視聽覺目標反應時(447 ms)顯著小于視覺目標(470 ms),視覺目標反應時(470 ms)顯著小于聽覺目標(508 ms),出現雙通道加工優勢; 線索有效性的主效應不顯著,F(1, 32) = 0.50,p= 0.484; 目標刺激類型和線索有效性的交互作用顯著,F(2, 64) = 21.83,p <0.001,= 0.41, 簡單效應分析結果顯示, 在聽覺目標上,有效線索位置上的反應時(M= 498 ms,SD= 73 ms)顯著小于無效線索位置(M= 519 ms,SD= 83 ms,t(32) = ?4.50,p< 0.001,d= 1.59, 95% CI = [?30.92,?11.66]), 發生易化效應; 在視覺目標上, 有效線索位置(M= 476 ms,SD= 63 ms)上的反應時顯著大于無效線索位置(M= 465 ms,SD= 70 ms,t(32) =2.279,p= 0.029,d= 0.80, 95% CI = [1.15, 20.52]),發生IOR效應; 而在視聽覺目標上, 有效線索(M=449 ms,SD= 61 ms)與無效線索(M= 446 ms,SD=65 ms)位置上的反應時差異不顯著。

同時計算各目標刺激類型的線索化效應(Cueing Effect, CE: 指有效線索位置減去無效線索位置上的平均反應時), 對各目標刺激類型的CE進行配對樣本t檢驗, 如表2所示, 發現視聽覺(M= 3 ms,SD= 25.54 ms)線索化效應顯著小于視覺(M= 11 ms,SD= 27.32 ms,t(32) = ?2.41,p= 0.022,d= 0.85,95% CI = [?14.83, ?1.26])。

表1 實驗1～3不同條件下的正確率與反應時(M±SD)

圖 2 實驗 1不同目標刺激類型和線索有效性下的平均反應時(*p < 0.05, ***p < 0.001)

表2 實驗1～3不同條件下CE、rMRE結果對比

2.2.3 相對多感覺反應增強(rMRE)

如表2及圖3所示：首先對不同線索有效性的rMRE進行單樣本t檢驗(與0進行比較), 結果顯示有效線索位置上的rMRE顯著大于0,t(32) = 7.019,p< 0.001; 無效線索位置上的rMRE也顯著大于0,t(32) = 3.242,p= 0.003。隨后對不同線索有效性進行配對樣本t檢驗發現, 有效線索與無效線索位置上的rMRE有顯著差異, 有效線索(M= 4.08%,SD=3.34 %)顯著大于無效線索位置(M= 2.38%,SD=4.21%,t(32) = 2.385,p= 0.023,d= 0.84, 95% CI =[0.24, 3.16])上的 rMRE。

圖3 實驗1不同線索有效性下的rMRE

2.3 小結

實驗 1基于線索?靶子范式, 通過操控不同目標刺激類型(視覺、聽覺、視聽覺), 線索有效性(有效線索、中性條件、無效線索)來考察雙通道分配性注意條件下的視聽覺IOR效應。結果發現, 視覺目標產生IOR效應, 而聽覺目標產生易化效應。聽覺目標未產生 IOR效應的主要原因可能是由于SOA與實驗任務。首先, 以往研究發現在SOA為1050～1350 ms之間產生跨通道(視覺線索?聽覺目標)IOR效應(Spence et al., 2000), 也就是說, 產生跨通道(視覺線索?聽覺目標)IOR效應比單通道(視覺線索?視覺目標)IOR效應需要更長的SOA (Mcdonald& Ward, 1999; Spence et al., 2000), 本實驗中的SOA(400～600 ms)不足以產生聽覺目標IOR效應。其次,本實驗中使用的檢測任務可能不適合考察聽覺目標的定向(Schmitt, Postma, & de Haan, 2000), 而辨別任務可能更適合(Roggeveen, Prime, & Ward, 2005)。另外, 在視聽覺目標上, 本實驗與van der Stoep等(2016)中均未得到視聽覺 IOR效應, 而 Tang等(2019)中產生視聽覺目標IOR效應(Tang et al., 2019;van der Stoep et al., 2016)。關于影響視聽覺IOR效應產生的因素, 具體將在總討論中進一步論述。

除此之外, 本實驗中有效線索位置上的視聽覺整合大于無效線索位置(如圖 3)。而以往研究均發現外源性注意減弱了有效線索位置上的視聽覺整合(彭姓, 常若松, 李奇, 王愛君, 唐曉雨, 2019;Tang et al., 2019; van der Stoep et al., 2016)。關于外源性注意對視聽覺整合的調節作用, 具體將在總討論中進一步論述。

3 實驗2：視覺通道選擇性注意條件下的視聽覺IOR效應

3.1 研究方法

3.1.1 被試

共招募 32名遼寧省高校在校學生(男生 7名,女生25名), 最終剔除被試2人, 剩余有效被試30人(男生7名, 女生23名), 年齡跨度為19～27歲,M=22.70歲,SD= 2.29歲。所有被試均為右利手, 聽力正常, 視力或矯正視力正常, 無神經或精神疾病史,無腦部損傷史。被試在實驗完成后會獲得相應的報酬。

3.1.2 實驗儀器和材料

實驗2中視覺刺激呈現在DELL液晶顯示器上,型號為 E2213c, 屏幕可視尺寸為 21英寸, 刷新率為75 Hz, 其他與實驗1相同。

3.1.3 實驗程序與實驗設計

實驗2中聽覺刺激伴隨50%的視覺刺激從左右兩側的揚聲器發出(離中央注視點: 19°), 根據所有被試的口頭報告, 可以準確判斷左側或右側聽覺刺激。實驗任務與實驗1不同, 要求被試忽略與視覺刺激同時呈現的聲音, 用食指既快又準地對左右兩側呈現的視覺目標刺激作出按鍵反應(鍵盤上的“B”), 對中央呈現的視覺刺激不反應, 整個實驗大約持續45分鐘, 其他與實驗1相同。

實驗2采用2(目標刺激類型：視覺、視聽覺) ×3(線索有效性：有效線索、中性條件、無效線索)的實驗設計。包括練習和正式實驗, 練習實驗共36個試次, 正式實驗共 5組, 每組 180個試次, 每個條件下60個試次, 其他與實驗1相同。

3.2 實驗結果

實驗2只有視覺刺激一種單通道目標, 因此通過以下公式來計算rMRE (Tang et al., 2019)。然后進行配對樣本t檢驗比較有效線索與無效線索位置上的rMRE, 其他與實驗1相同。

剔除被試標準同實驗1。

3.2.1 正確率

所有被試正確反應率與正確拒絕率均為 99%,對正確率進行 2(目標刺激類型：視覺、視聽覺) ×2(線索有效性：有效線索、無效線索)的重復測量方差分析。

結果顯示目標刺激類型的主效應顯著,F(1, 29) =5.50,p= 0.026,= 0.16, 視聽覺目標(99%)顯著大于視覺目標(98.5%)的正確率, 表現出雙通道的加工優勢; 線索有效性的主效應不顯著,F(1, 29) =0.25,p= 0.623, 兩者的交互作用也不顯著,F(1, 29) =0.69,p= 0.614。

3.2.2 反應時

對反應時進行2(目標刺激類型：視覺、視聽覺) ×2(線索有效性：有效線索、無效線索)的重復測量方差分析。

如表1和圖4(a)所示, 目標刺激類型的主效應顯著,F(1, 29) = 32.94,p< 0.001,= 0.53, 對視聽覺目標(410 ms)的反應速度要比視覺目標(427 ms)快; 線索有效性的主效應顯著,F(1, 29) = 10.54,p<0.003,= 0.27, 有效線索位置上的平均反應時(425 ms)比無效線索(412 ms)慢, 證明了IOR效應的產生; 目標刺激類型和線索有效性的交互作用不顯著,F(1, 29) = 3.36,p= 0.077。視覺與視聽覺目標的IOR效應量沒有顯著差異。

同時計算各目標刺激類型的 CE, 并對各目標刺激類型的CE進行配對樣本t檢驗, 如表2所示,發現視覺目標(M= 9.97 ms,SD=22.93 ms)與視聽覺目標(M= 17.56 ms,SD= 26.22 ms)抑制量沒有顯著差異,t(29) = 1.83,p= 0.077。

3.2.3 相對多感覺反應增強(rMRE)

首先對線索有效性的不同條件進行單樣本t檢驗, 如表2與圖4(b)所示, 在有效線索[t(29) = 2.33,p= 0.026]與無效線索位置上rMRE [t(29) = 3.50,p= 0.002]均顯著大于0。配對樣本t檢驗發現, 有效線索(M= 2.01%,SD= 4.69%)與無效線索(M= 3.42,SD= 5.35%)位置上的rMRE沒有顯著差異,t(29) =?1.37,p= 0.178。

3.3 小結

實驗2目的在于考察視覺通道選擇性注意條件下的視聽覺 IOR效應。本實驗與 Tang等(2019)均發現視覺與視聽覺目標產生IOR效應, 且二者無顯著差異(Tang et al., 2019); 而實驗1中在雙通道分配性注意條件下, 未產生視聽覺 IOR效應。另外,本實驗與 Tang等(2019)中均發現有效線索位置與無效線索位置上的視聽覺整合沒有顯著差異(Tang et al., 2019), 而實驗1中, 外源性注意增強了有效線索位置上的視聽覺整合。基于實驗1與實驗2的結果, 雙通道分配性注意會影響視聽覺 IOR效應,外源性注意對視聽覺整合具有調節作用。具體將在總討論中進一步討論。

圖4 實驗2不同條件下的平均反應時和rMRE

4 實驗3：聽覺刺激的空間位置對視聽覺IOR效應的影響

4.1 研究方法

4.1.1 被試

共招募39名遼寧省高校在校學生(男生12名,女生27名), 最終剔除被試1人, 剩余有效被試38人(男生12名, 女生26名), 年齡跨度為18～28歲,M= 22.18歲,SD= 2.61歲。所有被試均為右利手,聽力正常, 視力或矯正視力正常, 無神經或精神疾病史, 無腦部損傷史。被試在實驗完成后會獲得相應的報酬。

4.1.2 實驗儀器和材料

同實驗1。

4.1.3 實驗程序與實驗設計

實驗3中聽覺刺激從屏幕后中央的揚聲器呈現,根據被試的口頭報告, 能準確的判斷聽覺刺激從中央位置發出, 要求被試忽略與50%視覺刺激同時呈現的聲音, 用食指既快又準地對左右兩側呈現的視覺目標刺激作出按鍵反應(鍵盤上的“B”), 對中央注視點正下方呈現的刺激不反應, 整個實驗大約持續40分鐘。

實驗3采用2(目標刺激類型：視覺、視聽覺) ×3(線索有效性：有效線索、中性條件、無效線索)的被試內實驗設計。包括練習和正式實驗, 練習實驗共24個試次, 正式實驗共5組, 每組160個試次,每個條件下80個試次, 其他與實驗2相同。

4.2 實驗結果

數據分析與剔除被試標準同實驗1。

4.2.1 正確率

被試正確反應率為 98%, 正確拒絕率為 98%,對正確率進行 2(目標刺激類型：視覺、視聽覺) ×2(線索有效性：有效線索、無效線索)的重復測量方差分析。

如表 1所示, 目標刺激類型主效應顯著,F(1,37) = 12.45,p= 0.001, ηp2= 0.25, 視聽覺目標(96%)顯著大于視覺目標(95%)的正確反應率, 表現出雙通道加工優勢; 線索有效性主效應不顯著,F(1, 37) =0.73,p= 0.396; 目標刺激類型與線索有效性交互作用也不顯著,F(1, 37) = 2.55,p= 0.119。

4.2.2 反應時

對反應時進行2(目標刺激類型：視覺、視聽覺) ×2(線索有效性：有效線索、無效線索)的重復測量方差分析, 具體結果見表1與圖5(a)。目標刺激類型的主效應顯著,F(1, 37) = 46.40,p< 0.001, ηp2= 0.55,視覺目標的平均反應時(441 ms)顯著大于視聽覺目標的平均反應時(416 ms); 線索有效性的主效應顯著,F(1, 37) = 8.80,p= 0.005, ηp2= 0.19, 有效線索位置上的平均反應時(438 ms)顯著大于無效線索位置(419 ms), 表明產生 IOR效應。然而, 目標刺激類型和線索有效性的交互作用并不顯著,F(1, 37) =0.40,p= 0.528, 說明視覺目標和視聽覺目標的IOR之間沒有顯著差異。

同時計算各目標刺激類型下的 CE, 并對其進行配對樣本t檢驗, 如表2所示, 發現視覺(M= 20 ms,SD= 44.82 ms)與視聽覺目標(M= 17 ms,SD=39.06 ms)的抑制量不存在顯著差異,t(37) = ?0.63,p= 0.528。

圖5 實驗3不同條件下的平均反應時和rMRE

4.2.3 相對多感覺反應增強(rMRE)

首先對線索有效性的不同條件進行單樣本t檢驗, 如表2及圖5(b)所示, 在有效線索(t(37) = 5.36,p< 0.001)與無效線索位置上的rMRE (t(37) = 4.62,p< 0.001)均顯著大于0。配對樣本t檢驗發現, 有效線索(M= 4.75%,SD= 5.47%)與無效線索位置上的rMRE (M= 4.89%,SD= 6.52%)不存在顯著差異,t(37) = ?0.13,p= 0.893。

4.3 小結

實驗3主要考察聽覺刺激的空間位置對視聽覺IOR效應的影響。對比實驗2與實驗3結果發現, 在視覺通道選擇性注意條件下, 無論聽覺刺激在中央還是外周位置呈現, 視覺IOR效應與視聽覺IOR效應均沒有顯著差異(見表 2)。且有效線索與無效線索位置上的視聽覺整合均沒有顯著差異。基于此,本研究未能觀察到聽覺刺激的空間位置對視聽覺IOR效應的影響, 具體原因將在總討論中進一步論述。

5 總討論

本研究基于線索?靶子范式, 結合Go/No-go定位檢測任務, 操縱目標刺激類型(視覺、聽覺、視聽覺)與線索有效性(有效線索、中性條件、無效線索)兩個自變量, 通過3個實驗來考察雙通道分配性注意對視聽覺IOR效應的影響。研究結果發現, 在雙通道分配性注意條件下, 視聽覺目標沒有產生IOR效應; 在視覺通道選擇性注意條件下, 無論聽覺刺激呈現在中央還是外周位置, 視覺與視聽覺目標IOR效應均無顯著差異。結果表明, 雙通道分配性注意減弱視聽覺IOR效應。

5.1 雙通道分配性注意對視聽覺IOR效應的影響

在反應時結果上, 視聽覺目標的反應時均顯著快于視覺、聽覺目標, 即產生冗余信號效應, 表明了雙通道信息的加工優勢(見表 1), 這與以往研究結果一致(Tang et al., 2019; van der Stoep et al.,2016)。另外, 在視覺通道選擇性注意條件下(實驗2與實驗3), 本研究與Tang等(2019)均發現顯著的視聽覺IOR效應且其大小與視覺IOR效應沒有顯著差異。在雙通道分配性注意條件下(實驗1), 本研究與 van der Stoep等(2016)均未發現顯著的視聽覺IOR效應(van der Stoep et al., 2016), Tang等(2019)中發現顯著的視聽覺IOR效應, 且其顯著小于視覺IOR效應(Tang et al., 2019)。

本研究與 Tang等(2019)均發現在雙通道分配性注意條件下, 視聽覺 IOR效應會減弱甚至消失,表明雙通道分配性注意可能是影響視聽覺 IOR效應的關鍵因素。以往研究發現在雙通道分配性注意條件下, 被注意的聽覺目標與視覺目標同時呈現產生視聽覺整合, 這會增強該視覺目標的感知覺顯著性, 使視覺目標從復雜的環境中凸顯出來(彭姓 等,2019; van der Burg et al., 2011)。而IOR是一種使注意從舊(有效線索)位置轉向新(無效線索)位置以促進視覺搜索效率的機制(Klein, 1988; Klein, 2000;Posner, Rafal, Choate, & Vaughan, 1985), 會減弱在有效線索位置上目標的感知覺顯著性(Prime, Tata,& Ward, 2003; Satel, Hilchey, Wang, Story, & Klein,2013)。也就是說, 視覺目標與同時呈現的、被注意的聽覺目標發生視聽覺整合提高了視聽覺目標的感知覺顯著性, 從而幫助視聽覺目標抵抗抑制效應(Tang et al., 2019)。當通過視聽覺整合增強的感知覺顯著性能力足夠強, 能夠與IOR效應導致的感知覺顯著性降低相抗衡時, 視聽覺IOR效應就可能消失。但本研究在視覺通道選擇性注意條件下, 發現了顯著的視聽覺IOR效應且其大小與視覺IOR效應并無顯著差異。這可能是因為選擇性注意會增強對所選擇信息的感覺神經反應并抑制無關反應(Beck& Kastner, 2009; Mishra, Bavelier, & Gazzaley, 2012)。在特定通道選擇性注意條件下, 視聽覺整合效應可以減弱甚至消失(Mozolic, Hugenschmidt, Peiffer, &Laurienti, 2008)。當注意選擇性地處理與視覺目標相關的信息時, 對此信息的神經反應被增強, 而對聽覺信息的神經反應則被抑制。因此, 在視覺通道選擇性注意的條件下視聽覺整合效應可能減弱, 導致使視聽覺整合增強感知覺顯著性的能力降低, 幫助視聽覺目標抵抗抑制效應的能力也隨之降低, 進而得到與視覺IOR無差異的顯著的視聽覺目標IOR效應。

另外, 在雙通道分配性注意條件下, 本研究與Tang等(2019)中關于視聽覺IOR效應產生的結果不同, 其可能是受以下兩點因素影響：(1)實驗范式中強制周邊位置的注意回到中央注視點的方式。本研究將中央位置目標刺激的呈現設置為一定比例(60%), van der Stoep等(2016)將中央位置目標刺激的呈現比例定為 1/3, 而 Tang等(2019)中采用加入中央重新定向線索的方式使注意回到中央注視點的概率為 100%。有研究表明增加中央線索的方式能夠促進 IOR效應的產生(Pratt & Fischer, 2002;Reuter-Lorenz & Rosenquist, 1996), 本研究與 van der Stoep等(2016)中采用將中央位置目標刺激的呈現設置為一定比例的方式可能不易產生視聽覺IOR效應。(2)實驗任務。本研究與van der Stoep等(2016)均采用 Go/No-go定位檢測任務, 而 Tang等(2019)中采用簡單的檢測任務。有研究表明, 相比任務難度較簡單的檢測任務, 辨別任務中視覺IOR的出現不僅需要更長的 SOA而且其效應量更小(Chica, Lupianez, & Bartolomeo, 2006; Lupiá?ez et al.,1997; Lupiá?ez, Ruz, Funes, & Milliken, 2007)。因此,根據以往研究中實驗任務對視覺 IOR效應的影響,其可能也對視聽覺 IOR效應產生影響, 相比 Tang等(2019)中的檢測任務, 本研究與van der Stoep等(2016)中的 Go/No-go定位檢測任務可能更難誘發出視聽覺目標IOR效應(Tang et al., 2019; van der Stoep et al., 2016)。

此外, 本研究未觀察到在視覺通道選擇性注意條件下, 聽覺刺激的空間位置對視聽覺IOR效應的影響。根據Gao等人的ERP (Event-related Potential)研究, 在N1 (180～200 ms)成分上, 聽覺刺激與視覺刺激在同側呈現時的視聽覺整合比聽覺刺激在中間位置呈現時更強, 且在刺激后約 190 ms達到峰值(Gao et al., 2014)。因此, 聽覺刺激的空間位置對視聽覺整合的影響可能僅體現在早期ERP成分上,在行為學實驗中無法觀察到。還可能是由于體現聽覺刺激空間位置影響視聽覺整合的早期 ERP成分不是視聽覺IOR效應的關鍵神經標記, 所以我們未能觀察到聽覺刺激的空間位置通過調節視聽覺整合進而影響視聽覺 IOR效應的現象。未來可通過ERP技術進一步驗證聽覺刺激的空間位置、視聽覺整合以及視聽覺IOR效應的神經聯結。

5.2 外源性注意對視聽覺整合的調節作用

當前研究結果發現, 在雙通道分配性注意條件下, 有效線索位置上的視聽覺整合顯著大于無效線索位置(見圖 3); 在視覺通道選擇性注意條件下,有效線索與無效線索位置上的視聽覺整合沒有顯著差異(見圖 4(b)與圖 5(b) )。而 van der Stoep等(2016)與Tang等(2019)發現在雙通道分配性注意條件下, 有效線索位置上的視聽覺整合顯著小于無效線索位置(Tang et al., 2019; van der Stoep et al., 2016)。彭姓等(2019)在與本研究相同的SOA (400～600 ms)條件下也發現, 有效線索位置上的視聽覺整合顯著小于無效線索位置。

基于上述對比結果, 以往研究均發現外源性注意減弱了有效線索位置上的視聽覺整合(彭姓 等, 2019;Tang et al., 2019; van der Stoep et al., 2016), 而本研究發現外源性注意增強了有效線索位置上的視聽覺整合。雖然本研究與Tang等(2019)、彭姓等(2019)在相同的 SOA (400～600 ms)條件下得到不同的結果, 但并無法完全排除 SOA對外源性注意調節視聽覺整合的影響。未來的研究還需要進一步調控SOA變量, 繼續考察在不同SOA條件下外源性注意對視聽覺整合效應的調節作用。另外, 目前關于外源性注意對視聽覺整合的調節機制, van der Stoep等人在不同SOA條件下提出三種不同的理論假說, 包括空間不確定性、感知覺敏感度以及感覺通道間信號強度差異假說(van der Stoep et al., 2015; van der Stoep et al., 2016)。根據空間不確定性假說, 不論在短還是長 SOA 條件下, 目標刺激呈現位置的空間不確定性很高, 線索提供的空間定向信息尤為重要, 有效線索位置上外源性線索與視聽覺目標均提供空間定向信息, 當線索的空間定向重要性提高時, 視聽覺整合的重要性降低, 導致有效線索位置上的視聽覺整合可能減少(彭姓 等, 2019; Tang et al.,2019; van der Stoep et al., 2016)。另外, 根據感覺通道間信號強度差異假說, 在長SOA條件下, 以往研究中視覺產生IOR效應, 聽覺未產生IOR效應時,有效線索位置上視、聽感覺通道間加工速度的差異增大, 兩者之間的信號強度差異也增大, 導致有效線索位置上的視聽覺整合效應可能減小(彭姓 等,2019; Tang et al., 2019; van der Stoep et al., 2016)。

雖然本研究與以往研究在相同 SOA條件下關于外源性注意調節視聽覺整合的結果不同(彭姓等, 2019; Tang et al., 2019; van der Stoep et al., 2016),但在一定程度上支持van der Stoep等人在短SOA(200～250 ms)條件下提出的感知覺敏感度假說。根據該假說, 視覺產生易化效應時, 外源性線索提高有效線索位置上的感知覺敏感度(van der Stoep et al.,2015), 從而相對增強呈現在該位置上目標的感知強度(Carrasco, 2011)。基于視聽覺整合加工中的反比效應原則(principle of inverse effectiveness), 即高強度目標刺激引起的視聽覺整合更小, 低強度目標刺激引起的視聽覺整合更大(Senkowski, Saint-Amour,H?fle, & Foxe, 2011), 最終得到在短SOA條件下有效線索位置上視聽覺整合減小的結果。而有研究認為在長SOA條件下, 且產生IOR效應時, 有效線索位置上的感知覺敏感度下降(Slagter, Prinssen, Reteig,& Mazaheri, 2016), 從而使有效線索位置上目標刺激的感知強度減弱。因此, 本研究在長SOA (400～600 ms)條件下, 有效線索位置上的低強度目標刺激引起的視聽覺整合更大。目前關于外源性注意對視聽覺整合的調節作用, 基于不同的理論假說有不同的解釋(van der Stoep et al., 2015; van der Stoep et al., 2016)。但關于外源性注意對視聽覺整合的調節作用的具體機制尚不清楚, 未來可以通過腦成像技術為其提供神經機制的實驗數據支持, 并進一步探索新的理論假說以全面解釋外源性注意對視聽覺整合的調節作用。

6 結論

在雙通道分配性注意條件下, 視聽覺目標沒有產生IOR效應; 在視覺通道選擇性注意條件下, 無論聽覺刺激呈現在左/右側還是中央位置, 視覺與視聽覺目標 IOR效應均無顯著差異。本研究表明,雙通道分配性注意減弱視聽覺IOR效應。