內外源性空間注意對多感覺整合的影響*

唐曉雨 佟佳庚 于 宏 王愛君

內外源性空間注意對多感覺整合的影響

唐曉雨佟佳庚于 宏王愛君

(遼寧師范大學心理學院; 遼寧省兒童青少年健康人格評定與培養協同創新中心, 大連 116029) (蘇州大學 心理學系, 心理與行為科學研究中心, 蘇州 215123)

本文采用內?外源性空間線索靶子范式, 操控內源性線索有效性(有效線索、無效線索)、外源性線索有效性(有效線索、無效線索)、目標刺激類型(視覺刺激、聽覺刺激、視聽覺刺激)三個自變量。通過兩個不同任務難度的實驗(實驗1: 簡單定位任務; 實驗2: 復雜辨別任務)來考察內外源性空間注意對多感覺整合的影響。兩個實驗結果均發現外源性空間注意顯著減弱了多感覺整合效應, 內源性空間注意沒有顯著增強多感覺整合效應; 實驗2中還發現了內源性空間注意會對外源性空間注意減弱多感覺整合效應產生影響。結果表明, 與內源性空間注意不同, 外源性空間注意對多感覺整合的影響不易受任務難度的調控; 當任務較難時內源性空間注意會影響外源性空間注意減弱多感覺整合效應的過程。由此推測, 內外源性空間注意對多感覺整合的調節并非彼此獨立、而是相互影響的。

內源性空間注意, 外源性空間注意, 多感覺整合, 內?外源性空間線索靶子范式, 任務難度

1 前言

在日常生活中, 我們每天都會接收大量來自視覺、聽覺、觸覺等不同感覺通道的刺激, 這些刺激彼此之間會相互影響。多感覺整合(Multisensory Integration, MSI)的過程就是將來自不同通道的刺激信息整合為一個統一的、連貫的和有意義的感知覺刺激(Talsma et al., 2010; Tang et al., 2016)。研究發現多感覺通道刺激比單通道刺激更容易吸引注意(Lunn et al., 2019)。注意是過濾掉無關信息, 使得與任務有關的信息優先進入到高級處理的選擇機制(Meyer et al., 2018)。Posner (1980)將空間注意分為內源性空間注意(endogenous spatial attention)和外源性空間注意(exogenous spatial attention)。其中, 內源性空間注意通常利用指向性線索為即將出現的目標提供空間位置信息, 是自上而下、由目標驅動、受主觀意愿控制的注意。而外源性空間注意通常是由短暫并且明顯的線索引起的, 是一種自下而上、由刺激驅動、可以自動捕獲注意(Hopfinger & West, 2006; Peelen et al., 2004)。

前人就內源性空間注意對多感覺整合的影響進行了研究。其中一類研究是利用指導語, 引導被試將注意集中在一個或者多個空間位置, 即要求被試僅對注意位置的靶刺激進行反應, 而對非注意位置的靶刺激不反應。以Talsma等(2005)研究為例, 他們發現在中央區電極上, 注意位置的多感覺整合效應要顯著大于非注意位置。另一類研究采用內源性線索?靶子范式(cue-target paradigm), 唐曉雨和吳英楠等(2020)利用箭頭作為內源性線索, 該線索對隨后出現在注視點兩側目標刺激的空間位置有80%的預測作用, 例如當內源性線索的箭頭指向左側時, 隨后出現的目標刺激有80%的可能性出現在左側; 被試對有效線索(valid cue:目標出現的位置與線索指向的位置一致)和無效線索(invalid cue:目標出現的位置與線索指向的位置不一致)兩個位置的刺激均進行按鍵反應。結果發現, 有效線索位置的多感覺整合效應顯著大于無效線索位置的多感覺整合效應(唐曉雨, 吳英楠等, 2020)。盡管上述兩類研究采用了不同的空間注意誘導方式, 但得到的結果一致：內源性空間注意會增強注意位置的多感覺整合效應。

然而, 關于外源性空間注意對多感覺整合影響的研究卻發現：外源性空間注意會減弱多感覺整合效應(van der Stoep et al., 2015; van der Stoep et al., 2016)。van der Stoep等(2015)首次采用經典的外源性線索?靶子范式, 把CTOA (cue target onset asynchronies)即線索與目標之間的時間間隔設定為200～250 ms, 來研究外源性空間注意對多感覺整合的影響。結果發現有效線索條件下的多感覺整合效應要小于無效線索條件, 說明外源性空間注意減弱了線索位置的多感覺整合效應。在他們隨后的研究中(van der Stoep et al., 2016), 把聽覺線索調整為視覺線索的同時將CTOA延長至350～450 ms之間, 仍然發現有效線索條件下的多感覺整合顯著小于無效線索條件。說明在兩種不同的CTOA情況下, 外源性空間注意均減弱了注意位置的多感覺整合效應。

以往研究分別探討了內源性空間注意和外源性空間注意對多感覺整合的影響, 發現內源性空間注意會增強多感覺整合(Senkowski et al., 2005; Fairhall & Macaluso, 2010; Talsma et al., 2007; Talsma & Woldorff, 2005); 而外源性空間注意會減弱多感覺整合(van der Stoep et al., 2015; van der Stoep et al., 2016)。那么采用內?外源性空間線索靶子范式, 相繼呈現內外源性線索在同一范式中同時誘發內外源性空間注意時, 是否仍然能夠得到內源性(外源性)空間注意增強(減弱)多感覺整合效應的結果呢？可能的結果有兩類：

(1)在內源性線索后引入的外源性線索誘發外源性空間注意減弱多感覺整合效應, 但外源性空間注意并不會影響內源性空間注意增強多感覺整合效應, 內源性空間注意增強多感覺整合效應的結果仍然與前人一致沒有任何改變。即, 內源性空間注意和外源性空間注意影響多感覺整合的過程是彼此獨立的。這與先前研究提出的兩種空間注意在性質是存在很大差異的結果是相符合的(Ana et al., 2013; Kosslyn et al., 2001), 比如：內源性空間注意比外源性空間注意更容易受到干擾刺激的影響(Yantis & Jonides, 1990); 外源性空間注意的線索化效應維持的時間要短于內源性空間注意(Busse et al., 2008)等。(2)外源性線索誘發的外源性空間注意減弱多感覺整合效應, 會影響內源性空間注意增強多感覺整合效應, 使內源性空間注意增強多感覺整合效應的程度會減弱甚至消失, 反之則亦然。也就是說, 內源性空間注意和外源性空間注意影響多感覺整合的過程是彼此聯系的。從兩種空間注意的關系來看也是支持空間注意是相互聯系的(Grubb et al., 2015; Peelen et al., 2004)。Posner (1980)提出內外源性空間注意是屬于同一個注意系統的兩種不同方式; fMRI (functional magnetic resonance imaging)的研究也發現內外源性空間注意均會激活額?頂網絡(fronto-parietal network) (Peelen et al., 2004)。然而, Berger等(2005)提出內外源性空間注意的相互聯系也受實驗任務難度的制約。在簡單任務條件中, 例如：辨別P和*兩個刺激中目標P的空間位置, 外源性空間注意的線索化效應沒有對內源性空間注意的線索化效應產生影響; 而在復雜任務中, 例如：辨別Q和O兩個刺激中目標Q的空間位置, 外源性空間注意的線索化效應對內源性空間注意的線索化效應產生影響。基于上述研究推測內源性空間注意和外源性空間注意調節多感覺整合效應的過程并非獨立而是相互影響的, 但可能受到任務難度的影響。

本文通過把內外源線索整合到同一個空間線索化范式來驗證內外源性空間注意如何調節多感覺整合的兩種假設。在Berger等(2005)的線索化范式的基礎上, 操控內源性線索有效性(有效線索、無效線索)、外源性線索有效性(有效線索、無效線索)和目標刺激類型(視覺刺激、聽覺刺激、視聽覺刺激)三個自變量, 通過兩個實驗來考察內外源性空間注意對多感覺整合的影響。其中, 實驗1為簡單定位任務, 而實驗2為復雜的辨別任務, 以考察內外源性空間注意對多感覺整合的影響。

2 實驗1：簡單定位任務

2.1 研究方法

2.1.1 被試

一方面, 基于先前關于內外源性空間注意研究中所用到的樣本量(Berger et al., 2005; Hopfinger & West, 2006); 另一方面, 采用軟件GPower_3.1.7對實驗計劃樣本量進行估算, 基于相關研究中報告的效果量以及期望的功效值(0.8)計算樣本量。最終實驗的計劃樣本量為16～36人, 37名遼寧師范大學在校學生(7名男生, 30名女生)參與到實驗1中, 年齡為18～26歲, 平均年齡為21.3 ± 2.4歲。所有被試均為右利手, 聽力正常, 視力或矯正視力正常, 沒有嚴重疾病歷史記錄。在實驗結束后, 會給予被試一定的報酬。

2.1.2 實驗儀器和材料

實驗程序由軟件E-Prime 1.1編制, 在AOC液晶顯示器呈現視覺刺激, 顯示器型號為G2770PF (270LM00009), 顯示器的分辨率為1024×768, 背景顏色為黑色, 刷新率60 Hz, 被試端坐在距離顯示器屏幕中心位置60 cm處。注視屏：注視點是由白色(RGB: 255, 255, 255) “+”號組成的(視角0.05° × 0.05°), 呈現時間為600～800 ms; 在中央注視點左/右兩個水平方向出現白色正方形方框(4°×4°, 距離中央注視點12°)。刺激屏：包括視覺刺激、聽覺刺激、視聽覺刺激三種。其中, 視覺刺激是隨機出現在水平方向的白色正方形框內的五角星號(2°×2°, 距離中央注視點12°), 呈現時間為100 ms; 使用SoundEngine Free軟件制作聽覺刺激(頻率為1600 Hz的純音, 響度為65 dB, 時間為100 ms)。視聽覺刺激是由兩個單通道的視覺和聽覺刺激同時呈現在屏幕的左/右側, 呈現時間為100 ms (于宏, 2019)。

2.1.3 實驗設計與實驗程序

實驗中使用2 (內源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索) × 3 (目標刺激類型：視覺刺激、聽覺刺激、視聽覺刺激)的被試內設計。包括練習和正式實驗, 練習實驗包括24個試次。正式實驗包括10組, 每組120個試次。整個實驗1200個試次, 大約進行45分鐘左右。

實驗1的試次流程如圖1(b)所示：首先, 注視點“+”會出現在屏幕中間, 呈現時間為600～800 ms。與此同時, 兩個白色正方形方框會出現在屏幕的左右兩側。隨后在屏幕的中間位置會出現內源性空間線索“<<”或“>>”, 呈現時間為200 ms, 線索對接下來目標刺激位置的預測性是80%, 即接下來的目標刺激是有80%的可能出現在內源空間線索指向的位置。在300 ms的空屏之后, 加粗加亮的外源性空間線索出現在左/右兩個水平方向的方框的外圍并且對目標刺激的位置沒有預測作用, 呈現時間為200 ms。在間隔150 ms之后, 呈現目標刺激屏, 目標呈現時間為100 ms。被試的實驗任務就是既快又準地判斷目標刺激的空間位置。當以上三種類型的目標刺激出現在屏幕左側時, 按鍵盤的“F”鍵; 當三種類型的目標刺激出現在屏幕右側時, 按鍵盤的“J”鍵, 被試在1000 ms內做出按鍵反應。如果被試在1000 ms內沒有做出反應, 則會進入下一個試次。120個試次之后, 反饋本組實驗結果, 即會顯示這一組中正確的個數。在適當的休息之后, 被試按“B”鍵進行下一組實驗(于宏, 2019)。

2.1.4 數據分析

用于剔除數據的標準：(1)在不同的實驗條件下被試的正確率均要高于80%。此階段剔除1名被試。(2)沒有在規定時間內做出按鍵反應、錯誤反應和反應時間小于100 ms或者大于1000 ms的數據剔除。最終刪除的數據量占總數據的2.44%。接下來對數據做進一步分析。首先, 每種條件下反應時的分析使用的是該條件的中位數(median)。其次, 比較每種條件下的相對多感覺反應增強量(relative amount of multisensory response enhancement, rMRE), 如公式(a)所見, rMRE反映的是多感覺通道刺激(視聽覺刺激)與單通道目標刺激中(視覺刺激、聽覺刺激)反應較快的刺激相比, 多感覺通道刺激反應時的增加量和減少量, 表明多感覺反應增強效應(彭姓等, 2019)。

圖1 實驗1流程示意圖

注: 圖1(a)為目標刺激呈現位置的示意圖, 圖1(b)為單個試次的流程圖。右圖中內源性空間線索對接下來的目標刺激的空間位置有80%的預測性, 而外源性空間線索對目標刺激位置沒有預測性。目標刺激(V/A/AV)分別表示視覺刺激, 聽覺刺激和視聽覺刺激。

另一種測量多感覺整合的統計指標為對競爭模型的違反(race model inequality, RMI)。這種計算方法是Miller (1982)提出的。其原理是多感覺通道刺激(視聽覺刺激)的反應時要快于任一單通道刺激(視覺刺激、聽覺刺激)反應時, 可能的原因是被試對多感覺通道刺激(視聽覺刺激)中先達到感覺閾限的單通道刺激(視覺刺激、聽覺刺激)進行反應。這種現象就被稱為“統計促進(statistical facilitation)”。以多感覺通道刺激(視聽覺刺激)中反應較快的單通道刺激(視覺刺激、聽覺刺激)形成的概率累計分布函數(Cumulative distribution function, CDF)曲線為“race model”。當多感覺通道刺激形成的概率累計分布函數顯著大于“race model”這條理論曲線, 說明多感覺通道刺激發生了整合現象(Meyer et al., 2018; Miller, 1982)。而多感覺通道刺激形成的概率累計分布函數顯著小于“race model”的理論曲線, 則說明在該時間段發生了多感覺抑制過程。其計算方法如公式(b)所示(van der Stoep et al., 2015)。

其中,(RT<)代表的是聽覺刺激在給定的時間范圍內做出反應的概率; 同理,(<)代表的是視覺刺激在給定的時間范圍內反應的概率。通過公式(b)計算出race model的概率累計分布函數曲線。在給定的時間范圍內, 與實際的多感覺通道的概率累計分布函數曲線進行比較。當實際多感覺通道的概率累計分布曲線顯著地大于race model的累計曲線, 就可以說明發生了多感覺整合現象。

2.2 實驗結果與分析

2.2.1 正確率

對正確率進行2 (內源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索) × 3 (目標刺激類型：視覺刺激、聽覺刺激、視聽覺刺激)的重復測量方差分析。正確率的結果如表1所示。目標刺激類型的主效應顯著,(2, 70) = 46.21,? 0.001, η= 0.569。視聽覺刺激的正確率(98.6%)高于視覺刺激的正確率(97.5%)和聽覺刺激的正確率(95.8%)。內源性線索有效性主效應顯著,(1, 35) = 17.53,0.001, η= 0.334, 有效線索位置目標反應的正確率(97.8%)比無效線索位置目標反應的正確率(96.8%)高。外源性線索有效性主效應顯著,(1, 35) = 86.88,? 0.001, η= 0.713, 有效線索位置目標反應的正確率(98.8%)比無效線索位置目標反應的正確率(95.8%)高。三因素的交互作用顯著,(2, 70) = 3.80,= 0.027, η= 0.098。簡單效應分析表明, 在內源性線索和外源性線索有效的條件下, 視聽覺目標的正確率(99.36%)顯著高于視覺目標的正確率(98.75%,= 0.013), 視聽覺目標的正確率(99.36%)與聽覺目標的正確率差異不顯著(98.97%,= 0.086), 視覺目標的正確率(98.75%)與聽覺目標的正確率差異也不顯著(98.97%,= 0.900)。在內源性線索有效而外源性線索無效的條件下, 視聽覺目標的正確率(98.27%)顯著高于聽覺目標的正確率(97.19%,= 0.006), 聽覺目標的正確率(97.19%)顯著高于視覺目標的正確率(94.33%,= 0.006)。在內源性線索無效而外源性線索有效的條件下, 視聽覺目標的正確率(99.41%)顯著高于聽覺目標的正確率(98.53%,= 0.003), 聽覺目標的正確率(98.53%)顯著高于視覺目標的正確率(98.02%,= 0.004)。在內源性線索和外源性線索無效的條件下, 視聽覺目標的正確率(97.33%)顯著高于視覺目標的正確率(96.17%,= 0.006), 視覺目標的正確率(96.17%)顯著高于聽覺目標的正確率(91.28%,= 0.007)。

表1 實驗1不同條件下的反應時(RT/ms)和正確率(ACC/%) (M ± SD)

注：ACC代表正確率(Accuracy, %), RT代表反應時(Reaction time, ms)。

2.2.2 反應時

對反應時進行2 (內源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索) × 3 (目標刺激類型：視覺刺激、聽覺刺激、視聽覺刺激)的重復測量方差分析。

結果如表1所示。內源性線索的主效應顯著,(1, 35) = 20.27,< 0.001, η= 0.376, 即內源有效線索的反應時(380.11 ms) 要顯著快于無效線索的反應時(391.35 ms), 說明內源性線索加快了目標刺激的反應; 外源性線索的主效應顯著,(1, 35) = 77.30,< 0.001, η= 0.688, 即外源性有效線索的反應時(366.63 ms)要顯著快于無效線索的反應時(404.84 ms), 說明外源性線索加快了目標刺激的反應; 目標刺激通道的主效應顯著,(2, 59) = 60.26,< 0.001, η= 0.633, 視聽覺目標的反應時(349.08 ms)顯著快于視覺目標反應時(404.15 ms)和聽覺目標反應時(403.97 ms), 出現雙通道加工優勢。內外源性線索交互作用不顯著,(1, 35) = 0.25,= 0.621, 說明內外源性線索對反應時的影響是相互獨立的。三因素的交互作用不顯著,(2, 70) = 1.58,= 0.214。

2.2.3 相對多感覺反應增強(rMRE)

如圖2(a)所示, 當反應時為中位數時, 不同線索條件下rMRE的結果。首先對不同條件下的rMRE進行單樣本檢驗(與0進行比較), 結果顯示在內源性線索有效和外源性線索有效條件下的rMRE顯著大于0,(35) = 13.64,< 0.001; 內源性線索有效而外源性線索無效條件下的rMRE顯著大于0,(35) = 12.57,< 0.001; 內源性線索無效而外源性線索有效條件下的rMRE顯著大于0,(35) = 13.88,< 0.001; 內源性和外源性兩種線索均為無效條件下的rMRE顯著大于0,(35) = 12.96,< 0.001。隨后對rMRE的結果進行2 (內源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索)的重復測量方差分析。其中, 內源性線索的主效應不顯著,(1, 35) = 0.73,= 0.400。外源性線索的主效應顯著,(1, 35) = 5.16,= 0.029, η= 0.119, 外源無效線索的rMRE (= 10.21%,= 4.8%)顯著大于外源有效線索的rMRE (= 7.28%,= 3.2%,< 0.01), 說明外源性空間注意減弱了多感覺整合效應。內源性線索和外源性線索的交互作用邊緣顯著,(1, 35) = 3.00,= 0.094, η= 0.078, 說明內外源性線索對多感覺整合的影響是存在相互作用的可能性。

如圖2(b)所示, 當反應時為平均數時, 不同線索條件下rMRE的結果。首先對不同條件下的rMRE進行單樣本檢驗(與0進行比較), 結果顯示在內源性線索有效和外源性線索有效條件下的rMRE顯著大于0,(35) = 12.53,< 0.001; 內源性線索有效而外源性線索無效條件下的rMRE顯著大于0,(35) = 12.84,< 0.001; 內源性線索無效而外源性線索有效條件下的rMRE顯著大于0,(35) =10.46,< 0.001; 內源性和外源性兩種線索均為無效條件下的rMRE顯著大于0,(35) = 11.83,< 0.001。隨后對rMRE的結果進行2 (內源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索)的重復測量方差分析。其中, 內源性線索的主效應不顯著,(1, 35) = 0.02,= 0.881。外源性線索的主效應顯著,(1, 35) = 6.76,= 0.014, η= 0.162, 在有效內源性條件, 外源無效線索的rMRE (= 11.19%,= 5.2%)顯著大于外源有效線索的rMRE (= 8.04%,= 3.8%,< 0.01), 說明外源性空間注意減弱了多感覺整合效應。內源性線索和外源性線索的交互作用不顯著,(1, 35) = 2.25,= 0.142。

圖2 (a)是反應時為中位數時, 不同線索條件下rMRE結果; (b)是反應時為平均數時, 不同線索條件下rMRE的結果。

注：rMRE (相對多感覺反應增強; relative amount of multisensory response enhancement); **< 0.01。

2.2.4 競爭模型分析(race model)

首先, 在0～1000 ms的反應時間范圍內, 計算出以10 ms周期不同線索條件下的概率值：視覺(RT< t)、聽覺(RT< t)、視聽覺(RT< t)。實驗1中內源性線索實際AV累計概率(CP)和競爭模型累計分布概率(CP)如圖3(a)所示。其次, 將不同內源性線索條件下實際AV的累計概率(CP)與競爭模型累計分布概率(CP)的累計差異概率值相減, 在每10 ms上進行單樣本檢驗(與0進行比較)。結果如圖3(a)所示, 在內源性有效線索上顯著違反競爭模型(顯著大于0)的時間窗口為270～380 ms,s (38) > 2.12,s ≤ 0.041, 峰值在330 ms, 為4.8%; 而內源性無效線索上顯著違反競爭模型的時間窗口為280～410 ms,s (38) > 2.18,s ≤ 0.035, 峰值在360 ms, 為5.7%。即內源性線索在有效和無效兩種條件下的整合窗口, 發生的時間和峰值相似。說明內源性空間注意在有效線索和無效線索兩種條件下的多感覺整合沒有差異。

實驗1中外源性線索實際AV累計概率(CP)和競爭模型累計分布概率(CP)如圖4(a)所示。如圖4(b)所示, 在外源性有效線索位置上并沒有顯著違反競爭模型的時間窗口; 而在外源性無效線索位置上, 顯著違反競爭模型的時間窗240～510 ms,s (38) > 2.06,s ≤ 0.047, 峰值在370 ms, 為8.7%。即與外源性有效線索位置相比, 外源性無效線索位置的整合窗口要更大, 發生的時間更早且峰值要更高, 說明外源無效線索條件下的多感覺整合效應要強于外源有效線索條件下的多感覺整合。

2.3 討論

實驗1目的是考察在簡單任務下, 內外源性空間注意對多感覺整合的影響。結果發現對有效線索的目標反應時要快于無效線索, 說明內源性和外源性兩種線索均產生了顯著的“易化效應” (Chica et al., 2014)。具有預測性的內源性線索和凸顯性的外源性線索均加快了對目標刺激的反應, 表明實驗設置的線索成功誘發了內源性和外源性空間注意。其次, 視聽覺刺激的反應時顯著快于視覺刺激和聽覺刺激的反應時, 并且在4種線索條件下rMRE的值都顯著大于0, 即產生了多感覺整合效應(Lunn et al., 2019)。

圖3 (a)是實驗1內源性線索的累計概率分布; (b)是實驗1內源性線索race model結果

注：粗線表示視聽覺刺激發生顯著整合的時間窗口。虛線表示有效線索, 實線表示無效線索。*代表峰值(最大概率值)出現的時間。

圖4 (a)是實驗1外源性線索的累計概率分布; (b)是實驗1外源性線索race model結果

注：粗線表示視聽覺刺激發生顯著整合的時間窗口。虛線表示有效線索, 實線表示無效線索。*代表峰值(最大概率值)出現的時間。

同時, 實驗1結果發現(圖3b), 外源有效線索條件下的多感覺整合效應明顯要比外源無效線索條件下的多感覺整合效應小, 即外源性空間注意減弱了多感覺整合效應。一方面, 可以使用“空間不確定假說”進行解釋, 即由于外源性線索對目標刺激的位置沒有預測性, 所以被試會更多的依賴外源性線索的空間定位。外源有效線索和視聽覺目標共同引起的空間定向是冗余的, 所以在有效線索位置上的視聽覺目標所引起的多感覺整合程度下降。因此也就減弱了有效線索位置多感覺整合效應(van der Stoep et al., 2015; van der Stoep et al., 2016; 彭姓等, 2019)。另一方面, 也可以使用“感知覺敏感度假說”進行解釋。根據多感覺整合的反比效應(inverse effectiveness), 即當多感覺刺激的強度越強時, 對多感覺刺激的整合效果越弱(Senkowski et al., 2011)。由于外源性線索可以自動吸引被試的注意, 所以在有效線索上的多感覺刺激的感知性要強于無效線索。根據反比效應, 有效線索的多感覺整合效應越弱(彭姓等, 2019; 唐曉雨, 孫佳影, 彭姓, 2020)。

然而, 實驗1沒有發現內源性空間注意增強多感覺整合效應(圖3a), 這與以往研究的結果是不一致的(Talsma & Woldorff, 2005; 唐曉雨, 吳英楠等, 2020)。原因可能有以下兩點：一是實驗范式的原因。唐曉雨和吳英楠等(2020)通過使用內源性線索?靶子范式, 發現了內源性空間注意會顯著增強多感覺整合效應。而本研究使用的是內?外源性空間線索靶子范式, 即在內源性線索出現后又出現了200 ms的外源性線索。由此線索引起的外源性空間注意會減弱多感覺整合效應, 以至于將內源性空間注意增強多感覺整合效應的過程消失, 因此外源性空間注意對內源性空間注意調節多感覺整合加工的過程產生影響, 導致實驗結果沒有發現內源性空間注意顯著增強多感覺整合效應, 說明內外源性空間注意對多感覺整合的影響并不是獨立的。二是內源性線索的預測性不足。一方面, 根據Yantis等(1990)的研究結果, 只有內源性線索的預測性在100%的條件下, 被試的注意才不會被外源性線索的吸引, 成功捕獲目標。而在內源性線索的預測有效性在其它條件下(預測有效性為75%和25%), 外源性線索均會干擾內源性空間注意捕獲目標刺激(Yantis & Jonides, 1990)。另一方面, 以往內源性空間注意增強多感覺整合的研究中, 主試多利用指導語, 要求被試對注意位置出現的目標刺激做反應, 而非注意位置的刺激不做反應(Senkowski et al., 2005; Talsma & Woldorff, 2005)。這類實驗任務中由指導語誘發的內源性空間注意對出現在注意位置的目標刺激預測性為100%。上述兩方面研究中, 內源性線索的預測性是高于本研究內源性線索的預測性, 這可能是導致本研究內源性空間注意沒有顯著增加多感覺整合的原因之一。在唐曉雨和吳英楠等(2020)的研究發現當內源性線索的預測性為80%, 也發現了內源性空間注意會增強多感覺整合效應。說明只要內源性線索的預測性維持在較高水平上, 在沒有插入外源性線索的情況下, 內源性空間注意是可以增強多感覺整合的。綜上所述, 的確內源性線索的預測性的降低會在一定程度上削弱內源性空間注意對多感覺整合的影響, 但更關鍵的是突然出現的外源性線索, 該線索誘發的外源性空間注意減弱多感覺整合的加工過程, 才是在本研究中沒有發現內源性空間注意增強多感覺整合的更主要原因。

總體來說, 在實驗1中僅發現了外源性空間注意減弱多感覺整合, 而內源性空間注意沒有顯著增強多感覺整合效應是因為受到了外源性空間注意減弱多感覺整合的影響, 導致內源性空間注意沒有參與到多感覺整合的過程中, 所以內外源性空間注意對多感覺整合的交互作用不顯著。那么, 當實驗任務難度的提高時, 所需要的注意資源增加時, 被試會將更多的注意資源參與到實驗中(Grundy et al., 2019; Washburn & Putney, 2001), 內源性空間注意是否參與到多感覺整合效應中并且兩種空間注意對多感覺整合的影響是否會發生變化？

3 實驗2：復雜辨別任務

3.1 研究方法

3.1.1 被試

46名遼寧師范大學在校學生(11名男生, 35名女生)參與到實驗2中, 年齡為18～25歲, 平均年齡為21.1 ± 1.9歲。所有被試均為右利手, 聽力正常, 視力或矯正視力正常, 沒有嚴重疾病歷史記錄。在實驗結束后, 會給予被試一定的報酬。

3.1.2 實驗儀器和材料

實驗2與實驗1的差異主要就是在目標刺激屏。目標刺激屏包括視覺刺激、聽覺刺激、視聽覺刺激三種。其中, 視覺刺激是隨機出現在水平方向的白色正方框內的正方形棋盤格(3.2°×3.2°, 距離中央注視點12°, 棋盤格中央的方框分為黑色(RGB: 0, 0, 0)和灰色(RGB: 147, 149, 152), 呈現時間為200 ms; 聽覺刺激是采用SoundEngine Free軟件制作(高頻聲音為1400 Hz; 低頻聲音為714 Hz, 65 dB, 200 ms)。視聽覺刺激是由單通道視覺和聽覺刺激同時呈現200 ms, 并同時呈現在屏幕的左/右側。

3.1.3 實驗設計與實驗程序

在實驗2中, 除了實驗試次和實驗任務與實驗1不同, 其它流程與實驗1大致相同。包括練習和正式實驗, 練習實驗包括48個試次。正式實驗包括20組, 每組120個試次。整個實驗2400個試次, 大約進行120分鐘左右。整個實驗告知被試要又快又準確的反應。

除目標刺激屏幕之外, 實驗2單個試次的流程與實驗1相同。但是實驗2的目標刺激包括4種類型(圖5)。視覺刺激包括兩種：包括靶刺激和非靶刺激。其中, 靶刺激是要求被試判斷空間位置的目標刺激; 非靶刺激并不需要被試進行反應的干擾刺激。聽覺刺激也包括兩種：靶刺激和非靶刺激。視覺靶刺激和聽覺靶刺激兩兩結合組合成了4種視聽覺靶刺激。在視聽覺靶刺激中, 組合的兩種通道靶刺激的呈現時間和呈現位置保持一致, 每種視聽覺靶刺激會在被試間進行平衡。實驗2的任務是判斷靶刺激的空間位置, 當靶刺激出現在左側屏幕時, 按鍵盤的“F”鍵; 當靶刺激出現在右側屏幕時, 按鍵盤的“J”鍵, 以上靶刺激均為go試次; 并不需要對非靶刺激做按鍵反應, 所以非靶刺激均為no-go試次。以圖4(a)為例, 視覺靶刺激為中央正方形為灰色的棋盤格; 聽覺靶刺激為高頻聲音刺激; 視聽覺靶刺激為中央正方形為灰色的棋盤格和高頻聲音同時出現, 并且出現在屏幕的同一側。當三種通道的靶刺激出現在屏幕左側時, 按鍵盤的“F”鍵; 當三種通道的靶刺激出現在屏幕右側時, 按鍵盤的“J”鍵, 以上試次均為go試次。而對中央正方形為黑色的棋盤格、低頻的聲音刺激或以上兩種單通道非靶刺激組合成的多感覺非靶刺激均不做按鍵反應, 以上試次均為no-go試次。實驗包括20組, 每組120個試次。每組結束之后會提示該組正確反應數目。在適當的休息之后, 被試按“B”鍵進行下一組實驗。

3.1.4 數據分析

與實驗1的數據分析過程大致相同。(1)由于任務難度的提高, 被試在每種實驗條件下的正確率均要高于70%。在此階段剔除10名被試。(2)沒有在規定時間內做出按鍵反應、錯誤反應和反應時間小于100 ms或者大于1000 ms的數據剔除。最終刪除的數據量占總數據的4.31%。

3.2 實驗結果與分析

3.2.1 正確率

對正確率進行2 (內源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索) × 3 (目標刺激類型：視覺刺激、聽覺刺激、視聽覺刺激)的重復測量方差分析。結果發現目標刺激通道的主效應顯著,(2, 56) = 88.26,< 0.001, η= 0.716。視聽覺刺激正確率(97.0%)與高于聽覺刺激的正確率(95.3%)高于視覺刺激的正確率(90.6%)。內源性空間注意的主效應顯著,(1, 35) = 111.92,< 0.001, η= 0.716。有效線索位置目標反應的正確率(96.7%)比無效線索位置目標反應的正確率(91.9%)高; 外源性空間注意的主效應顯著,(1, 35) = 67.34,< 0.001, η= 0.658。有效線索位置目標反應的正確率(95.9%)比無效線索位置目標反應的正確率(92.7%)高。三因素的交互作用不顯著,(2, 70) = 2.78,= 0.069。

圖5 實驗2目標刺激類型

注：圖5為實驗2四個種類的目標刺激。實驗2的任務是判斷目標靶刺激的空間位置, 并且不對非靶刺激反應。

3.2.2 反應時

對反應時進行2 (內源性線索有效性：有效線索、無效線索) × 2 (外源性線索有效性：有效線索、無效線索) × 3 (目標刺激類型：視覺刺激、聽覺刺激、視聽覺刺激)的重復測量方差分析。

結果如表2所示。內源性線索的主效應顯著,(1, 35) = 48.37,< 0.001, η= 0.580, 即內源有效線索有效的反應時(485.91 ms)要顯著快于無效線索的反應時(531.48 ms), 說明內源性線索加快了目標刺激的反應; 外源性線索的主效應顯著,(1, 35) = 180.71,< 0.001, η= 0.838, 即外源性線索有效的反應時(485.87 ms)要顯著快于無效的反應時(531.52 ms), 說明外源性線索加快了目標刺激的反應; 目標刺激通道的主效應顯著,(2, 47) = 40.80,< 0.001, η= 0.538, 視聽覺目標的反應時(477.45 ms)顯著快于視覺目標反應時(518.03 ms)和聽覺目標反應時(530.61 ms), 出現雙通道加工優勢。內外源線索交互作用顯著,(1, 35) = 8.96,= 0.005, η= 0.204, 說明內外源性線索對反應時的影響是相互作用的。三因素的交互作用不顯著,(2, 70) = 1.98,= 0.146。

表2 實驗2在不同條件下的反應時(RT/ms)和正確率(ACC/%) (M± SD)

注：ACC代表正確率(Accuracy, %), RT代表反應時(Reaction time, ms)。

3.2.3 相對多感覺反應增強(rMRE)

如圖6(a), 當反應時為中位數時, 不同線索條件下rMRE的結果。首先對不同條件下的rMRE進行單樣本檢驗(與0進行比較), 結果顯示在內源性線索有效和外源性線索有效條件下的rMRE顯著大于0,(35) = 4.93,< 0.001; 內源性線索有效而外源性線索無效條件下的rMRE顯著大于0,(35) = 5.62,< 0.001; 內源性線索無效而外源性線索有效條件下的rMRE不顯著大于0,(35) = 1.53,0.137; 內源性和外源性兩種線索均為無效條件下的rMRE顯著大于0,(35) = 5.63,< 0.001。對rMRE的結果進行2 (內源性線索有效性的變化：有效線索、無效線索) × 2 (外源性線索有效性的變化：有效線索、無效線索)的重復測量方差分析。結果如圖6(a)所示, 發現內外源線索交互作用顯著,(1, 35) = 5.01,= 0.034, η= 0.122。表明在多感覺整合過程中, 內源性線索和外源性線索之間的影響是相互的。簡單效應分析表明, 在內源有效線索條件下, 外源無效線索rMRE的值(5.3%)要顯著大于外源有效線索rMRE的值(3.8%,= 0.023)。同時, 在內源無效線索條件下, 外源無效線索rMRE的值(6.3%)要顯著大于外源有效線索rMRE的值(1.7%,= 0.001)。但是, 在內源性線索的有效性發生變化時, 外源性無效線索和外源性有效線索rMRE差異的變化是顯著的,(35) = 2.21,= 0.034,= 0.49。

如圖6(b), 當反應時為平均數時, 不同線索條件下rMRE的結果。首先對不同條件下的rMRE進行單樣本檢驗(與0進行比較), 結果顯示在內源性線索有效和外源性線索有效條件下的rMRE顯著大于0,(35) = 4.89,< 0.001; 內源性索有效而外源性線索無效條件下的rMRE顯著大于0,(35) = 5.69,< 0.001; 內源性線索無效而外源性線索有效條件下的rMRE不顯著大于0,(35) = 0.90,= 0.373; 內源性和外源性兩種線索均為無效條件下的rMRE顯著大于0,(35) = 4.10,< 0.001。對rMRE的結果進行2(內源性線索有效性的變化：有效線索、無效線索) × 2(外源性線索有效性的變化：有效線索、無效線索)的重復測量方差分析。發現內外源線索交互作用顯著,(1, 35) = 3.93,= 0.05, η= 0.101, 表明在多感覺整合過程中, 內源性線索和外源性線索之間的影響是相互的。簡單效應分析表明, 在內源無效條件下, 外源無效線索rMRE的值(4.7%)要顯著大于外源有效線索rMRE的值(0.8%,= 0.005)。

3.2.4 競爭模型分析(race model)

首先, 在0～1000 ms的反應時間范圍內, 計算出以10 ms周期不同線索條件下的概率值：視覺(RT< t)、聽覺(RT< t)、視聽覺(RT< t)。實驗2中內源性線索實際AV累計概率(CP)和競爭模型累計分布概率(CP)如圖7(a)所示。其次, 將不同線索條件下實際AV的累計概率(CP)與競爭模型累計分布概率(CP)的累計差異概率值相減, 在每10 ms進行單樣本檢驗(與0進行比較)。結果如圖7(b)所示, 在內源性有效線索上顯著違反競爭模型(顯著大于0)的時間窗口為270～400 ms,s (34) > 2.05,s ≤ 0.048, 峰值在370 ms, 為3.9%; 在內源性無效線索位置上并沒有顯著違反競爭模型的時間窗口。即有效條件的內源性線索相比與無效條件下的外源性線索的整合窗口要更大, 發生的時間更早且峰值要更大。即相比與內源性無效線索位置, 內源性有效線索位置的整合窗口要更大, 發生的時間更早且峰值要更高。

圖6 (a)是反應時為中位數時, 不同線索條件下rMRE結果; (b)是反應時為平均數時, 不同線索條件下rMRE的結果

注：rMRE (相對多感覺反應增強; relative amount of multisensory response enhancement); *< 0.05, **< 0.01。

圖7 (a)是實驗2內源性線索的累計概率分布; (b)是實驗2內源性線索race model結果

注: 粗線表示視聽覺刺激發生顯著整合的時間窗口。虛線表示有效線索, 實線表示無效線索。*代表峰值(最大概率值)出現的時間。

實驗2中外源性線索實際AV累計概率(CP)和競爭模型累計分布概率(CP)如圖8(a)所示。如圖8(b)所示, 在外源性有效線索位置上, 顯著違反競爭模型的時間窗為310～410 ms,s (34) > 3.14,s ≤ 0.003, 峰值在360 ms, 為2.7%; 而在外源性無效線索位置上, 顯著違反競爭模型的時間窗為290～450 ms,s (34) > 2.03,s ≤ 0.05, 峰值在380 ms, 為4.4%。即相比與外源性有效線索位置, 外源性無效線索位置的整合窗口要更大, 發生的時間更早且峰值要更高, 說明外源性空間注意在無效線索的多感覺整合要強于有效線索條件下的多感覺整合。

圖8 (a)是實驗2外源性線索的累計概率分布; (b)是實驗2外源性線索race model結果

注: 粗線表示視聽覺刺激發生顯著整合的時間窗口。虛線表示有效線索, 實線表示無效線索。*代表峰值(最大概率值)出現的時間。

3.3 討論

實驗2目的是考察復雜辨別任務中內外源性空間注意對多感覺整合的影響。與實驗1類似, 實驗2成功誘發了內源性和外源性空間注意以及多感覺整合效應; 還發現了外源性空間注意減弱多感覺整合效應。但與實驗1不同的是, 實驗2發現內源性有效線索的違反競爭模型的時間窗口比內源性無效線索的時間窗口長, 峰值更高(圖7a), 即內源性空間注意也參與到多感覺整合效應中, 這與前人的研究結果一致(Talsma & Woldorff, 2005; 唐曉雨, 吳英楠等, 2020)。此外, 實驗2還發現了外源性線索有效性的變化會影響內源性空間注意增強多感覺整合的過程, 并且內源性線索有效性的變化也會影響外源性空間注意減弱多感覺整合的過程。

與實驗1相比, 在實驗2中發現在不同的內源性線索條件下, 外源性空間注意減弱多感覺整合效應的過程發生了顯著的變化。即在內源有效線索條件下, 外源性空間注意減弱多感覺整合效應的程度要顯著的小于內源無效線索條件下, 外源性空間注意減弱多感覺效應程度, 說明內源性空間注意也參與到多感覺整合的過程中。根據Lavie (1995)提出的“通路理論”可知, 在低知覺通路任務中(簡單定位任務：僅要求被試捕獲目標刺激), 注意資源在處理與任務相關的信息后會有部分注意資源“溢出”來處理與任務無關的其它刺激; 但是在高知覺通路任務中(復雜辨別任務：要求被試不僅要完成對目標刺激的捕獲, 也要抑制對干擾刺激做出反應), 所有的注意資源都會參與到與任務相關的任務中, 并不會有注意資源“溢出”處理與任務無關的刺激(Lavie, 1995; Lavie, 2010); 并且因為在本實驗中內源性線索對目標位置的預測性為80%, 對目標出現的位置具有高預測性, 所以被試會將更多依靠內源性線索, 將更多的注意資源集中在有效線索位置。對出現在內源有效線索位置的視聽覺刺激, 被試在加工時間和程度要比內源無效線索位置更深(Odegaard et al., 2016; Talsma & Woldorff, 2005), 所以內源性線索改變了外源性空間注意減弱多感覺整合效應程度。

4 總討論

本研究采用內?外源性空間線索靶子范式, 將出現在屏幕中間的箭頭為內源性線索, 注視點兩側的白色正方形為外源性線索。通過改變實驗任務難度, 來考察內外源性空間注意對多感覺整合的影響。研究結果發現, 在兩個實驗中, 外源性空間注意都顯著減弱了多感覺整合效應。而只有當任務是復雜的辨別任務時(實驗2), 內源性空間注意才參與到多感覺整合過程, 即內源性線索有效性的變化影響了外源性空間注意減弱多感覺整合效應的過程。具體來說在內源無效線索條件下外源無效與有效線索間多感覺整合效應的差異, 要顯著大于在內源有效條件下外源無效與有效線索間多感覺整合效應的差異, 即內外源性空間注意對多感覺整合影響的交互作用顯著。結果驗證了前言提到的可能性(2), 即在一定任務難度的條件下, 外源性空間注意會影響內源性空間注意增強多感覺整合效應的過程, 反之亦然。

綜合兩個實驗內外源性空間注意對多感覺整合的結果發現：在兩個實驗中, 外源性空間注意都顯著減弱了多感覺整合效應, 這是符合外源性空間線索具有較高的凸顯性, 會自下而上地自動吸引被試的注意, 并不占用被試的注意資源(Busse et al., 2008), 所以外源性空間注意減弱多感覺整合效應可能不受任務難度的影響或者說影響較小。而內源性空間注意僅在復雜任務難度條件下才會參與到多感覺整合效應, 符合內源性空間注意自上而下, 會受到被試注意資源的影響(Mayer et al., 2004; Rohenkohl et al., 2011), 所以內源性空間注意增強多感覺整合效應會受到任務難度的影響。正因為內外源性空間注意隨任務難度變化本身不同, 二者的交互作用情況也不同。參考以往單感覺通道的研究, 在簡單定位任務中, 內外源性空間注意的交互作用不顯著, 兩種空間注意彼此獨立, 互不影響; 而復雜辨別任務中內外源性空間注意的交互作用顯著, 兩種空間注意相互作用(Berger et al., 2005)。

本研究發現不同任務難度下多感覺整合的變化情況與單感覺通道的結果類似, 在簡單定位任務中, 內外源性空間注意對多感覺整合影響的交互作用邊緣顯著; 而在復雜辨別任務中, 內外源性空間注意對多感覺整合影響的交互作用顯著。當實驗由簡單定位任務調整為復雜辨別任務, 實驗2中干擾刺激的出現需要被試更深層次的認知加工(Johnston & Heinz, 1979), 所以需要更多的認知資源參與到實驗任務中。但是人的認知資源是有限的(Granholm et al., 1996), 被試為了更好地完成任務會更加充分地利用具有較高預測性的內源性線索(Pauszek & Gibson, 2016), 內源性空間注意會更多地參與到實驗任務中, 使內源性空間注意對外源性空間注意減弱多感覺整合效應產生影響, 在內源性線索有效/無效的條件下, 外源性空間注意減弱多感覺整合的程度是不同的, 即在內源無效線索條件下, 外源性空間注意減弱多感覺整合的程度要顯著大于內源有效線索條件下, 外源性空間注意減弱多感覺整合的程度。同時, 外源性空間注意也對內源性空間注意增強多感覺整合效應產生影響, 在外源性線索有效/無效的條件下, 內源性空間注意增強多感覺整合的程度是不同的, 即在外源有效線索條件下, 內源性空間注意增強多感覺整合的程度要顯著大于外源無效線索條件下, 內源性空間注意增強多感覺整合的程度。也就是說, 內外源性空間注意二者調節多感覺整合加工的過程是相互影響的。這與前人提出的內外源性空間注意兩者之間的關系中支持兩者空間注意的存在密切聯系的觀點是一致的。一方面, 在心理旋轉和圖像掃視的相關研究中發現, 兩種空間注意在眼球運動上是遵循相同的規則, 隨后眼動的結果發現兩種空間注意存在顯著的交互作用(Gowen et al., 2007; Otten et al., 2016; Posner, 1980)。另一方面, 兩種空間注意在腦區的激活部位也是大致相同的, 主要包括前運動皮質, 后頂葉皮質, 額葉內側皮質和右下額葉皮層等相關的額?頂網絡(Mayer et al., 2004; Peelen et al., 2004)。所以內外源性空間注意會共享同一個機制。結合前人與本文的研究結果可以推論內外源性空間注意二者對單感覺通道刺激加工和多感覺加工的調節作用均不是彼此獨立而是互相影響的。

進一步分析兩個實驗中rMRE的結果, 發現在實驗1中, 內源性空間注意有效性的變化會在一定程度上影響外源性空間注意對多感覺整合效應。說明即使在簡單定位任務中, 內外源性空間注意對多感覺整合影響的也是存在一定程度的聯系。這與兩種空間注意對反應時影響的結果是有差異的。因為注意與多感覺整合的關系更加緊密, 兩者腦區的激活范圍是有部分重疊的(Sugihara et al., 2006; Talsma et al., 2010)。其次, 比較兩個實驗的rMRE, 實驗結果為任務難度會影響內外源性空間注意對多感覺整合的關系。深層次的原因是在兩種不同難度的任務中, 內源性空間注意增強多感覺整合效應的過程是穩定存在的(唐曉雨, 吳英楠等, 2020), 而只是在復雜辨別任務中該過程得到了體現, 對外源性空間注意減弱多感覺整合的過程產生了影響。所以僅在實驗2中發現內外源性空間注意對多感覺整合影響的交互作用顯著。綜上所述, 內外源性空間注意對多感覺整合的影響是存在密切聯系的, 兩種空間注意會分享同一個“注意資源池”。并且在復雜辨別任務中, 內外源性空間注意會以相互作用的方式對多感覺整合產生影響。

結合內外源性空間注意對多感覺整合影響的結果, 本研究提出內外源性空間注意對多感覺整合產生影響的動態過程：內外源性空間注意對多感覺整合的影響是存在密切聯系的。首先, 是外源性空間注意會自下而上地對多感覺刺激進行捕獲(Burg et al., 2008)。隨后, 在簡單定位任務難度中, 內源性空間注意也會對多感覺刺激進行自上而下的分析, 存在增強多感覺整合過程(唐曉雨, 吳英楠等, 2020)。但是由于外源性線索的出現, 再加上實驗任務難度不大, 內源性空間注意增強多感覺整合的程度較弱(Lunn et al., 2019)。但是隨著任務難度的提高, 當在外源性空間注意捕獲多感覺目標后, 為了更好地完成實驗任務, 注意資源的喚醒程度提高, 對內源性線索的利用程度也隨之提高, 內源性空間注意會增強多感覺整合效應的程度更加顯著, 對外源性空間注意捕獲到的多感覺刺激進行分析, 將兩個不同通道的刺激整合為多感覺刺激, 同時會根據刺激的性質(顏色, 形狀, 大小), 空間位置等特征在頭腦中形成一個自上而下的多感覺信號模板儲存在大腦中(Atchley et al., 2003; Folk & Remington, 1998; 彭姓等, 2018)。最后, 形成的信號模板就會自上而下地引導被試, 對符合信號模板的多感覺刺激進行自下而上的捕獲, 以完成復雜的實驗任務(Talsma et al., 2010)。

在以往內、外源性空間注意對多感覺整合影響的研究中, 前者內源性線索對目標出現位置的預測性為100%或80%, 后者外源性線索的預測性則為50%, 線索預測性的比例的確不同, 表明不同預測比例的線索誘發的空間注意對多感覺整合的影響可能是不同的, 是符合“空間不確定假說”, 具體假說內容見實驗1討論。然而值得注意的是在唐曉雨和吳英楠等(2020)的研究中發現, 當內源性線索的預測性為50%時, 內源性空間注意沒有增強多感覺整合效應。也就是說當內外源兩種線索的預測性均為50%的條件下, 兩種空間注意對多感覺整合的影響是不同的。這說明可能不單單只是比例的作用, 不同類型線索所誘發的空間注意類型不同, 以箭頭形式呈現的內源性線索具有指向性提示, 是自上而下的過程, 且主要激活背側的額?頂網絡。以亮框形式呈現的外源性線索會更快地吸引被試的注意, 是自下而上的過程, 且主要激活腹側的額?頂網絡(Corbetta & Shulman, 2002; Meyer et al., 2018)。所以, 兩種不同作用方式的空間注意對多感覺整合產生不同影響的原因是多元的。此外, 有實驗采用外?內源性空間線索靶子范式, 來研究內源性線索對外源性線索返回抑制的影響。結果發現內源有效線索條件下外源性空間注意的返回抑制量要顯著小于內源無效線索條件下的返回抑制量, 內源性線索有效性的變化對外源性空間注意的返回抑制產生了影響(Berger & Henik, 2000), 說明在外?內源性空間線索靶子范式中, 內外源性空間注意也是存在交互作用的。因此, 為確認內外源性空間注意如何對多感覺整合產生影響, 本團隊也在用外?內源性空間線索靶子范式, 研究兩種空間注意對多感覺整合加工過程的影響, 以驗證內外源性空間注意對多感覺整合的調節作用, 究竟是彼此獨立、還是相互影響的。

5 結論

本研究結果發現在兩種不同任務難度下, 外源性空間注意減弱了多感覺整合效應, 內源性空間注意沒有顯著增強多感覺整合效應; 且復雜辨別任務中, 內源無效線索條件下, 外源性空間注意減弱多感覺整合的程度要顯著大于內源有效線索條件下外源性空間注意減弱多感覺整合的程度。研究結果表明, 外源性空間注意會影響內源性空間注意對多感覺整合的調節作用, 在一定任務難度條件下, 內源性空間注意會影響外源性空間注意減弱多感覺整合效應的過程。因此, 內外源性空間注意對多感覺整合的調節并非彼此獨立、而是相互影響的。

Atchley, P., Jones, S. E., & Hoffman, L. (2003). Visual marking: A convergence of goal-and stimulus-driven processes during visual search.,(5), 667.

Berger, A., & Henik, A. (2000). The endogenous modulation of IOR is nasal-temporal asymmetric.,(3), 421?428.

Berger, A., Henik, A., & Rafal, R. (2005). Competition between endogenous and exogenous orienting of visual attention.,(2), 207?221.

Botta, F., Lupiá?ez, J., & Chica, A. B. (2014). When endogenous spatial attention improves conscious perception: Effects of alerting and bottom-up activation.,, 63?73.

Burg, E. V. D., Olivers, C. N. L., Bronkhorst, A. W., & Theeuwes, J. (2008). Pip and pop: Non-spatial auditory signals improve spatial visual search.,(5), 1053?1065.

Busse, L., Katzner, S., & Treue, S. (2008). Temporal dynamics of neuronal modulation during exogenous and endogenous shifts of visual attention in macaque area MT.,(42), 16380?16385.

Chica, A. B., Bartolomeo, P., & Lupiá?ez, J. (2013). Two cognitive and neural systems for endogenous and exogenous spatial attention.,, 107?123.

Corbetta, M., & Shulman, G. L. (2002). Control of goal-directed and stimulus-driven attention in the brain.,(3), 201.

Fairhall, S. L., & Macaluso, E. (2009). Spatial attention can modulate audiovisual integration at multiple cortical and subcortical sites.,(6), 1247?1257.

Folk, C. L., & Remington, R. (1998). Selectivity in distraction by irrelevant featural singletons: Evidence for two forms of attentional capture.,(3), 847.

Gowen, E., Abadi, R. V., Poliakoff, E., Hansen, P. C., & Miall, R. C. (2007). Modulation of saccadic intrusion by exogenous and endogenous attention.,(1), 154? 167.

Granholm, E., Asarnow, R. F., Sarkin, A. J., & Dykes, K. L. (1996). Pupillary responses index cognitive resource limitations., 33(4), 457?461.

Grubb, M. A., White, A. L., Heeger, D. J., & Carrasco, M. (2015). Interactions between voluntary and involuntary attention modulate the quality and temporal dynamics of visual processing.,(2), 437?444.

Grundy, J. G., Barker, R. M., Anderson, J. A. E., & Shedden, J. M. (2019). The relation between brain signal complexity and task difficulty on an executive function task.,, 104?113.

Gustavo, R., Coull, J. T., Nobre, A. C., & Sam, G. (2011). Behavioural dissociation between exogenous and endogenous temporal orienting of attention.,(1), e14620.

Hopfinger, J. B., & West, V. M. (2006). Interactions between endogenous and exogenous attention on cortical visual processing.,(2), 774?789.

Johnston, W. A., & Heinz, S. P. (1979). Depth of nontarget processing in an attention task.&,(1), 168.

Julia, F. C., Daniel, C., Beer, A. L., & Daphne, B. (2018). Neural bases of enhanced attentional control: Lessons from action video game players.,(7), e01019.

Kosslyn, S. M., Thompson, W. L., Wraga, M., & Alpert, N. M. (2001). Imagining rotation by endogenous versus exogenous forces: Distinct neural mechanisms.,(11), 2519?2525.

Lavie, N. (1995). Perceptual load as a necessary condition for selective attention.,(3), 451?468.

Lavie, & N. (2010). Attention, distraction, and cognitive control under load.,(3), 143?148.

Lunn, J., Sjoblom, A., Ward, J., Soto-Faraco, S., & Forster, S. (2019). Multisensory enhancement of attention depends on whether you are already paying attention.,, 38?49.

Lupiá?ez, J., Botta, F., Martín-Arévalo, E., Chica, A. B. (2014). The spatial orienting paradigm: How to design and interpret spatial attention experiments.,, 35?51.

Mayer, A. R., Dorflinger, J. M., Rao, S. M., & Seidenberg, M. (2004). Neural networks underlying endogenous and exogenous visual-spatial orienting.,(2), 534?541.

Meyer, K. N., Du, F., Parks, E., & Hopfinger, J. B. (2018). Exogenous vs. endogenous attention: Shifting the balance of fronto-parietal activity.,, 307?316.

Miller, J. (1982). Divided attention: Evidence for coactivation with redundant signals.,(2), 247? 279.

Odegaard, B., Wozny, D. R., & Shams, L. (2016). The effects of selective and divided attention on sensory precision and integration.,(9), 24?28.

Otten, M., Schreij, D., & Los, S. A. (2016). The interplay of goal-driven and stimulus-driven influences on spatial orienting.,(6), 1642?1654.

Pauszek, J. R., & Gibson, B. S. (2016). High spatial validity is not sufficient to elicit voluntary shifts of attention.,(7), 2110?2123.

Peelen, M. V., Heslenfeld, D. J., & Theeuwes, J. (2004). Endogenous and exogenous attention shifts are mediated by the same large-scale neural network.,(2), 822?830.

Peng, X., Chang, R, S., Li, Q., Wang, A, J., & Tang, X, Y. (2019).Visually induced inhibition of return affects the audiovisual integration under different SOA conditions.,(7), 759?771.

[彭姓, 常若松, 李奇, 王愛君, 唐曉雨. (2019). 不同SOA下視覺返回抑制對視聽覺整合的調節作用.(7), 759?771.]

Peng, X., Chang, R, S., Ren, G, Q., Wang, A, J., & Tang, X, Y. (2018). The interaction between exogenous attention and multisensory integration.,(12), 43?54.

[彭姓, 常若松, 任桂琴, 王愛君, 唐曉雨. (2018). 外源性注意與多感覺整合的交互關系.(12), 43? 54.]

Posner, M. I. (1980). Orienting of attention.,(1), 3?25.

Senkowski, D., Saint-Amour, D., Hofle, M., & Foxe, J. J. (2011). Multisensory interactions in early evoked brain activity follow the principle of inverse effectiveness.,(4), 2200?2208.

Senkowski, D., Talsma, D., Herrmann, C. S., & Woldorff, M. G. (2005). Multisensory processing and oscillatory gamma responses: Effects of spatial selective attention.,(3?4), 411?426.

Sugihara, T., Diltz, M. D., Averbeck, B. B., & Romanski, L. M. (2006). Integration of auditory and visual communication information in the primate ventrolateral prefrontal cortex.,(43), 11138?11147.

Talsma, D., Doty, T. J., & Woldorff, M. G. (2007). Selective attention and audiovisual integration: Is attending to both modalities a prerequisite for early integration?,(3), 679?690.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G. (2010). The multifaceted interplay between attention and multisensory integration.,(9), 400?410.

Talsma, D., & Woldorff, M. G. (2005). Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity.,(7), 1098?1114.

Tang, X., Wu, J., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention.,, 208?224.

Tang, X, Y., Sun, J, Y., & Peng, X. (2020). The effect of bimodal divided attention on inhibition of return with audiovisual targets.,(3), 257? 268.

[唐曉雨, 孫佳影, 彭姓. (2020). 雙通道分配性注意對視聽覺返回抑制的影響.(3), 257?268.]

Tang, X, Y., Wu, Y, N., Peng, X., Wang, A, J., & Li, Q. (2020). The influence of endogenous spatial cue validity on audiovisual integration.,(7), 835?846.

[唐曉雨, 吳英楠, 彭姓, 王愛君, 李奇. (2020). 內源性空間線索有效性對視聽覺整合的影響.(7), 835? 846.]

van der Stoep, N., van der Stigchel, S., & Nijboer, T. C. W. (2015). Exogenous spatial attention decreases audiovisual integration.,(2), 464?482.

van der Stoep, N., van der Stigchel, S., Nijboer, T. C. W., & Spence, C. (2016). Visually induced inhibition of return affects the integration of auditory and visual information.,(1), 6?17.

Washburn, D. A., & Putney, R. T. (2001). Attention and task difficulty: When is performance facilitated?.,(1), 36?47.

Yantis, S., & Jonides, J. (1990). Abrupt visual onsets and selective attention: Voluntary versus automatic allocation.,(1), 121?134.

Yu, H. (2019).(Unpublished master’s thesis). Liaoning Normal University, Dalian, China.

[于宏. (2019).(碩士學位論文). 遼寧師范大學, 大連. ]

Effects of endogenous spatial attention and exogenous spatial attention on multisensory integration

TANG Xiaoyu, TONG Jiageng, YU Hong, WANG Aijun

(School of Psychology, Liaoning Collaborative Innovation Center of Children and Adolescents Healthy Personality Assessment and Cultivation, Liaoning Normal University, Dalian 116029, China) (Department of Psychology, Research Center for Psychology and Behavioral Sciences, Soochow University, Suzhou 215123, China)

Attention effect has been greatly explored in multisensory integration. Previous studies found that endogenous spatial attention enhanced multisensory integration, while exogenous spatial attention decreased multisensory integration. However, there is no research integrates two kinds of spatial attention into the multisensory integration. In present study, we used endogenous-exogenous spatial cue target paradigm to investigate the effect of endogenous spatial attention and exogenous spatial attention on multisensory integration.

The present study consisted of 2 experiments. In these experiments, we mainly manipulated the endogenous cue validities (including cued, uncued), exogenous cue validities (including cued, uncued) and target modalities (including visual, auditory, and audiovisual modalities). Thirty-six students in Liaoning Normal University were recruited in Exp. 1. The visual (V) target was a white pentagonal asterisk block (2°×2°). The auditory (A) target was a 1 600 Hz sinusoidal tone presented by speakers. The audiovisual (AV) target was composed by the simultaneous presentation of both the visual and the auditory stimuli. At the beginning of each trial, the fixation stimulus was presented for 600～800 ms in the center of the monitor. Following the fixation stimulus, the endogenous cue was presented for 200 ms, which could predict (80%) the location of the target. Then a visual white square served as a exogenous cue was presented for 200 ms at the left or right location randomly. Before the target that appeared for 100 ms, the inter stimulus interval (ISI) lasted for 150 ms. The target (A, V, or AV) randomly appeared for 100 ms in the left or right locations. At last, the fixation stimuli appeared for 1000 ms to wait for the correspondence responses to targets. During the experiment, the participants were asked to locate targets by pressing buttons (F/J) as quickly and accurately as possible. Thirty-six college students were recruited in Exp. 2. In Exp. 2, visual stimuli included checkerboard squares (3.2°×3.2°) with gray (RGB: 147, 149, 152) in the middle and black (RGB: 0, 0, 0) in the middle; auditory stimuli included high-frequency sinusoidal tone (1400) and low-frequency sinusoidal tone (714). The visual target was one of the above two visual stimuli, and the auditory target was one of the above two auditory stimuli. The pairings of two single channel stimuli constituted audiovisual target. The Exp. 2 consisted of four audiovisual targets. Each set of audiovisual targets were balanced among the subjects.

The results showed that the responses to AV targets were faster than V or A targets, indicating the appearance of the bimodal advancement effect in both experiments. In addition, we found exogenous spatial attention’s race model (probability difference) showed significant smaller at cued compared to uncued condition in both experiments, while the endogenous spatial attention reduced the extent to which the exogenous spatial attention weakened the effect of multisensory integration in Exp.2, but not in Exp. 1. From the results of the relative amount of multisensory response enhancement (rMRE), In Exp. 1, the effects of endogenous spatial attention and exogenous spatial attention on multisensory integration were marginal significant. In Exp. 2, the two kinds of spatial attention had significant interaction with multisensory integration.

In summary, exogenous spatial attention decreased multisensory integration in both experiments. Endogenous spatial attention is involved in multisensory integration and has an impact on exogenous spatial attention in Exp. 2. The effects of endogenous spatial attention and exogenous spatial attention on multisensory integration in an interactive manner.

endogenous spatial attention, exogenous spatial attention, multisensory integration, endogenous- exogenous spatial cue target paradigm, task difficulty

2021-01-08

* 遼寧師范大學2020年高端科研成果培育資助計劃項目(GD20L002), 遼寧省教育廳2021年度科學研究經費面上項目(LJKZ0987)資助。

唐曉雨, E-mail: tangyu-2006@163.com; 王愛君, E-mail: ajwang@suda.edu.cn

B842