外源性注意與多感覺整合的交互關系*

彭 姓 常若松,2 任桂琴 王愛君 唐曉雨,2

?

外源性注意與多感覺整合的交互關系*

彭 姓1常若松1,2任桂琴1王愛君3唐曉雨1,2

(1遼寧師范大學心理學院;2遼寧省兒童青少年健康人格評定與培養協同創新中心, 大連 116029) (3蘇州大學教育學院心理學系, 蘇州 215000)

外源性注意與多感覺整合的交互關系是一個復雜且具有爭議的研究領域, 一直以來備受研究者們關注。為了解釋兩者間的交互作用機制, 本文基于已有研究成果從兩方面綜述了外源性注意與多感覺整合的交互關系：(1)外源性注意可以通過自下而上的方式調節多感覺整合, 包括空間不確定性、感知覺敏感度和感覺通道間信號強度差異三種理論假說; (2)多感覺整合可以調節外源性注意。一方面, 來自多感覺通道的刺激能夠以自下而上的方式自動整合, 整合后的多感覺通道刺激比單通道刺激具有更大的凸顯性從而有效地吸引注意。另一方面, 整合后的多感覺通道刺激能夠作為多感覺信號模板存儲于大腦之中, 從而在任務中實現自上而下地調節注意捕獲。

多感覺整合; 外源性注意; 自上而下; 自下而上; 內源性注意

1 引言

個體將來自不同感覺通道(視覺、聽覺、觸覺等)的信息相互作用并整合為統一的、連貫的和有意義的知覺過程被稱為多感覺整合(multisensory integration, MSI; Tang, Wu, & Shen, 2016)。多感覺整合主要有幾種表現形式：其一為多感覺錯覺效應(multisensory illusion effects), 例如McGurk效應(Tiippana, 2014)和腹語術效應(the ventriloquist effect; Callan, Callan, & Ando, 2015)等; 其二為多感覺促進效應(multisensory performance improvement effects), 例如冗余信號效應(redundant signals effect, RSE), 即相比單通道(視覺或聽覺)刺激, 個體對同時呈現的多感覺通道刺激的反應更快速更準確(Mishler & Neider, 2016)。也有研究顯示, 在兩個位置或在單個位置監控多感覺通道刺激的反應時相比監控單通道刺激反應時更慢(Santangelo, Fagioli, & Macaluso, 2010), 即, 在某些特定條件下, 存在多感覺抑制效應(Meredith, Nemitz, & Stein, 1987) 。由于目前關于外源性注意與多感覺整合的研究大多還是集中在多感覺促進效應上, 因此本文主要基于多感覺促進效應的相關研究進行綜述。

Posner等(1980)將注意分為內源性注意(endogenous attention)和外源性注意(exogenous attention)。其中, 外源性注意又被稱為非自主性或刺激驅動注意, 是指在沒有個體意圖控制的情況下, 由個體以外的信息引起的無意識注意。例如, 在安靜的自習室內, 一聲巨大的關門聲會不自覺吸引大家的注意。

注意與多感覺整合之間的關系已經引起研究者們的高度關注并一直處于探討之中。雖然有一些研究者認為多感覺整合的發生獨立于注意過程(Soto-Faraco, Navarra, & Alsius, 2004; Vroomen, Bertelson, & De Gelder, 2001), 但大多數研究者認為注意與多感覺整合之間存在密切的關系并從不同的研究視角出發提出了不同的關系理論框架(Koelewijn, Bronkhorst, & Theeuwes, 2010; Macaluso et al., 2016; Talsma, Senkowski, Soto- Faraco, & Woldorff, 2010; Tang, Wu, & Shen, 2016)。其中, 大部分側重于探討內源性注意與多感覺整合的關系, 僅有少部分涉及到外源性注意與多感覺整合的關系。因此, 本文基于已有研究成果, 從兩方面綜述了外源性注意與多感覺整合的關系：一方面, 外源性注意對多感覺整合的調節作用; 另一方面, 多感覺整合對外源性注意的調節作用。

2 外源性注意對多感覺整合的調節作用

我們的大腦無時無刻不在接受外在世界大量的信息輸入, 多感覺整合可以將來自不同感覺通道的信息組合以減少感知系統內的干擾信息, 從而促進多感覺通道刺激的檢測、識別和定位(Stein & Stanford, 2008)。外源性注意同樣能夠促進刺激的檢測、識別和定位。例如, 外源性線索能夠增強同一位置相對應的同一感覺通道或不同感覺通道的感知覺處理, 加快個體對刺激的反應速度(Spence, 2010)。鑒于多感覺整合與外源性注意都能促進刺激的加工, 幫助我們更好地感知外部世界, 研究者們開始探討兩者間的關系, 考察外源性注意對多感覺整合的調節作用。

外源性線索?靶子范式(cue-target paradigm)是研究外源性注意的經典范式(Posner & Cohen, 1984)。該范式主要以凸顯特征(如方框變亮或變粗)作為線索呈現在左或右側外周位置, 要求被試在經過一段時間間隔(stimulus onset asynchronies, SOA)后, 對呈現在與線索相同(即有效線索, valid cue)或不同(即無效線索, invalid cue)位置上的目標刺激進行反應。結果發現, 當線索?靶子間隔時間(即SOA)在300 ms以內時, 有效線索位置上的反應時顯著快于無效線索位置, 被稱為“易化效應(facilitation effect)”。然而當SOA大于300 ms時, 有效線索位置上的反應時卻顯著慢于無效線索位置, 被稱為“返回抑制(inhibition of return, IOR)效應” (Posner & Cohen, 1984)。Van der Stoep等(2015)基于該范式考察了外源性聽覺線索在短SOA (200~250 ms)條件下對多感覺整合的調節作用。實驗通過聲音誘發外源性注意, 要求被試對呈現在左或右側的視覺(visual, V)、聽覺(auditory, A)和視聽覺(audiovisual, AV)通道目標刺激進行反應, 呈現在中間的目標不反應。研究結果顯示, 外源性聽覺線索能夠加快對有效線索位置上目標刺激的反應, 即產生空間線索化易化效應。更重要的是, 相比無效線索位置, 有效線索位置上的多感覺整合效應減小。在后續研究中, Van der Stoep等(2016)基于相同的實驗范式, 考察了外源性視覺線索在長SOA (350~450 ms)條件下誘發的IOR效應對多感覺整合的調節作用。結果發現, 雖然在反應時結果上發生反轉(目標刺激通道為視覺時產生IOR效應), 但有效線索位置上的多感覺整合效應仍然小于無效線索位置。可見, 已有結果均顯示, 外源性注意可以調節(減少)多感覺整合至少是視聽覺整合效應(Van der Stoep, Van der Stigchel, & Nijboer, 2015; Van der Stoep, Van der Stigchel, Nijboer, & Spence, 2016)。

2.1 外源性注意調節多感覺整合的三種理論假說

基于已有研究結果, 研究者們提出了三種理論假說來解釋外源性注意對多感覺整合的調節機制, 即空間不確定性、感知覺敏感度和感覺通道間信號強度差異假說。

2.1.1 空間不確定性假說

由于外源性線索?靶子范式中的線索不能預測隨后呈現目標的位置以至于產生更高的目標位置不確定性, 使得被試對目標的反應要更多依賴于線索誘發的空間定向。當線索誘發的空間定向重要性提高時, 多感覺目標本身引起的空間定向重要性則會降低(Van der Stoep, Spence, Nijboer, & Van der Stigchel, 2015; Van der Stoep, Van der Stigchel, & Nijboer, 2015)。由于在有效線索位置上, 外源性線索與多感覺目標本身引起的空間定向信息是冗余的, 因此降低了有效線索位置上多感覺目標整合的重要性, 最終得到有效線索位置上多感覺整合效應減少的結果。

另外, 有研究結果表明, 大腦對不同感覺通道信息的整合符合統計最優化原則, 即大腦能夠根據不同感覺通道信息的可靠性(reliability-based)來決定對其的利用權重(Fetsch, Pouget, Deangelis, & Angelaki, 2011; Li, Yang, Sun, & Wu, 2015; Li, Yu, Wu, & Gao, 2016)。而在整合過程中, 對于通道估計本身是否可靠的先驗知識也是確定該通道整合權重的一個重要因素(劉強等, 2010)。由于外源性線索不能預測隨后呈現目標的位置, 大腦便形成線索對目標刺激提供的空間信息是不可靠的先驗知識, 從而降低在有效線索位置上各感覺通道信息的利用權重, 最終影響多感覺整合效應。

2.1.2 感知覺敏感度假說

外源性空間線索能夠提高其出現位置的感知覺敏感度, 同時相對增強緊接著呈現在該位置上目標的感知強度(Carrasco, 2011)。研究表明多感覺整合加工遵循反比效應原則(The principle of inverse effectiveness), 即高強度刺激引起的多感覺整合效應更小, 反之亦然(Senkowski, Saint- Amour, H?fle, & Foxe, 2011)。以外源性聽覺線索調節多感覺整合的研究(Van der Stoep, Van der Stigchel, & Nijboer, 2015)為例, 在短SOA條件下, 相比無效線索位置, 有效線索位置上的感知覺敏感度更強, 因此呈現在該位置上的目標刺激強度也相應更強, 基于反比效應原則, 最終得到有效線索位置上多感覺整合效應減小的結果。

2.1.3 感覺通道間信號強度差異假說

前人研究發現當不同感覺通道之間的信號強度差異過大時, 多感覺整合效應更小, 而當不同感覺通道之間的信號強度相近時, 多感覺整合效應更大(Otto, Dassy, & Mamassian, 2013)。以外源性視覺線索調節多感覺整合的研究(Van der Stoep, Van der Stigchel, Nijboer, & Spence, 2016)為例, 在長SOA條件下, 視覺線索只引起同樣為視覺通道目標的IOR效應, 并沒有引起聽覺通道目標的IOR效應, 當有效線索位置上視覺目標的加工時間由于返回抑制變得更慢, 而聽覺目標并沒有更慢時, 視、聽感覺通道間加工速度差異的增大會導致信號強度差異也隨之增大, 最終得到有效線索位置上視聽覺整合效應減小的結果。

由于以上三種理論假說是研究者們基于不同研究背景(不同SOA條件)提出的, 因此本文將時間加工信息作為一個重要的影響因素, 把三種理論假說分別置于不同SOA條件下進行探討(見圖1)。

首先, 目前在不同SOA條件下的研究結果都支持空間不確定性假說。因為不論在短還是長SOA條件下, 目標刺激呈現位置的空間不確定性一直存在, 因此多感覺整合效應在有效線索位置上均有所減小。未來研究可以通過調控外源性線索的有效性比例來進一步驗證此假說(見圖1假說1)。

其次, 目前只有在短SOA條件下的研究結果支持感知覺敏感度假說(見圖1假說2短SOA)。由于在長SOA條件下, 有效線索位置上與目標早期感知覺加工密切相關的視覺P1成分振幅更小(Slagter, Prinssen, Reteig, & Mazaheri, 2016), 即長SOA條件下有效線索位置上的感知覺敏感度下降,其位置上呈現的目標刺激強度也相應減弱, 因此基于反比效應原則, 我們假定多感覺整合效應會更大(見圖1假說2長SOA)。未來研究可以通過ERP (Event-related Potential)技術觀察在不同時間進程中ERP成分的變化來驗證此假說。

圖1 外源性注意調節多感覺整合的三種理論假說

注：圖中分別表示三種理論假說(空間不確定性假說, 感知覺敏感度假說, 感覺通道間信號強度差異假說)在不同SOA條件下(短SOA vs長 SOA)的結果。其中, 加粗紅色字體代表基于已有研究數據得到的結果, 黑色字體代表假定結果。假說3結果分別引自Van der Stoep等(2015實驗1, 2016)。

最后, 目前只有在長SOA條件下的研究結果支持感覺通道間信號強度差異假說(見圖1假說3長SOA)。由于在短SOA條件下, 視、聽覺目標產生的易化效應使得不同線索類型(有效線索、無效線索)下感覺通道間(視、聽覺)的加工速度差異相近, 那么信號強度差異也相近, 因此我們假定在短SOA條件下, 不同線索類型下的多感覺整合效應無顯著差異(見圖1假說3短SOA)。未來研究可以通過誘發其它感覺通道上的返回抑制效應來觀察感覺通道間信號強度變化對多感覺整合效應的調節結果, 從而驗證此假說。

綜上所述, 在不同SOA條件下, 外源性注意對多感覺整合的調節作用基于三種理論假說有不同的解釋。但由于目前缺乏操控SOA變量的研究, 因此無法排除外源性注意本身存在的兩階段特性(短SOA下的易化效應vs. 長SOA下的抑制效應) (Martín-Arévalo, Chica, & Lupiá?ez, 2015)對多感覺整合調節機制不一致的可能, 這需要研究者們在未來進一步的考察。

2.2 外源性注意與內源性注意對多感覺整合調節的異同

在以往關于內源性注意調節多感覺整合的研究中。一方面, 內源性注意可以基于空間因素調節多感覺整合, 不管是基于低水平刺激(Gao et al., 2014; Li, Yang, Sun, & Wu, 2015; Senkowski, Saint-Amour, Gruber, & Foxe, 2008; Talsma & Woldorff, 2005), 還是高水平刺激(Fairhall & Macaluso, 2009); 另一方面, 內源性注意還可以基于感覺通道因素調節多感覺整合(Degerman, Rinne, Salmi, Salonen, & Alho, 2006; Talsma, Doty, & Woldorff, 2007)。雖然也有研究得到相反的結果, 例如在通道選擇性注意條件下多感覺整合的行為表現被減弱甚至消除(Mozolic, Hugenschmidt, Peiffer, & Laurienti, 2008; Wu et al., 2012)。但這些結果都顯示內源性注意能夠對多感覺整合效應產生調節作用。

對比內源性注意與外源性注意調節多感覺整合的研究, 發現兩者都能對多感覺整合產生調節作用, 且都在注意位置(有效線索位置)上觀察到多感覺促進效應。但由于外源性注意與內源性注意本身存在較大的差異：第一, 內源性注意的空間定向效應隨著任務的需求而變化, 而外源性注意空間定向效應不易受任務影響(Chica, Bartolomeo, & Lupiá?ez, 2013); 第二, 外源性線索比內源性線索能夠更快地誘發注意效應, 也更快消失(Busse, Katzner, & Treue, 2008)。第三, 外源性注意在SOA大于300 ms時能夠產生IOR效應(Martín-Arévalo, Chica, & Lupiá?ez, 2015), 而內源性注意只有在引發眼球運動系統作出自發的眼跳時才會產生IOR效應(Henderickx, Maetens, & Soetens, 2012)。因此, 兩者對多感覺整合的調節存在著差異：

一方面, 兩者對多感覺整合的調節方式有所差異。內源性注意作為目標驅動注意, 是個體根據自己的目的或意圖主動分配心理活動或意識, 因此內源性注意是通過自上而下的方式來調節多感覺整合。而外源性注意本身作為一種刺激驅動注意, 則是通過自下而上的方式來調節多感覺整合(Van der Stoep, Van der Stigchel, & Nijboer, 2015; Van der Stoep, Van der Stigchel, Nijboer, & Spence, 2016)。可見, 兩者對多感覺整合效應的調節方式不同。

另一方面, 兩者對多感覺整合的調節結果有所差異。在內源性注意調節多感覺整合的研究中, 內源性注意能夠通過調節機制降低感覺通道內的干擾信息從而增強視聽覺信息輸入的可靠性(Macaluso et al., 2016)。因此, 相比非注意位置, 注意位置上多感覺通道刺激的行為反應結果更快更準確, 神經反應更強烈, 多感覺整合效應更大。以Talsma等(2005)研究為例, 如圖2所示, 要求被試注意右側位置出現的刺激, 對相應目標刺激進行反應。結果發現, 刺激出現后100~140 ms時, 額葉和中央區電極, 注意位置上AV與(A+V)間差異①比非注意位置大, 即內源性注意位置上的多感覺整合效應更大, 刺激出現后160~200 ms和320~420 ms, 在中央內側核區電極發現相同的注意效應。然而, 在外源性注意調節多感覺整合的研究中, 以Van der Stoep等(2015)研究中實驗1結果為例, 有效線索位置(相當于注意位置)上的多感覺整合效應反而小于無效線索位置(相當于非注意位置)。可見, 兩者對多感覺整合效應的調節結果不同。

圖2 Talsma等(2005)研究的實驗流程與結果圖

注：內源性注意調節多感覺整合的實驗流程及其結果。實驗中要求被試注意屏幕中的一側(左/右側), 并對該空間位置上的所有目標刺激(視覺、聽覺和視聽覺)進行檢測反應(左圖)。結果顯示, 內源性注意位置上的多感覺整合效應更大(右圖)。

此外, 根據前人研究結果我們假設兩者對多感覺整合調節的時程機制也有所差異, 基于外源性注意與內源性注意調節刺激加工的時程研究結果, 在短SOA條件下, 外源性注意(易化效應)誘發的P1成分大于內源性注意(Hopfinger & West, 2006)。在長SOA條件下, 外源性注意(IOR效應)分別影響早期P1和晚期P3成分(Chica & Lupiá?ez, 2009), 然而內源性注意只影響晚期P3成分(Chica et al., 2013), 因此兩者調節多感覺整合的時程機制可能也有所差異。

本小節首先回顧了外源性注意對多感覺整合的調節作用。然后分別討論了空間不確定性、感知覺敏感度和感覺通道間信號強度差異三種理論假說并提出了各假說未來的驗證方向。最后對比了外源性注意與內源性注意對多感覺整合調節的異同點。總的來說, 在線索?靶子范式下, 已有研究結果暫且支持空間不確定性假說。但由于目前缺少神經機制的實驗數據支持, 且在其它范式下(視覺搜索范式)發現對雙通道刺激的反應反而慢于單通道刺激, 并沒有發生多感覺促進效應, 有效線索位置上單、雙通道的反應時差異也小于無效線索位置(Matusz & Eimer, 2013)。因此, 還需研究者們的進一步驗證。

3 多感覺整合對外源性注意的調節作用

研究者們發現多感覺整合對外源性注意也存在調節作用, 不僅通過自下而上還能通過自上而下的方式。

3.1 多感覺整合自下而上地調節外源性注意

有證據表明在不需要注意資源的情況下可以發生早期的多感覺整合(Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008a), 刺激在早期階段基于空間原則②或時間原則③自動整合起來, 整合后的多感覺通道刺激對外源性注意產生自下而上的調節作用。

3.1.1 線索?靶子范式中多感覺整合對外源性注意的調節作用

基于調控線索通道類型的線索?靶子范式, 實驗中會先呈現不同通道類型的線索(例如視覺、聽覺或視聽覺線索), 再呈現目標刺激, 要求被試完成空間辨別任務, 最后比較由不同線索類型引起的空間線索化效應是否有所差異。早期研究者并沒有發現多感覺通道線索與單通道線索(聽覺、視覺)引起的空間線索化效應有顯著差異, 因此并不認為多感覺通道刺激能夠促進空間注意指向(Mahoney, Verghese, Dumas, Wang, & Holtzer, 2012; Santangelo, Van der Lubbe, Belardinelli, & Postma, 2006, 2008)。然而在Santangelo等(2008) ERP研究中顯示, 外源性視聽線索相比單獨的視覺和聽覺線索誘發了更強的神經活動。具體來看, 由雙通道線索(視聽覺)誘發的對側頂枕區P1成分顯著大于單一視、聽覺線索誘發的成分之和, 由此證明多感覺通道線索在空間注意定向中發揮了重要的作用。后期研究者發現, 當操縱了被試的注意負荷變量后, 只有多感覺通道線索能夠引起空間線索化效應(Barrett & Katrin, 2012; Matusz & Eimer, 2011; Santangelo & Spence, 2007)。也就是說, 當被試在高注意負荷條件下, 即在同一時間內既需要完成實驗主任務又需要完成如快速序列視覺呈現(rapid serial visual presentation, RSVP)或時序判斷(temporal order judgment, TOJ)等次任務的條件下, 多感覺通道線索相比單通道線索具備更大的提示效果。同樣, 類似的結果在聽觸覺研究中也被發現(Ho, Santangelo, & Spence, 2009)。

基于感知負荷理論, 個體的注意資源有限, 當前任務對注意資源的占用程度決定了與任務無關的刺激得到多少加工(Lavie, 2005)。因此, 被試在高注意負荷條件下, 較少的注意資源可用于加工與任務無關的線索刺激, 只有整合后的多感覺通道線索刺激才具備更大的凸顯性, 能更加集中地以刺激驅動的方式捕獲個體的空間注意(Krause, Schneider, Engel, & Senkowski, 2012), 從而促進注意指向。

3.1.2 視覺搜索范式中多感覺整合對外源性注意的調節作用

Van der Burg等(2008 a,b)研究中采用視覺搜索任務范式, 要求被試在眾多連續變化顏色和方向的傾斜干擾線段中搜索水平或垂直的目標刺激線段。其中, 目標刺激在顏色變化的同時伴隨或不伴隨聽覺刺激, 聽覺刺激并不提供關于目標刺激的任何信息, 對視覺目標不具有預測性。結果發現, 相比不伴隨聽覺刺激的視覺目標, 同步呈現聽覺刺激的視覺目標其檢測速度更快, 這種由聽覺驅動的視覺搜索優勢被稱為“pip and pop”效應(Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008b; Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008a)。Van der Burg等(2011)在其后續研究中再次證實了聽覺刺激能夠加快同時呈現視覺目標的搜索時間, 并且發現代表視聽覺整合的早期P50成分與行為學結果中的檢測準確率高度相關。重要的是, 在刺激呈現后210~250 ms出現與自下而上注意分配關聯的N2pc成分(Luck & Hillyard, 1994), 代表多感覺整合確實能夠捕獲注意, 促進視覺搜索效率。這種通過多感覺通道刺激捕獲的外源性注意被證明可以通過被試的空間注意分布狀況來調節(Van Der Burg, Olivers, & Theeuwes, 2012)。有研究者解釋, 同時呈現的聽覺刺激與視覺目標發生整合, 從而增強了對視覺目標位置的指向, 并抑制了視覺干擾項的位置指向(Pluta, Rowland, Stanford, & Stein, 2011), 最終促進多個刺激之間的競爭, 使視覺目標從復雜環境中凸顯出來(Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2008a; Van der Burg, Talsma, Olivers, Hickey, & Theeuwes, 2011)。然而, 也有另一種解釋, 行為學效率的提高不是由于多感覺整合的作用, 而是由于與目標同時呈現的線索導致目標在干擾項中被感知為“古怪(oddball)”的刺激, 從而捕獲被試注意并促進視覺目標的識別(Ngo & Spence, 2012)。總之, 多感覺整合在視覺搜索中調節外源性注意的基本機制還需研究者們的進一步探索。值得注意的是, 雖然影響視覺搜索中選擇性注意的因素既包括目標驅動(自上而下)又包括刺激驅動(自下而上) (Atchley, Jones, & Hoffman, 2003), 但本文在此關注的是同時呈現的聽覺刺激與視覺目標自動整合所吸引的注意是刺激驅動的。

“pip and pop”效應還被證實可以由其它感覺通道例如觸覺(Van der Burg, Olivers, Bronkhorst, & Theeuwes, 2009)、嗅覺(Chen, Zhou, Chen, He, & Zhou, 2013)等誘發, 同樣能夠提高同時呈現的視覺目標的顯著性, 使其從復雜的視覺環境中凸顯出來。總之, 當視覺目標與其它感覺通道的信號同步呈現時, 能在知覺上被整合, 捕獲注意, 最終幫助個體更快地識別、檢測目標刺激, 加快視覺搜索速度(Chamberland, Hodgetts, Vallières, Vachon, & Tremblay, 2016)。

3.2 多感覺整合自上而下地調節外源性注意

大腦可以基于當前任務的相關特征建立自上而下的信號模板(注意控制定勢, Attentional Control Setting), 只有符合當前信號模板的刺激才有可能自動捕獲被試的空間注意(Folk & Remington, 1998), 而是否符合當前的信號模板則取決于線索刺激是否共享目標的特征。這些線索屬性不僅包括較低水平的特征屬性(顏色、大小、明度、凸顯性、運動等) (Ansorge & Becker, 2013; Goller & Ansorge, 2015), 還包括較高水平的語義概念(Folk, Berenato, & Wyble, 2014; Goodhew, Kendall, Ferber, & Pratt, 2014; 王慧媛,隋潔,張明,2016; 王慧媛,張明,隋潔,2014)。這種受調節的注意分配現象被稱為關聯性注意捕獲, 強調被試基于任務要求的信號模板對注意分配的調節作用(Lamy & árni, 2013)。

以往研究中, 主要針對單通道任務中的關聯性注意捕獲進行了探討, 然而在日常生活中, 我們很少只對一種感覺通道的信息進行處理, 通常會對來自不同感覺通道的信息同時處理, 以提高行為效率。因此, 研究者們開始對跨通道任務中的關聯性注意捕獲進行探討。Matusz和Eimer (2013)基于視覺搜索范式, 考察個體是否可以創建與目標刺激相關聯的來自不同感覺通道(視覺和聽覺)的多感覺信號模板。實驗中要求被試在搜索陣列中檢測包含由視覺特征(如紅色矩形)或視聽覺特征組合定義的目標刺激(如伴有高音調的紅色矩形), 在此之前, 呈現與其中視覺目標特征相匹配但不提供空間信息的視覺線索。結果發現相比單獨的視覺搜索任務, 視覺線索的空間線索化效應在視聽覺搜索任務中減少, 且N2pc成分誘發了更小的振幅, 也就是說單通道視覺線索的注意捕獲能力在視聽覺搜索任務中減弱。研究者認為在視聽覺搜索任務期間, 視聽覺目標被整合為多感覺通道刺激并作為雙通道信號模板自上而下地控制注意。

Mast等(2015) 采用非空間反應啟動范式考察了自上而下的多感覺信號模板是否可以包含來自其它感覺通道如觸覺的特征(見圖3)。實驗中的啟動項(類似于線索?靶子范式中的線索)與目標刺激在相同位置被連續呈現, 以避免線索化范式中的超通道空間特征(避免啟動項提供目標的空間位置信息)。目標和啟動項都包括雙通道與單通道條件。視覺目標與啟動項顏色特征是否一致作為反應相容性條件, 當視覺目標與視覺啟動項的反應顏色一致時為相容條件, 視覺目標與視覺啟動項的反應顏色不一致時為不相容條件(如圖3a所示)。結果發現, 僅對于雙通道(視觸覺)目標條件, 雙通道(視觸覺)啟動項比單通道(視覺)啟動項具有更大的相容性效應(不相容條件反應時減去相容條件反應時) (如圖3b所示)。也就是說, 在雙通道目標條件下, 由于視覺目標和觸覺刺激的同時呈現使得觸覺特征并入到被試自上而下的多感覺信號模板中, 而視觸覺啟動項符合當前信號模板, 從而引起更大的注意捕獲效應。基于相同的實驗范式, Mast等(2017)通過改變視覺或聽覺通道是否作為反應相關維度對跨通道關聯性注意捕獲效應再次進行驗證。結果發現, 當啟動項與目標的主要和次要通道特征都匹配時, 產生更大的相容性效應, 即啟動項和自上而下多感覺信號模板之間特征重疊的情況決定了注意捕獲的強度。

上述研究表明, 跨通道關聯性注意捕獲不僅可以包含來自視覺和觸覺通道的特征(Mast, Frings, & Spence, 2015; Matusz & Eimer, 2013)還可以包含來自視覺與聽覺通道的特征(Mast, Frings, & Spence, 2017)。另外, 跨通道關聯性注意捕獲既適用于與空間信息相關聯的視覺搜索任務(Matusz & Eimer, 2013)又適用于與空間信息不相關的任務(Mast, Frings, & Spence, 2015; Mast, Frings, & Spence, 2017)。雖然有研究者認為跨通道關聯性注意捕獲并不是以純粹自上而下的方式進行 (Matusz & Eimer, 2011), 這可能是由于視聽啟動項引起了大腦早期的多感覺加工(刺激后100 ms以內)和低級皮質中強烈的自下而上的影響(Murray et al., 2016)。但已有研究結果至少證明大腦可以將來自不同感覺通道(視覺、觸覺、聽覺)的刺激整合成多感覺信號模板進行儲存, 從而自上而下地引導個體的外源性注意以優化對目標的選擇。

圖3 Mast等(2015, 實驗1b)研究的實驗流程與結果圖

注：(a)任務和實驗流程。圖中分別表示在雙通道目標(左圖)和單通道目標條件(右圖)下的實驗流程。雙通道目標由視覺刺激(紅色圓形)與觸覺振動刺激(圖上用波浪線表示)組合而成。單通道目標只有視覺目標(綠色圓形), 從不伴隨觸覺振動刺激。同樣, 啟動項也分為雙通道與單通道條件。實驗中要求被試忽略啟動項顏色特征, 既快又準地對目標刺激的顏色特征進行反應。(b)行為學結果。縱坐標代表相容性效應, 結果顯示只有在雙通道目標條件下發現雙通道啟動項比單通道啟動項有更大的相容性效應。(引并改自Mast等(2015), copyright (2015)The Psychonomic Society.)

4 小結與展望

外源性注意和多感覺整合都有助于控制信息處理, 且都是復雜的、多階段的過程, 因此兩者之間的交互關系同樣也是復雜的。為了解釋兩者間的交互作用機制, 本文主要從兩大方面綜述了外源性注意與多感覺整合的交互關系。具體來看：(1)外源性注意可以通過自下而上的方式調節多感覺整合, 包括空間不確定性、感知覺敏感度和感覺通道間信號強度差異三種理論假說。外源性注意與內源性注意都能對多感覺整合產生調節作用, 但兩者在調節方式和調節結果上有所差異。(2)多感覺整合也可以調節外源性注意。一方面, 多感覺整合自下而上地調節外源性注意。具體來看, 在線索?靶子范式中, 刺激之間能夠以自下而上的方式自動整合, 整合后的多感覺通道線索相比單通道線索具有更大的注意捕獲效應, 誘發更大的空間注意定向效應; 在視覺搜索任務中, 整合后的多感覺通道刺激同樣能引起更大的注意捕獲效應, 使得目標從復雜環境中凸顯出來, 從而提高視覺搜索效率。另一方面, 整合后的多感覺通道刺激能夠作為多感覺信號模板存儲于大腦之中, 從而在任務中自上而下地調節注意捕獲。

在未來研究中, 本文提出以下幾點展望：

(1)外源性注意調節多感覺整合的認知神經科學機制有待進一步解決。目前, 關于內源性注意對多感覺整合的調節機制取得了豐富的成果。然而外源性注意調節多感覺整合的成果只在行為學層面上有所探討, 具體機制尚不清楚, 外源性注意如何影響多感覺整合以及何時開始影響多感覺整合的問題都未得到解決, 因此需要研究者們進一步探索。

(2)外源性注意與多感覺整合交互作用的具體時程機制。并行整合框架指出, 多感覺整合能夠基于刺激的時間、空間和內容發生在感覺處理的“早期”和“晚期”階段(Calvert & Thesen, 2004)。雖然已有研究證明, 內源性注意可以調節多感覺整合的多個階段(Talsma, Senkowski, Soto-Faraco, & Woldorff, 2010), 但目前關于外源性注意與多感覺整合交互作用的具體加工階段還未進行過考察。

(3)其它因素如何影響外源性注意與多感覺整合的交互關系。已有研究證實, 任務要求與目標(Donohue, Green, & Woldorff, 2015), 注意負荷(Barrett & Katrin, 2012)以及個體期望(Kok, Jehee, & de Lange, 2012)都能影響內源性注意對多感覺整合的調節效應。同樣, 在外源性注意調節多感覺整合的研究中也發現任務類型會影響其調節效應的大小(Van der Stoep, Spence, Nijboer, & Van der Stigchel, 2015)。因此, 未來研究除了揭示外源性注意與多感覺整合交互作用的基本原理之外, 還需要關注兩者的交互關系是否受到其它因素的影響。

劉強, 胡中華, 趙光, 陶維東, 張慶林, 孫弘進. (2010). 通道估計可靠性先驗知識在早期的知覺加工階段影響多感覺信息整合.(2), 227?234.

王慧媛, 隋潔, 張明. (2016). 線索靶子關聯和搜索策略對注意捕獲的作用——來自意義線索的證據.(7), 783?793.

王慧媛, 張明, 隋潔. (2014). 線索靶子關聯和搜索策略對注意捕獲的作用.(2), 185?195.

Ansorge, U., & Becker, S. I. (2013). Contingent capture in cueing: The role of color search templates and cue-target color relations.(2), 209?221.

Atchley, P., Jones, S. E., & Hoffman, L. (2003). Visual marking: A convergence of goal- and stimulus-driven processes during visual search.(5), 667?677.

Barrett, D. J. K., & Katrin, K. (2012). Evidence for multisensory integration in the elicitation of prior entry by bimodal cues.(1?2), 11?20.

Busse, L., Katzner, S., & Treue, S. (2008). Temporal dynamics of neuronal modulation during exogenous and endogenous shifts of visual attention in macaque area MT.(42), 16380?16385.

Callan, A., Callan, D., & Ando, H. (2015). An fMRI study of the ventriloquism effect.(11), 4248? 4258.

Calvert, G. A., & Thesen, T. (2004). Multisensory integration: Methodological approaches and emerging principles in the human brain.(1?3), 191? 205.

Carrasco, M. (2011). Visual attention: The past 25 years.(13), 1484?1525.

Chamberland, C., Hodgetts, H. M., Vallières, B. R., Vachon, F., & Tremblay, S. (2016). Pip and pop: When auditory alarms facilitate visual change detection in dynamic settings.,(1), 284?288.

Chen, K., Zhou, B., Chen, S., He, S., & Zhou, W. (2013). Olfaction spontaneously highlights visual saliency map.(1768), 20131729.

Chica, A. B., Bartolomeo, P., & Lupiá?ez, J. (2013). Two cognitive and neural systems for endogenous and exogenous spatial attention.(1), 107?123.

Chica, A. B., & Lupiá?ez, J. (2009). Effects of endogenous and exogenous attention on visual processing: An inhibition of return study., 75?85.

De Meo, R., Murray, M. M., Clarke, S., & Matusz, P. J. (2015). Top-down control and early multisensory processes: Chicken vs. egg.(17).

Degerman, A., Rinne, T., Salmi, J., Salonen, O., & Alho, K. (2006). Selective attention to sound location or pitch studied with fMRI.(1), 123?134.

Donohue, S. E., Green, J. J., & Woldorff, M. G. (2015). The effects of attention on the temporal integration of multisensory stimuli., 32.

Fairhall, & Macaluso. (2009). Spatial attention can modulate audiovisual integration at multiple cortical and subcortical sites.(6), 1247? 1257.

Fetsch, C. R., Pouget, A., Deangelis, G. C., & Angelaki, D. E. (2011). Neural correlates of reliability-based cue weighting during multisensory integration.(1), 146?154.

Folk, C., Berenato, A., & Wyble, B. (2014). Semantic priming produces contingent attentional capture by conceptual content.(10), 318.

Folk, C. L., & Remington, R. (1998). Selectivity in distraction by irrelevant featural singletons: Evidence for two forms of attentional capture.(3), 847?858.

Gao, Y. L., Li, Q., Yang, W. P., Yang, J. J., Tang, X. Y., & Wu, J. L. (2014). Effects of ipsilateral and bilateral auditory stimuli on audiovisual integration: A behavioral and event-related potential study.(9),668?675.

Giard, M., & Peronnet, F. (1999). Auditory-visual integration during multimodal object recognition in humans: A behavioral and electrophysiological study.(5), 473?490.

Goller, F., & Ansorge, U. (2015). There is more to trial history than priming in attentional capture experiments.(5), 1574?1584.

Goodhew, S. C., Kendall, W., Ferber, S., & Pratt, J. (2014). Setting semantics: Conceptual set can determine the physical properties that capture attention.(6), 1577?1589.

Henderickx, D., Maetens, K., & Soetens, E. (2012). The involvement of bottom-up saliency processing in endogenous inhibition of return.(2), 285?299.

Ho, C., Santangelo, V., & Spence, C. (2009). Multisensory warning signals: When spatial correspondence matters.(2), 261?272.

Hopfinger, J. B., & West, V. M. (2006). Interactions between endogenous and exogenous attention on cortical visual processing.(2), 774?789.

Koelewijn, T., Bronkhorst, A., & Theeuwes, J. (2010). Attention and the multiple stages of multisensory integration: A review of audiovisual studies.(3), 372?384.

Kok, P., Jehee, J. F. M., & de Lange, F. P. (2012). Less is more: Expectation sharpens representations in the primary visual cortex.(2), 265?270.

Krause, H., Schneider, T. R., Engel, A. K., & Senkowski, D. (2012). Capture of visual attention interferes with multisensory speech processing.67.

Lamy, D. F., & árni, K. (2013). Is goal-directed attentional guidance just intertrial priming? A review.(3), 14?14.

Lavie, N. (2005). Distracted and confused? Selective attention under load.(2), 75?82.

Li, Q., Wu, J., & Touge, T. (2010). Audiovisual interaction enhances auditory detection in late stage: An event-related potential study.(3), 173?178.

Li, Q., Yang, H., Sun, F., & Wu, J. (2015). Spatiotemporal relationships among audiovisual stimuli modulate auditory facilitation of visual target discrimination.(3), 232?242.

Li, Q., Yu, H., Wu, Y., & Gao, N. (2016). The spatial reliability of task-irrelevant sounds modulates bimodal audiovisual integration: An event-related potential study., 149?154.

Luck, S. J., & Hillyard, S. A. (1994). Spatial filtering during visual search: Evidence from human electrophysiology.(5), 1000?1014.

Macaluso, E., Noppeney, U., Talsma, D., Vercillo, T., Hartcher-O’Brien, J., & Adam, R. (2016). The curious incident of attention in multisensory integration: Bottom- up vs. top-down.(6), 557?583.

Mahoney, J. R., Verghese, J., Dumas, K., Wang, C., & Holtzer, R. (2012). The effect of multisensory cues on attention in aging., 63?73.

Martín-Arévalo, E., Chica, A. B., & Lupiá?ez, J. (2015). No single electrophysiological marker for facilitation and inhibition of return: A review., 1?10.

Mast, F., Frings, C., & Spence, C. (2015). Multisensory top-down sets: Evidence for contingent crossmodal capture.(6), 1970?1985.

Mast, F., Frings, C., & Spence, C. (2017). Crossmodal attentional control sets between vision and audition., 41?47.

Matusz, P. J., & Eimer, M. (2011). Multisensory enhancement of attentional capture in visual search.,(5), 904?909.

Matusz, P. J., & Eimer, M. (2013). Top-down control of audiovisual search by bimodal search templates.(10), 996–1009.

Meredith, M. A., Nemitz, J. W., & Stein, B. E. (1987). Determinants of multisensory integration in superior colliculus neurons. I. Temporal factors.(10), 3215–3229.

Miller, J. (2016). Statistical facilitation and the redundant signals effect: What are race and coactivation models?(2), 516?519. Mishler, A., & Neider, M. (2016). Evidence for the redundant signals effect in detection of categorical targets.(12), 1024.

Mozolic, J. L., Hugenschmidt, C. E., Peiffer, A. M., & Laurienti, P. J. (2008). Modality-specific selective attention attenuates multisensory integration.(1), 39?52.

Murray, M. M., Thelen, A., Thut, G., Romei, V., Martuzzi, R., & Matusz, P. J. (2016). The multisensory function of the human primary visual cortex., 161?169.

Ngo, M. K., & Spence, C. (2012). Facilitating masked visual target identification with auditory oddball stimuli.(2), 129?136.

Otto, T. U., Dassy, B., & Mamassian, P. (2013). Principles of multisensory behavior.(17), 7463?7474.

Pluta, S. R., Rowland, B. A., Stanford, T. R., & Stein, B. E. (2011). Alterations to multisensory and unisensory integration by stimulus competition.(6), 3091?3101.

Posner, M. I., & Cohen, Y. (1984). Components of visual orienting., 531?556.

Santangelo, V., Fagioli, S., & Macaluso, E. (2010). The costs of monitoring simultaneously two sensory modalities decrease when dividing attention in space.(3), 2717?2727.

Santangelo, V., & Spence, C. (2007). Multisensory cues capture spatial attention regardless of perceptual load.(6), 1311?1321.

Santangelo, V., Van der Lubbe, R. H., Belardinelli, M. O., & Postma, A. (2006). Spatial attention triggered by unimodal, crossmodal, and bimodal exogenous cues: A comparison of reflexive orienting mechanisms.(1), 40?48.

Santangelo, V., Van der Lubbe, R. H., Belardinelli, M. O., & Postma, A. (2008). Multisensory integration affects ERP components elicited by exogenous cues.(2), 269?277.

Senkowski, D., Saint-Amour, D., Gruber, T., & Foxe, J. J. (2008). Look who's talking: The deployment of visuo- spatial attention during multisensory speech processing under noisy environmental conditions.(2), 379?387.

Senkowski, D., Saint-Amour, D., H?fle, M., & Foxe, J. J. (2011). Multisensory interactions in early evoked brain activity follow the principle of inverse effectiveness.(4), 2200?2208.

Slagter, H. A., Prinssen, S., Reteig, L. C., & Mazaheri, A. (2016). Facilitation and inhibition in attention: Functional dissociation of pre-stimulus alpha activity, P1, and N1 components.(6), 25?35.

Soto-Faraco, S., Navarra, J., & Alsius, A. (2004). Assessing automaticity in audiovisual speech integration: Evidence from the speeded classification task.(3), B13?B23.

Spence, C. (2010). Crossmodal spatial attention.(1), 182?200.

Spence, C. (2013). Just how important is spatial coincidence to multisensory integration? Evaluating the spatial rule.(1), 31?49.

Spence, C., & Santangelo, V. (2009). Capturing spatial attention with multisensory cues: A review.(1-2), 134?142.

Stein, B. E., & Stanford, T. R. (2008). Multisensory integration: Current issues from the perspective of the single neuron.(4), 255? 266.

Stevenson, R. A., Fister, J. K., Barnett, Z. P., Nidiffer, A. R., & Wallace, M. T. (2012). Interactions between the spatial and temporal stimulus factors that influence multisensory integration in human performance.(1), 121?137.

Talsma, D., Doty, T. J., & Woldorff, M. G. (2007). Selective attention and audiovisual integration: Is attending to both modalities a prerequisite for early integration?(3), 679?690.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G. (2010). The multifaceted interplay between attention and multisensory integration.(9), 400?410.

Talsma, D., & Woldorff, M. (2005). Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity.(7), 1098?1114.

Tang, X. Y., Wu, J. L., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention., 208?224.

Tiippana, K. (2014). What is the McGurk effect?(4), 725.

Van der Burg, E., Olivers, C. N. L., Bronkhorst, A. W., & Theeuwes, J. (2008b). Audiovisual events capture attention: Evidence from temporal order judgments.(5), 1?10.

Van der Burg, E., Olivers, C. N. L., Bronkhorst, A. W., & Theeuwes, J. (2008a). Pip and pop: Nonspatial auditory signals improve spatial visual search.(5), 1053?1065.

Van der Burg, E., Olivers, C. N. L., Bronkhorst, A. W., & Theeuwes, J. (2009). Poke and pop: Tactile-visual synchrony increases visual saliency.(1), 60?64.

Van Der Burg, E., Olivers, C. N. L., & Theeuwes, J. (2012). The attentional window modulates capture by audiovisual events.(7), e39137.

Van der Burg, E., Talsma, D., Olivers, C. N. L., Hickey, C., & Theeuwes, J. (2011). Early multisensory interactions affect the competition among multiple visual objects.(3), 1208?1218.

Van der Stoep, N., Spence, C., Nijboer, T. C. W., & Van der Stigchel, S. (2015). On the relative contributions of multisensory integration and crossmodal exogenous spatial attention to multisensory response enhancement., 20?28.

Van der Stoep, N., Van der Stigchel, S., & Nijboer, T. C. W. (2015). Erratum to: Exogenous spatial attention decreases audiovisual integration.(2), 464?482.

Van der Stoep, N., Van der Stigchel, S., Nijboer, T. C., & Spence, C. (2016). Visually induced inhibition of return affects the integration of auditory and visual Information.(1), 6?17.

Vroomen, J., Bertelson, P., & De Gelder, B. (2001). The ventriloquist effect does not depend on the direction of automatic visual attention.(4), 651?659.

Wu, J. L., Li, Q., Bai, O., & Touge, T. (2009). Multisensory interactions elicited by audiovisual stimuli presented peripherally in a visual attention task: A behavioral and event-related potential study in humans.(6), 407?413.

Wu, J. L., Yang, J. J., Yu, Y. H., Li, Q., Nakamura, N., Shen, Y., ... Abe, K. (2012). Delayed audiovisual integration of patients with mild cognitive impairment and Alzheimer's disease compared with normal aged controls.(2), 317?328.

The interaction between exogenous attention and multisensory integration

PENG Xing1; CHANG Ruosong1,2; REN Guiqin1; WANG Aijun3; TANG Xiaoyu1,2

(1School of Psychology, Liaoning Normal University, Dalian 116029, China) (2Liaoning Collaborative Innovation, Dalian 116029, China) (3Department of Psychology, Soochow University, Suzhou 215000, China)

The interaction between exogenous attention and multisensory integration is a complex and controversial topic, which has been debated for a long time. In order to explain the interaction mechanism between them, here we summarized two parts based on previous researches. First, exogenous attention can modulate multisensory integration in a bottom-up manner, including three hypotheses as spatial uncertainty, sensory sensitivity and the differences in unimodal signal strength. Second, multisensory integration can also modulate exogenous attention. On one hand, stimuli from multiple sense modalities can be automatically integrated in a bottom-up manner. The integrated multisensory events can capture attention more efficiently compared to unimodal events, even under quite complex circumstances. On the other hand, integrated multisensory events exert top-down control on attentional capture via multisensory signal templates that are stored in the brain.

multisensory integration; exogenous attention; top-down; bottom-up; endogenous attention

① AV與(A+V)間差異：通過比較視聽覺刺激(AV)誘發的ERP 與相對應的單通道聽覺(A)和視覺(V)刺激分別誘發的ERP 成分總和來反應多感覺整合加工(De Meo, Murray, Clarke, & Matusz, 2015; Giard & Peronnet, 1999)。

② 空間原則(the special rule)：當來自不同感覺通道的信息由大致相同的位置呈現時, 多感覺整合效應最佳(Spence, 2013)。

③時間原則(the temporal rule)：當來自不同感覺通道的信息由大致相近的時間呈現時, 多感覺整合效應最佳(Stevenson, Fister, Barnett, Nidiffer, & Wallace, 2012)。

2017-10-26

* 國家自然科學基金項目(31600882; 31700939; 31471075), 中國博士后基金面上項目(2017M611888)贊助。

唐曉雨, E-mail: tangyu-2006@163.com; 王愛君, E-mail: ajwang@suda.edu.cn

B842

10.3724/SP.J.1042.2018.02129