注意對視聽語義整合加工的影響 *

呂 勇 顧吉有

(教育部人文社會科學重點研究基地天津師范大學心理與行為研究院，天津 300074)

注意對視聽語義整合加工的影響 *

呂 勇 顧吉有

(教育部人文社會科學重點研究基地天津師范大學心理與行為研究院，天津 300074)

采用2×3的被試內實驗設計，將注意條件和目標刺激類型作為實驗變量，考察了指向不同感覺通道的注意對視聽語義整合加工的不同影響。結果發現，只有在同時注意視覺和聽覺刺激時，被試對語義一致的視聽刺激反應最快，即產生冗余信號效應。而在選擇性注意一個感覺通道時，語義一致的視聽刺激并不具有加工優勢。進一步分析發現，在同時注意視覺和聽覺時語義一致視聽刺激的加工優勢源自于其視覺和聽覺成分產生了整合。也就是說，只有在同時注意視覺和聽覺時，語義一致視聽刺激才會產生整合，語義不一致視聽刺激不會產生整合。而在選擇性注意一個感覺通道時，不論語義是否一致，視聽刺激均不會產生整合。

注意，多感覺整合，語義聯結，競爭模型。

1 引言

人們的腦每天都會接受大量來自不同感覺通道的信息。持續追蹤并整合這些來自不同通道的信息是人類知覺系統的一項重要功能（Su,2014）。有研究顯示，個體對多通道信息的整合加工（即多感覺整合，multisensory integration）能夠減少反應時并提高正確反應率（孫遠路等, 2011;Koelewijn, Bronkhorst, & Theeuwes, 2010），并且降低知覺閾限（Frassinetti, Bolognini, & Làdavas, 2002;Lovelace, Stein, & Wallace, 2003）。已有文獻中將這種對雙通道目標的加工優勢稱為“冗余信號效應（the redundant signal effect）”（Miller, 1982）。

在對多通道信息的整合加工中，注意的作用一直存在爭論（Koelewijn et al., 2010；Talsma,Senkowski, Soto-Faraco, & Woldorff, 2010）。目前，主流觀點認為注意對視聽整合加工起一定的作用。比如，Talsma和Woldorff（2005）采用簡單圖形和短音分別作為視覺和聽覺材料，考察了被試在注意和非注意條件下探測偶然出現的目標刺激的表現，同時記錄被試的腦電。結果發現，被試對雙通道刺激的反應明顯快于對任意一個單通道刺激的反應。并且，只有在注意條件下，才會出現代表視聽整合加工的ERP效應。

但是，Talsma和Woldorff的研究僅關注注意與非注意條件，并沒有將注意條件做進一步的區分。眾所周知，注意除可以指向不同的空間位置、客體特征之外，還可以指向不同感覺通道（Talsma, 2015）。那么，當注意指向不同感覺通道時，視聽整合是否會存在差異？有研究者（Mittag, Alho, Takegata, Makkonen, & Kujala, 2013）針對上述問題進行了考察。他們采用芬蘭語中半合成的輔音-元音音節作為視覺刺激，其讀音作為聽覺刺激，考察被試在注意不同通道時多感覺整合的差異。結果發現，被試在注意視覺和同時注意視覺和聽覺時，都會產生明顯的多感覺整合效應，而在只注意聽覺時，沒有多感覺整合效應產生。這項研究表明，盡管注意能夠影響視聽整合，但并不是在注意任意通道時均會產生，因此注意對多感覺整合的影響由于注意指向的感覺通道不同而具有一定的條件性。

同時，人們生活環境中的刺激除共享時間和空間特征，還共享語義特征（Laurienti, Kraft, Maldjian,Burdette, & Wallace, 2004），這就構成了刺激之間的語義聯結。有研究者認為，大腦在處理信息時，傾向于將內容上匹配的刺激當作源自于相同資源處理，或者說，當兩種刺激在內容上相一致（如，語義一致）時，大腦更傾向于認為它們來源于同一資源，這樣更有益于人們的知覺系統將其整合成統一的知覺（Su, 2014）。一些以視聽語義知覺為考察對象的研究結果與這種視聽語義一致信息的加工優勢基本一致（van Wassenhove, Grant,& Poeppel, 2007; Ten Oever, Sack, Wheat, Bien, & van Atteveldt, 2013）。由此可見，語義一致的視聽刺激更易產生整合。那么，在不同的注意條件下，這種語義一致的視聽刺激是否仍然具有加工優勢呢？本研究采用簡單圖形作為視覺刺激，采用人聲讀出的單字詞作為聽覺刺激，使聽覺刺激和視覺刺激之間形成一定的語義聯結。同時，通過線索將被試的注意指向不同感覺通道，考察當個體注意不同通道時的視聽語義整合加工是否存在不同。

2 方法

2.1 被試

被試為26名在校大學生（男生16人，女生10人），平均年齡為20歲。所有被試視力或矯正視力正常，聽力正常，均為右利手，身體健康，沒有腦部損傷史。被試完成實驗后獲得少量報酬。

2.2 實驗儀器和材料

實驗刺激采用E-prime 1.1軟件編制實驗程序。視覺刺激通過17寸液晶顯示器呈現，聽覺刺激通過入耳式耳機呈現，響度約為64 db。被試眼睛正對電腦顯示器中央位置，距離約50 cm。實驗中線索包括三種：“請注意看”、“請注意聽”、“請注意看和聽”。這三種線索均用30號白色宋體字呈現于屏幕中央（黑色背景）。單通道視覺目標刺激為白色圓形、白色正方形和白色三角形，視角為3.4°。單通道聽覺目標刺激采用Sound Forge 9.0軟件制作和處理，為同一女聲讀出的“圓”、“方”和400 Hz的短音。雙通道目標刺激為視覺和聽覺刺激同時呈現。

2.3 實驗程序與實驗設計

在每個試次中，首先在黑色屏幕上呈現白色十字注視點，持續時間為1000 ms至1200 ms之間隨機。注視點消失后在屏幕中央呈現線索。線索呈現1 s，隨后白色十字注視點出現在屏幕中央，在1000 ms至1200 ms之間的隨機呈現。注視點消失后呈現目標刺激。視覺和聽覺刺激均呈現200 ms，隨后被試進行按鍵反應，按鍵后自動進入下一個試次。如果超過3 s不做反應，該試次記為錯誤，也自動進入下一試次。隨后呈現1 s的空屏作為試次間隔。實驗中人聲讀出的“圓”、“方”分別與圓形和正方形形成具有語義聯結的刺激對，同時，分別將白色三角形與“圓”、“方”匹配，將短音與圓形和正方形匹配，以形成語義不一致的刺激對。被試的任務是根據線索的要求進行按鍵反應：當看到圓形、聽到“圓”、或看到的圓形和聽到的“圓”同時呈現時，按F鍵；當看到正方形、聽到“方”、或者看到正方形和聽到“方”同時呈現時，按J鍵。在整個實驗過程中，要求被試雙眼注視屏幕正中央，既快又準確地做出反應。實驗流程見圖1。

圖 1 實驗流程示意圖

根據線索的要求，實驗包含以下10種試次類型：注意視覺-單通道視覺目標；注意視覺-語義一致雙通道目標中的視覺成分；注意視覺-語義不一致雙通道目標中的視覺成分；注意聽覺-單通道聽覺目標；注意聽覺-語義一致雙通道目標中的聽覺成分；注意聽覺-語義不一致雙通道目標中的聽覺成分；注意視聽-單通道視覺目標；注意視聽-單通道聽覺目標；注意視聽-語義一致的雙通道目標；注意視聽-語義不一致的雙通道目標。其中，當線索為“請注意看”、“請注意聽”時，該試次為注意單通道條件，即選擇性注意條件；當線索為“請注意看和聽”時，該試次為注意雙通道條件，即分配性注意條件。

實驗采用2（注意條件：分配性注意、選擇性注意）×3（目標刺激類型：單通道視覺目標、單通道聽覺目標、雙通道目標）的被試內設計。實驗中，每個試次持續約5 s。實驗共有330個試次，整個實驗約持續28分鐘。在正式實驗之前有36個試次作為練習部分。在正式實驗中每60個試次可進行短暫休息，被試按空格鍵可以繼續進行實驗。

3 結果

對數據進行初步處理：刪除了反應錯誤的以及反應時小于200 ms和大于1000 ms的數據，還刪除了反應時超出平均反應時3個標準差的數據。初步處理后刪除的數據約占總數據的5.64%。所有被試的數據均有效。

表1呈現了被試在兩種注意條件下對四種不同類型目標的反應正確率和反應時。在正確率方面，首先對視聽語義一致目標與單通道目標進行重復測量方差分析。結果發現，無任何顯著效應，ps＞0.05。對于視聽語義不一致目標與單通道目標的重復測量方差分析發現，目標通道主效應顯著，F（2, 50）=23.05，p＜0.001，η2=0.48。事后比較發現，被試對視聽語義不一致目標的反應正確率最低，而對其他兩種目標的反應正確率無顯著差異。

表 1 不同注意條件下的正確率和反應時

在反應時方面，將視聽語義一致目標與單通道目標進行重復測量方差分析，結果發現，目標通道主效應顯著，F（2, 50）=29.94，p＜0.001，η2=0.55；注意條件與目標通道交互作用顯著（見圖2），F（2, 50）=31.62，p＜0.001，η2=0.56。進一步分析發現，在分配性注意條件下，被試對語義一致的雙通道目標的反應時顯著短于對單通道視覺目標和單通道聽覺目標的反應時，單通道視覺目標的反應時顯著短于單通道聽覺目標的反應時，ps＜0.001。即，被試對語義一致的雙通道目標反應最快，產生冗余信號效應，而對單通道聽覺目標刺激的反應最慢。在選擇性注意條件下，被試對單通道視覺目標的反應時顯著小于對語義一致的雙通道目標的反應時，p＜0.05，和單通道聽覺目標的反應時，p＜0.05；雙通道目標與單通道聽覺目標的反應時之間無顯著差異，p＞0.05。

將語義不一致的雙通道目標反應時與單通道目標反應時進行重復測量方差分析。結果發現，注意條件主效應顯著，F（1, 25）=30.04，p＜0.001，η2=0.55，被試在分配性注意條件（475±12）下的反應時顯著長于在選擇性注意條件（452±12）下的反應時。目標通道主效應顯著，F（2, 50）=14.82，p＜0.001，η2=0.37。事后比較發現，被試對單通道視覺目標的反應時（449±12）顯著短于對語義不一致的雙通道目標（464±13），p＜0.01，和單通道聽覺目標反應時（478±13），p＜0.001，語義不一致的雙通道目標反應時顯著短于對單通道聽覺目標反應時，p＜0.05。注意條件與目標通道交互作用不顯著，p＞0.05。上述結果表明，被試對語義不一致的雙通道目標的反應不具有加工優勢。

圖 2 不同注意條件下對三種類型目標的反應時

有研究者針對冗余信號效應做出了解釋。Raab（1962）提出的競爭模型（the race model）認為，在個體加工多通道刺激時，這些不同通道的刺激被分別加工，對多通道刺激的加工優勢（即冗余信號效應）來自于統計便利：不同通道刺激之間相互競爭，最先完成加工的通道優先觸發被試的反應。這就類似于擲骰子，擲兩個骰子得到一個6點的幾率要大于擲一個骰子得到一個6點的幾率（劉強, 2010）。而共同激活模型（the coactivation model）認為不同通道的信息均被激活，它們在某些特定時間點上融合為統一的知覺信息，共同作用于隨后的加工，因此產生了冗余信號效應（Miller, 1982, 1986）。針對這兩種模型，Miller（1982）提出了競爭模型不等式。不等式的左邊代表在任意給定時間t內個體對同時呈現的雙通道刺激反應的概率值，右邊代表競爭模型預測值。這一不等式的含義是：在任意給定時間點上，如果個體對多通道刺激的反應概率顯著大于競爭模型預測值，那么對多通道刺激的反應偏離競爭模型，這就表明組成多通道刺激的兩個單通道刺激之間產生了神經上的融合，因此導致了冗余信號效應。

由于只有在分配性注意條件下表現出冗余信號效應，因此本研究只對分配性注意條件下的數據進行競爭模型分析（見圖3）。首先計算反應時的累積分布函數：單通道視覺P（RT＜t|V），單通道聽覺P（RT＜t|A），語義一致的多通道P（RT＜t|AV語義一致）。根據已有研究（Raab，1962）計算出競爭模型預測值[P（RTv＜t）+P（RTa＜t）]-[P（RTv＜t）×P（RTa＜t）]。為考察在反應時數據上表現出的冗余信號效應是否源自語義一致雙通道目標的多感覺整合，將實驗值和競爭模型預測值進行比較，即在每10%的時間點上將語義一致的多通道P（RT＜t|AV語義一致）與競爭模型預測值進行配對t檢驗。結果發現，在340 ms至410 ms之間，語義一致的多通道P（RT＜t|AV語義一致）顯著大于競爭模型預測值（340 ms，t（25）=2.69，p=0.01；350 ms，t（25）=3.00，p=0.01；360 ms，t（25）=3.68，p=0.001；370 ms，t（25）=3.18，p=0.004；380 ms，t（25）=2.78，p=0.01；390 ms，t（25）=2.42，p=0.02；400 ms，t（25）=2.18，p=0.04；410 ms，t（25）=2.19，p=0.04），此結果符合共激活模型。這表明，本實驗中出現的冗余信號效應來自于語義一致雙通道目標的視覺和聽覺成分的整合。

圖 3 分配性注意條件反應時的競爭模型分析圖

4 討論

通過線索刺激將注意指向不同感覺通道，以簡單圖形作為視覺刺激，以人聲讀出的單字詞作為聽覺刺激，使視覺和聽覺刺激之間形成一定的語義聯結，考察了被試在注意不同通道時，語義一致和不一致視聽刺激的整合加工是否存在差異。結果發現，在反應時方面，分配性注意條件下，被試對語義一致的雙通道刺激的反應最快，即，在語義一致的視聽刺激上產生了冗余信號效應。通過競爭模型分析發現，這種冗余信號效應源自于語義一致的雙通道刺激中視覺和聽覺成分產生的整合。而在選擇性注意條件下，被試對視覺目標的反應時最短，語義一致的雙通道目標并不具有加工優勢。另一方面，對于語義不一致的雙通道刺激，在分配性注意條件下的反應時長于在選擇性注意條件下的反應時；同時，被試對單通道視覺目標的反應時最短，其次是語義不一致的雙通道目標，單通道聽覺目標的反應時最長。也就是說，對于語義不一致的雙通道刺激，即使其視覺和聽覺成分同時呈現，仍沒有表現出冗余信號效應，表明雙通道刺激的視覺和聽覺成分之間的語義不一致可能會阻礙二者的整合加工。

已有研究發現，當個體選擇性注意于一個感覺通道時，被忽略通道所在皮層的活性會被抑制（Haxby et al., 1994; Kawashima, O’Sullivan, &Roland, 1995; Laurienti et al., 2002; Johnson &Zatorre, 2005, 2006），從而導致在被忽視的皮層中，能夠用于產生多感覺整合的刺激信息減少，因此與同時注意兩個通道相比，選擇性注意于一個通道難以產生視聽整合。同時，有研究者認為，大腦在處理信息時，傾向于將內容上匹配的刺激當作源自于相同資源處理，這樣更有益于腦將其整合成統一的知覺（Su, 2014）。一些以視聽語義知覺作為考察對象的研究結果與這種視聽語義一致信息的加工優勢基本一致。比如，有研究發現，與視聽不匹配的刺激對相比，當被試聽到的聲音與看到的面孔在性別上一致（Vatakis &Spence, 2007），或者當被試聽到的詞語與看到的嘴唇運動相一致時，雙通道刺激均被優先整合（van Wassenhove et al., 2007; Ten Oever et al., 2013）。由此可見，視聽刺激之間的匹配（如語義一致）對于雙通道信息的整合加工有一定的促進作用。這就很好地解釋了本研究中只有在同時注意兩個通道（分配性注意）時，語義一致的雙通道刺激才會產生整合。

在正確率方面，實驗結果發現被試對視聽語義不一致的雙通道目標的反應正確率最低，這表明，被試對語義不一致的雙通道目標反應最為困難。預測編碼模型（predictive coding model）認為，腦會產生對環境的貝葉斯估計（Friston,2010），因而可能存在對環境估計的隨機模型。這些模型基于當下個體加工的感覺信息進行不斷更新。這些隨機模型能用來調整對當前感覺輸入的預測。如果在預測和實際感覺輸入之間存在強烈的不匹配，可能會導致內部模型更大的更新。從這個角度看，當輸入的視聽刺激之間存在不一致甚至沖突的語義聯結時，大腦的預測與實際輸入之間的較大差別可能導致內部模型的較大更新，因此造成對此類信息的加工更為困難（Talsma,2015），表現為對視聽語義不一致信息的反應正確率降低。

綜上所述，本研究采用具有語義聯結的視聽刺激作為實驗材料，考察了注意對視聽語義整合加工的影響。在發現只有分配性注意條件下才能產生冗余信號效應的同時，針對此效應的實質進行了競爭模型分析，發現這種效應的確來源于語義一致的視聽刺激之間的整合。而語義不一致的視聽刺激盡管同時呈現，但是并沒有產生整合。這表明，與視聽刺激之間的語義不一致相比，視聽刺激之間的語義一致能夠促進其整合加工。但是，注意對視聽語義整合加工的影響是否具有穩定性？或者說是否存在其他對二者關系的調節因素？這些調節因素又是怎樣對二者關系產生影響？這些問題均有待于未來研究給出答案。

5 結論

本實驗條件得出如下結論：（1）在同時注意視覺和聽覺通道（分配性注意）時，對語義一致的雙通道目標加工最快，即產生冗余信號效應，并且這種效應源自于語義一致的雙通道目標中視覺和聽覺成分的整合；選擇性注意于一個感覺通道時沒有產生視聽刺激的整合；（2）無論選擇性注意還是分配性注意條件，語義不一致的雙通道目標中的視覺和聽覺成分均沒有產生整合。

劉強.(2010). 多感覺整合腦機制研究 (博士學位論文). 西南大學.

孫遠路, 胡中華, 張瑞玲, 尋茫茫, 劉強, 張慶林.(2011). 多感覺整合測量范式中存在的影響因素探討. 心理學報, 43(11), 1239–1246.

Frassinetti, F., Bolognini, N., & Làdavas, E.(2002). Enhancement of visual perception by crossmodal visuo-auditory interaction. Experimental Brain Research, 147, 332–343.

Friston, K.(2010). The free-energy principle: A unified brain theory?.Nature Reviews Neuroscience, 11(2), 127–138.

Haxby, J. V., Horwitz, B., Ungerleider, L. G., Maisog, J. M., Pietrini, P., &Grady, C. L.(1994). The functional organization of human extrastriate cortex: A PET-rCBF study of selective attention to faces and locations.Journal of Neuroscience, 14(11), 6336–6353.

Johnson, J. A., & Zatorre, R. J.(2005). Attention to simultaneous unrelated auditory and visual events: Behavioral and neural correlates. Cerebral Cortex, 15(10), 1609–1620.

Johnson, J. A., & Zatorre, R. J.(2006). Neural substrates for dividing and focusing attention between simultaneous auditory and visual events.NeuroImage, 31(4), 1673–1681.

Kawashima, R., O’Sullivan, B. T., & Roland, P. E.(1995). Positronemission tomography studies of cross-modality inhibition in selective attentional tasks: Closing the “mind’s eye”. Proceedings of the National Academy of Sciences of the United States of America, 92(13),5969–5972.

Koelewijn, T., Bronkhorst, A., & Theeuwes, J.(2010). Attention and the multiple stages of multisensory integration: A review of audiovisual studies. Acta Psychologica, 134(3), 372–384.

Laurienti, P. J., Burdette, J. H., Wallace, M. T., Yen, Y. F., Field, A. S., &Stein, B. E.(2002). Deactivation of sensory-specific cortex by crossmodal stimuli. Journal of Cognitive Neuroscience, 14(3), 420–429.

Laurienti, P. J., Kraft, R. A., Maldjian, J. A., Burdette, J. H., & Wallace, M.T.(2004). Semantic congruence is a critical factor in multisensory behavioral performance. Experimental Brain Research, 158(4),405–414.

Lovelace, C. T., Stein, B. E., & Wallace, M. T.(2003). An irrelevant light enhances auditory detection in humans: A psychophysical analysis of multisensory integration in stimulus detection. Cognitive Brain Research, 17(2), 447–453.

Miller, J.(1982). Divided attention: Evidence for coactivation with redundant signals. Cognitive Psychology, 14(2), 247–279.

Miller, J.(1986). Timecourse of coactivation in bimodal divided attention.Perception & Psychophysics, 40(5), 331–343.

Mittag, M., Alho, K., Takegata, R., Makkonen, T., & Kujala, T.(2013).Audiovisual attention boosts letter-speech sound integration.Psychophysiology, 50(10), 1034–1044.

Raab, D. H.(1962). Statistical facilitation of simple reaction times.Transactions of the New York Academy of Sciences, 24, 574–590.

Su, Y. H.(2014). Content congruency and its interplay with temporal synchrony modulate integration between rhythmic audiovisual streams.Frontiers in Integrative Neuroscience, 8, 92.

Talsma, D.(2015). Predictive coding and multisensory integration: An attentional account of the multisensory mind. Frontiers in Integrative Neuroscience, 9, 19.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G.(2010). The multifaceted interplay between attention and multisensory integration.Trends in Cognitive Sciences, 14(9), 400–410.

Talsma, D., & Woldorff, M. G.(2005). Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity.Journal of Cognitive Neuroscience, 17(7), 1098–1114.

Ten Oever, S., Sack, A. T., Wheat, K. L., Bien, N., & van Atteveldt,N.(2013). Audio-visual onset differences are used to determine syllable identity for ambiguous audio-visual stimulus pairs. Frontiers in Psychology, 4, 331.

van Wassenhove, V., Grant, K. W., & Poeppel, D.(2007). Temporal window of integration in auditory-visual speech perception. Neuropsychologia,45, 598–607.

Vatakis, A., & Spence, C.(2007). Crossmodal binding: Evaluating the “unity assumption” using audiovisual speech stimuli. Perception &Psychophysics, 69(5), 744–756.

The Effect of Attention on Audiovisual Speech Integration

LYU Yong, GU Jiyou
(Academy of Psychology and Behavior, Tianjin Normal University, Key Research Base of Humanities and Social Sciences of the Ministry of Education, Tianjin 300074)

The present research used the square and the triangle as visual stimuli and spoken words as auditory stimuli to investigate the effect of attention on multisensory speech integration. The visual and auditory stimuli were semantically congruent or incongruent.The results from a discrimination task showed that: 1) In the condition of divided attention, participants required less time to react to audiovisual semantic-congruent targets than other types of targets; that is the redundant signal effect; 2) According to the race model,the redundant signal effect in the condition of divided attention originated from the multisensory integration. To conclude, the multisensory integration occurred when the attention was divided between visual and auditory modality only in the semanticcongruent audiovisual stimuli.

attention, multisensory integration, semantic congruence, race model.

B842.1

2016–3–29

天津市高等學校“心理健康與行為調控創新團隊（39）”。

呂 勇，E-mail: ly6312@163.com。