基于通道的內源性注意對聲音誘發閃光錯覺的影響*

張 明 唐曉雨 于 薇 寧 波 王智楠 王愛君

?

基于通道的內源性注意對聲音誘發閃光錯覺的影響

張 明唐曉雨于 薇寧 波王智楠王愛君

(蘇州大學心理學系, 心理與行為科學研究中心, 蘇州 215123) (遼寧師范大學心理學院, 兒童青少年健康人格評定與培養協同創新中心, 大連 116029) (長春中醫藥大學招生與就業處, 長春 130117)

聲音誘發閃光錯覺是指當視覺閃光伴隨不相等數量的聽覺聲音在100 ms內相繼或同時呈現時, 個體會錯覺性地知覺到視覺閃光的個數與聽覺聲音的數量相等。研究采用經典的聲音誘發閃光錯覺范式, 將注意以內源性的方式指向視覺通道或者聽覺通道, 考察了基于通道的內源性注意對聲音誘發閃光錯覺的影響。結果發現, 當注意內源性地指向視覺通道時, 相對于基線條件, 裂變錯覺的量顯著減小; 當注意內源性地指向聽覺通道時, 相對于基線條件, 裂變錯覺的量存在增大的趨勢。說明了基于通道的內源性注意可以影響聲音誘發閃光錯覺中的裂變錯覺, 但不影響融合錯覺。

內源性注意; 聲音誘發閃光錯覺; 聽覺主導效應; 視覺和聽覺通道

1 引言

聲音誘發閃光錯覺(sound-induced flash illusion)是一種聽覺占主導性的多感覺整合現象,即當視覺閃光伴隨不相等數量的聽覺聲音在100 ms內相繼或同時呈現時, 個體會錯覺性地知覺到視覺閃光的個數與聽覺聲音的數量相等。這個現象說明了聽覺信息優先于視覺信息的加工, 即聽覺信息可以主導視覺信息(Abadi & Murphy, 2014; Cecere, Rees, & Romei, 2015; van Erp, Philippi, & Werkhoven, 2013; Kamke, Vieth, Cottrell, & Mattingley, 2012; Kumpik, Roberts, King, & Bizley, 2014; Shams, Kamitani, & Shimojo, 2000, 2002; Whittingham, Mcdonald, & Clifford, 2014)。聲音誘發閃光錯覺存在兩種形式, 一種是當一個視覺閃光伴隨兩個聽覺聲音時, 單個視覺閃光會被錯誤知覺為兩個視覺閃光, 也被稱為裂變錯覺(fission illusion) (Shams et al., 2000, 2002); 另一種是當兩個視覺閃光伴隨一個聽覺聲音時, 兩個視覺閃光會被錯誤知覺為一個視覺閃光, 也被稱為融合錯覺(fusion illusion) (Andersen, Tiippana, & Sams, 2004)。研究表明, 相對于裂變錯覺而言,融合錯覺的效應較弱(Shams et al., 2000; Wozny, Beierholm, & Shams, 2008)。

自從Shams等人(2000)發現聲音誘發閃光錯覺現象后, 許多研究者開始研究影響聲音誘發閃光錯覺現象的因素, 研究者們認為,來自自上而下(top-down)的注意可以影響聲音誘發閃光錯覺現象。以往研究發現, 聲音誘發閃光錯覺在第二個聽覺聲音呈現30~60 ms后產生了對視覺皮層活動幅度的早期調節作用(Mishra, Martínez, Sejnowski, & Hillyard, 2007)。Mishra, Mishra, Martínez和Hillyard (2010)的研究進一步考察了刺激位置(高視野和低視野)與注意(注意和不注意)的交互作用對聲音誘發閃光錯覺的影響。結果表明, PD120/110成分(在低視野)位于腹側枕、顳外紋視覺皮層, 而隨后的PD180和ND250/240成分(在低視野)位于顳上回(枕顳皮層和顳上回被認為是多感覺通道信息產生交互的腦區)。這些結果說明, 聲音誘發閃光錯覺并不全是自動整合加工的結果, 還有自上而下的注意參與了視覺和聽覺信號的錯誤整合(Mishra et al., 2010)。此外, Kamke等人(2012)利用經顱磁刺激(transcranial magnetic stimulation, TMS)研究了聲音誘發視覺閃光錯覺現象中與注意相關皮層神經網絡的作用。研究主要采用不同的視聽刺激組合(一個視覺刺激伴隨兩個聽覺刺激, 一個視覺刺激, 兩個聽覺刺激)與不同的視聽刺激的時間間隔(70 ms和160 ms)。結果表明, 當TMS作用于右角回(angular gyrus, AG)時, 被試報告閃光錯覺的比例顯著降低。因此, 他們認為被破壞的角回增強了被試在多感覺事件中的真實知覺,有效地降低了不相關的聽覺刺激對視覺事件加工的影響,并且減少了聽覺和視覺刺激錯誤整合的可能性。但是當單一視覺刺激呈現或視聽刺激有較長的時間間隔時, TMS不會改變被試知覺。因此, 角回涉及在聲音誘發閃光錯覺中視覺和聲音刺激整合的調節, 但是該研究僅限于裂變錯覺現象(Kamke et al, 2012)。

近期研究對注意進行了內部區分后發現, 內源性注意在多感覺整合中可以以通道注意(Talsma, 2015)的形式影響多感覺整合過程, 即對于通道的注意會減弱被試對不被注意的通道內的信息加工, 在被注意的通道內的信息加工則得到增強(Spence, 2011)。同時也有研究發現, 相比于注意一個特定通道,注意兩個通道的成本要更高, 這個成本與當注意分配到通道間時在額頂區或顳上皮層中更為強烈的激活有關(Santangelo, Fagioli, & Macaluso, 2010)。近期的一項研究也發現, 相對于注意一個通道而言, 同時注意兩個通道可以影響聲音誘發閃光錯覺現象, 說明了通道分散的注意能夠影響聲音誘發閃光錯覺, 但僅限于裂變錯覺(于薇, 王愛君, 張明, 2017)。關于通道注意調節感覺主導效應的一個可能的解釋為優先進入原則, 即同時呈現兩個刺激, 被試傾向于認為先注意到的刺激先出現。優先進入效應的發生可能是由于被試內源性地注意視覺/聽覺通路, 也有可能是因為視覺/聽覺刺激本身的出現外源性地捕捉了被試的注意(Posner, Nissen, & Klein, 1976; Turatto, Benso, Galfano, & Umiltá, 2002)。因此, 當被試將注意以內源性的方式指向視覺通道時, 被試會傾向于認為在雙通道試次中視覺刺激先于聽覺刺激出現; 當被試將注意以內源性的方式指向聽覺通道時, 被試會傾向于認為在雙通道試次中聽覺刺激先于視覺刺激出現。許多研究采用不同的方式將被試的注意內源性地指向其中一個通道, 其中運用最普遍的便是改變不同通道試次出現的比例。如Sinnett, Spence和Soto-faraco (2007)在實驗中將單通道視覺目標的比例增加到60%, 與此同時單通道聽覺目標的比例減少至20% (剩下的20%的試次為雙通道試次)來考察內源性的通道注意對Colavita視覺主導效應的影響, 實驗結果發現Colavita視覺主導效應變大; 而當單通道視覺目標的比例為20%, 單通道聽覺目標的比例為60%時, Colavita視覺主導效應變小。因此, 也說明了這樣的操縱可以成功地將被試的注意內源性地轉移至出現頻次較多的通道上。

本研究在以往研究的基礎上, 通過將注意內源性地分配到視覺通道或聽覺通道, 考察內源性的通道注意是否會影響聽覺主導效應中聲音誘發閃光錯覺現象, 即通過改變不同通道試次出現的比例, 將被試的注意內源性地轉移至出現頻次較多的通道上, 考察內源性地注意視覺通道或聽覺通道是否可以影響聲音誘發閃光錯覺這種聽覺主導效應。研究采用經典的聲音誘發閃光錯覺范式(Shams et al., 2002), 分為3個實驗, 實驗1為基線實驗, 即視覺通道試次、聽覺通道試次和視聽雙通道試次的比例為1:1:1; 實驗2為內源性地注意視覺通道, 即視覺通道試次、聽覺通道試次和視聽雙通道試次的比例為3:1:1; 實驗3為內源性地注意聽覺通道, 即視覺通道試次、聽覺通道試次和視聽雙通道試次1:3:1。我們假設內源性地注意視覺/聽覺通道可以影響感覺主導效應的方向, 因此可以使得聲音誘發閃光錯覺這種聽覺占主導作用的效應產生變化, 具體表現為當注意內源性地指向視覺通道時, 對視覺通道內信息的神經反應被增強, 行為結果表現為被試判斷視覺閃光個數的正確率提高, 進而表現出閃光錯覺效應減小; 當注意內源性地指向聽覺通道時, 對聽覺通道內信息的神經反應被增強, 行為結果表現為被試判斷視覺閃光個數更容易受到聽覺聲音刺激的干擾, 閃光錯覺效應增大。

2 實驗1：基線實驗

2.1 方法

2.1.1 被試

被試為23名大學生(男生8人,女生15人), 年齡介于18~26歲, 所有被試視力正常或者矯正視力正常, 之前均未參加過類似實驗, 實驗后被試獲得一定的報酬。

2.1.2 實驗儀器和實驗材料

所有刺激呈現在iiyama MA203DT Vision Master Pro 513 型號的顯示器上, 屏幕分辨率為1024×768像素, 刷新率為85 Hz。實驗程序由Presentation軟件編程(Neurobehavioral Systems Inc), 所有視覺閃光刺激呈現在黑色背景上。其中視覺閃光刺激為呈現在中央注視點下方5°視角處的白色圓盤(視角為2°), 呈現的時間為17 ms。視覺閃光刺激呈現在中央注視點下方5°視角處是因為, 在聽覺聲音刺激伴隨下, 視覺閃光刺激位于外周視野時的錯覺效應最大(Shams et al., 2002)。實驗中的聽覺聲音刺激通過頭戴式鐵三角耳機(ATH-WS99)呈現。聽覺聲音刺激的響度為75 dB, 頻率為3.5 kHz, 呈現時間為7 ms。

2.1.3 實驗設計和實驗流程

在實驗的每個試次中, 給被試呈現單個視覺閃光刺激或者連續的兩個視覺閃光刺激, 在呈現視覺閃光刺激時既可以單獨呈現一個視覺閃光刺激, 也可以伴隨著一個聽覺聲音刺激或者連續的兩個聽覺聲音刺激。此外, 既可以單獨呈現連續兩個視覺閃光刺激, 也可以伴隨一個聽覺聲音刺激或者連續兩個聽覺聲音刺激。除此之外, 還可以單獨呈現一個聽覺聲音刺激或者單獨呈現連續的兩個聲音刺激。因此, 實驗中所有視覺閃光刺激和聽覺聲音刺激構成了8種實驗條件, 即F1、F1B1、F1B2、F2、F2B1、F2B2、B1和B2。為了便于論述, 這些試次類型采用了上述統一的表述方式。如F1B2是指有一個視覺閃光刺激伴隨兩個聽覺聲音刺激的試次, 而F2則是指僅有兩個視覺閃光刺激而無聽覺聲音刺激的試次。F1和F2為“視覺單通道刺激”, B1和B2為“聽覺單通道刺激”, 其余條件為“視聽雙通道刺激”。實驗流程如圖1所示, 第一個聽覺聲音刺激先于第一個視覺閃光刺激同時呈現, 兩個視覺閃光刺激的時間間隔為66 ms, 兩個聽覺聲音刺激的時間間隔為76 ms。8種實驗條件中可以出現閃光錯覺的條件是 F1B2和F2B1, 即被試針對同樣的物理刺激既可以產生錯覺, 也可以不產生錯覺。因此, 可以根據被試的反應情況進行事后分類, 將上述兩種條件分成F1B2_W (有錯覺) vs. F1B2_R (無錯覺)以及F2B1_W (有錯覺) vs. F2B1_R (無錯覺)。要求被試在整個實驗過程中盯住中央注視點來判斷他們知覺到一個閃光刺激還是兩個閃光刺激, 對于聽覺單通道刺激并不需要做任何反應。每個被試需要完成512個試次, 每種實驗條件下64個試次(F1、F1B1、F1B2、F2、F2B1、F2B2、B1和B2)隨機呈現。試次間的時間間隔以100 ms為步長從400 ms到700 ms隨機。

2.2 結果與分析

從表1可以看出F1、F2、F1B1和F2B2條件下被試的正確率都較高, 也就是說當視覺刺激單獨呈現或者視覺刺激與伴隨的聽覺刺激個數一致時, 被試能夠較為準確地做出判斷。此外, 根據被試的反應情況進行事后分類, 將F1B2和F2B1這兩種可產生錯覺的條件分成F1B2_W (有錯覺, 也稱之為裂變錯覺) vs. F1B2_R (無錯覺, 即正確按鍵)以及F2B1_W (有錯覺,也稱之為融合錯覺) vs. F2B1_R (無錯覺,即正確按鍵)。通過表1可以看出, F1B2 條件的正確率為34%, 顯著小于F1、F1B1、F2和F2B2 條件下的正確率(s < 0.001), F2B1條件的正確率為62%, 顯著小于F1、F1B1、F2和F2B2條件下的正確率(s < 0.001)。對于視覺刺激與聽覺刺激不匹配的條件(F1B2條件和F2B1條件), 從正確率的角度來看, 出現了聽覺主導效應, 即聽覺刺激的個數會影響對視覺刺激個數的判斷。

圖1 實驗1刺激示意圖

注：F1為一個視覺閃光刺激; F2為兩個視覺閃光刺激; B1為一個聽覺聲音刺激; B2為兩個聽覺聲音刺激; F1B1為一個視覺閃光刺激一個聽覺聲音刺激; F1B2為一個視覺閃光刺激兩個聽覺聲音刺激; F2B1為兩個視覺閃光刺激一個聽覺聲音刺激; F2B2為兩個視覺閃光刺激兩個聽覺聲音刺激。彩圖見電子版。

表1 三個實驗各條件下的正確率平均數和標準差(%)

注：F1為一個視覺閃光刺激; F2為兩個視覺閃光刺激; F1B1為一個視覺閃光刺激一個聽覺聲音刺激; F1B2為一個視覺閃光刺激兩個聽覺聲音刺激; F2B1為兩個視覺閃光刺激一個聽覺聲音刺激; F2B2為兩個視覺閃光刺激兩個聽覺聲音刺激。

3 實驗2：基于視覺通道的內源性注意對聲音誘發閃光錯覺的影響

3.1 方法

3.1.1 被試

被試為25名大學生(男生9人, 女生16人), 年齡介于18~26歲, 所有被試視力正常或者矯正視力正常, 之前均未參加過類似實驗, 實驗后被試獲得一定的報酬。

3.1.2 實驗儀器和實驗材料

實驗儀器和實驗材料同實驗1。

3.1.3 實驗設計和實驗流程

實驗設計和實驗流程同實驗1。不同的是, 實驗將“視覺單通道刺激”、“聽覺單通道刺激”和“視聽雙通道刺激”的比例設置為3:1:1。被試的任務是在整個實驗過程中都要求盯住中央注視點, 判斷他們知覺到一個視覺閃光刺激還是兩個視覺閃光刺激, 針對B1和B2條件則無需按鍵反應。每個被試需要完成768個試次, 其中F1和F2條件下各192個試次,其余各實驗條件下各64個試次(F1B1、F1B2、F2B1、F2B2、B1和B2), 所有刺激隨機呈現。試次間的時間間隔以100 ms為步長從400 ms到700 ms隨機。

3.2 結果與分析

從表1可以看出F1、F2、F1B1和F2B2條件下被試的正確率都較高, 也就是說當視覺刺激單獨呈現或者視覺刺激與伴隨的聽覺刺激個數一致時, 被試能夠較為準確地做出判斷。此外, 根據被試的反應情況進行事后分類, 將F1B2和F2B1這兩種可產生錯覺的條件分成F1B2_W (有錯覺, 也稱之為裂變錯覺) vs. F1B2_R (無錯覺, 即正確按鍵)以及F2B1_W (有錯覺, 也稱之為融合錯覺) vs. F2B1_R (無錯覺, 即正確按鍵)。通過表1可以看出, F1B2 條件的正確率為50%, 顯著小于F1、F1B1、F2和F2B2 條件下的正確率(s< 0.001), F2B1 條件的正確率為68%, 顯著小于F1、F1B1、F2和F2B2 條件下的正確率(s < 0.001)。對于視覺刺激與聽覺刺激不匹配的條件(F1B2條件和F2B1條件), 從正確率的角度來看,出現了聽覺主導效應, 即聽覺刺激的個數會影響對視覺刺激個數的判斷。

4 實驗3：基于聽覺通道的內源性注意對聲音誘發閃光錯覺的影響

4.1 方法

4.1.1 被試

被試為24名大學生(男生9人, 女生15人), 年齡介于18~26歲, 所有被試視力正常或者矯正視力正常, 之前均未參加過類似實驗, 實驗后被試獲得一定的報酬。

4.1.2 實驗儀器和實驗材料

實驗儀器和實驗材料同實驗1。

4.1.3 實驗設計和實驗流程

實驗設計和實驗流程同實驗1。不同的是, 實驗將“視覺單通道刺激”、“聽覺單通道刺激”和“視聽雙通道刺激”的比例設置為1:3:1。被試的任務是在整個實驗過程中都要求盯住中央注視點, 判斷他們知覺到一個視覺閃光刺激還是兩個視覺閃光刺激, 針對B1和B2條件則無需按鍵反應。每個被試需要完成768個試次, 其中B1和B2條件下各192個試次,其余各實驗條件下各64個試次(F1、F1B1、F1B2、F2、F2B1和F2B2), 所有刺激隨機呈現。試次間的時間間隔以100 ms為步長從400 ms到700 ms隨機。

4.2 結果與分析

從表1可以看出F1、F2、F1B1和F2B2條件下被試的正確率都較高, 也就是說當視覺刺激單獨呈現或者視覺刺激與伴隨的聽覺刺激個數一致時, 被試能夠較為準確地做出判斷。此外, 根據被試的反應情況進行事后分類, 將F1B2和F2B1這兩種可產生錯覺的條件分成F1B2_W (有錯覺, 也稱之為裂變錯覺) vs. F1B2_R (無錯覺, 即正確按鍵)以及F2B1_W (有錯覺, 也稱之為融合錯覺) vs. F2B1_R (無錯覺, 即正確按鍵)。通過表1可以看出, F1B2 條件的正確率為29%, 顯著小于F1、F1B1、F2和F2B2 條件下的正確率(s < 0.001), F2B1 條件的正確率為64%, 顯著小于F1、F1B1、F2和F2B2 條件下的正確率(s< 0.001)。對于視覺刺激與聽覺刺激不匹配的條件(F1B2條件和F2B1條件), 從正確率的角度來看, 出現了聽覺主導效應, 即聽覺刺激的個數會影響對視覺刺激個數的判斷。

5 結果綜合分析

5.1 正確率

將實驗1、實驗2和實驗3中視覺閃光刺激與聽覺聲音刺激個數不匹配試次(F1B2條件和F2B1條件)的正確率進行3 (實驗1 vs. 實驗2 vs. 實驗3) × 2 (F1B2 vs. F2B1)的混合重復測量方差分析。結果發現, 不同實驗的主效應顯著,(1, 22) = 4.01,< 0.05, η= 0.16; 錯覺條件的主效應顯著,(1, 22) = 60.73,< 0.001, η= 0.73; 兩者的交互作用不顯著,(1, 22) = 1.16,> 0.05。為了進一步考察F1B2和F2B1條件下各個實驗的潛在差異, 將F1B2和F2B1條件下各個實驗進行單因素的方差分析, 考察內源性注意視覺通道和內源性注意聽覺通道對聲音誘發閃光錯覺中裂變錯覺和融合錯覺的影響(圖2)。結果發現, 在F1B2條件下, 不同實驗間差異顯著,(1, 2) = 5.11,< 0.01, η= 0.23。事后檢驗結果顯示, 實驗1和實驗2之間差異顯著(< 0.05); 實驗2和實驗3之間差異顯著(< 0.005); 而實驗1和實驗3之間差異不顯著(> 0.05)。在F2B1條件下, 不同實驗間差異不顯著(s > 0.05)。因此, 從結果上可以看出, 基于通道的內源性注意可以影響聲音誘發閃光錯覺中的裂變錯覺(F1B2), 具體表現在, 基于視覺通道的內源性注意條件下F1B2的正確率顯著增加, 而基于聽覺通道的內源性注意條件下F1B2的正確率減少, 但不顯著。內源性注意視覺通道和內源性注意聽覺通道間F1B2的正確率存在顯著差異。而對于聲音誘發閃光錯覺中的融合錯覺(F2B1)而言, 其并不受內源性的通道注意所影響。

圖2 F1B2和F2B1的正確率在三種實驗間的差異比較

注：F1B2為一個視覺閃光刺激兩個聽覺聲音刺激; F2B1為兩個視覺閃光刺激一個聽覺聲音刺激。

盡管裂變錯覺和融合錯覺是一個穩定且普遍的現象, 但每個人的錯覺量存在差異。因此,為了避免這種個體差異, Andersen等人(2004)采用了一個新的指標來表示裂變錯覺和融合錯覺效應量的大小, 這個指標即比值比率。求比值比率, 首先要將所有被試在雙通道條件下能產生裂變錯覺的試次總數求出, 接著求出其中真正產生裂變(即感覺到的閃光個數多于實際呈現的閃光個數)的試次數, 二者的差值就是沒有產生裂變錯覺的試次數, 用產生裂變錯覺的試次總數與沒有產生裂變錯覺的試次數量進行比較, 可以得到一個比值。同理, 求出單通道條件下相應的比值(單通道條件下能產生裂變錯覺的試次即閃光個數與雙通道條件下閃光個數一致的試次)。將這兩個比值再進行比較, 得到的比值比率能更清晰地反映出裂變錯覺的效應量大小。當比值比率大于1的時候, 說明在雙通道條件下產生的裂變錯覺比單通道條件下更大, 即聽覺聲音影響了對視覺閃光的判斷, 比值比率的值越大, 說明錯覺效應量越大。融合錯覺的計算與此一致(Andersen et al., 2004)。按照Andersen等人(2004)的算法計算了裂變錯覺和融合錯覺的量,也能夠更加清晰地比較出不同實驗條件下錯覺效應的大小(表2和表3)。從表2和表3中可以看出, 無論是在實驗1、實驗2還是在實驗3中, 相對于融合錯覺而言, 裂變錯覺的效應都更大。此外, 也能夠反映出F1B2條件下, 實驗1和實驗2存在明顯差異, 實驗2和實驗3存在明顯差異, 但實驗1和實驗3之間并不存在明顯差異; F2B1條件下, 三個實驗之間并不存在明顯差異。

5.2 反應時

將F1B2和F2B1條件下不同實驗間的反應時進行3 (實驗：實驗1 vs. 實驗2 vs. 實驗3) × 4 (條件：F1B2_R vs. F1B2_W vs. F2B1_R vs. F2B1_W) 的混合重復測量方差分析(見表4)。結果發現, 實驗的主效應顯著,(1, 2) = 23.91,< 0.001, η= 0.41; 條件的主效應顯著,(3, 69) = 124.81,< 0.001, η= 0.64; 實驗與條件的交互作用顯著,(6, 69) = 2.47,< 0.05, η= 0.07。為了進一步了解不同實驗和裂變錯覺、融合錯覺之間潛在的交互關系, 我們分別將不同實驗下的F1B2_R和F1B2_W以及F2B1_R和F2B1_W進行比較分析。結果發現, 實驗1中, F1B2_R條件下的反應時(889 ms)顯著長于F1B2_W條件下的反應時(839 ms),(22) = 4.07,= 0.001,= 1.22; 實驗2中, F1B2_R條件下的反應時(798 ms)顯著長于F1B2_W條件下的反應時(710 ms),(24) = 5.44,< 0.001,= 1.56; 實驗3中, F1B2_R條件下的反應時(732 ms)顯著長于F1B2_W條件下的反應時(707 ms),(23) = 2.15,< 0.05,= 0.63。但是在實驗1、實驗2以及實驗3中, F2B1_R條件下的反應時和F2B1_W條件下的反應時之間均無顯著差異, 具體結果為, 實驗1中, F2B1_R條件下的反應時(757 ms)和F1B2_W條件下的反應時(762 ms)間無顯著差異,< 1; 實驗2中, F2B1_R條件下的反應時(640 ms)和F1B2_W條件下的反應時間無顯著差異(639 ms),< 1; 實驗3中, F2B1_R條件下的反應時(581 ms)和F1B2_W條件下的反應時無顯著差異(613 ms),(23) = 1.99,> 0.05。

表2 各實驗中裂變錯覺的比值比率

表3 各實驗中融合錯覺的比值比率

表4 各實驗F1B2和F2B1條件下的反應時平均數和標準差(ms)

注：F1B2_R為一個視覺閃光刺激兩個聽覺聲音刺激, 并未產生錯覺條件; F1B2_W為一個視覺閃光刺激兩個聽覺聲音刺激, 產生錯覺條件; F2B1_R為兩個視覺閃光刺激一個聽覺聲音刺激, 并未產生錯覺條件; F2B1_W為兩個視覺閃光刺激一個聽覺聲音刺激, 產生錯覺條件。

上述分析的結果表明, 在F1B2條件中(裂變錯覺), 相對于有錯覺條件(F1B2_W), 無錯覺條件下(F1B2_R)的反應時都明顯增長, 即被試需要付出更多注意資源才能正確辨別視覺閃光刺激的個數,這種現象無論在實驗1 (50 ms)、實驗2 (88 ms)還是實驗3 (26 ms)都存在。將三個實驗中F1B2_R和F1B2_W的差值進行單因素方差分析, 結果發現顯著性差異,(2, 68) = 4.61,< 0.05, η= 0.22。進一步事后檢驗發現, 實驗1和實驗2之間差異不顯著(> 0.05), 實驗1和實驗3之間差異不顯著(> 0.05), 但實驗2和實驗3之間差異顯著(< 0.005)。研究結果說明, 不管是否存在注意的影響, 以及內源性注意視覺通道還是聽覺通道, 裂變錯覺這種聽覺主導效應的現象均穩定存在。然而, 在F2B1條件中(融合錯覺), 有錯覺條件(F2B1_W)與無錯覺條件下(F2B1_R)的反應時之間并無顯著差異, 這種現象在三個實驗同樣存在, 說明了不管是否存在注意的影響, 以及內源性注意視覺通道還是聽覺通道, 融合錯覺這種聽覺主導效應的現象在反應時水平上并未得到體現。

此外, 為了比較不同的實驗之間F1B2_W和F2B1_W的差異, 即不同內源性注意操縱條件下, 裂變效應和融合效應的變化, 我們將F1B2_W和F2B1_W條件下不同實驗間的反應時分別進行了單因素方差分析(實驗1 vs. 實驗2 vs. 實驗3)。結果發現, 在F1B2_W條件下, 不同實驗間的反應時差異顯著,(2, 69) = 17.49,< 0.001, η= 0.37。事后檢驗結果顯示,實驗1和實驗2之間差異顯著(< 0.001); 實驗1和實驗3之間差異顯著(< 0.001); 而實驗2和實驗3之間差異不顯著(> 0.05)。在F2B1_W條件下, 不同實驗間的反應時差異顯著(2, 69) = 16.94,< 0.001, η= 0.35。事后檢驗結果顯示, 實驗1和實驗2之間差異顯著(< 0.001); 實驗1和實驗3之間差異顯著(< 0.001); 而實驗2和實驗3之間差異不顯著(> 0.05)。

6 討論

研究采用經典的聲音誘發閃光錯覺范式(Shams et al., 2000; 2002), 通過將注意內源性地分配到視覺通道或聽覺通道, 即通過改變不同通道試次出現的比例, 將被試的注意內源性地轉移至出現頻次較多的通道上, 考察內源性地注意視覺通道或聽覺通道是否可以影響聲音誘發閃光錯覺這種聽覺主導效應。研究結果發現, 存在經典的聲音誘發閃光錯覺現象,并且裂變錯覺的效應大于融合錯覺的效應。此外, 研究還發現, 當注意內源性地指向不同感覺通道時會影響裂變錯覺的大小, 但并不影響融合錯覺的大小。具體表現為, 當注意內源性地指向視覺通道時, 相對于基線條件, 裂變錯覺的量顯著減小(圖2); 當注意內源性地指向聽覺通道時, 相對于基線條件, 裂變錯覺的量增大, 但與基線條件差異不顯著(圖2)。本研究之所以將比例操縱作為被試間變量的原因有：其一, 由于目前的實驗時間已經較長, 加之實驗環境為低亮度的屏蔽室內, 實驗材料的呈現方式是白色閃光呈現在黑色背景上, 刺激的對比很強, 如果將3個實驗整合為一個實驗, 實驗的時間比較長, 被試會產生疲勞效應; 其二, 聲音誘發閃光錯覺是一種非常穩定的聽覺主導效應, 雖然在聲音誘發閃光錯覺這一現象中存在個體差異, 但是從總體上來看, 實驗中每個被試都存在這種錯覺效應, 盡管有的被試錯覺量較大, 有的較小。此外, 對于實驗1, 我們前期用多批被試做過多次重復實驗, 其結果基本一致(也見于薇等, 2017)。因此, 本研究將比例調控設置為被試間變量并不會受到被試的差異而對實驗結果產生影響。其三, 在Colavita視覺主導效應的研究中, Sinnett等人(2007)也是在不同的實驗中(被試不同), 設置了不同通道刺激的比例, 研究結果發現了通過比例設置操縱的內源性通道注意可以影響Colavita視覺主導效應的大小。

從正確率的結果上來看, 本研究3個實驗均發現經典的聲音誘發閃光錯覺聽覺主導效應, 并且裂變錯覺效應大于融合錯覺, 這與以往研究結果一致(Shams et al., 2000, 2002; Shams, Ma, & Beierholm, 2005; Watkins, Shams, Tanaka, Haynes, & Rees, 2006; Watkins, Shams, Josephs, & Rees, 2007; Wozny et al., 2008; 于薇等, 2017)。除此之外, 本研究發現裂變錯覺會受到內源性通道注意的影響, 但融合錯覺則不會受內源性通道注意的影響(圖2)。原因在于, 首先, 以往研究發現, 相對于裂變錯覺, 融合錯覺不穩定(Shams et al., 2000; Wozny et al., 2008), 表現為裂變錯覺這種錯覺效應盡管改變諸如形狀、對比度、大小、視覺刺激呈現的時間、頻率和強度、聽覺刺激的呈現時間, 以及視覺刺激和聽覺刺激在時間上和空間上的相對位置等條件仍然穩定存在(Shams et al., 2000, 2002; Shams et al., 2005; Watkins et al., 2006; Watkins et al., 2007)。其次, 裂變錯覺會受到注意資源的影響而產生錯覺量大小的變化, 但是融合錯覺并不受到注意資源的影響。具體表現為, 相對于注意只集中在視覺單通道條件下,當注意既分配到視覺通道也分配到聽覺通道時, 裂變錯覺量減小, 而融合錯覺不受其影響(于薇等, 2017)。以往研究表明,注意除能指向某一空間位置外, 還能指向某一感覺通道(Talsma, 2015), 即對被注意的通道內的信息加工得到增強, 而對不被注意的通道內的信息加工則得到減弱(顧吉有, 呂勇, 2016; Spence, 2011; 孫遠路等, 2011)。因此, 當注意指向一個感覺通道時, 對此通道內信息的神經反應被增強, 而對被忽視通道內信息的神經反應則被抑制。聲音誘發閃光錯覺現象是多感覺整合中的一種聽覺主導現象, 涉及到視覺和聽覺兩個通道, 本研究中, 將注意內源性地指向視覺通道時, 對視覺通道內信息的神經反應被增強, 行為結果表現為被試判斷視覺閃光個數的正確率提高,進而表現出裂變錯覺效應減小(圖2和表2); 而將注意內源性地指向聽覺通道時, 對聽覺通道內信息的神經反應被增強, 行為結果表現為被試判斷視覺閃光個數更容易受到聽覺聲音刺激的干擾, 使得被試反應的正確率下降, 進而表現出裂變錯覺效應增大的趨勢(圖2和表2)。

本研究通過比例設置的方式將注意內源性地指向視覺通道和聽覺通道, 結果也發現, 同Colavita視覺主導效應一樣, 聲音誘發雙閃光錯覺(裂變錯覺)也會受到內源性通道注意的影響, 使得裂變錯覺的效應減小或增大。研究結果與Sinnett等人(2007)考察內源性的通道注意對Colavita視覺主導效應影響的結果一致, 發現了通過比例設置操縱的內源性通道注意可以影響感覺主導效應的大小。實驗2中注意內源性地指向視覺通道, 實驗3中注意內源性地指向聽覺通道。這里我們強調的是不同感覺通道的注意, 研究中實驗任務為判斷視覺通道刺激的個數, 因此, 當注意內源性地指向視覺通道時, 聽覺通道的刺激被試并不需要注意, 因此可以視為集中注意視覺單一通道。但是當注意內源性地指向聽覺通道時, 被試一方面需要注意聽覺通道的刺激, 另一方面也需要注意視覺通道的刺激(任務需求),因此可以視為分散注意視覺通道和聽覺通道。有研究發現, 相比于注意一個特定通道, 注意兩個通道的成本要更高, 這個成本與當注意分配到通道間時額頂區或顳上皮層中更為強烈的激活有關(Degerman et al., 2007; Santangelo et al., 2010)。我們近期的一項研究也發現, 相對于注意一個通道而言, 同時注意兩個通道可以影響聲音誘發閃光錯覺現象, 說明了通道分散的注意能夠影響聲音誘發閃光錯覺(于薇等, 2017)。關于通道注意調節感覺主導效應的一個可能的解釋為優先進入原則, 即同時呈現兩個刺激, 先注意到的刺激被試傾向于認為其先出現。優先進入效應的發生可能是由于被試內源性地注意視覺/聽覺通路, 也有可能是因為視覺/聽覺刺激本身的出現外源性地捕捉了被試的注意(Posner et al., 1976; Turatto et al., 2002)。因此, 當被試將注意以內源性的方式指向視覺通道時, 被試會傾向于選擇性地將注意集中在視覺通道,導致對視覺通道信息的神經反應增強, 即被試在判斷視覺閃光刺激的個數時不容易受到聽覺通道刺激的干擾; 當被試將注意以內源性的方式指向聽覺通道時, 被試需要將注意分散在視覺通道和聽覺通道, 相比于集中注意單一視覺通道, 被試對聽覺通道信息的神經反應增強,即被試在判斷視覺閃光刺激的個數時更容易受到聽覺通道刺激的干擾。

本研究中, 注意內源性地指向視覺通道可以視為被試在判斷視覺閃光刺激的個數時不容易受到聽覺通道刺激的干擾; 注意內源性地指向聽覺通道可以視為被試在判斷視覺閃光刺激的個數時更容易受到聽覺通道刺激的干擾。在多感覺整合/競爭的研究中, 一個重要的影響因素就是分心刺激在多大程度上會和目標刺激競爭被試的注意資源。根據Lavie (2005)的知覺負載理論, 相比于無負載或者低負載條件, 被試在高負載的條件下需要將注意全部集中在當前的任務, 因此, 如果被試的注意被分散到多個感覺通道間(高負載條件), 那么被試在其中某一個通道條件下分配的注意資源較少, 表現為行為反應較差(Tang, Wu, & Shen, 2016)。因此, 實驗2被試只需注意單一的視覺通道, 被試在完成視覺判斷任務時并不受到聽覺通道刺激的干擾, 表現為錯覺量的減小; 實驗3被試需要注意視覺和聽覺雙通道, 被試在完成視覺判斷任務時會受到聽覺通道刺激的干擾, 表現為錯覺量出現增大的趨勢。

7 結論

基于通道的內源性注意可以影響聲音誘發雙閃光錯覺(裂變錯覺)聽覺主導效應, 即內源性地注意視覺通道使得裂變錯覺減小, 內源性地注意聽覺通道使得裂變錯覺表現出增大的趨勢。

Abadi, R. V., & Murphy, J. S. (2014). Phenomenology of the sound-induced flash illusion.(7), 2207–2220.

Andersen, T. S., Tiippana, K., & Sams, M. (2004). Factors influencing audiovisual fission and fusion illusions.(3), 301–308.

Cecere, R., Rees, G., & Romei, V. (2015). Individual differences in alpha frequency drive crossmodal illusory perception.(2), 231–235.

Degerman, A., Rinne, T., Pekkola, J., Autti, T., Jaaskelainen, I.P., Sams, M., & Alho, K. (2007). Human brain activity associated with audiovisual perception and attention.(4), 1683–1691.

Gu, J. Y., & Lv, Y. (2016). The different effects of selective attention and divided attention on multisensory integration.(2), 202–206.

[顧吉有, 呂勇. (2016). 選擇性注意和分配性注意對多感覺整合的不同影響.(2), 202–206.]

Kamke, M. R., Vieth, H. E., Cottrell, D., & Mattingley, J. B. (2012). Parietal disruption alters audiovisual binding in the sound-induced flash illusion.(3), 1334–1341.

Kumpik, D. P., Roberts, H. E., King, A. J., & Bizley, J. K. (2014). Visual sensitivity is a stronger determinant of illusory processes than auditory cue parameters in the sound-induced flash illusion.(7), 60–65.

Lavie, N. (2005). Distracted and confused? Selective attention under load.,(2), 75–82.

Mishra, J., Martínez, A., & Hillyard, S. A. (2010). Effect of attention on early cortical processes associated with the sound-induced extra flash illusion.(8), 1714–1729.

Mishra, J., Martínez, A., Sejnowski, T. J., & Hillyard, S. A. (2007). Early cross-modal interactions in auditory and visual cortex underlie a sound-induced visual illusion.(15), 4120–4131.

Posner, M. I., Nissen, M. J., & Klein, R. M. (1976). Visual dominance: An information-processing account of its origins and significance.(2), 157–171.

Santangelo, V., Fagioli, S., & Macaluso, E. (2010). The costs of monitoring simultaneously two sensory modalities decreasewhen dividing attention in space.(3), 2717– 2727.

Shams, L., Kamitani, Y., & Shimojo, S. (2000). Illusions: What you see is what you hear.(6814), 788.

Shams, L., Kamitani, Y., & Shimojo, S. (2002). Visual illusion induced by sound.(1), 147–152.

Shams, L., Ma, W. J., & Beierholm, U. (2005). Sound-induced flash illusion as an optimal percept.(17), 1923–1927.

Sinnett, S., Spence, C., & Soto-Faraco, S. (2007). Visual dominance and attention: The Colavita effect revisited.(5), 673–686.

Spence, C. (2011). Crossmodal correspondences: a tutorial review.(4), 971–995.

Sun, Y-L., Hu, Z-H., Zhang, R-L., Xun, M-M., Liu, Q., & Zhang, Q-L. (2011). An investigation on the effect factors in the paradigm of multisensory integration.(11), 1239–1246.

[孫遠路, 胡中華, 張瑞玲, 尋茫茫, 劉強, 張慶林. (2011). 多感覺整合測量范式中存在的影響因素探討.(11), 1239–1246.]

Talsma, D. (2015). Predictive coding and multisensory integration: An attentional account of the multisensory mind., 19.

Tang, X. Y., Wu, J. L., & Shen, Y. (2016). The interactions of multisensory integration with endogenous and exogenous attention., 208–224.

Turatto, M., Benso, F., Galfano, G., & Umiltá, C. (2002). Nonspatial attentional shifts between audition and vision.(3), 628–639.

Van Erp, J. B. F. V., Philippi, T. G., & Werkhoven, P. (2013). Observers can reliably identify illusory flashes in the illusory flash paradigm.(1), 73–79.

Watkins, S., Shams, L., Josephs, O., & Rees, G. (2007). Activity in human V1 follows multisensory perception.(2), 572–578.

Watkins, S., Shams, L., Tanaka, S., Haynes, J.-D., & Rees, G. (2006). Sound alters activity in human V1 in association with illusory visual perception.(3), 1247– 1256.

Wozny, D. R., Beierholm, U. R., & Shams, L. (2008). Human trimodal perception follows optimal statistical inference.(3), 1–11.

Whittingham, K. M., Mcdonald, J. S., & Clifford, C. W. G. (2014). Synesthetes show normal sound-induced flash fission and fusion illusions., 1–9.

Yu, W., Wang, A. J., & Zhang, M. (2017). Effect of selective and divided attentions on auditory dominance in multisensory integration.(2), 164–173.

[于薇, 王愛君, 張明. (2017). 集中和分散注意對多感覺整合中聽覺主導效應的影響.(2), 164–173.]

The Effects of modal-based endogenous attention on sound-induced flash illusion

ZHANG Ming; TANG Xiaoyu; YU Wei; NING Bo; WANG Zhinan; WANG Aijun

(Department of Psychology, Research Center for Psychology and Behavioral Sciences, Soochow University, Suzhou 215000, China)(School of Psychology, Liaoning Collaborative Innovation Center of Children and Adolescents Healthy Personality Assessment and Cultivation, Liaoning Normal University, Dalian 116029, China)(Admission and Employment Office, Changchun University of Chinese Medicine, Changchun 130117, China)

The sound-induced flash illusion (SIFI) is an auditory-dominant phenomenon in multisensory integration in which the perception of brief visual flashes may be qualitatively altered by concurrent brief sounds. It has been well documented how attention modulates this illusion. It remains unknown, however, how modal-based endogenous attention interferes with the SIFI. In the present study, we adopted the classical paradigm of the SIFI and directed the endogenous attention to the visual modal or the auditory modal to investigate the effect of modal-based endogenous attention on SIFI.

Experiment 1 asked the participants to conduct the classical task of the SIFI as the baseline. In experiment 2, the ratio of the visual modal, the auditory modal, and the audio-visual modal was 3:1:1; that is, the endogenous attention was directed to the visual modal. In experiment 3, the ratio of the visual modal, auditory modal and audio-visual modal was 1:3:1; that is, the endogenous attention was directed to the auditory modal. In the present study, we asked the participants to judge the number of flashes, and we focused mainly on the occurrence of fission illusions (when a single visual flash is accompanied by two auditory bleeps and is perceived incorrectly as two flashes) and fusion illusions (when two visual flashes are accompanied by a single bleep and are perceived incorrectly as a single flash). The hypothesis was that directing endogenous attention to the visual or auditory modal could affect the auditory dominance.

A repeated measures ANOVA was analyzed for fission and fusion illusions separately, and the results showed that there were significant differences among the three experiments,(1, 2) = 5.11,< 0.01, η= 0.23. The occurrence of fission illusions was decreased when endogenous attention was directed to the visual modal (50%) and was increased when endogenous attention was directed to the auditory modal (71%). However, regardless of whether endogenous attention was directed to the auditory or visual modal, fusion illusion was not affected by attention (s > 0.05). In addition, we also pooled the response counts across all of the participants and for both fission and fusion stimuli. The results showed that the odds ratio for fission was greater than that for fusion, and there was a difference among the three experiments for fission (17.5 vs. 9 vs. 21.95), and no effect for fusion (4.95 vs. 3.15 vs. 4.13).

The results indicated that modal-based endogenous attention can affect the occurrence of fission illusions but does not affect the occurrence of fusion illusions. The present study provides insight into the top-down factors that can modulate sound-induced flash illusions.

endogenous attention; auditory dominance; sound-induced flash illusion; visual and auditory modals

2017-12-18

* 國家自然科學基金(31371025, 31600882, 31700939)、江蘇省基礎研究計劃(BK20170333)、教育部人文社科基金(17YJC190024)、江蘇省高校哲社科基金(2017SJB1344)和中國博士后基金(2017M611888)資助。

唐曉雨和張明同為第一作者

張明, E-mail: psyzm@suda.edu.cn; 王愛君, E-mail: ajwang@suda.edu.cn

10.3724/SP.J.1041.2018.01212

B842