任務無關的視覺聽覺信息對注意通道信息處理的影響＊

楊菁菁

（長春理工大學計算機科學技術學院，吉林長春130022）

任務無關的視覺聽覺信息對注意通道信息處理的影響＊

楊菁菁

（長春理工大學計算機科學技術學院，吉林長春130022）

研究設計了視覺發現任務和聽覺發現任務，要求被試者只注意視覺或聽覺通道，對注意通道的刺激進行判斷，研究了被試對單通道視覺或聽覺刺激、雙通道視聽混合刺激的反應時間及正確率的規律。實驗發現任務無關通道的信息對注意聽覺產生的影響比注意視覺時更加明顯，實驗任務不同，其影響程度也不同。

人腦信息處理；視覺；聽覺；人機交互

大腦是人體進行信息分析處理的“處理器”，通過一定的信息處理機制對各感官獲得的信息進行分析，指導人體活動。其中，視、聽兩通道獲取的信息比例最大，視聽信息整合也因此成為腦信息學研究的重要內容。注意是人腦對客觀事物的指向和集中，注意功能決定了人腦對信息的選擇。不同注意條件下人腦信息處理的機理不同。空間信息又是影響視聽信息整合的主要因素。本研究采用選擇性注意行為學實驗的方式對人腦視聽覺空間信息處理機制進行研究，實驗要求被試判斷注意通道的刺激位置并做按鍵反應。分析實驗數據得到了人被試對視聽兩通道信息處理之間相互影響的規律，結論將輔助人腦視聽覺信息整合的研究，對腦機接口技術、多傳感器數據融合、人機交互等技術的發展都具有重要意義。

1 實驗方法

1.1 被試的選擇

17名在校本科學生自愿參與實驗，平均年齡22.7歲，9名女生，8名男生。被試者聽力正常，視力或校正視力正常，身體健康，簽署了知情同意書。

1.2 實驗刺激

實驗刺激由單通道視覺刺激、單通道聽覺刺激和雙通道視聽覺刺激構成。視覺刺激為gabor patch，通過19英寸顯示器顯示，背景為黑色，視覺圖片出現在固視點（顯示器中央的“+”）下4°的水平線上，位置為向左和右8°視角位置（左側視覺刺激“VL”、右側“VR”）。

聽覺刺激由Audacity 2.1.0聲音制作軟件制作，1 600 Hz的純音，聲強65 dB，時長40 ms，通過左右兩個音箱分別提示（左側聲音刺激“AL”、右側“AR”）。

雙通道的視聽覺刺激由視覺刺激和聽覺刺激同時提示，共有4種（視覺左聲音左混合刺激“ALVL”、視覺右聲音右“ARVR”、視覺左聲音右“ARVL”、視覺右聲音左“ALVR”）。每個刺激持續時間為40 ms。

1.3 實驗任務

1.3.1 視覺發現任務

被試者只注意視覺通道的刺激，發現圖片就按下鼠標左鍵，對聲音刺激不按鍵，因此，在這一任務條件下聲音刺激與任務無關。

1.3.2 聽覺發現任務

被試者只注意聽覺通道的刺激，聽到聲音就按下鼠標左鍵，對視覺刺激不按鍵，因此，在這一任務條件下視覺圖片刺激與任務無關。

1.4 實驗流程

實驗在光線可調節的隔音室中進行，被試下巴放在下頜托上，距顯示屏距離為110 cm。實驗開始時，在屏幕中央呈現注視點“+”3 000 ms，注視點消失后視覺、聽覺、視聽混合覺刺激隨機出現，刺激間間隔為800～1 500 ms的隨機值。被試依據實驗任務作出反應。視覺發現任務和聽覺發現任務各做2組實驗，共4組，每組實驗持續約5 min，每名被試隨機進行各組實驗，每完成一組實驗休息3～5 min。

2 結果分析

實驗記錄了每個被試4組實驗的數據，對每個被試的實驗數據進行求平均、標準差計算、偏差數據剔除、再求均值及正確率等基本處理。

圖1的數據結果表明：在視覺發現任務中，被試對視覺雙通道刺激的反應時間要快于對單通道刺激的反應時間（VL-ALVL，p＜0.001;VL-ARVL，p=0.001;VR-ARVR，p=0.013;VR-ALVR，p=0.008），這說明與任務無關的聽覺刺激的出現對視覺刺激存在促進作用；單/雙通道視覺刺激均為左側反應略快于右側；聽覺刺激的位置與視覺一致或不一致沒有明顯差別，這說明與任務無關的聽覺刺激的空間信息并沒有影響視覺發現任務，同時，提示的聽覺刺激為視覺刺激的發現提供了一致的時間信息，促進了視覺刺激的發現，結果與先前的研究相似。

圖1 視覺發現任務反應時間

被試在此實驗任務下的正確率沒有出現明顯差異。視覺發現任務反應時間見圖1，聽覺發現任務反應時間見圖2.

圖2 聽覺發現任務反應時間

由圖2可見，在聽覺發現任務中，被試者對聽覺雙通道刺激的反應時間要快于對單通道刺激的反應時間（AL-ALVL、AL-ALVR、AR-ARVR和AR-ARVL結果p值均小于0.05），說明任務無關的視覺刺激的出現對聽覺刺激的反應存在促進作用；單/雙通道聽覺刺激均為左側反應略快于右側；任務無關的視覺刺激促進了聽覺刺激的發現，空間位置不一致的視覺刺激的促進效果要比空間一致的小，說明視覺刺激的空間位置的一致性對聽覺發現有影響。被試在此實驗任務下的正確率比較均衡，沒有出現明顯差異。

實驗結果顯示，雙通道刺激對注意聽覺產生的影響比注意視覺時的更加明顯，這說明聽覺注意更加易受到視覺刺激的影響，而聽覺刺激對視覺注意的影響則相對較弱。

3 結束語

本課題通過設計視覺注意實驗和聽覺注意實驗研究了非注意通道的任務無關的信息對注意通道信息認知的影響。結果發現，同時提示的任務無關的聽覺刺激促進了視覺刺激的發現，且這種促進與聽覺刺激的空間信息無關。任務無關的視覺刺激促進了聽覺刺激的發現，視覺刺激的空間位置的一致性對聽覺發現有影響。聽覺注意更加容易受到視覺刺激的影響。本研究會繼續采用腦電技術等輔助手段研究人腦信息處理的神經機理，本研究所獲得的數據和發現的規律對實現思維控制機械的腦機接口技術具有重大意義。

［1］羅躍嘉，魏景漢.注意的認知神經科學研究［M］.北京：高等教育出版社，2004.

［2］Daniel Senkowski，Dave Saint-Amour，Marion H?fle，et al.Multisensory interactions in early evoked brain activity follow the principle of inverse effectiveness.NeuroImage，2011（56）.

［3］Li Qi，Wu Jinglong，Touge Tetsuo.Audiovisual interaction enhances auditory detection in late stage：an event-related potential study.Neuroreport，2010，21（03）.

［4］Lippert M，Logothetis NK，Kayser C.Improvement of visual contrast detection by a simultaneous sound.Brain research 2007，117（03）.

〔編輯：張思楠〕

Q983+.5

A

10.15913/j.cnki.kjycx.2017.19.103

2095－6835（2017）19－0103－03

長春理工大學科技創新基金（編號：XJJLG-2016-18）

楊菁菁（1979—），女，博士，助理研究員。