掩蔽刺激對目標識別加工的作用：來自fNIRS的證據*

楊海波 劉和珺 章 鵬 李 量

掩蔽刺激對目標識別加工的作用：來自fNIRS的證據

楊海波劉和珺章 鵬李 量

(教育部人文社會科學重點研究基地天津師范大學心理與行為研究院, 天津 30074) (天津師范大學心理學部, 天津 30387) (國民心理健康評估與促進協同創新中心, 天津 30074) (北京大學心理與認知科學學院, 北京 100080)

信息掩蔽刺激(如隨機字母群)對字母視覺搜索的干擾大于能量掩蔽刺激(如將字母群像素隨機化后的散點), 但相應的中樞機理還不清楚。本研究采用記錄腦代謝激活模式的功能性近紅外光學腦成像技術(fNIRS), 考察年輕成年被試分別在字母掩蔽、字母碎片掩蔽、像素掩蔽條件下判斷上、下、左、右四個目標字母是否相同時的大腦皮層氧合血紅蛋白濃度的變化。結果顯示, 依字母、字母碎片、隨機散點掩蔽條件順序, 被試的搜索任務成績顯著遞增, 而頂?枕皮層的激活范圍與程度顯著遞減, 表明信息掩蔽較匹配的能量掩蔽對視覺搜索有更大的干擾作用, 并在初級和聯合視覺皮層引發更大的激活。在字母碎片掩蔽條件下, 視覺初級皮層部分區域的激活水平與搜索行為績效的相關顯著, 而在字母掩蔽條件下, 視覺聯合皮層部分區域的激活水平與搜索行為績效的相關顯著。這進一步說明信息掩蔽中的字母掩蔽和字母碎片掩蔽的掩蔽作用在大腦皮層上所造成的加工負載存在差異。

視覺掩蔽; 視覺搜索; 近紅外腦功能成像; 頂枕葉

1 引言

日常生活中, 人們處于由眾多靜止和運動客體組合而成的環境之中, 視覺系統總是連續不斷地接受外界大量信息, 大腦同時對視覺系統傳導來的大量信息進行加工(Calvert & Thesen, 2004)。在這個過程中, 一些與目標無關的信息在時間上和空間上出現在目標信息位置, 就對目標相關信息的加工產生一定的干擾, 導致個體不能全部加工目標相關信息, 這種現象被稱為掩蔽(Gao, Schneider, & Li, 2017; Fahrenfort, Scholte, & Lamme, 2007)。Mattys, Brooks和Cooke (2009)提出, 依據內在機制的不同, 刺激所引起的掩蔽作用分為能量掩蔽和信息掩蔽。視覺系統中, 能量掩蔽是指掩蔽刺激對目標的干擾發生在視網膜水平, 使得目標信息很難進入大腦皮層得到更高水平的加工; 而信息掩蔽則是發生在大腦皮層加工層面, 由于掩蔽刺激與目標在某個或多個特征維度上相似, 因此會在高級加工階段出現競爭(陳明立等, 2012; Mattys et al., 2009; Wardle, Cass, Brooks, & Alais, 2010)。已有大量研究證明, 能量掩蔽與信息掩蔽帶來的掩蔽效應及其掩蔽機制均存在差異(Rabaglia & Schneider, 2016; Gao et al., 2017)。

為了進一步探討刺激類型對信息掩蔽的作用機制, 陳明立(2012)的研究設置了無掩蔽與隨機散點條件、字母掩蔽與隨機散點條件和字母掩蔽與字母碎片掩蔽三種條件, 結果發現, 被試在字母掩蔽與字母碎片掩蔽條件下的目標識別成績沒有顯著差異, 因此他們推斷, 字母掩蔽與字母碎片掩蔽的掩蔽作用均發生在早期的知覺特征整合階段, 尚未到達更高級的語義加工階段。與此研究類似, Rabaglia等人(2016)的研究對比了隨機像素、隨機相位、字母碎片和字母這四種掩蔽條件下被試的目標識別正確率, 結果發現, 當掩蔽刺激是完整字母或字母碎片時, 被試的目標識別成績沒有差異, 因此他們推斷認為, 字母和字母碎片的掩蔽作用并沒有發生在高級加工階段。但是也有研究得出不同的結果, Gao等人(2017)的研究采用字母判斷搜索任務, 通過設置相位掩蔽、隨機像素掩蔽、字母碎片掩蔽、字母掩蔽四種掩蔽刺激(其中相位掩蔽和隨機像素掩蔽是能量掩蔽, 字母碎片掩蔽和字母掩蔽是信息掩蔽), 考察被試在不同掩蔽刺激條件下對目標字母搜索的行為表現。結果證實了信息掩蔽效應顯著大于能量掩蔽效應, 同時研究還發現, 信息掩蔽的機制隨著刺激類型的改變而存在差異, 具體表現為字母掩蔽條件下的目標識別正確率顯著低于字母碎片掩蔽條件, 表明字母掩蔽條件下的掩蔽效應更大。因此他們認為, 字母碎片掩蔽條件下僅僅保持了碎片的知覺信息, 而字母掩蔽條件下的掩蔽刺激得到更高級的識別, 其與目標刺激存在語義水平的相似性, 因而掩蔽字母激活了語義水平的加工, 此時的掩蔽可以發生在語義加工水平(Gao et al., 2017)。可以看出, 研究者均對信息掩蔽的類型進行了操作, 但是在不同研究中, 被試在不同類型信息掩蔽條件下的行為結果并不一致, 因此關于信息掩蔽的作用機制還需要借助更有效的方法來探討。

基于上述爭論, 一些研究使用腦成像技術探討了掩蔽刺激產生掩蔽效應時的神經活動規律。這些研究結果表明, 掩蔽后的目標可見度與枕葉視覺皮層的響應變化呈顯著相關(Breitmeyer, 2008; Cai et al., 2017; Tsubomi et al., 2009), 也就是說, 掩蔽刺激能夠影響初級視覺皮層的激活響應。Fahrenfort等人(2007) 以有特定短線簇紋理特征的方塊圖形為目標刺激, 以隨機任意方向的短線簇為掩蔽刺激, 探討掩蔽刺激對目標刺激識別的掩蔽影響的機制。結果發現, 掩蔽所作用的腦區為在刺激呈現后109~141 ms被激活的枕葉區域, 由于掩蔽刺激信號干擾了額頂區對該枕葉皮層的再進入加工(reentrant processing)的反饋調節作用, 進而造成了對目標信號知覺的掩蔽。

但是也有研究的結果與之不一致。Durantin, Gagnon, Tremblay和Dehais (2014)發現, 隨著掩蔽刺激所產生的掩蔽效應的增加, 被試的行為反應績效下降, 視覺皮層的激活水平增高。這與Tse, Martinez-Conde, Schlegel和Macknik (2005)的研究結果不一致。對于這種現象, Durantin, Scannella, Gateau, Delorme和Dehais (2016)從認知加工負荷角度進行了分析和解釋。他們認為, 隨著掩蔽效應的增加, 識別目標所需的認知資源增加, 表現在大腦皮層激活上就是大腦皮層的激活水平顯著提高。也就是說, 掩蔽效應越大, 大腦皮層的激活水平越高。同時, Herrmann, Neueder, Troeller和Schulz (2016)的研究采用近紅外光學腦成像技術探討上述不一致的原因, 他們的研究發現, 行為結果(目標識別正確率)和大腦皮層血氧變化(血氧濃度的相對變化)均與對掩蔽刺激的加工負荷存在相關, 其中目標識別正確率與加工負荷呈負相關; 而氧合血紅蛋白的變化與認知負荷呈正相關。上述研究結果的不一致是由掩蔽刺激與目標刺激的差異導致, 對已有研究進行對比分析發現, 在掩蔽刺激選擇方面, 沒有很好地區分和操作能量掩蔽和信息掩蔽, 已有研究大多使用的是低信息量水平的材料, 比如隱形駐波(Tse et al., 2005)、隨機短線簇(Fahrenfort et al., 2007)等, 只有較少的研究涉及高信息量水平的掩蔽材料(Durantin et al., 2016)。另外, 即使是信息掩蔽, 也沒有很好地區分和操作掩蔽刺激信息含量的大小, 從而導致結果出現差異。

到目前為止, 在視覺搜索任務中, 不同掩蔽類型刺激的特異性神經機制還沒有得到一致性結論。綜合分析已有的行為研究與腦成像研究可以看出, 能量掩蔽與信息掩蔽的差異已經在行為研究中得到證實, 但是還不清楚這種外顯行為差異與大腦視覺皮層激活之間的對應關系; 另一方面, 行為研究對不同類型刺激導致信息掩蔽的探討存在爭議, 尤其也沒有得到大腦皮層激活機制的證據。基于此, 本研究使用功能性近紅外光譜腦成像技術(fNIRS)來考察在不同類型掩蔽刺激條件下被試進行目標識別的行為反應與大腦視覺皮層激活的關系, 旨在對視覺搜索任務的行為反應進行考察的同時, 還考察不同掩蔽類型刺激大腦視覺皮層激活的神經機制, 以此探討不同掩蔽類型刺激的大腦視覺皮層激活是否具有特異性。實驗操縱了掩蔽刺激的類型, 分為像素掩蔽、字母碎片掩蔽和字母掩蔽, 其中像素掩蔽是指掩蔽刺激由隨機像素組成, 沒有任何語義信息, 因此被稱為能量掩蔽。字母碎片掩蔽與字母掩蔽均為信息掩蔽, 根據Gao等人(2017)、楊志剛、張亭亭、宋耀武和李量(2014)等研究對信息掩蔽的分類, 字母碎片掩蔽條件下, 由于碎片與目標字母存在知覺層面的相似性, 因此被稱為知覺掩蔽; 字母掩蔽條件下, 因字母包含清晰的語義信息, 具有自動加工的特性, 與目標競爭高級認知加工資源, 被稱為認知掩蔽。這三種類型的掩蔽刺激, 既有純粹的無語義的掩蔽, 也有知覺水平的掩蔽, 還有更高的認知掩蔽, 較為全面地囊括了當前掩蔽研究中的大部分掩蔽類型。通過這種設計, 以期探討不同類型掩蔽刺激是否存在視覺皮層加工的分離和差異。在視覺注意研究中, 枕葉的視覺初級皮層和視覺聯合皮層是需要重點關注的皮層(Breitmeyer, 2008), 因此本研究重點關注枕葉皮層的激活模式。

已有研究表明, fNIRS已被廣泛用于探討視覺加工時枕葉視覺皮層活動, 可以對被試在視覺搜索過程中大腦皮層的血氧代謝活動響應進行較好的監測(McIntosh, Shahani, Boulton, & McCulloch, 2010; Ward, Aitchison, Tawse, Simmers, & Shahani, 2015; Wijeakumar, Shahani, Simpson, & McCulloch, 2012; Wijeakumar, Shahani, McCulloch, & Simpson, 2012; Rowland, Hartley, & Wiggins, 2018)。另外與其他腦成像方法相比, 在fNIRS實驗中, 被試可以以自然的姿勢進行實驗, 即可以在一個更自然和低限制的條件下記錄大腦皮層的血氧代謝活動, 使得在采用fNIRS方法的研究具有更高的生態效度(劉寶根, 周兢, 李菲菲, 2011)。

根據認知負荷理論(Paas & Sweller, 2012), 從像素掩蔽、字母碎片掩蔽到字母掩蔽, 其需要的加工負荷依次增加, 在大腦皮層激活模式上, 表現為皮層激活范圍擴大, 激活水平提高。Durantin等人(2014, 2016)、Herrmann等人(2016)認為, 行為指標與加工負荷呈負相關, 大腦皮層血氧變化與加工負荷存在正相關。結合Gao等人(2017)和Rabaglia等人(2016)研究的結果, 本研究提出以下三項研究假設：(1)從能量掩蔽到信息掩蔽的轉變, 形成認知加工負載的提高, 進而造成被試對目標識別的正確率呈顯著下降的趨勢。這一假設符合Mattys等人(2009)的研究發現, 即能量掩蔽對目標的干擾發生在視網膜水平, 因此不需要太多的中樞加工負載, 而信息掩蔽發生在認知加工階段, 需要占用中樞加工負載。(2)由于中樞加工負載的不同, 能量掩蔽條件下的視覺皮層激活模式與信息掩蔽條件下的視覺皮層激活模式存在顯著差異。Gao等人(2017)認為, 字母碎片掩蔽條件下僅僅保持了碎片的知覺信息, 而字母掩蔽條件下的掩蔽刺激得到識別并激活了語義信息。(3)受到刺激類型與目標刺激關系的影響, 信息掩蔽又可以進一步分為知覺信息掩蔽(如字母碎片掩蔽)和認知信息掩蔽(如字母掩蔽), 而且在這兩種掩蔽機制下的大腦激活模式存在顯著差異。

2 方法

2.1 被試

隨機招募23名在校大學生為被試, 其中女生17人, 男生6人。年齡在19~25歲之間(22.3 ± 1.69)。所有被試均為右利手, 視力或矯正視力正常, 無色盲、色弱等眼疾; 無腦損傷、精神病史。所有被試填寫知情同意書。實驗結束后有一定的報酬。

2.2 實驗儀器

使用日本島津公司生產的LABNIRS功能性近紅外腦成像儀(LABNIRS/16, Shimadzu Corporation, Kyoto, Japan)。該成像儀采用三波長(780 nm、805 nm、830 nm)的近紅外線半導體激光(安全等級為IED-60825-1標準下的1M級), 根據修訂后的比爾?郎伯(吸收)定律(modified Beer-Lambert law, MBLL)得到探測區域下氧合血紅蛋白濃度(HbO)、脫氧血紅蛋白濃度(HbR)、總血紅蛋白濃度(HbT)的變化, 本研究中儀器的采樣率為11.11 Hz。

2.3 實驗材料

目標刺激是位于菱形頂點對稱呈現的四個英文字母(字體為Times New Roman, 字號為24 points), 見圖1。左右呈現的字母所在的正方形邊長為13.3度(10.5 cm), 沿著水平軸或垂直軸分布的兩個字母距離4.0度。其中, 四個字母或者都相同, 或者有一個字母不同于其他三個。目標字母較掩蔽刺激的像素亮度低了10個單元。字母放置于統一的灰色背景下, 其像素亮度為127 (33 cd/m), 每個字母的像素亮度設置為77個像素值, 使得字母看起來比背景深。所有目標刺激是用噪音掩蔽的目標信號, 參照前人的研究(Gao et al., 2017), 實驗中采用的掩蔽刺激分為三種：字母掩蔽, 字母碎片掩蔽和像素掩蔽(見圖2)。同時, 對三種掩蔽材料的視覺物理特征進行了分析, 結果見圖3。

圖1 無掩蔽噪音的刺激樣例(僅有目標刺激)

圖2 不同類型掩蔽刺激樣例

圖3 不同類型掩蔽刺激的視覺物理特征分析

2.4 實驗設計

實驗為單因素三水平(掩蔽類型：字母掩蔽、字母碎片掩蔽、像素掩蔽)被試內設計。因變量為被試的目標識別正確率和氧合血紅蛋白(HbO)濃度的相對變化量。已有研究發現, HbO指標對任務刺激的變化更加敏感(Hoshi, Kobayashi, & Tamura, 2001)。

2.5 實驗程序

刺激呈現通過E-prime軟件來控制, 屏幕的背景顏色為黑色(RGB值：0, 0, 0)。實驗安排在具備隔音、勻光的近紅外光學腦成像專用實驗室中。正式實驗共有3個處理水平, 每個處理水平包含5個組塊, 每個組塊包含8個試次, 每兩個組塊之間靜息20秒。一個試次的完整流程見圖4所示, 首先在平面中心呈現一個注視點, 此時被試需要把注意集中在注視點上, 500 ms后呈現刺激, 呈現時間為2000 ms, 被試在此期間進行按鍵反應。不同處理條件按照組塊進行了隨機。

實驗中, 被試坐在屏幕前舒適的椅子上, 且下巴固定在下巴托上以此保證每個被試眼睛距屏幕中心的距離為45 cm。被試左手食指與右手食指分別放于F、J鍵上。被試的任務是判斷所呈現的目標刺激中四個字母是否相同, 盡量又準又快地按鍵; 若含有不同字母則按F鍵, 若四個字母都相同則按J鍵。正式實驗前進行了20個試次的練習, 以便熟悉流程。

圖4 一個試次的呈現過程

2.6 探頭布置

使用4×5的多通道探頭板, 由10個發射器和10個探測器組成, 探頭間距為3 cm, 構成31個通道。由于視覺搜索任務的主要激活腦區在枕葉視覺區, 因此參照前人(Cai et al., 2017; Tsubomi et al., 2009)研究的探頭布局方法, 根據國際10-10腦電系統安置探頭, 將帽子中線與CZ-OZ線重合, 并將最低端處于中間位置的探頭與枕骨隆突重合, 覆蓋頂枕聯合區(見圖5)。fNIRS記錄結束后, 使用3D定位儀(FASTRAK, Polhemus, Colchester, VT, USA)確定Cz、Nz、AL、AR點及探頭位置。通過概率配準方法把fNIRS通道位置與MNI空間坐標進行配準, 獲得與布魯德曼分區之間的對應關系。表1列出的通道定位區域為該通道覆蓋概率最大的區域。

圖5 fNIRS通道布局

表1 通道布局與布魯德曼分區的對應關系

2.7 數據分析

使用SPSS 20.0統計軟件對行為數據進行單因素三水平重復測量方差分析檢驗。近紅外的腦血氧數據使用基于Matlab運行的NIRS_SPM軟件(Ye, Tak, Jang, Jung, & Jang, 2009)處理功能性近紅外腦成像的血氧變化信號。NIRS_SPM是Matlab的一個插件, 它主要是基于一般線性模型(General Linear Model, GLM)來分析fNIRS數據。

首先對數據進行預處理。根據血液動力學響應函數(Hemodynamic Response Functions, HRF)和Wavelet-MDL方法(Jang et al., 2009)排除掉噪聲(頭動、心跳、呼吸等)和漂移, 這兩種方法已在相關研究中得到證明(Brigadoi et al., 2014), 被認為是去噪效果相對較好的方法。在近紅外實驗過程中, 由于被試的頭動、血管運動、血壓變化、生理變化或儀器不穩定等會存在全局漂移的問題, 造成低頻偏差。此外, 全局漂移的幅度通常與大腦激活過程的信號幅度相當。為了消除全局趨勢并提高信噪比, 本研究采用基于小波最小描述長度(Wavelet_MDL) (Jang et al., 2009)算法去趨勢。具體來說, 利用小波變換將近紅外測量數據分解為不同尺度下的全局趨勢、血液動力學信號和不相關噪聲分量。同時, 為了防止對全局趨勢估計的過擬合或欠擬合, 采用了最小描述長度(MDL)原則。此外, 本研究選擇Precoloring方法(Worsley & Friston, 1995), 其核函數可采用高斯濾波器或HRF (血液動力學響應函數)低通濾波器。本文使用的HRF濾波器是近紅外光譜數據的首選濾波器, 因為HRF的傳遞函數是基于神經元信號建模的頻率(Ye et al., 2009), 可去除由儀器產生的隨機噪聲以及心率、呼吸等引起的生理噪聲。通過上述流程, 共有3名被試的數據由于偽跡過多而被剔除。

然后, 用一般線性模型整合任務效應, 用任務擬合參考波推斷參數估計(GLM模型中beta值的權重)。最后分別對不同掩蔽類型下獲得的beta值進行單樣本檢驗、方差分析。使用FDR (false discovery rate)校正所有的值, 校正后< 0.05為顯著(Noble, 2009)。

3 結果

3.1 目標識別正確率

對不同掩蔽類型下的識別正確率進行單因素三水平重復測量方差分析, 結果顯示：掩蔽類型主效應顯著,(2, 38) = 212.71,< 0.001, η= 0.92。進一步Bonferroni校正的事后檢驗表明, 像素掩蔽(0.85 ± 0.12)、字母碎片掩蔽(0.51 ± 0.16)和字母掩蔽(0.29 ± 0.11)的平均正確率依次降低, 且兩兩條件之間差異顯著(< 0.001), 被試在像素掩蔽條件下的識別正確率顯著大于字母碎片掩蔽條件和字母掩蔽條件下的識別正確率, 在字母碎片條件下的識別正確率顯著大于字母掩蔽條件(如圖6所示)。這個結果表明, 字母掩蔽條件下的掩蔽效應最大, 字母碎片掩蔽條件下的掩蔽效應次之, 像素掩蔽條件下的掩蔽效應最小。

圖6 不同掩蔽條件下被試的目標識別正確率

注：***< 0.001。

3.2 fNIRS結果

對不同類型掩蔽下各通道的beta值進行單樣本檢驗, 檢驗值為0。根據各通道的值, 繪制了熱量圖(如圖7所示)。經FDR校正, 結果發現, 像素掩蔽條件下顯著激活的通道有ch24、ch28 (< 0.05), 其余通道都未被顯著激活(> 0.05), 見圖7(a); 字母碎片掩蔽條件下, 顯著激活的通道有ch4、ch15、ch16、ch17、ch20、ch21、ch22、ch24、ch25、ch26、ch27、ch31 (< 0.05), 其余通道都未被顯著激活(> 0.05), 見圖7(b); 字母掩蔽條件下, 顯著激活的通道有ch10、ch15、ch16、ch17、ch20、ch21、ch22、ch24、ch25、ch26、ch27、ch28、ch31 (< 0.05), 其余通道未被顯著激活(> 0.05), 見圖7(c)。這個結果表明, 像素掩蔽條件下的激活模式與其它兩種條件(字母碎片掩蔽和字母掩蔽)的激活模式存在很大差異, 而字母碎片掩蔽與字母掩蔽條件下的激活模式基本相同, 都激活了視覺初級皮層與視覺聯合皮層。

以通道為單位, 對三種掩蔽條件(像素掩蔽、字母碎片掩蔽、字母掩蔽)下各通道的beta值進行單因素三水平的重復測量方差分析, 結果見表2(統計結果不顯著的未列出)。經FDR校正, 結果發現, 掩蔽條件主效應顯著的通道包括：ch11、ch15、ch17、ch20、ch22、ch25、ch27、ch31 (< 0.05), 其余通道不存在顯著差異(> 0.05), 結果見圖8。激活的腦區包括左側枕上回、枕中回和右側枕上回、枕中回、枕下回。Bonferroni校正的事后檢驗顯示, 字母掩蔽條件下相關皮層的激活水平顯著高于像素掩蔽條件(見圖9a), 字母碎片掩蔽條件下相關皮層的激活水平也顯著高于像素掩蔽條件(圖9b); 而字母掩蔽與字母碎片掩蔽下相關皮層的總體激活程度雖然存在一定差異, 但未達到顯著水平(> 0.05), 熱量圖表明, 大腦左半球的激活水平高于右半球(見圖9c)。通道分析發現, 在通道2、6、10、24、28、29上, 字母掩蔽條件下的激活水平高于字母碎片掩蔽條件, 主要腦區是左半球的枕上回、枕中回和枕下回。

圖7 不同掩蔽條件下大腦皮層各通道激活t值熱量圖

表2 不同掩蔽類型條件下重復測量方差分析檢驗結果

注：*< 0.05, **< 0.01

圖8 掩蔽類型對視覺搜索影響的主效應熱量圖

3.3 fNIRS結果與識別正確率的相關

根據表2中各通道與其對應的布魯德曼分區結果, 將位于視覺初級皮層的5個通道(ch15、17、20、22、25)以及位于視覺聯合皮層的3個通道(ch11、27、31)分別作為興趣區納入進一步的統計分析。然后, 對不同掩蔽類型下8個顯著激活的通道按照不同興趣區, 對beta值求平均值。最后, 將平均后的beta值與各掩蔽條件下被試視覺搜索的目標識別正確率進行皮爾遜相關分析, 結果見表3。

從表3可以看出, 像素掩蔽條件下, 無論是視覺初級皮層還是視覺聯合皮層, 目標識別正確率與fNIRS結果之間的相關系數均不顯著; 字母碎片掩蔽條件下, 位于視覺初級皮層區域的通道22上的目標識別正確率與fNIRS結果之間的相關系數顯著,= 0.473, 其他通道二者的相關系數不顯著; 字母掩蔽條件下, 視覺聯合皮層的通道31上的目標識別正確率與fNIRS結果之間的相關系數顯著,= ?0.478, 其他通道二者的相關系數不顯著。

4 討論

本研究采用近紅外光學腦成像技術考察了不同掩蔽條件下被試進行目標搜索時的行為反應與大腦視覺皮層血氧濃度變化模式。目標識別正確率表明, 像素掩蔽條件下的目標識別正確率顯著高于字母掩蔽與字母碎片掩蔽條件, 這與前人研究結果一致(Gao et al., 2017; Mattys et al., 2009; Rabaglia et al., 2016), 再次證明像素掩蔽的掩蔽效應顯著小于字母掩蔽與字母碎片掩蔽的掩蔽效應。同時血氧濃度指標表明, 皮層激活強度反映出不同類型掩蔽刺激影響目標識別過程, 具體表現為從像素掩蔽到字母碎片掩蔽、再到字母掩蔽, 隨著目標與掩蔽刺激在物理、知覺、認知水平上相似性的增大, 視覺皮層的激活水平隨之升高、激活范圍也隨之擴大。其中, 字母掩蔽條件下的視覺初級皮層和視覺聯合皮層的激活水平顯著高于像素掩蔽條件下對應腦區的激活水平。結合目標識別正確率結果與血氧濃度變化情況可以推斷出, 不同類型掩蔽刺激對被試的目標搜索過程產生不同的掩蔽效應。

圖9 視覺搜索任務下不同類型掩蔽刺激的兩兩對比熱量圖

表3 被試識別正確率與fNIRS數據的相關(n = 20)

注：*< 0.05

對血氧濃度進一步分析發現, 字母掩蔽和字母碎片掩蔽條件下視覺初級皮層和視覺聯合皮層的大部分區域都顯著激活, 而在像素掩蔽條件下, 只有少部分的視覺初級皮層和視覺聯合皮層顯著激活。對比分析發現, 與像素掩蔽條件相比, 字母掩蔽和字母碎片掩蔽條件下, 被試的左側枕上回、枕中回和右側枕上回、枕中回、枕下回都表現出顯著的激活, 這與已有類似研究的結果一致(Mattys et al., 2009), 表明能量掩蔽與信息掩蔽的腦激活模式存在很大差異。進一步對比字母掩蔽、字母碎片掩蔽兩種條件下的激活區域可以發現, 二者的激活區域存在較大范圍的重疊, 這說明兩種類型掩蔽刺激的引起的皮層激活模式高度相似。進一步的二者之間對比發現, 字母掩蔽條件下的皮層激活范圍和水平高于字母碎片掩蔽條件, 雖未達到顯著性水平, 但依然有一定借鑒意義, 關于這種差異的解釋, 存在兩種不同的觀點。一種觀點認為, 字母掩蔽與字母碎片掩蔽均屬于信息掩蔽, 因此二者的掩蔽效果應該無差異; 如果結果存在差異, 那么可能是二者在特征整合階段的加工差異導致的(Chubb, Olzak, & Derrington, 2001; Pelli, Palomares, & Majaj, 2004)。另一種觀點認為, 字母掩蔽與字母碎片掩蔽雖然都屬于信息掩蔽, 但相比于字母碎片掩蔽, 字母掩蔽的基本構成單位是完整字母, 具有完整的信息, 可能會誘發語義層面的加工, 因此造成二者的掩蔽效果存在顯著差異(Gao et al., 2017)。

Gao等人(2017)認為, 字母掩蔽對目標的影響發生在更高級的認知加工階段, 而字母碎片掩蔽對目標的影響發生在特征整合階段。本研究中, 視覺皮層的血氧濃度變化模式表明, 字母掩蔽與字母碎片掩蔽對目標加工影響的大腦皮層激活模式在存在很大相似性的同時, 仍可以看出字母掩蔽條件下的皮層激活水平存在大于字母碎片掩蔽條件的趨勢, 這種差異在一定程度上與行為結果相呼應, 說明字母掩蔽與字母碎片掩蔽作為信息掩蔽, 既存在共性的加工機制也存在刺激特異性的機制。進一步對比字母掩蔽與字母碎片掩蔽條件下的皮層血氧變化發現, 字母掩蔽條件下, 大腦左半球的部分視覺聯合皮層區域的腦激活水平更高。已有研究證明, 枕葉皮層與語義、詞匯加工存在一定的相關(Simons, Koutstaal, Prince, Wagner, & Schacter, 2003)。另外, 本研究的被試均為右利手, 其語言加工存在左半球優勢效應(Lane et al., 2017)。因此, 字母掩蔽條件下表現出的左半球偏側化高度激活可能反映了在視覺搜索加工過程中, 字母掩蔽出現了語義水平的加工, 這說明字母掩蔽與字母碎片掩蔽的掩蔽效應的機制不同, 其產生階段也存在差異。

對字母掩蔽與字母碎片掩蔽之間差異的另一種可能解釋是, 相比于字母碎片掩蔽, 字母掩蔽條件下被試還需對字母進行知覺(意義)層面上的整合, 并表征為整體, 這種完形加工傾向可能需要消耗更多的資源對掩蔽刺激進行加工, 因此視覺系統對目標的識別會受到個體對掩蔽字母知覺整合的影響, 這種整合的結果表現為認知負荷的增高(Lavie, Hirst, de Fockert, & Viding, 2004; Durantin, et al., 2014)。在字母碎片掩蔽條件下, 被試無需對掩蔽刺激進行知覺整合, 因而對認知資源的需求也比較少, 表現為字母碎片掩蔽條件下被試的大腦皮層激活的范圍小、激活水平低。

視覺皮層的血氧變化情況與目標識別正確率之間的相關分析進一步證實了字母碎片掩蔽與字母掩蔽的腦激活模式差異。已有研究表明, 雖然視覺初級皮層和視覺聯合皮層都涉及到對視覺信息的加工, 但它們與不同的認知功能有關, 例如, 視覺信息的知覺整合加工更多地與視覺初級皮層有關(Kok, de Lange, & Floris, 2014), 視覺信息的語義加工更多地與視覺聯合皮層有關(Bonner et al., 2009)。本研究發現, 在字母碎片掩蔽條件下, 視覺初級皮層部分區域的激活水平與行為成績的相關顯著, 而視覺聯合皮層與行為成績的相關不顯著, 說明字母碎片掩蔽條件下的掩蔽效果更多地與視覺初級皮層的激活有關, 主要對字母碎片進行特征分析, 因而激活了與知覺特征分析加工相關的視覺初級皮層。字母掩蔽條件下, 視覺聯合皮層部分區域的激活水平與行為成績的相關顯著, 而視覺初級皮層與行為成績的相關不顯著, 說明字母掩蔽條件下的掩蔽效果更多地與視覺聯合皮層的整合加工的激活有關。目標刺激與掩蔽刺激均為攜帶語義信息的字母, 為此被試在對目標進行加工判斷時也受到同為字母的掩蔽刺激的語義加工的影響, 因而激活了與語義加工相關的視覺聯合皮層。因此, 這進一步說明信息掩蔽中的字母掩蔽和字母碎片掩蔽的掩蔽作用的大腦皮層中樞存在差異。

對于字母掩蔽和字母碎片掩蔽兩種條件下的部分視覺皮層激活水平差異不顯著, 可能原因是字母掩蔽與字母碎片掩蔽的信息量差異對于漢語母語的被試來說達不到差異。已有研究表明, 漢字與漢字碎片攜帶的信息對被試的認知資源的需求存在著較大差異(Yan et al., 2012), 因此, 對于漢語為母語的被試來說, 他們對漢字或漢字碎片更為敏感, 而對英文字母和字母碎片的敏感性較低, 從而導致視覺皮層激活差異不顯著。隨后的研究應豐富信息掩蔽的類型(比如漢字碎片), 進一步探討掩蔽對視覺搜索的影響。

5 結論

本研究使用fNIRS技術探討不同類型掩蔽對目標識別影響的大腦皮層激活模式, 研究表明：與相同條件下的能量掩蔽相比, 信息掩蔽對視覺搜索有更大的干擾作用, 并在初級和二級視覺皮層引發更大的加工負載。并且, 不同類型信息掩蔽的掩蔽效果差異也體現在初級視覺皮層和視覺聯合皮層的激活模式上, 即字母掩蔽和字母碎片掩蔽的掩蔽作用在大腦皮層上所造成的加工負載存在差異。

Breitmeyer, B. G. (2008). Visual masking: Past accomplishments, present status, future developments.(1-2), 9–20. doi:10. 2478/v10053-008-0010-7

Brigadoi, S., Ceccherini, L., Cutini, S., Scarpa, F., Scatturin, P., Selb, J., … Cooper, R. J. (2014). Motion artifacts in functional near-infrared spectroscopy: A comparison of motion correction techniques applied to real cognitive data.(1), 181–191. doi:10.1016/j.neuroimage. 2013.04.082

Bonner, M. F., Vesely, L., Price, C., Anderson, C., Richmond, L., Farag, C., ... Grossman, M. (2009). Reversal of the concreteness effect in semantic dementia.(6), 568–579. doi: 10.1080/ 02643290903512305

Cai, T. T., Zhu, H. L., Xu, J., Wu, S. J., Li, X. G., & He, S. L. (2017). Human cortical neural correlates of visual fatigue during binocular depth perception: An fNIRS study.(2)1–16. doi: 10.1371/journal.pone.0172426

Calvert, G. A., & Thesen, T. (2004). Multisensory integration: methodological approaches and emerging principles in the human brain.(1-3), 191–205. doi: 10.1016/j.jphysparis.2004.03.018

Chen, M. L. (2012).(Unpublished master's thesis). Peking University.

[陳明立. (2012).(碩士學位論文). 北京大學.]

Chen, M. L., Zhang, C. X., Yang, S. J., Mao, L. H., Tian, Y. H., Huang, T. J., … Li, L. (2012). Stereopsis-based binocular unmasking.(9), 1355–1363.

[陳明立, 張暢芯, 楊少娟, 毛利華, 田永鴻, 黃鐵軍, …李量. (2012). 基于雙眼視差的立體視覺去掩蔽效應.,(9), 1355–1363.]

Chubb, C., Olzak, L., & Derrington, A. (2001). Second-order processes in vision: Introduction.(9)2175–2178. doi:10.1364/josaa. 18.002175

Durantin, G., Gagnon, J. -F., Tremblay, S., & Dehais, F. (2014). Using near infrared spectroscopy and heart rate variability to detect mental overload., 16–23. doi:10.1016/j.bbr.2013.10.042

Durantin, G., Scannella, S., Gateau, T., Delorme, A., & Dehais, F. (2016). Processing functional near infrared spectroscopy signal with a Kalman filter to assess working memory during simulated flight.707. doi:10.3389/fnhum.2015.00707

Fahrenfort, J. J., Scholte, H. S., & Lamme, V. A. F. (2007). Masking disrupts reentrant processing in human visual cortex.(9)1488–1497. doi:10.1162/jocn.2007.19.9.1488

Gao, Y. Y., Schneider, B., & Li, L. (2017). The effects of the binocular disparity differences between targets and maskers on visual search.(2), 459–472. doi:10.3758/s13414-016-1252-y

Herrmann, M. J., Neueder, D., Troeller, A. K., & Schulz, S. M. (2016). Simultaneous recording of EEG and fNIRS during visuo-spatial and facial expression processing in a dual task paradigm., 21–28. doi:10.1016/j.ijpsycho.2016.09.013

Hoshi, Y., Kobayashi, N., & Tamura, M. (2001). Interpretation of near-infrared spectroscopy signals: A study with a newly developed perfused rat brain model.(5), 1657–1662. doi:10.1152/jappl.2001. 90.5.1657

Jang, K. E., Tak, S., Jung, J., Jang, J., Yong, J., & Ye, J. C. (2009). Wavelet minimum description length detrending for near-infrared spectroscopy.(3), 1–13. doi: 10.1117/1.3127204

Kok, P., & de Lange, Floris P. (2014). Shape perception simultaneously up- and downregulates neural activity in the primary visual cortex.(13), 1531–1535. doi:https://doi.org/10.1016/j.cub.2014.05.042

Lane, C., Kanjlia, S., Richardson, H., Fulton, A., Omaki, A., & Bedny, M. (2017). Reduced left lateralization of language in congenitally blind individuals.(1), 65–78. doi:10.1162/jocn_a_01045

Lavie, N., Hirst, A., de Fockert, J. W., & Viding, E. (2004). Load theory of selective attention and cognitive control.(3), 339-354. doi: 10.1037/0096-3445.133.3.339

Liu, B. G., Zhou, J., & Li, F. F. (2011). Functional near-infrared spectroscopy: An emerging functional neuroimaging technology.(4), 943–949.

[劉寶根, 周兢, 李菲菲. (2011). 腦功能成像的新方法——功能性近紅外光譜技術(fNIRS).(4), 943–949.]

Mattys, S. L., Brooks, J., & Cooke, M. (2009). Recognizing speech under a processing load: Dissociating energetic from informational factors.(3), 203–243. doi:10.1016/j.cogpsych.2009.04.001

McIntosh, M. A., Shahani, U., Boulton, R. G., & McCulloch, D. L. (2010). Absolute quantification of oxygenated hemoglobin within the visual cortex with functional near infrared spectroscopy (fNIRS).4856–4860. doi:10.1167/iovs.09-4940

Noble, W. S. (2009). How does multiple testing correction work?, 1135-1137. doi:10.1038/ nbt1209-1135

Paas, F., & Sweller, J. (2012). An evolutionary upgrade of cognitive load theory: Using the human motor system and collaboration to support the learning of complex cognitive tasks.(1)27–45. doi:10.1007/s10648-011-9179-2

Pelli, D. G., Palomares, M., & Majaj, N. J. (2004). Crowding is unlike ordinary masking: Distinguishing feature integration from detection.(12)1136–1169. doi:10.1167/4.12.12

Rabaglia, C. D., & Schneider, B. A. (2016). Age-related inhibitory deficit, or lack of familiarity benefit? Evidence from letter identification among visual distractors.(2), 542–565. doi:10.3758/s13414-015-1009-z

Rowland, S. C., Hartley, D. E. H., & Wiggins, I. M. (2018). Listening in naturalistic scenes: What can functional near-infrared spectroscopy and intersubject correlation analysis tell us about the underlying brain activity?. doi:10.1177/2331216518804116

Simons, J. S., Koutstaal, W., Prince, S., Wagner, A. D., & Schacter, D. L. (2003). Neural mechanisms of visual object priming: Evidence for perceptual and semantic distinctions in fusiform cortex.(3), 613–626. doi:10. 1016/s1053-8119(03)00096-x

Tse, P. U., Martinez-Conde, S., Schlegel, A. A., & Macknik, S. L. (2005). Visibility, visual awareness, and visual masking of simple unattended targets are confined to areas in the occipital cortex beyond human V1/V2.(47), 17178–17183. doi:10.1073/pnas. 0508010102

Tsubomi, H., Ikeda, T., Hanakawa, T., Hirose, N., Fukuyama, H., & Osaka, N. (2009). Connectivity and signal intensity in the parieto-occipital cortex predicts top-down attentional effect in visual masking: An fMRI study based on individual differences.(2), 587–597. doi:https://doi.org/10.1016/j.neuroimage.2008.11.028

Ward, L. M., Aitchison, R. T., Tawse, M., Simmers, A. J., & Shahani, U. (2015). Reduced haemodynamic response in the ageing visual cortex measured by absolute fNIRS.1–16. doi:10.1371/journal.pone.0125012

Wardle, S. G., Cass, J., Brooks, K. R., & Alais, D. (2010). Breaking camouflage: Binocular disparity reduces contrast masking in natural images.(14), 1–12. doi:10.1167/10.14.38

Wijeakumar, S., Shahani, U., McCulloch, D. L., & Simpson, W. A. (2012). Neural and vascular responses to fused binocular stimuli: A VEP and fNIRS study.(9), 5881–5889. doi:10.1167/iovs.12-10399

Wijeakumar, S., Shahani, U., Simpson, W. A., & McCulloch, D. L. (2012). Localization of hemodynamic responses to simple visual stimulation: An fNIRS study.(4)2266–2273. doi:10.1167/iovs.11-8680

Worsley, K. J., Friston, K. J. (1995). Analysis of fMRI time-series revisited - Again.(3), 173–181. doi:10.1006/nimg.1995.1023

Yan, G. L., Bai, X. J., Zang, C. L., Bian, Q., Cui, L., Wei, Q., … Liversedge, S. P. (2012). Using stroke removal to investigate Chinese character identification during reading: Evidence from eye movemwnts.(5), 951–979. doi:10.1007/s11145-011-9295-x

Yang, Z. G., Zhang, T. T., Song, Y. W., & Li, L. (2014). The subcomponents of informational masking: Evidence from behavioral and neural imaging studies.(3), 400–408.

[楊志剛, 張亭亭, 宋耀武, 李量. (2014). 聽覺信息掩蔽的亞成分：基于行為和腦成像研究的證明.(3), 400–408.]

Ye, J. C., Tak, S., Jang, K. E., Jung, J., & Jang, J. (2009). NIRS-SPM: Statistical parametric mapping for near-infrared spectroscopy.(2), 428–447. doi:10.1016/j.neuroimage.2008.08.036

The role of masking stimulation in target recognition processing: Evidence from fNIRS

YANG Haibo; LIU Hejun; ZHANG Peng; LI Liang

(Key Research Base of Humanities and Social Sciences of the Ministry of Education, Academy of Psychology and Behavior, Tianjin Normal University, Tianjin 300074, China) (Faculty of Psychology, Tianjin Normal University, Tianjin 300387, China) (Center of Collaborative Innovation for Assessment and Promotion of Mental Health, Tianjin 300074, China) (School of Psychological and Cognitive Sciences, Peking University, Beijing 100080, China)

When our visual system processes target signals, it usually receives large amounts of irrelevant information from the target, leading to a reduction in the visibility of the target. A wealth of research has shown that visual search for target letters against a masking background is largely determined by the masker type. Informational maskers, such as either randomly positioned and oriented letters or randomly distributed letter fragments, induce stronger masking effects on recognition of target letters than the energetic maskers do, such as the random-phase masker (same spectral amplitude composition as the letter masker but with the phase spectrum randomized) or the random-pixel masker (the locations of the letter maskers’ pixel amplitudes being randomized). However, the mechanisms under informational masking and those under energetic masking are still unknown.

The current study examined both cortical activities and behavioral performances in the visual search task, which is determined by whether one of four letters presented at four symmetrically-located positions differs from the others under three masking conditions (random pixels, letter fragments, and random letters). Both the oxygenated hemoglobin concentration (HbO) responses in the primary visual cortex (V1) and secondary visual cortex (V2) with a functional near infrared spectroscopy (fNIRS) were recorded. Twenty (4 males, 16 females) healthy adults (mean age: 22.5 ± 1.67 years) participated in the experiment. Each masking condition contained 5 blocks, and each block contained 8 trails. There was a resting phase of 20 seconds between the two blocks. Spatial registration methods were applied to localize the cortical regions underneath each channel and to define two regions of interest (ROIs), which are the primary visual cortex (V1) and secondary visual cortex (V2).

The behavioral results showed that the performance of recognizing target letters improved when the masker type shifted from random letters to letter fragments and to random pixels, suggesting that the letter masker interfered the most with performance than the letter fragment and random-pixel maskers. The random-pixel masker caused the least masking effect. The fNIRS results showed that both letter masker and letter-fragment masker produced an increase in cortical oxygen level. Many regions of interest (ROIs), particularly the visual cortex (including V1 and V2), were more activated under the letter or the letter-fragment masking condition compared to the random-pixel masking condition. Moreover, the differences in cortical activation between the masking conditions further suggested that the V1 and V2 are the critical brain regions involved in visual letter search and informational masking of letter recognition.

To summarize, this study used fNIRS to explore the cortex activation patterns of different types of masking on target recognition. The results showed that information masking had much more interference on visual search and caused greater processing loads in primary and secondary visual cortex, compared with energy masking under the same conditions. Furthermore, the differences between letter fragments masking and letters masking are reflected in the activation mode of V1 and V2 regions.

visual masking; visual research; functional near infrared spectroscopy (fNIRS); parietal-occipital cortices

2018-10-08

* 全國教育科學規劃教育部重點課題“創傷后應激障礙中學生注意偏向的心理機制研究” (DBA150235)。

李量, E-mail: liangli@pku.edu.cn

B842

10.3724/SP.J.1041.2019.01187