客體信息在視覺工作記憶編碼和維持階段的不同注意選擇模式*

龐 超 陳顏璋 王 莉 楊喜端 賀 雅 李芷瑩 歐陽小鈺 傅世敏 南威治

客體信息在視覺工作記憶編碼和維持階段的不同注意選擇模式*

龐 超1陳顏璋2王 莉2楊喜端1賀 雅1李芷瑩1歐陽小鈺1傅世敏1南威治1

(1廣州大學教育學院心理系/腦與認知科學中心, 廣州 510006) (2華南師范大學心理學院, 廣州 510665)

視覺工作記憶不同加工階段(編碼、維持)對多特征客體信息的注意選擇模式是否相同目前仍存在爭議。本研究采用變化覺察范式, 引入前注意線索和后注意線索, 分別探測在視覺工作記憶編碼和維持兩個階段中的注意選擇模式。3個實驗結果顯示, 在前注意線索試次中, 被試對任務相關特征變化的覺察顯著受到任務無關特征變化的干擾, 表現為任務無關特征變化條件相比于不變條件的反應更慢, 報告標準更低; 且該干擾效應并不受記憶負荷的影響。而在后注意線索試次中, 僅在低記憶負荷條件下(實驗1a/1b)存在干擾效應, 當記憶負荷增大后(實驗2/3)干擾效應消失。結果表明, 在視覺工作記憶編碼階段, 客體中任務相關與無關特征均被編碼進視覺工作記憶并相互競爭注意資源; 而在維持階段, 任務無關特征僅在低記憶負荷條件下得到加工。結果揭示, 在編碼階段的注意選擇模式是基于客體的; 而維持階段的注意選擇模式是基于特征的, 且受到記憶負荷的調控。

視覺工作記憶, 編碼階段, 維持階段, 基于客體的注意, 基于特征的注意

1 引言

視覺工作記憶(visual working memory, VWM)是對視覺信息暫時存儲和加工的場所(Baddeley, 2000; Baddeley & Hitch, 1974)。由于認知資源的限制, VWM無法同時加工外界環境輸入大腦的所有信息(Cowan, 2017; Fukuda et al., 2010; Vogel et al., 2001)。此時大腦可根據任務需求, 通過注意選擇當前任務最相關的信息進入VWM進行加工, 以緩解認知資源上的限制(Awh et al., 2006; Gazzaley & Nobre, 2012)。日常環境中的客體均由多種特征組成(如, 顏色、形狀、紋理等), 根據注意選擇的客體信息的不同, 注意可分為基于客體的注意以及基于特征的注意。基于客體的注意是指被試選擇性注意客體中的一種特征時, 其他特征也會一同被選擇且相互影響(Luck & Vogel, 1997)。基于特征的注意則指被試能夠單獨選擇一種特征進行注意, 而不受其他特征的影響(Wheeler & Treisman, 2002)。但在VWM中對多特征客體的注意選擇模式究竟是基于客體的還是基于特征的仍存在爭議。

基于客體的注意理論認為, 當多特征客體中的一個特征被選中時, 同一客體上的其他特征會被自動激活(Ernst et al., 2013; O'Craven et al., 1999)。以往支持該理論的研究大多采用變化覺察范式, 該范式要求被試首先將記憶項目編碼進入VWM并維持一段時間, 最后與探測項目進行比較, 從而可有效探究VWM中客體信息的加工機制(Lin & Luck, 2012)。Luck和Vogel (1997)最早為多特征客體在VWM中為基于客體的注意選擇模式提供實證支持, 他們采用變化覺察范式發現, 被試在只記憶多特征客體中的單一特征與同時記憶多個特征之間的任務表現并沒有差異。表明即使當前任務要求被試只需要選擇一種特征進行記憶, 被試也無法按照自身意愿進行選擇, 仍會將任務無關特征編碼進入VWM。隨后, Shen等人(2013)又進一步證明VWM中的基于客體的注意選擇模式不僅存在, 而且十分穩健。研究中, 在變化覺察范式的記憶屏之前, 被試被告知只需要記憶顏色特征并報告其是否發生變化, 同時忽略任務無關的形狀特征的變化。結果發現當任務無關的形狀特征發生變化時被試的反應時間顯著增加, 這表明任務無關的形狀特征被一同編碼進入了VWM。在隨后的實驗中, 通過增加記憶負荷、降低任務無關特征發生變化的概率以及增加被試工作記憶中注意資源的消耗等操作, 仍觀察到相同結果, 表明這種基于客體的注意選擇模式穩定存在于VWM的編碼階段。

雖然早期的研究可以作為VWM中基于客體的注意機制存在的證據, 然而, 這些研究大多關注發生在VWM的編碼階段的注意選擇模式, 即在記憶屏之前告知特征與任務的相關性。已有的證據表明注意選擇不僅可以發生在記憶的編碼階段, 同樣可以持續的在內部表征的維持階段發揮作用(Griffin & Nobre, 2003), 而有關維持階段的注意選擇模式的研究卻有著不一樣的發現(Niklaus et al., 2017; Park et al., 2017; Sasin & Fougnie, 2020; Ye et al., 2016)。Ye等人(2016)在一項記憶報告任務中, 為了探究在多特征客體內部表征的維持階段能否將注意資源成功集中到任務相關的特征維度上, 采用后注意線索(回溯線索)在記憶屏之后告知被試特征的任務相關性。實驗條件分為有效線索與中性線索, 在有效線索條件下, 線索提示特征即為記憶報告特征; 在中性線索條件下, 線索同時指向兩種特征, 記憶報告則是隨機的一種特征。結果發現相較于中性線索, 有效的后注意線索可以增加報告目標特征的可能性, 表明被試可以利用后注意線索靈活的將內部注意資源分配到內部記憶表征的特定維度上, 同時也說明客體特征的儲存是相互獨立的, 從而支持VWM中存在基于特征的注意假設。此外, Wang等人(2017)的研究發現, 在固定記憶客體數量的前提下, 改變一種維度特征值的數量并不會影響對另一種特征的記憶表現。他們認為VWM系統具有多個儲存特征的子系統, 不同維度特征被分別儲存在相互獨立的子系統中, 進一步為VWM維持階段基于特征的注意提供了證據支持。

綜上, 已有的研究分別為VWM中存在基于客體的注意選擇模式與基于特征的注意選擇模式提供了相應的證據支持, 出現這種看似矛盾的結論可能是由于這些研究所探究的VWM加工階段本身就不同。正如我們所知, VWM編碼和維持階段存在不同的加工機制(Woodman & Vogel, 2005), 因此兩種注意選擇模式可能分別存在于VWM的不同加工階段。例如, Ye等人在得出VWM中存在基于特征的儲存機制的結論后并沒有直接反駁VWM中存在基于客體的注意的觀點, 而是結合前人的研究進一步提出基于客體的注意和基于特征的注意共同存在于VWM中的假設, 他們認為一開始被試以一種非自愿的基于客體的方式編碼記憶項目, 隨后可以自愿的以基于特征的方式將它們儲存在VWM中。然而, 以往的研究并沒有發現支持這一假設的實證研究, 而且以往對該假設的推論也只是基于不同研究的結果, 這些研究無論是在實驗范式、報告指標還是特征信息的選擇上都存在差異。例如, 以往認為VWM編碼階段存在基于客體的注意的研究大多采用的是變化覺察范式, 而支持VWM維持階段存在基于特征的注意的研究采用的是回憶報告范式。雖然在采用回憶報告范式的研究中發現被試對任務無關特征的報告處在隨機水平, 但這可能并不意味著任務無關特征不存在于VWM。比如, 心理學中經典的舌尖現象(Brown & McNeill, 1966), 短暫的提取失敗并不代表不存在相關記憶。相較于回憶報告范式, 變化覺察范式只需要被試進行再認, 這可能更適用于考察信息是否存在于VWM。因此, 有必要在同一種研究范式、報告指標以及特征組合的實驗設計下同時觀測VWM編碼和維持階段中的注意選擇模式, 為該假設提供實證性支持。本研究在Shen等人研究中的變化覺察范式基礎上, 引入前注意線索和后注意線索在VWM不同加工階段操控特征的任務相關性, 觀察任務無關特征變化對任務相關特征的干擾效應, 從而有效地幫助我們理解VWM對多特征客體信息的注意選擇模式。

此外, Xu (2010)的研究發現, 客體中與任務無關的形狀特征只在低記憶負荷條件下才能夠被編碼進入VWM, 而在高記憶負荷條件下這一過程則會削弱甚至被抑制。因此他們認為對客體任務無關信息的加工并不是必須的, 而是受到任務相關特征加工資源需求的影響。雖然后續的研究證明記憶負荷并不影響編碼階段中基于客體的注意選擇模式(Shen et al., 2013; Yin et al., 2012), 但是維持階段的注意選擇模式是否會受到記憶負荷的影響仍不清楚。因此, 本研究進一步設計了低、中、高三種記憶負荷條件, 探索VWM中編碼階段和維持階段的注意選擇模式是否會受到記憶負荷的調控。基于以往的研究結果, 我們推斷：1)在編碼階段, 更多的可能是基于客體的注意選擇模式且不受記憶負荷調控, 即無論記憶負荷高低都可穩定的觀察到任務無關特征的干擾效應。反之如果為基于特征的注意模式, 則不會觀察到干擾效應。2)在維持階段, 更多的可能是基于特征的注意選擇模式, 即觀察不到干擾效應。如果受記憶負荷調控, 在不同的記憶負荷條件下可能表現出不同的干擾效應。

2 實驗1: 低記憶負荷條件下VWM編碼和維持階段的注意選擇模式

本實驗采用變化覺察范式(考察任務無關特征變化是否會影響對任務特征的變化覺察), 實驗中包含兩種試次類型, 分別是在記憶屏之前呈現線索的前注意線索試次, 和在記憶屏之后呈現線索的后注意線索試次, 前注意線索試次中線索詞出現在記憶屏之前, 注意選擇發生在編碼階段; 后注意線索試次中線索詞出現在記憶屏之后, 注意選擇發生在維持階段。要求被試根據線索詞對多特征客體的單一特征進行選擇性的編碼或維持。如果兩個階段中的注意模式同為基于客體的注意, 則兩者的任務無關特征干擾效應應該同時存在。反之, 若為基于特征的注意選擇模式, 則將觀察不到干擾效應。

2.1 實驗1a

2.1.1 被試

首先采用G*Power 3.1軟件對所需被試樣本量進行先驗分析, 在中等水平效應量(= 0.25, Cohen, 2013), α水平為0.05, 統計檢驗力為0.8的前提下, 計算被試樣本量為24人。為了確保足夠的統計檢驗力, 實驗1招募在校大學生30名(26名女性, 4名男性), 平均年齡19.40 ± 1.10歲。所有被試均為右利手, 視力或矯正視力正常, 無色盲或色弱情況, 無精神病史, 實驗前所有被試都簽署了被試知情同意書, 實驗后給予一定報酬。

2.1.2 實驗儀器與材料

所有被試都被安排在一個光線昏暗的獨立小房間內完成實驗, 距離屏幕60 cm。實驗材料的選取與制作參考Shen等人的研究。實驗中所有的刺激材料均采用液晶顯示屏進行呈現, 屏幕分辨率為1024×768, 刷新率為100 Hz, 以黑色(CIE: 0.312/ 0.329, 1.0 cd/m2)作為背景色。刺激呈現與反應記錄均由Eprime 2.0軟件實現(Psychological Software Tools, Inc., Pittsburgh, PA)。刺激材料是由不同的顏色和形狀組成的圖形, 其中包括4種顏色：紅色(CIE: 0.64/0.33, 20 cd/m2)、綠色(CIE: 0.6/0.3, 20 cd/m2)、藍色(CIE: 0.172/0.141, 20 cd/m2)、粉色(CIE: 0.269/0.125, 20 cd/m2), 4種形狀：圓形(大小: 1.88°×1.88°)、三角形(大小：1.88°×1.8°)、正方形(大小：1.67°×1.67°)和五角星(大小：2.17°×2.17°)。在記憶屏和探測屏中, 將一個半徑為2.84°視角的假象圓, 以60°為間隔分別在屏幕的左下方、左側、左上方、右上方、右側、右下方劃分出6個空間位置(如圖1實驗3顯示)。從6個空間位置中隨機抽選2個位置呈現圖形。記憶屏之前或之后會呈現一個漢字線索詞(“顏色”或“形狀”), 字體為Arial, 字號為24。

2.1.3 實驗設計

實驗為2 (線索類型：前注意線索、后注意線索) × 2 (任務無關特征變化類型：不變、變化)被試內設計。任務無關特征變化類型由任務無關特征是否發生變化決定, 由于顏色和形狀都有可能發生變化, 所以共有顏色變化形狀變化、顏色變化形狀不變、顏色不變形狀變化、顏色不變形狀不變4種情形。由于實驗任務本身特性, 在每一個試次中根據線索詞確定一種特征作為任務相關特征(比如顏色), 另一種則作為任務無關特征。以上4種情形可以歸納為任務無關特征不變(顏色變化形狀不變、顏色不變形狀不變)與任務無關特征變化(顏色不變形狀變化、顏色變化形狀變化)2種情形。后續的分析主要是通過比較這兩種條件下的差異, 考察任務無關特征對任務相關特征變化覺察的干擾效應。

實驗共480個試次, 每種條件下有120個試次, 實驗分為8個部分進行, 每個部分結束后要求被試至少閉上眼睛休息1分鐘, 實驗總時長大約50分鐘。在正式實驗開始之前, 每個被試需要進行30次的練習試次, 且正確率大于90%才能進入正式實驗。練習階段在每個試次后都給予正確與否的反饋, 而正式實驗階段則是在完成每一部分實驗后反饋當前部分的反應時和正確率。在實驗過程中, 被試的反應時和正確率都被記錄。此外本研究引入信號檢測理論來評估正確率, 計算敏感性分數()和報告標準()兩個指標。由于變化覺察范式本身的特性, 需要被試正確的辨別新舊刺激之間的差異, 傳統的正確率指標僅僅能夠描述被試正確判斷的數量, 這兩個指標不僅可以描述被試辨別新舊刺激的敏感程度, 還可以評估出被試在反應過程中的反應偏向。計算公式如下：=[擊中率] ?[虛報率];= ?0.5 ([擊中率] +[虛報率])。其中擊中指的是當任務相關特征變化時, 被試成功覺察到變化, 而虛報指的是當任務相關特征不變時, 被試認為發生了變化。

2.1.4 實驗程序

實驗流程如圖1所示, 每個試次開始之前都有一個任意按鍵屏, 被試按鍵之后呈現200 ms的注視點, 標志著試次的開始。試次分為前注意線索和后注意線索兩種類型, 主要的區別在于線索詞出現在記憶屏之前或之后。在前注意線索試次中, 線索詞首先出現在屏幕中央, 呈現時間500 ms, 在一個500～1000 ms的隨機刺激間隔之后, 記憶屏呈現500 ms, 屏幕上會隨機呈現兩個不同顏色和形狀組成的圖形, 此時被試只需要根據線索詞的提示記憶任務相關的特征, 與任務無關的特征要求被忽視。在另一個500～1000 ms的延遲之后, 屏幕上會呈現一對探測刺激, 探測刺激相較于記憶刺激的空間位置沒有發生變化, 只是改變其中一個圖形的某一種特征或者同時改變兩種特征(如：只改變顏色, 或者顏色和形狀同時改變), 所有的變化只會發生在同一個圖形上。在實驗中任務相關特征與任務無關特征發生變化的概率均為50%, 探測項中出現的新的特征值為記憶屏中沒有使用過的。探測刺激呈現直到被試反應為止, 允許的最長反應時長為2000 ms。后注意線索試次的不同之處在于, 當記憶屏出現時被試必須將兩個圖形的顏色和形狀特征同時記憶, 隨后再根據線索詞選擇某一種特征進行維持。在探測界面被試被要求判斷任務相關特征是否發生變化, 同時忽略任務無關特征的變化。如果任務相關特征發生變化, 則用左手按下“F”鍵, 否則用右手按下“J”鍵, 按鍵在被試之間平衡。要求被試在保證正確率的前提下加快反應速度。

2.1.5 數據分析與結果

實驗1中被試的平均正確率為95.30%, 在反應時結果分析之前, 剔除了錯誤試次(4.70%)和超出3個標準差之外的試次(1.84%), 在計算信號檢測論指標之前剔除所有未反應的試次(0.44%)。對剔除后的數據進行了2 (線索類型：前注意線索、后注意線索) × 2 (任務無關特征變化類型：不變、變化) 的重復測量方差分析。結果如圖2所示。

反應時結果顯示, 線索類型主效應顯著,(1, 29) = 34.48,< 0.001, η2p= 0.54, 前注意線索試次的反應時間(= 701 ms,= 20.38) 慢于后注意線索試次(= 668 ms,= 18.49); 任務無關特征變化類型主效應顯著,(1, 29) = 30.63,< 0.001, η2p= 0.51, 表現為變化條件下的反應時間(= 695 ms,=20.01) 慢于不變條件(= 674 ms,= 18.66); 線索類型與任務無關特征變化類型交互作用顯著,(1, 29) = 5.94,= 0.021, η2p= 0.17。進一步的簡單效應分析發現, 在前注意線索試次中, 任務無關特征變化條件下的反應時間更慢(716 vs. 687 ms),(29) = ?6.566,< 0.001, Cohen’s= ?0.86, 95% CI = [?1.13, ?0.59]; 在后注意線索試次中, 任務無關特征變化條件下的反應時間同樣更慢(675 ms vs. 661 ms),(29) = ?2.66,= 0.013, Cohen’s= ?0.43, 95% CI = [?0.75, ?0.10], 表明在反應時結果中, 兩種線索試次中的任務無關特征干擾效應都顯著存在, 但前注意線索試次的干擾程度更大。

注：圖中上部分為前注意線索試次流程, 下部分為后注意線索試次流程。右側為不同實驗間記憶項目數量。

圖2 實驗1a結果圖

注: 報告標準數值越小表明被試越傾向于報告任務相關特征發生變化。柱狀圖誤差線代表了該條件下均值的標準誤。

***< 0.001; **< 0.01; *< 0.05; n.s.> 0.05。下同。

信號檢測論指標結果顯示, 在敏感性分數結果中, 線索類型主效應顯著,(1, 29) = 12.79,= 0.001, η2p= 0.31, 表現為前注意線索試次的分數(= 3.83,= 0.09)大于后注意線索試次(= 3.54,= 0.10); 任務無關特征變化類型主效應不顯著,(1, 29) = 0.01,= 0.922; 交互作用不顯著,(1, 29) = 2.91,= 0.099。在報告標準值的結果中, 線索類型主效應不顯著,(1, 29) = 1.86,= 0.184; 任務無關特征變化類型主效應顯著,(1, 29) = 47.93,< 0.001, η2p= 0.62, 任務無關特征變化條件下的值(= ?0.15,=0.04) 小于不變條件(= 0.15,= 0.03); 線索類型與任務無關特征變化類型交互作用顯著,(1, 29) = 19.98,< 0.001, η2p= 0.41。簡單效應分析結果顯示, 在前注意線索試次中, 任務無關特征變化條件下的C值更小(?0.19 vs. 0.25),(29) = 9.62,< 0.001, Cohen’s= 1.42, 95% CI = [1.12, 1.72]; 在后注意線索試次中, 任務無關特征變化條件下的值同樣更小(?0.11 vs. 0.05),(29) = 2.55,= 0.016, Cohen’s= 0.50, 95% CI = [0.10, 0.89], 這與反應時結果一致, 兩種線索試次中的任務無關特征干擾效應都顯著存在, 但前注意線索試次的干擾程度更大。

2.1.6 討論

實驗1a在低記憶負荷條件下, 采用前注意線索和后注意線索分別在VWM的編碼和維持階段, 考察任務無關特征的變化對多特征客體的單一維度特征注意選擇的影響。結果發現, 無論是在反應時指標還是報告標準值上, 任務無關特征的變化類型主效應顯著存在, 表明任務無關特征的變化確實能夠影響到被試對任務相關特征的變化覺察。此外, 線索類型與任務無關特征變化類型交互作用在兩種指標上也是顯著的, 表現在兩種注意線索試次下的干擾效應都顯著存在, 且前注意線索試次下的干擾更大。這些結果支持在VWM的編碼和維持階段同時存在基于客體的注意。

然而, 實驗1a存在一個干擾因素, 前注意線索試次和后注意線索試次采用的是隨機呈現的方式, 目的是為了平衡兩種試次之間的差異, 而實驗結果顯示, 線索類型主效應在反應時和分數的指標上都顯著存在, 表現為前注意線索試次下的反應更快以及對新舊刺激的敏感性更高。結果并未達到最初平衡試次差異的目的, 反而這種反應快慢和敏感性高低的反復交替可能會對實驗結果產生影響。比如實驗結果中, 兩種注意線索試次下既然同為基于客體的注意選擇模式, 為什么會存在干擾程度上的差異？因此, 在實驗1b中前注意線索試次和后注意線索試次將采用組塊設計, 目的是保證試次內部的純凈, 減少試次類型差異對實驗結果的影響, 同時再次驗證實驗1a結果的可靠性。

2.2 實驗1b

實驗1b的目的是為了排除實驗1a中前注意線索和后注意線索隨機呈現對實驗結果的干擾, 在實驗1b中兩種線索試次將分組塊進行, 進一步驗證實驗1a的結果。

2.2.1 研究方法

實驗1b招募在校大學生28名(22名女性, 6名男性), 平均年齡19.04 ± 2.76歲。實驗1b設計在實驗1a的基礎上做了如下改變：1) 為了減少不同線索類型之間相互干擾, 對前注意線索試次與后注意線索試次采用組塊設計, 組塊順序被試間平衡; 2) 為了匹配后續記憶負載實驗, 刺激材料除了實驗1a中的4種顏色和形狀外, 另加入了4種顏色和形狀分別為：青色(CIE: 0.382/0.276, 20 cd/m2)、粉色(CIE: 0.502/0.288, 20 cd/m2)、棕色(CIE: 0.526/0.388, 20 cd/m2)、橄欖色(CIE: 0.402/0.451, 20 cd/m2)、旗幟(大小：1.88°×1.88°)、箭頭(大小：1.8°×1.88°)、月牙(大小：1.8°×1.8°)和十字(大小：1.67°×1.67°); 3) 實驗1b每種條件下64個試次, 總共256個試次, 實驗總時長大約40分鐘; 4) 實驗1b中的500～1000 ms隨機間隔統一固定為1000 ms。其他部分與實驗1a保持一致。

2.2.2 數據分析與結果

實驗1b中被試的平均正確率為95.31%, 在反應時結果分析之前, 剔除了錯誤試次(4.69%)和超出3個標準差之外的試次(1.48%), 在計算信號檢測論指標之前剔除所有未反應的試次(0.52 %)。對剔除后的數據進行了2 (線索類型：前注意線索、后注意線索) × 2 (任務無關特征變化類型：不變、變化) 的重復測量方差分析(見圖3中A和B)。

反應時結果顯示, 線索類型主效應不顯著,(1, 27) = 3.39,= 0.077; 任務無關特征變化類型主效應顯著,(1, 27) = 10.14,= 0.004, η2p= 0.27, 表現為無關特征變化條件下的反應時間(= 739 ms,=26.55)慢于不變條件(= 722 ms,= 25.74); 交互作用不顯著,(1, 27) = 2.55,= 0.122, 這與實驗1a的結果不同, 雖然兩種線索試次的任務無關特征干擾效應都存在, 但是兩者之間差異不顯著。

信號檢測論指標結果顯示, 在敏感性指標分數結果中, 主效應和交互作用均不顯著,s < 1.62,s < 0.214。在報告標準值的結果中, 線索類型主效應顯著,(1, 27) = 8.76,= 0.006, η2p= 0.25, 前注意線索試次的報告標準值(= 0.04,= 0.03)大于后注意線索試次(= ?0.08,= 0.03); 任務無關特征變化類型主效應顯著,(1, 27) = 27.87,< 0.001, η2p= 0.51, 任務無關特征變化條件下的值(= ?0.12,=0.03) 小于不變條件(= 0.07,= 0.03); 交互作用不顯著,(1, 27) = 2.28,= 0.143, 與反應時結果一致, 兩種線索試次的任務無關特征干擾效應都存在, 但是兩者之間差異不顯著。

2.2.3 討論

實驗1b將前注意線索試次和后注意線索試次分組塊進行, 結果發現無關特征變化類型的主效應顯著存在, 雖然編碼階段的干擾量仍然具有大于維持階段的趨勢, 但是線索類型和任務無關特征變化類型交互作用并不顯著。這與實驗1a的結果一致, 無論是編碼階段還是維持階段均為基于客體的注意選擇模式。然而本研究的目的是為了驗證VWM中編碼階段存在基于客體的注意選擇模式, 維持階段存在基于特征的注意選擇模式, 實驗1的結果并不符合我們預期的假設。對此我們提出了兩種可能的解釋：第一, 維持階段確實是基于客體的注意選擇模式, 被試僅能對整合的客體進行選擇而無法對客體內部的特征進選擇; 第二, 維持階段是基于特征的注意選擇模式, 但是顏色和形狀特征存儲在同一個VWM子系統中, 相互之間存在資源的競爭。雖然后注意線索能夠將資源進行再分配(Rerko & Oberauer, 2013; Souza et al., 2014), 但是由于當前任務記憶負荷水平較低(2項), 此時維持任務相關特征可能并不足以占用全部的注意資源, 因此任務無關特征獲取了剩余的資源。這一猜想也與Lavie (2005)的負荷理論相似, 即在高負載條件下, 由于任務相關特征需要的資源增加, 從而導致任務無關特征由于資源不足無法得到加工。此外, 以往的研究已經發現, 記憶負荷并不會影響基于客體的注意選擇模式(Shen et al., 2013; Yin et al., 2012), 因此, 本研究在進一步的實驗中將記憶負荷水平提升, 探索維持階段下注意選擇模式的變化。我們假設, 如果維持階段是基于客體的注意, 那么負荷水平的提升不會消除干擾效應, 相反, 如果是基于特征的注意, 那么干擾效應應該會被削弱直至消失。

圖3 實驗結果圖

注：圖A、B為實驗1b結果; 圖C、D為實驗2結果圖; 圖E、F為實驗3結果圖。

3 實驗2: 中記憶負荷條件下VWM編碼和維持階段的注意選擇模式

3.1 研究方法

實驗2招募在校大學生28名(21名女性, 7名男性), 平均年齡21.11 ± 2.08歲。實驗2將記憶屏和探測屏中的項目數增加到4個, 從6個位置中隨機抽選4個呈現顏色和形狀各不相同的圖形。被試的任務仍然是根據線索詞判斷任務相關特征是否發生變化, 同時忽略任務無關特征。實驗2材料和流程與實驗1b保持一致, 在正式實驗之前被試完成了30次練習試次以熟悉實驗流程。

3.2 數據分析與結果

3.2.1數據分析

實驗2中被試的平均正確率為75.59%, 顯著的小于實驗1 (95.31%),(84) = ?24.57,< 0.001, Cohen’s= ?5.65, 95% CI = [?6.11, ?5.20], 不難理解隨著記憶負荷的增大任務變難, 被試表現下降, 同時也表明實驗中記憶負荷操控的有效性。在反應時結果分析之前, 剔除了錯誤試次(24.41%)和超出3個標準差之外的試次(0.64%), 在計算信號檢測論指標之前剔除所有未反應的試次(1.17%)。對剔除后的數據進行了2 (線索類型：前注意線索、后注意線索) × 2 (任務無關特征變化類型：不變、變化) 的重復測量方差分析(見圖3中C和D)。此外, 為了驗證記憶負荷在其中起到的調控作用, 我們還進行了跨實驗間的混合方差分析(見圖4)。

圖4 不同記憶負荷下后注意線索試次報告標準C值結果圖

3.2.2 反應時結果

反應時結果顯示, 線索類型主效應顯著,(1, 27) = 33.40,< 0.001, η2p= 0.55, 表現為前注意線索試次的反應時間(= 887 ms,= 28.50) 快于后注意線索試次(= 991 ms,= 29.76); 任務無關特征變化類型主效應顯著,(1, 27) = 18.18,< 0.001, η2p= 0.40, 無關特征變化條件下的反應時間(= 956 ms,=28.19) 慢于不變條件(= 921 ms,= 27.88); 交互作用顯著,(1, 27) = 8.29,= 0.008, η2p= 0.24。簡單效應分析結果顯示, 在前注意線索試次中, 任務無關特征變化條件下的反應時間更慢(915 vs. 860 ms),(27) = ?6.07,< 0.001, Cohen’s= ?0.61, 95% CI = [?0.82, ?0.40]; 而在后注意線索試次中, 任務無關特征變化與不變條件之間差異不顯著(998 vs. 983 ms),(27) = ?1.24,= 0.227, Cohen’s= ?0.17, 95% CI = [?0.45, 0.11], 表明當記憶負荷增大時, 后注意線索試次中的任務無關特征干擾效應消失了。

由于在實驗1b和實驗2中, 前注意線索試次的任務無關特征干擾效應穩健存在, 實驗中主要的差異出現在后注意線索試次中。為了檢驗記憶負荷對后注意線索試次的影響, 我們將實驗1b與實驗2的后注意線索試次合并, 進行了2 (記憶負荷：低、中) × 2 (任務無關特征變化類型：不變、變化) 的混合方差分析, 其中記憶負荷為組間變量, 任務無關特征變化類型為組內變量。結果顯示, 記憶負荷主效應顯著,(1, 54) = 36.42,< 0.001, η2p= 0.40, 低記憶負荷條件下的反應時(= 747 ms,= 28.53 ms)要顯著快于中記憶負荷條件(= 991 ms,= 28.53 ms); 任務無關特征變化類型主效應不顯著,(1, 54) = 2.94,= 0.092; 交互作用不顯著,(1, 54) = 0.17,= 0.682。

3.2.3 信號檢測論結果

信號檢測論指標結果顯示, 在敏感性指標分數結果中, 線索類型主效應顯著,(1, 27) = 47.27,< 0.001, η2p= 0.64, 前注意線索試次的分數(= 1.92,= 0.09)大于后注意線索試次(= 1.30,= 0.05); 任務無關特征變化類型主效應不顯著,(1, 27) = 0.60,= 0.446; 交互作用不顯著,(1, 27) = 2.38,= 0.135。在報告標準值的結果中, 線索類型主效應不顯著,(1, 27) = 1.69,= 0.204; 任務無關特征變化類型主效應顯著,(1, 27) = 16.23,< 0.001, η2p= 0.38, 任務無關特征變化條件下的值(= 0.19,=0.06)小于不變條件(= 0.33,= 0.05); 線索類型與任務無關特征變化類型交互作用顯著,(1, 27) = 14.10,< 0.001, η2p= 0.34。進一步的簡單效應分析顯示, 前注意線索試次中任務無關特征變化條件下的C值更小(0.16 vs. 0.42),(27) = 5.23,< 0.001, Cohen’s= 0.95, 95% CI = [0.58, 1.32]; 然而, 后注意線索試次中無關特征變化與不變條件之間差異不顯著(0.23 vs. 0.24),(27) = 0.24,= 0.816, Cohen’s= 0.04, 95% CI = [?0.30, 0.37], 與反應時結果一致, 后注意線索試次的任務無關特征干擾效應消失了。

同樣, 我們將實驗1b與實驗2的后注意線索試次報告標準值合并, 進行2 (記憶負荷：低、中) × 2 (任務無關特征變化類型：不變、變化) 的混合方差分析。結果顯示, 記憶負荷主效應顯著,(1, 54) = 20.66,< 0.001, η2p= 0.28, 低記憶負荷條件下的值(= ?0.08,= 0.05)要顯著小于中記憶負荷條件(= 0.23,= 0.05); 任務無關特征變化類型主效應顯著,(1, 54) = 5.94,= 0.018, η2p= 0.10, 任務無關特征變化條件下的值(= 0.04,=0.04)小于不變條件(= 0.11,= 0.04); 交互作用顯著,(1, 54) = 4.43,= 0.040, η2p= 0.08。簡單效應分析結果顯示, 低記憶負荷條件下, 任務無關特征變化條件與不變條件差異顯著(?0.16 vs. ?0.01),(54) = 3.21,= 0.002, Cohen’s= 0.61, 95% CI = [?0.23, 0.99], 中記憶負荷條件下, 任務無關特征變化條件與不變條件差異不顯著(0.23 vs. 0.24),(54) = 0.24,= 0.815, Cohen’s= 0.05, 95% CI = [?0.34, 0.43]。這表明記憶負荷的操控能夠影響后注意線索試次中的任務無關特征干擾效應。

3.3 討論

與實驗1結果不同, 實驗2將記憶項目增加到4個時, 無論是在反應時還是報告標準值上的結果顯示, 前注意線索試次下的任務無關特征干擾效應顯著存在, 而后注意線索試次的干擾效應消失。同時, 后注意線索試次跨實驗間的交互作用在報告標準值上也是顯著的, 這些結果表明在VWM中確實存在著不同的注意選擇模式。此外后注意線索試次中干擾效應的消失, 證明在低記憶負荷條件下(實驗1a/1b)）維持階段的注意選擇模式并非是基于客體的而是基于特征的。低記憶負荷條件下存在干擾效應的原因是由于在注意資源分配的過程中任務相關特征加工所需的注意資源較少導致任務無關特征獲取了部分注意資源, 而一旦任務相關特征需要占用更多的注意資源時(實驗2), 任務無關特征便無法得到加工。然而前注意線索試次的干擾效應仍然存在, 可能是由于實驗2的記憶項目數量為4項, 剛好處于工作記憶3～4個容量范圍之內(Vogel et al., 2001), 被試仍然能夠同時加工任務無關特征。在實驗3中進一步將記憶項目增加到6項, 考察前注意線索試次中的干擾效應是否會消失, 以及驗證實驗2中后注意線索試次干擾效應消失的可靠性。

4 實驗3: 高記憶負荷條件下VWM編碼和維持階段的注意選擇模式

4.1 研究方法

實驗3招募在校大學生28名(16名女性, 12名男性), 平均年齡20.57 ± 1.78歲。實驗3將記憶屏中記憶項目數增加到6個, 實驗材料和流程與實驗1b和實驗2保持一致, 每種條件下72個試次, 共288個試次。

4.2 數據分析與結果

4.2.1 數據分析

實驗3中被試的平均正確率為65.54%, 顯著的小于實驗2 (75.59%),(54) = ?8.07,< 0.001, Cohen’s= ?2.16, 95% CI = [?2.69, ?1.62], 表明記憶負荷操控的有效性。在反應時結果分析之前, 剔除了錯誤試次(34.46%)和超出3個標準差之外的試次(0.6%), 在計算信號檢測論指標之前剔除所有未反應的試次(1.2%)。對剔除后的數據進行了2 (線索類型：前注意線索、后注意線索) × 2 (任務無關特征變化類型：不變、變化) 的重復測量方差分析(見圖3中E和F)。我們進一步將實驗1b、實驗2和實驗3的后注意線索試次的反應時和報告標準值合并, 進行了3 (記憶負荷：低、中、高) × 2 (任務無關特征變化類型：不變、變化) 的混合方差分析, 其中記憶負荷為組間變量, 任務無關特征變化類型為組內變量(見圖4)。

4.2.2 反應時結果

反應時結果顯示, 線索類型主效應顯著,(1, 27) = 17.13,< 0.001, η2p= 0.39, 表現為前注意線索試次的反應時間(= 962 ms,= 29.85) 快于后注意線索試次(= 1091 ms,= 23.72); 任務無關特征變化類型主效應顯著,(1, 27) = 11.17,= 0.002, η2p= 0.29, 表現為無關特征變化條件下的反應時間(= 1044 ms,=20.89) 慢于不變條件(= 1009 ms,= 24.28); 交互作用不顯著,(1, 27) = 1.54,= 0.225, 表明在反應時結果中, 兩種線索試次之間的任務無關特征干擾效應不存在差異。

跨實驗分析結果顯示, 記憶負荷主效應顯著,(2, 81) = 42.73,< 0.001,η2p= 0.51, 隨著記憶負荷為的增加反應時在逐漸增大(747 vs. 991 vs. 1091 ms);任務無關特征變化類型主效應顯著,(1, 81) = 2.94,= 0.021, η2p= 0.06, 無關特征變化條件下的反應時間(= 951 ms,=15.82) 慢于不變條件(= 935 ms,= 16.12); 交互作用不顯著,(2, 81) = 0.40,= 0.669。

4.2.3 信號檢測論結果

信號檢測論指標結果顯示, 在敏感性指標分數結果中, 線索類型主效應顯著,(1, 27) = 80.48,< 0.001, η2p= 0.75, 前注意線索試次的分數(= 1.30,= 0.06)大于后注意線索試次(= 0.68,= 0.06); 任務無關特征變化類型主效應不顯著,(1, 27) = 1.27,= 0.269; 交互作用不顯著,(1, 27) < 0.01,= 0.999。在報告標準值的結果中, 線索類型主效應顯著,(1, 27) = 12.04,= 0.002, η2p= 0.31, 前注意線索試次的值(= 0.44,= 0.06)大于后注意線索試次(= 0.24,= 0.06); 任務無關特征變化類型主效應顯著,(1, 27) = 20.05,< 0.001, η2p= 0.43, 任務無關特征變化條件下的值(= 0.27,=0.05) 小于不變條件(= 0.41,= 0.05); 交互作用顯著,(1, 27) = 16.90,< 0.001, η2p= 0.39; 簡單效應分析結果顯示, 前注意線索試次中任務無關特征變化條件下的值更小(0.31 vs. 0.56),(27) = 5.71,< 0.001, Cohen’s= 0.83, 95% CI = [0.53, 1.12]; 然而, 后注意線索試次中無關特征變化與不變條件之間差異不顯著(0.23 vs. 0.25),(27) = 0.38,= 0.705, Cohen’s= 0.05, 95% CI = [?0.21, 0.31], 這表明有且僅有前注意線索試次下存在任務無關特征干擾效應。

在跨實驗分析中, 報告標準值結果顯示, 記憶負荷主效應顯著,(2, 81) = 13.16,< 0.001, η2p= 0.25, 低記憶負荷條件下的值(= ?0.08,= 0.05)要顯著小于中記憶負荷(= 0.23,=0.05)和高記憶負荷(= 0.24,=0.05); 任務無關特征變化類型主效應顯著,(1, 81) = 5.17,= 0.026, η2p= 0.06, 任務無關特征變化條件下的值(= 0.10,= 0.03)小于不變條件(= 0.16,= 0.03); 交互作用邊緣性顯著,(2, 81) = 3.10,= 0.051, η2p= 0.07。簡單效應分析結果顯示, 低記憶負荷條件下, 任務無關特征變化條件與不變條件差異顯著(?0.16 vs. ?0.01),(81) = 3.34,= 0.001, Cohen’s= 0.64, 95% CI = [0.26, 1.02]; 中記憶負荷條件下, 任務無關特征變化條件與不變條件差異不顯著(0.023 vs. 0.24),(81) = 0.25,= 0.807, Cohen’s= 0.05, 95% CI = [?0.33, 0.43] ; 高記憶負荷條件下, 任務無關特征變化條件與不變條件差異不顯著(0.23 vs. 0.25),(81) = 0.35,= 0.728, Cohen’s= 0.07, 95% CI = [?0.31, 0.45]。

4.2.4 補充分析

盡管本研究通過跨實驗間的分析得到一些結論, 但是記憶負荷在報告標準值上的交互作用只達到了邊緣性顯著水平, 表明記憶負荷在實驗間的作用似乎并不強烈。因此我們引入了VWM容量指標值, 該指標被用來評估VWM存儲表征的數量(Pashler, 1988; Rouder et al., 2011; Zhang et al., 2013)。具體計算公式為：=× (?) / (1 ?), 其中表示記憶項目數量,表示擊中率,表示虛報率。如果本實驗結果可靠, 那么我們預期在低記憶負荷條件下, 由于任務相關和無關特征都得到了加工, 前、后注意線索試次之間的VWM容量應該沒有差別, 而在較高的記憶負荷條件下, 由于后注意線索試次中的任務無關特征無法得到加工, 則前注意線索試次下的工作記憶容量要大于后注意線索試次。

我們對實驗1b、實驗2和實驗3三個實驗的結果進行3 (記憶負荷：低、中、高) × 2 (線索類型：前注意線索、后注意線索) 的混合方差分析(見圖5)。結果顯示, 記憶負荷主效應顯著,(2, 81) = 17.28,< 0.001, η2p= 0.30, 低記憶負荷條件下的值(= 1.91,= 0.08)要顯著小于中記憶負荷(= 2.53,= 0.08)和高記憶負荷(= 2.51,= 0.08), 而中負荷和高負荷之間差異不顯著; 線索類型主效應顯著,(1, 81) = 65.94,< 0.001, η2p= 0.45, 前注意線索試次下的值(= 2.56,= 0.05)要顯著大于中后注意線索試次(= 2.07,= 0.06); 交互作用顯著,(2, 81) = 23.34,< 0.001, η2p= 0.37。簡單效應分析結果顯示, 低記憶負荷條件下, 前注意線索試次和后注意線索試次之間差異不顯著(1.91 vs. 1.92),(81) = 0.17,= 0.869; 中記憶負荷條件下, 前注意線索試次下的值要顯著大于后注意線索試次(2.77 vs. 2.28),(81) = 4.73,< 0.001, Cohen’s= 0.91, 95% CI = [0.53, 1.29]; 高記憶負荷條件下, 前注意線索試次下的值同樣要顯著大于后注意線索試次(3.00 vs. 2.02),(81) = 9.50,< 0.001, Cohen’s= 1.82, 95% CI = [1.44, 2.20]。

圖5 不同記憶負荷下前后注意線索試次K值結果圖

4.3 討論

實驗3的結果與實驗2相似, 相較于反應時結果, 報告標準值的結果更加穩定, 無論是實驗內還是跨實驗間的分析都顯示, 當記憶負荷增大之后后注意線索試次的任務無關特征干擾效應消失了。這與最初的假設一致, 當任務相關特征所需的注意資源增加后, 任務無關特征由于加工資源不足導致無法繼續維持在VWM中。而且, VWM容量指標的分析結果也再次驗證了之前的結果, 當記憶項目數量被增大到4項之后, 兩種線索試次在VWM存儲量的差異也開始出現, 后注意線索試次中由于任務無關特征的加工缺失, 導致整體的存儲量要更低。同時實驗間的交互作用也能夠說明記憶負荷在VWM維持階段中起到的調節作用。

5 總討論

本研究的目的是通過實驗檢驗在VWM的不同加工階段(編碼、維持)中是否分別存在基于客體的和基于特征的注意選擇模式。在變化覺察范式的基礎上, 引入前注意線索和后注意線索, 分階段地考察VWM中的注意選擇模式。與前人發現一致, 我們發現VWM的編碼階段存在基于客體的注意選擇模式, 且足夠穩健而不會受到記憶負荷水平的影響。同時在VWM的維持階段觀察到了基于特征的注意選擇模式, 但是僅限于較高記憶負荷條件下。總之, 本研究在統一研究范式、報告指標以及特征組合后, 進一步為VWM編碼階段存在基于客體的注意選擇模式和維持階段存在基于特征的注意選擇模式提供了直接性的證據。

5.1 視覺工作記憶的編碼階段是基于客體的注意選擇模式

在VWM編碼階段中穩健的任務無關特征干擾效應表明, 無論記憶負荷高低, 客體中的所有特征都將被編碼進入VWM中, 該結果支持基于客體的注意理論的觀點。大量采用任務無關特征變化的變化覺察范式的研究都得到與本研究一致的結果(Gao et al., 2011; Jiang et al., 2000; Shen et al., 2013; Yin et al., 2012)。此外, 本研究采用的是變化覺察范式的整體報告法, 這就有可能導致被試采取的是將特征信息與空間位置信息進行關聯的記憶策略, 而一旦該空間位置信息被激活則會自動激活曾經在該位置出現過的其他信息。但是Yin等人在同樣的范式下采用部分報告法, 并設置將單個探測刺激呈現在屏幕中央和最初位置兩種呈現方式, 結果發現無論哪種呈現方式都顯著存在任務無關特征的干擾效應。另外, 為了排除以上結果是由于實驗范式本身的特異性致使被試進行的策略性加工所導致的, 研究者們又進一步在視覺搜索范式中驗證了這種基于客體的編碼效應(Foerster & Schneider, 2018; Gao et al., 2016)。然而仍有少部分使用事件相關電位(event related potentials, ERP)和功能性磁共振(functional magnetic resonance imaging, fMRI) 技術的研究沒有發現任何任務無關特征被激活的證據, 他們認為任務無關特征并沒有被選擇進入VWM (Serences et al., 2009; Woodman & Vogel, 2008)。對此可能的解釋是, 在任務相關特征被激活時, 任務無關特征被同時激活, 但由于其與當前認知加工任務無關, 并且在整個實驗中任務無關特征在記憶屏和探測屏之間一直保持不變, 進而轉變為一種閾下神經激活的“沉默狀態(silent state)” (Bocincova & Johnson, 2019; Mongillo et al., 2008; Stokes, 2015; Stokes et al., 2013)。然而大量行為研究卻一致地發現了任務無關特征的干擾效應, 表明這些神經性指標可能并不適用于考察任務無關特征。總之, 本研究重復了前人研究結果, 再次證明在VWM編碼階段存在基于客體的注意選擇模式。

5.2 視覺工作記憶維持階段基于特征的注意選擇模式受記憶負荷的調控

在后注意線索試次中, 我們在較高的記憶負荷條件下(實驗2/3)發現, 被試可以根據任務要求, 成功的選擇多特征客體中的單個特征進行維持, 這與以往的研究結果一致。后注意線索可以將更多的注意資源重新分配到任務相關特征上從而實現基于特征的注意, 同時也證明客體特征在VWM中維持階段分離儲存的假設(Heathcote et al., 1994; Isenberg et al., 1990; Stefurak & Boynton, 1986; Wheeler & Treisman, 2002; Wolfe et al., 1994)。然而, 令人意外的結果是維持階段基于特征的注意會受到記憶負荷的調控, 在低記憶負荷條件下, 任務無關特征的干擾效應仍然顯著存在(實驗1a/1b)。對此有兩種可能的解釋。第一, 跨實驗間的實驗結果發現記憶負荷對任務無關特征干擾效應存在調控作用, 當記憶項目只有2個時干擾效應顯著存在, 而當記憶項目增加到4項和6項后干擾效應就消失了。而且, 記憶容量的分析結果也表明, 當記憶負荷水平提高后, 兩種線索試次下的記憶容量出現了差異。這些結果似乎表明記憶負荷越大被試越能夠成功選擇任務相關特征(Gilchrist et al., 2016; Kuo et al., 2012; Nobre et al., 2008; Souza et al., 2014; van Moorselaar et al., 2015)。以往研究普遍使用的記憶項目數量為3～4個, 剛好是VWM容量的邊界(Vogel et al., 2001), 可能此時的任務無關特征已經由于資源不足而無法得到加工。第二, 在支持VWM中存在基于特征的注意的研究中, 客體信息大多是顏色和朝向特征的組合, 有研究證明這兩種特征之間的注意資源是相互獨立的(Markov et al., 2019; Wang et al., 2017), 其中朝向特征更多的被認為是一種空間信息, 而空間信息和客體信息儲存在不同的VWM子系統中(沈模衛等, 2007; Ungerleider & Haxby, 1994; Ventre-Dominey et al., 2005; Vicari et al., 2006)。所以, 即使發現兩者分離儲存的結果似乎也并不奇怪。然而本研究中的客體信息是由顏色和形狀兩種基本特征組成, 由于兩者儲存在同一個VWM子系統, 因此會相互競爭同種注意資源, 即使后注意線索可以減少任務無關特征的資源競爭, 但是僅僅維持2項任務相關特征并不足以占用全部的注意資源, 從而導致任務無關特征獲取剩余的注意資源。然而一旦維持任務相關特征所需要的資源增加后, 任務無關特征就會由于資源不足而被排除在VWM之外, 這就可以解釋為什么在本研究的實驗2和實驗3中, 當記憶負荷增大之后無關特征的干擾效應消失。

5.3 客體特征信息在視覺工作記憶中的存儲機制

在以往的研究中, 研究者們在VWM編碼階段發現基于客體的注意選擇模式時, 則認為客體特征信息是以整合客體的形式進行存儲的(Ernst et al., 2013; Luck & Vogel, 1997; Luria & Vogel, 2011; O’Craven et al., 1999; Vogel et al., 2001), 稱之為基于客體的存儲假說; 相反, 在VWM維持階段發現基于特征的注意選擇模式時, 則認為客體特征信息是以相互獨立的特征形式進行存儲的(Markov et al., 2019; Niklaus et al., 2017; Sasin & Fougnie, 2020; Wang et al., 2017; Ye et al., 2016), 稱之為基于特征的存儲假說。這就導致了這兩種觀點在解釋客體特征信息在VWM中的存儲機制時出現了矛盾。然而, 本研究的結果對解決這一矛盾有一定的啟示作用。

首先, 本研究在平衡了前人研究之間的差異后, 為VWM編碼階段存在基于客體的注意選擇模式, 維持階段存在基于特征的注意選擇模式的假設提供了實證支持。既然維持階段可以實現基于特征的選擇, 那么我們應該排除基于客體的存儲假說。因為, 基于客體的注意理論認為, 選擇一個特征會自動激活客體中的另一特征(Ernst et al., 2013; O'Craven et al., 1999), 而本研究發現在較高記憶負荷水平下任務無關特征無法得到加工; 其次, 如果是基于特征的存儲假說, 那么客體中的所有信息應該被分別儲存在不同的VWM子系統中, 相互獨立且互不干擾。然而, 本研究發現在低記憶負荷條件下任務無關特征變化干擾效應仍然存在, 只有在較高的記憶負荷水平下干擾才會消失。這就表明客體特征信息的存儲并非完全獨立的, 而是相互之間存在注意資源的競爭。以往發現特征分離存儲的研究, 大多使用的是顏色和朝向特征組合的客體, 正如上文所述, 這兩種特征可能本身就存儲在不同的VWM子系統中, 享有相互獨立的注意資源(Markov et al., 2019; Wang et al., 2017)。然而, 對于顏色和形狀這類基本特征而言, 更有可能是存儲在同一個VWM子系統中, 共同競爭同一種注意資源。此外VWM的內部注意資源本身就十分有限, 如果對客體中的每種特征都設置一個記憶系統顯然是不經濟的。最后, 本研究結果支持基于特征的存儲假說, 但需要強調的是一些簡單的基本特征信息會被存儲在同一VWM子系統中, 且相互之間競爭資源。

5.4 不足與展望

本研究在實驗設計中仍存在一些不足之處。首先, 實驗中將記憶負荷作為被試間變量的操作, 可能會導致不同實驗間數據的變異程度存在差異, 而且不同記憶負荷水平下的任務難度也不同, 進一步增大了數據之間的變異程度, 從而降低了跨實驗間分析結果的可靠性。未來的研究需要解決這一問題, 進一步考察記憶負荷對維持階段的注意選擇模式的影響。其次, 本研究為了平衡特征選擇階段到反應決策階段的時間, 匹配了前注意線索中的記憶屏到探測屏的時間和后注意線索試次中線索屏到探測屏的時間, 但是這種設置必然會導致在兩種線索試次中記憶屏到探測屏之間的時長不同, 雖然有研究發現在平衡特征選擇階段到反應決策階段的時長后兩種線索試次之間具有相同的選擇性注意機制(Sahan et al., 2016), 但是這些結果僅限于對空間信息的選擇, 在非空間信息的選擇上是否繼續適用還需要進一步的實驗驗證。最后, 雖然本研究通過引入信號檢測論在被試的報告標準指標上發現了差異, 但該指標是由特定的公式推導而出, 相較于一些生理指標不夠直接。有研究在視覺搜索范式中采用眼動追蹤技術發現, 即使告知被試記憶客體中任務無關特征會干擾對任務相關特征的搜索, 而當任務無關特征出現在搜索項中時, 總能捕獲被試的首次注視點并且延長成功搜索到目標的時間。該結果為VWM存儲了客體的任務無關特征信息提供了進一步的證據支持(Foerster & Schneider, 2018)。但是, 該研究僅在低記憶負荷下, 考察了VWM編碼階段的注意選擇模式, 未來的研究可以結合本研究的實驗設計, 在不同記憶負荷水平下, 采用眼動追蹤技術進一步驗證VWM維持階段的注意選擇模式。

6 結論

本研究結合前注意線索和后注意線索分別探究VWM編碼和維持兩個階段的注意選擇模式。3個實驗的結果表明, 在VWM編碼階段的注意選擇模式是基于客體的; 而在維持階段的注意選擇模式是基于特征的, 且受到記憶負荷的調控。本研究對解決VWM在多特征客體上的注意選擇模式的爭議有重要意義。

Awh, E., Vogel, E. K., & Oh, S.-H. (2006). Interactions between attention and working memory.,(1), 201?208.

Baddeley, A. (2000). The episodic buffer: A new component of working memory?,(11), 417?423.

Baddeley, A. D., & Hitch, G. (1974). Working memory.,, 47?89.

Bocincova, A., & Johnson, J. S. (2019). The time course of encoding and maintenance of task-relevant versus irrelevant object features in working memory.,, 196?209.

Brown, R., & McNeill, D. (1966). The “tip of the tongue” phenomenon.,(4), 325?337.

Cohen, J. (2013).. Routledge.

Cowan, N. (2017). The many faces of working memory and short-term storage.,(4), 1158?1170.

Ernst, Z. R., Boynton, G. M., & Jazayeri, M. (2013). The spread of attention across features of a surface.,(10), 2426?2439.

Foerster, R. M., & Schneider, W. X. (2018). Involuntary top-down control by search-irrelevant features: Visual working memory biases attention in an object-based manner.,, 37?45.

Fukuda, K., Awh, E., & Vogel, E. K. (2010). Discrete capacity limits in visual working memory.,(2), 177?182.

Gao, T., Gao, Z., Li, J., Sun, Z., & Shen, M. (2011). The perceptual root of object-based storage: An interactive model of perception and visual working memory.,(6), 1803?1823.

Gao, Z., Yu, S., Zhu, C., Shui, R., Weng, X., Li, P., & Shen, M. (2016). Object-based encoding in visual working memory: Evidence from memory-driven attentional capture.,, 22822.

Gazzaley, A., & Nobre, A. C. (2012). Top-down modulation: Bridging selective attention and working memory.,(2), 129?135.

Gilchrist, A. L., Duarte, A., & Verhaeghen, P. (2016). Retrospective cues based on object features improve visual working memory performance in older adults.,(2), 184?195.

Griffin, I. C., & Nobre, A. C. (2003). Orienting attention to locations in internal representations.,(8), 1176?1194.

Heathcote, D., Walker, P., & Hitch, G. J. (1994). Feature independence and the recovery of feature conjunctions.,(3), 253?266.

Isenberg, L., Nissen, M. J., & Marchak, L. C. (1990). Attentional processing and the independence of color and orientation.,(4), 869?878.

Jiang, Y., Olson, I. R., & Chun, M. M. (2000). Organization of visual short-term memory.,(3), 683?702.

Kuo, B.-C., Stokes, M. G., & Nobre, A. C. (2012). Attention modulates maintenance of representations in visual short-term memory.,(1), 51?60.

Lavie, N. (2005). Distracted and confused?: Selective attention under load.,(2), 75?82.

Lin, P.-H., & Luck, S. J. (2012). Proactive interference does not meaningfully distort visual working memory capacity estimates in the canonical change detection task.,, 42.

Luck, S. J., & Vogel, E. K. (1997). The capacity of visual working memory for features and conjunctions.,(6657), 279?281.

Luria, R., & Vogel, E. K. (2011). Shape and color conjunction stimuli are represented as bound objects in visual working memory.,(6), 1632–1639.

Markov, Y. A., Tiurina, N. A., & Utochkin, I. S. (2019). Different features are stored independently in visual working memory but mediated by object-based representations.,, 52?63.

Mongillo, G., Barak, O., & Tsodyks, M. (2008). Synaptic theory of working memory.,(5869), 1543?1546.

Niklaus, M., Nobre, A. C., & van Ede, F. (2017). Feature-based attentional weighting and spreading in visual working memory.,, 42384.

Nobre, A. C., Griffin, I. C., & Rao, A. (2008). Spatial attention can bias search in visual short-term memory.,, 4.

O'Craven, K. M., Downing, P. E., & Kanwisher, N. (1999). fMRI evidence for objects as the units of attentional selection.,(6753), 584?587.

Park, Y. E., Sy, J. L., Hong, S. W., & Tong, F. (2017). Reprioritization of features of multidimensional objects stored in visual working memory.,(12), 1773?1785.

Pashler, H. (1988). Familiarity and visual change detection.,(4), 369–378.

Rerko, L., & Oberauer, K. (2013). Focused, unfocused, and defocused information in working memory.,(4), 1075–1096.

Rouder, J. N., Morey, R. D., Morey, C. C., & Cowan, N. (2011). How to measure working memory capacity in the change detection paradigm.,(2), 324–330.

Sahan, M. I., Verguts, T., Boehler, C. N., Pourtois, G., & Fias, W. (2016). Paying attention to working memory: Similaritiesin the spatial distribution of attention in mental and physical space.,(4), 1190?1197.

Sasin, E., & Fougnie, D. (2020). Memory-driven capture occurs for individual features of an object.,(1), 1?10.

Serences, J. T., Ester, E. F., Vogel, E. K., & Awh, E. (2009). Stimulus-specific delay activity in human primary visual cortex.,(2), 207?214.

Shen, M., Li, J., Lang, X., Gao, T., Gao, Z., & Shui, R.. (2007). The storage mechanism of objects in visual working memory.,(5), 761?767.

[沈模衛, 李杰, 郎學明, 高濤, 高在峰, 水仁德. (2007). 客體在視覺工作記憶中的存儲機制.,(5), 761?767.]

Shen, M., Tang, N., Wu, F., Shui, R., & Gao, Z. (2013). Robust object-based encoding in visual working memory.,(2):1, 1-11.

Souza, A. S., Rerko, L., Lin, H.-Y., & Oberauer, K. (2014). Focused attention improves working memory: Implications for flexible-resource and discrete-capacity models.,(7), 2080?2102.

Stefurak, D. L., & Boynton, R. M. (1986). Independence of memory for categorically different colors and shapes.,(3), 164?174.

Stokes, M. G. (2015). ‘Activity-silent’ working memory in prefrontal cortex: A dynamic coding framework.,(7), 394?405.

Stokes, M. G., Kusunoki, M., Sigala, N., Nili, H., Gaffan, D., & Duncan, J. (2013). Dynamic coding for cognitive control in prefrontal cortex.,(2), 364?375.

Ungerleider, L. G., & Haxby, J. V. (1994). ‘What’ and ‘where’ in the human brain.,(2), 157?165.

van Moorselaar, D., Olivers, C. N., Theeuwes, J., Lamme, V. A., & Sligte, I. G. (2015). Forgotten but not gone: Retro-cue costs and benefits in a double-cueing paradigm suggest multiple states in visual short-term memory.,(6), 1755?1763.

Ventre-Dominey, J., Bailly, A., Lavenne, F., Lebars, D., Mollion, H., Costes, N., & Dominey, P. (2005). Double dissociation in neural correlates of visual working memory: A PET study.,(3), 747?759.

Vicari, S., Bellucci, S., & Carlesimo, G. A. (2006). Evidence from two genetic syndromes for the independence of spatial and visual working memory.,(2), 126?131.

Vogel, E. K., Woodman, G. F., & Luck, S. J. (2001). Storage of features, conjunctions and objects in visual working memory.,(1), 92?114.

Wang, B., Cao, X., Theeuwes, J., Olivers, C. N., & Wang, Z. (2017). Separate capacities for storing different features in visual working memory.,(2), 226?236.

Wheeler, M. E., & Treisman, A. M. (2002). Binding in short-term visual memory.,(1), 48?64.

Wolfe, J. M., Friedman-Hill, S. R., & Bilsky, A. B. (1994). Parallel processing of part-whole information in visual search tasks.,(5), 537?550.

Woodman, G. F. & Vogel, E. K. (2005). Fractionating working memory: Consolidation and maintenance are independent processes.,(2), 106–113.

Woodman, G. F., & Vogel, E. K. (2008). Selective storage and maintenance of an object’s features in visual working memory.,(1), 223?229.

Xu, Y. (2010). The neural fate of task-irrelevant features in object-based processing.,(42), 14020?14028.

Ye, C., Hu, Z., Ristaniemi, T., Gendron, M., & Liu, Q. (2016). Retro-dimension-cue benefit in visual working memory.,, 35573.

Yin, J., Zhou, J., Xu, H., Liang, J., Gao, Z., & Shen, M. (2012). Does high memory load kick task-irrelevant information out of visual working memory?,(2), 218?224.

Zhang, Q., Shen, M., Tang, N., Zhao, G., & Gao, Z. (2013). Object-based encoding in visual working memory: A life span study.,(10), https://doi.org/10. 1167/13.10.11

Different attentional selection modes of object information in the encoding and maintenance stages of visual working memory

PANG Chao1, CHEN Yanzhang2, WANG Li2, YANG Xiduan1, HE Ya1, LI Zhiying1, OUYANG Xiaoyu1, FU Shimin1, NAN Weizhi1

(1Department of Psychology and Center for Brain and Cognitive Sciences, School of Education, Guangzhou University, Guangzhou 510006, China) (2School of Psychology, South China Normal University, Guangzhou 510631, China)

Visual working memory (VWM) and selective attention are two essential topics of investigation in the field of cognitive psychology. Previous studies have suggested that object-based attention selection modes may be present during the VWM encoding stage, and feature-based attention selection modes may be present during the maintenance stage. Nonetheless, these conclusions are based on different research paradigms, object feature dimensions, and response indicators, so it is prudent to exercise caution when inferring the existence of distinct attention selection modes during different stages of VWM processing. The aim of the present study is to evaluate this hypothesis and provide empirical support.

In Experiment 1a, 30 college students were recruited to complete a change-detection task.Participants were instructed to memorize the features of the objects presented in the memory display by means of a pre-cue or retro-cue presented prior to or following the memory display. Specifically, in pre-cue trials, participants were asked to memorize only the cueing task-relevant feature while ignoring the task-irrelevant feature. In retro-cue trials, participants needed to memorize the entire object so that they could select the task-relevant feature according to the retro-cue. The present study examined the “irrelevant-change distracting effect” by comparing memory performance between the condition of task-irrelevant feature changes and no-changes on the memory probe test display. Experiment 1b had a similar procedure, except that the cue types were block designs. Based on the design of Experiment 1b, Experiments 2 and 3 increased the number of memory items to test whether the memory load would modulate the attention selection modes. Twenty-eight participants were recruited for Experiment 1b, Experiment 2, and Experiment 3. All experiments were 2 (cue types: pre-cue, retro-cue) × 2 (task-irrelevant feature change types: change, no-change) within-subjects designs, participants’ response times (RTs) and correct rates were recorded, and the sensitivity and criteria of the participants were calculated by signal detection theory (SDT).

The results of the three experiments showed that the change in task-irrelevant features had an impact on task performance in the pre-cue trials, with longer RTs and lower criteria in the task-irrelevant feature change condition than in the no-change condition. This distracting effect was not modulated by the memory load. This suggests the existence of robust object-based attentional selection during the encoding stage in VWM. In contrast, in the retro-cue trials, the distracting effect was present only in the low memory load condition (Experiment 1a/1b) and disappeared when the memory load increased (Experiment 2/3). This suggests that during the maintenance stage, task-irrelevant features are processed only under low memory load conditions, and insufficient resources lead to their inability to be processed as the demand for attentional resources for task-relevant features increases.

In summary, the present study provides further evidence for the hypothesis that different modes of attentional selection exist in the encoding and maintenance stages of VWM, specifically that the attention selection mode during the VWM encoding stage is object-based, while the attention selection mode during the maintenance stage is feature-based and regulated by memory load. This study has important implications for resolving the controversy surrounding the attention selection mode of multifeature objects in VWM.

visual working memory, encoding stage, maintenance stage, object-based attention, feature-based attention

2022-11-30

* 廣東省基礎與應用基礎研究基金項目(2021A1515110452)。

南威治, E-mail: nanwz@gzhu.edu.cn

B842