基于空間方位信息的構型對視覺工作記憶績效的影響

黃羽商 曹立人

?

基于空間方位信息的構型對視覺工作記憶績效的影響

黃羽商 曹立人

(浙江大學心理與行為科學系, 杭州 310028)

通過考察構成視覺客體構型的兩種因素在視覺工作記憶任務中的影響, 探討了構型對視覺工作記憶績效的作用機制。采用變化覺察實驗范式, 在構型朝向不變和旋轉兩種條件下, 系統地控制構型中的客體相對方位和整體幾何形態兩種因素的變化, 考察其對視覺工作記憶績效的影響。實驗結果顯示, 無論構型朝向不變還是旋轉, 只要客體相對方位保持一致, 工作記憶績效就可以維持較高水平, 而幾何形態沒有表現出顯著作用。上述發現提示構型客體相對方位是構型影響視覺工作記憶績效的主要因素。

視覺工作記憶; 客體; 構型

1 引言

視覺工作記憶(visual working memory)是用于信息短暫存儲(storage)與操縱(manipulation)的認知加工子系統(Baddeley, 2012; Luck & Vogel, 2013), 是認知科學的熱門研究領域之一。該系統不僅在底層的認知加工過程中起重要作用(e.g., Hollingworth, Richard, & Luck, 2008 ), 而且與各種高級認知加工過程緊密相關(e.g., Wickelgren, 1997), 在認知系統占據核心地位。正是由于視覺工作記憶的重要性, 近十多年來研究者借助各種技術手段, 如行為、腦成像及計算機建模等, 對視覺工作記憶機制進行了卓有成效的探討：如容量(Alvarez & Cavanagh, 2004; Luck & Vogel, 1997; Ma, Husain, & Bays, 2014; 綜述見Cowan, 2015; Oberauer, Farrell, Jarrold, & Lewandowsky, 2016; 單西嬌, 李壽欣, 2010)、表征精度(Zhang & Luck, 2008; Bays & Husain, 2008; 劉志英, 庫逸軒, 2017)、存儲方式(Vogel, Woodman, & Luck, 2001; Wheeler & Treisman, 2002; 黎翠紅, 何旭, 郭春彥, 2015; 綜述見Christophel, Klink, Spitzer, Roelfsema, & Haynes, 2017)及工作記憶與其它系統的交互作用機制(Gao, Gao, Li, Sun, & Shen, 2011; Oberauer, Awh, & Sutterer, 2017)等。

諸多研究表明容量有限性是視覺工作記憶最為核心的特征, 其中僅能存儲3~4個簡單客體(Luck & Vogel, 1997)。對于獨立的客體在視覺工作記憶中的加工, 前述的眾多研究對其加工機制已經進行了深入探索?，F實世界中客體間往往并非獨立存在, 而是存在各種各樣的聯系。構型便是客體間建立聯系的重要信息。構型是指多個客體在空間中的整體分布, 反映了多個客體在空間中的組織形態。構型信息在一定程度上不受其絕對位置和大小的影響, 如幾何學上的相似三角形就可以認為是相同的構型。

構型對工作記憶績效的影響已得到諸多研究的支持。如Chun和Jiang (1998)的研究中設置了重復出現的構型和重新隨機生成的構型作為視覺場景, 要求被試在其中對目標刺激進行搜索, 結果發現重復出現的構型條件下的記憶績效更高。進一步的研究表明, 觀察者可以根據記憶項目的空間構型來存儲項目間的關系信息(Gmeindl, Nelson, Wiggin, & Reuter-Lorenz, 2011; Jiang, Chun, & Olson, 2004; Jiang, Olson, & Chun, 2000; Olson & Marshuetz, 2005; Woodman, Vecera, & Luck, 2003)。在這些研究中, 研究者要求被試完成一系列變化覺察任務, 首先呈現具有空間構型信息的多個客體, 要求被試記憶客體的某個維度信息(如顏色), 隨后的檢測階段讓其報告其發生變化與否。當空間構型信息發生變化時, 即使構型與記憶任務無關(如僅要求被試記憶客體的顏色或者形狀; 見Jiang et al., 2000), 被試的記憶績效也顯著下降。值得注意的是, 即使明確提示被試忽略記憶項目間的構型信息時, 構型對記憶績效的影響依然存在, 這說明視覺系統對構型信息的加工可能具有強制性和自動化的特性(Jiang et al., 2000, Jiang et al., 2004)。來自發展領域的研究發現, 盡管已有研究發現老年人的工作記憶能力下降, 然而當構型信息存在時, 老年人的工作記憶績效相比年輕人并不存在顯著差異(Olson, Zhang, Mitchell, Johnson, Bloise, & Higgins, 2004)。這表明構型信息可以一定程度上彌補老齡化帶來的工作記憶能力損傷。此外, 構型信息提升工作記憶績效已得到了來自腦成像的證據支持, Xu和Chun (2007)發現即使構型信息與記憶任務無關, 被試亦可借助構型信息將記憶信息加以組織來提升工作記憶績效, 具體表現為構型條件(3個客體可根據構型組織成為更高層級的客體)與非構型條件相比(3個獨立客體)引發更低的頂內溝活動(inferior intraparietal sulcus, IPS)。

也有研究者在動態場景中研究了構型信息對視覺工作記憶的影響作用。例如Hollingworth和Rasmussen (2010)的研究表明, 即使客體身份對應關系在運動中發生了交換, 只要測驗時的構型與預覽階段一致, 被試的記憶績效就可以保持較高水平, 尺寸的縮放和位置的平移并不會影響這種效應。此外有一些研究在構型的動態變化中探索其作用機制, 如Sun等人(2015)發現如果若干客體在運動過程中保持射影性質的一致, 其構型信息就可以有效發揮作用。Zhao等人(2014)發現多客體追蹤中人們同樣傾向于將被追蹤的客體按照構型進行整合以實現更高效的加工。

在以上這些研究中, 雖然任務類型有所不同, 但構型信息的存儲和利用都能夠提升視覺工作記憶的績效。信息論的觀點認為, 若需要編碼的信息存在冗余性, 那么容量有限的認知系統必然存在壓縮機制使得盡可能多的信息進入其中(Cover & Thomas, 1991)。從該理論出發, 筆者認為構型提升工作記憶績效的本質在于能夠有效地壓縮所需編碼的信息表征, 使得容量有限的工作記憶系統能夠有效加工更多的信息。然而構型通過何種方式提高信息處理效率, 或者說構型提升記憶績效的具體作用機制目前還沒有清晰的理論解釋。之前的研究中使用的動態構型的客體處在連續不斷的運動中(Sun et al., 2015; Zhao et al., 2014), 這對于研究構型屬性中與動態變化密切相關的部分非常有意義, 而對靜態構型的研究可以針對不同構型形態設置更加精細的控制條件, 以揭示構型較為穩定的特性。之前的關于靜態構型的研究主要控制了其他屬性(絕對位置、尺寸大小等)的變化, 結果顯示這些因素對于構型的作用都并非必須, 起到決定作用的是構型本身的組成方式, 而這種組成方式由構成構型的客體之間的空間關系決定(例如Hollingworth & Rasmussen, 2010)。

筆者認為構型包含的空間關系可以進一步細分為兩方面(如圖1所示)：(1)構型客體空間相對方位(相對方位), 即組成構型的每個客體相對于其他客體的位置, 如左上位、右下位。相對方位在客體發生局部位移時可以保持不變, 而在構型旋轉時會發生變化, 比如一個客體本來位于其他客體的左上方, 那么在逆時針旋轉90°后將位于左下方; (2)構型整體幾何形態(幾何形態), 即客體的位置組成的空間形狀, 在客體發生位移后幾何形態必然變化形成新形態, 然而構型旋轉時幾何形態卻不會發生改變。上述兩方面確定時, 就可以確定無疑地得到一個構型的具體形態, 如果能了解構型對工作記憶的影響中, 這兩方面因素各自的作用情況如何, 就能夠推斷構型影響作用的方式和基礎。

為了了解構型影響作用中不同因素的作用情況, 筆者在本研究中將構型中的相對方位與幾何形狀因素分離開來并加以操縱, 使得兩者只有其中一種發生變化或者同時發生變化, 考察此時的工作記憶績效。如果相對方位是構型的主要決定因素, 那么只要相對方位與預覽時保持一致的話, 預覽時存儲的信息就可以得到有效利用, 記憶績效就會更高; 如果幾何形狀起到主要作用, 那么在幾何形狀不變的情況下, 構型的信息就能夠提升工作記憶的加工績效。筆者通過以下3個實驗來探討上述問題。

圖1 構型的客體空間相對方位與整體幾何形態

注：a.原始構型; b.變化的構型, 上方為構型客體空間相對方位不變的情況, 下方為構型整體幾何形態不變的情況; 圖中字母為顏色標識, 實驗中未實際呈現, 下同。彩圖見電子版。

2 實驗1：構型客體相對空間方位對視覺工作記憶的影響

實驗1的目的在于考察方位信息在提升視覺工作記憶績效中的作用。實驗1采用變化覺察范式,要求被試報告測驗階段呈現的客體顏色與預覽階段相比是否發生變化。自變量有兩個：(1)顏色客體的呈現方位變化與否; (2)客體構型的幾何形態是否發生變化。

實驗中一半的試次為顏色不變條件, 在測驗階段沒有新顏色出現, 而另一半為新顏色條件, 測驗階段會出現一種未預覽過的新顏色。由于新顏色在預覽階段沒有出現, 與預覽構型之間沒有對應關系, 因而新顏色條件的數據對于揭示構型的作用機制并不適用, 因此筆者以顏色不變條件下的數據作為分析對象, 以辨別力(d’)和反應時作為因變量, 該分析方法與前人相關研究一致(Hollingworth & Rasmussen, 2010; Mitroff, Scholl, & Wynn, 2004)。

為了確保實驗刺激的一致性, 實驗使用的80種構型形態均按照特定的規則由計算機程序生成。生成規則如下：構型包括4個客體, 分別位于以屏幕中心為原點的第1、2、3、4象限; 每個構型的4個客體與原點連線的角度為定位角度, 水平向右為0°, 逆時針分別取45°、135°、225°、315°為基本角度, 定位角度在基本角度的基礎上±15°以內隨機選取, 這樣可以保證生成構型中的4個客體分別位于4個象限; 客體中心距離原點的距離在2.5°~3.5°視角的范圍內隨機選取。為了保證不同構型之間的可區分性, 其中任意兩組構型中位于各象限的客體的定位角度的平均差異均大于4°, 與原點的距離平均差異大于0.5°視角。構型設置如圖2所示。

圖2 客體構型例圖

注：a.橫豎兩條虛線分開的4部分為客體所處的4個象限, 第1象限的斜45°虛線代表基本角度, 箭頭表示第1象限客體的定位角度及其同原點間的距離; b.實驗所使用的構型范例

2.1 被試

18名浙江大學的在校學生參加本實驗, 男性11人, 女性7人, 年齡在18~24歲之間。所有被試均視力或矯正視力正常。實驗前所有被試均簽署知情同意書, 實驗后獲得學分或30元人民幣作為報酬。

2.2 實驗材料

實驗使用大小為0.5°×0.5°視角的圓形作為記憶客體, 記憶顏色共有6種, 按顏色名稱[RGB值]表示分別為紅色[255 0 0]、黃色[255 255 0]、紫色[255 0 255]、綠色[0 255 0]、青色[0 255 255]、藍色[0 0 255], 呈現時顏色占據圓形客體的中央部分, 圓形的邊緣保持黑色。為抑制語音加工, 實驗中的復述任務采用大小為1°×1°視角的黑色阿拉伯數字(從1到9中隨機選取)。

2.3 實驗設備

實驗程序使用Matlab結合PsychToolbox工具包編制(Brainard, 1997), 并在一臺32位Windows7系統的計算機上運行。實驗刺激在一臺19寸CRT顯示器上呈現, 顯示分辨率為1024×768, 刷新率100 Hz。實驗環境為安靜的隔音暗室。

2.4 實驗流程與設計

實驗流程如圖3所示, 每個試次開始時, 在屏幕中央給被試呈現兩個隨機的數字, 持續500 ms, 要求被試在當前試次中對兩個數字進行不斷地默讀復述, 以抑制被試記憶顏色時可能采用語音的編碼方式(e.g., Vogel et al., 2001)。數字消失后屏幕中央呈現注視點1000 ms, 注視點消失的同時呈現一個4客體構型, 每個客體中心部分呈現一種顏色500 ms, 隨后空屏1500 ms。

空屏結束后再次出現4個客體, 其構型根據實驗條件可能與預覽階段一致(原形態), 或者為不同的構型形態(新形態), 此時每個客體中會再次出現一種顏色, 顏色的呈現象限可能與預覽階段一致(方位不變)或者不一致(方位變化), 形成4種條件(如圖4所示)：a. 原形態–方位不變; b. 新形態–方位不變; c. 原形態–方位變化; d. 新形態–方位變化。方位變化條件下, 每種顏色都不會呈現在原來的位置上, 目的在于控制刺激物理性質的變化幅度。變化方式有如下兩種, 呈現象限按順時針或逆時針旋轉90°, 即原1、2、3、4象限顏色會出現在2、3、4、1或者4、1、2、3象限, 或按對角線交換象限, 即原1、2、3、4象限顏色出現在3、4、1、2象限。預實驗顯示這兩種變換方式績效相當, 并且未導致被試采用策略完成實驗任務。

探測刺激呈現后, 被試要在2000 ms內按鍵報告是否出現了一種新的顏色, 記錄被試的反應正誤和反應時。顏色任務報告完成后屏幕中央出現一個數字, 要求被試報告這個數字是否為本試次的復述數字, 隨后在1000~1500 ms的間隔后進入下一個試次。兩個任務均要求被試在正確的前提下盡快做出反應。

正式實驗開始前要求被試進行練習以便熟悉實驗流程。正式實驗包含240個試次, 每種實驗條件各60試次, 順序隨機安排。實驗時長約為45分鐘, 每完成40個試次會提示被試短暫休息。

2.5 實驗結果與討論

為了避免反應偏向的影響, 筆者首先根據信號檢測論將正確率數據轉化為辨別力’。分別對實驗1的辨別力指數’和反應時數據進行了重復測量的兩因素(方位因素和幾何形態因素)方差分析, 統計結果如圖5所示。

圖3 實驗1流程

圖4 實驗1條件設置示意圖

圖5 不同形態和方位條件下的辨別力(d￠)和反應時

注：*< 0.05; **< 0.01; ***< 0.001

方位因素在辨別力上的主效應達到顯著水平, 方位不變的兩種條件下的辨別力指數(1.99)顯著高于方位變化條件下的辨別力指數(1.78),(1, 17) = 14.34,< 0.01, η= 0.46; 幾何形態因素的主效應沒有達到顯著水平, 原形態兩種條件下的辨別力指數(1.91)與新形態兩種條件下的辨別力指數(1.87)之間差異未達到顯著,(1, 17) = 1.16,= 0.30; 方位與幾何形態的交互作用也沒有達到顯著水平,(1, 17) = 0.13,= 0.72。

方位因素在反應時上的主效應也達到顯著水平,(1, 17) = 17.91,< 0.01, η= 0.51, 方位不變時的反應時(816 ms)顯著短于方位變化的條件(882 ms); 幾何形態因素的主效應沒有達到顯著水平,(1, 17) = 2.00,= 0.18, 原形態(843 ms)與新形態(855 ms)條件的反應時差異不顯著; 方位與構型形態的交互作用也沒有達到顯著水平,(1, 17) = 0.03,= 0.86。

新形態–方位不變條件下, 構型幾何形態發生了變化, 但測驗時顏色呈現在與預覽階段相同的象限, 因而保持原有方位不變。結果表明, 該條件下的績效與原形態–方位不變條件相當, 辨別力和反應時都沒有顯著差異, 同時兩者的績效都高于方位變化的兩種條件。換言之, 如果客體在構型中的方位保持不變, 無論構型幾何形態發生變化還是保持原樣, 任務完成的效率可以維持在較高的水平。幾何形態因素在辨別力和反應時上主效應都不顯著, 而形態因素與方位因素的交互作用在辨別力與反應時上交互作用也都沒有達到顯著, 這提示形態變化與否并不是主要的影響因素。

在視覺客體與其屬性的工作記憶加工中, 屬性與客體的關聯關系非常重要。如果從預覽到測驗的過程中屬性與客體之間的關聯關系能夠有效保持的話, 工作記憶績效就會更好, 速度、準確性都可以更高。例如有關客體檔案理論的研究顯示, 視覺屬性與客體身份在短時間的運動過程中保持不變時, 其績效就更高(Gordon, 2004; Gordon & Irwin, 1996; Mitroff, Scholl, & Noles, 2007; Mitroff et al., 2004)。而另外一些研究則提示視覺屬性與其呈現時客體所處的空間位置之間的聯系對工作記憶的績效具有重要影響(Hollingworth & Rasmussen, 2010; Zelinsky & Loschky, 2005)。

從這個角度來說, 實驗1中客體顏色屬性與其相對方位之間的聯系對任務績效的提高起到重要作用。更重要的是, 這種相對方位并非精確對應的空間位置, 而是以客體所在構型為參照的大概位置, 在一定范圍內可以有所偏移而方位保持不變。這種不變性是提升視覺工作記憶績效更加基本的因素。

然而實驗1并未設置視覺特征與幾何形態保持一致而與相對方位不一致的條件, 無法直接比較相對方位因素與幾何形態因素的作用, 因而需要進一步的實驗來探索。

3 實驗2：構型旋轉條件下相對方位與幾何形態的影響作用

實驗1控制了顏色呈現方位的變化, 結果顯示客體空間幾何構型發生變化而顏色特征的出現方位與預覽階段一致時, 記憶績效仍然保持較高水平, 這提示方位信息是提升視覺工作記憶績效的有效因素。然而實驗1中的新形態使用了與預覽階段不同的構型形態, 并沒有設置幾何形態不變而方位發生變化的條件, 因而無法考察僅有幾何形態保持一致時的績效。

考慮到旋轉過程中構型幾何形態保持不變, 因此可以通過旋轉方式對構型加以操縱, 來考察幾何形態的作用。根據這一思路, 實驗2中設置3種條件：原形態–方位不變、構型旋轉–方位不變和構型旋轉–幾何一致, 因變量的記錄方式與實驗1相同。構型旋轉–幾何一致條件下, 視覺特征出現的象限也將按照構型的旋轉方向變化, 換言之視覺特征與幾何形態保持了一致, 如果這種條件下的績效仍然較低, 那么就提示幾何形態的作用并不顯著, 反之如果此時的績效能夠保持較高水平, 就表明幾何形態同樣是構型發揮作用的重要因素。

3.1 被試

18名浙江大學的在校學生參加本實驗, 男性8人, 女性10人, 年齡在19~23歲之間, 所有被試均視力或矯正視力正常, 且均未參加過實驗1。實驗前所有被試均簽署知情同意書, 實驗后獲得學分或30元人民幣作為報酬。

3.2 實驗材料與設備

實驗2的材料和設備同實驗1。

3.3 實驗流程與設計

實驗2的基本設計與實驗1一致, 設置3種條件：原形態–方位不變、構型旋轉–方位不變和構型旋轉–幾何一致, 如圖6所示。實驗2中不再設置實驗1中的原形態–方位變化條件, 理由如下：原形態–方位變化條件已在實驗1中考察, 并且此情況不是本研究主要關心點, 在實驗2中保留原形態–方位不變條件作為基線條件即可, 無需重復設置構型–方位變化條件。

圖6 實驗2條件設置

構型旋轉時, 測驗階段顏色可能按原象限呈現, 形成構型旋轉–方位不變條件, 也可能與旋轉后的幾何形狀保持一致, 形成構型旋轉–幾何一致的條件。構型旋轉的方式為順時針90°或者逆時針90°其中一種(圖6所示為逆時針旋轉90°), 從而使構型旋轉后各客體仍分別處于4個象限, 也保證不同試次中構型的變化幅度一致。

3.4 實驗結果與討論

對實驗2的數據進行重復測量的單因素方差分析, 具體結果如圖7所示。

辨別力數據顯示3種實驗條件的差異達到顯著水平,(2, 34) = 8.45,< 0.01, η= 0.33, 為確認何種條件下績效與基線相比存在差異, 將構型旋轉–方位不變(2.03)、構型旋轉–幾何一致(1.78)兩種條件的辨別力與原形態–方位不變(2.12, 基線條件)進行比較, 前者的差異不顯著,(1, 17) = 0.90,= 0.36, 而后者的差異達到顯著水平,(1, 17) = 13.05,< 0.01, η= 0.43。

反應時的數據與辨別力相似, 3種條件間的主效應達到顯著水平,(2, 34) = 3.81,< 0.05, η= 0.18, 同樣將構型旋轉–方位不變(867 ms)、構型旋轉–幾何一致(896 ms)條件的反應時與原形態–方位不變(856 ms)進行比較, 發現前者未達到顯著,(1, 17) = 0.45,= 0.51, 而后者的差異達到顯著水平,(1, 17) = 6.83,< 0.05, η= 0.29。

實驗2的結果與實驗1類似：方位不變條件下, 無論測驗階段的客體構型幾何形態是否發生旋轉, 被試的任務績效都保持較高的水平, 構型旋轉–幾何一致條件下的績效則較低。構型發生旋轉時, 如果顏色出現的相對方位保持與預覽時一致, 那么顏色出現位置與幾何形態的一致性就必然遭到破壞, 而構型旋轉–幾何一致條件下, 顏色出現位置與幾何形態的一致性得到了保持, 而相對方位則由于旋轉而發生了變化。換言之, 這兩種條件分別獨立保持了相對方位與幾何形態的前后一致性, 而相對方位一致下的績效與基線保持同一水平, 而顯著優于幾何形態一致的情況, 這提示實驗任務績效主要依賴于相對方位的作用, 而非幾何形態因素。

實驗1的結果顯示了構型中相對方位信息在視覺工作記憶任務中的重要作用, 而實驗2的結果則進一步顯示相對方位在構型的作用中是更加主要的因素, 而幾何形態的作用并不顯著。然而考慮到實驗2使用了旋轉后的視覺客體構型, 但旋轉前后并沒有中間過程, 而經典的心理旋轉研究顯示, 人們可以對視覺表象進行主觀的旋轉操作, 但常常以模擬的方式進行, 需要一個連續的過程(Cooper & Shepard, 1973; Metzler & Shepard, 1974; Shepard & Hurwitz, 1984; Shepard & Metzler, 1988)。如果為構型的旋轉提供相應的線索, 使其過程具有連續性, 客體方位與幾何形態的作用能否顯示出同樣的效應就尚未可知, 需要進一步的實驗進行探索。

圖7 實驗二3種條件下的辨別力(d￠)和反應時

注：*< 0.05; **< 0.01; ***< 0.001

5 實驗3：提供視覺旋轉線索時客體方位與幾何形態的作用

在實驗2中構型在旋轉中幾何形態保持不變, 然而這種幾何形態的一致性并沒有像客體方位因素一樣表現出顯著的影響。實驗2中視覺客體構型的旋轉只提供了旋轉前和結束后的兩個不連續的狀態, 然而人們對視覺表象的旋轉操作卻往往是一個連續的過程。實驗3提供了旋轉的視覺線索(如圖8所示), 提示構型旋轉變化的過程, 使之具有連續性。如果幾何形態的破壞導致了構型作用的損害, 就提示幾何形態因素也對工作記憶有重要的影響, 之前沒有表現出作用的原因是缺少必要的連續過程; 反之如果單獨保持客體相對方位一致即可實現之前的構型作用, 就說明視覺工作記憶的任務績效不會受到幾何因素的影響。

考慮上述情況, 實驗3設置了3種條件, 分別是構型旋轉–幾何一致、新形態–方位旋轉、新形態–方位隨機變化(如圖9所示)。其中新形態–方位旋轉條件下, 測驗階段的構型從構型庫中隨機抽取, 而客體方位則與旋轉線索一致, 新形態–方位隨機變化條件下, 測驗構型隨機抽取, 各顏色的方位都與預覽時不同, 但排除與旋轉線索一致的情況, 這與實驗1的新形態–方位變化條件有所不同。

從構型的客觀特征上講, 新形態–方位隨機變化條件下的構型形態和客體方位都發生了變化, 而構型旋轉–幾何一致條件下, 構型幾何形態和客體方位同時與旋轉線索一致, 而新形態–方位旋轉條件下只有客體方位與旋轉線索一致。因此可以把新形態–方位隨機變化條件作為基線條件來與其他條件對比。如果只有構型旋轉–幾何一致條件與基線相比表現出更高的績效, 新形態–方位旋轉條件沒有表現出績效優勢, 那么就提示幾何形態對于旋轉條件下構型信息的利用是不可缺少的; 如果兩者都表現出績效優勢且績效相當, 就提示僅客體方位因素一致就足以幫助構型信息得到利用。

5.1 被試

18名浙江大學的在校學生參加本實驗, 男性9人, 女性9人, 年齡在19~25歲之間, 所有被試均視力或矯正視力正常, 未參加過之前的實驗。實驗前所有被試均簽署知情同意書, 實驗后獲得30元人民幣作為報酬。

5.2 實驗材料與設備

實驗3的材料與設備和實驗2中使用的一致。

5.3 實驗設計

實驗3的流程與實驗2基本一致, 在其基礎上提供了旋轉線索(見圖8)：預覽階段刺激呈現的同時在屏幕中央呈現線索方框, 預覽階段的刺激消失后方框不會消失, 并且在250 ms之后開始旋轉, 在1000 ms內旋轉90°, 旋轉方向與檢測階段的構型方向一致, 隨后靜止并保持250 ms后進入檢測階段, 記憶保持的時間與實驗2一致, 均為1500 ms。由于方框為正方形, 旋轉前后的形態完全一致, 除旋轉過程外, 并沒有提供其它視覺線索。

實驗3包括3種條件, (1)構型旋轉–幾何一致、(2)新形態–方位旋轉、(3)新形態–方位隨機變化, 如圖9所示。構型旋轉–幾何一致條件與實驗2中相同, 但實驗3不再設置原形態–方位不變條件, 并且增加了新形態–方位旋轉條件(客體方位與旋轉線索一致)和新形態–方位隨機變化條件, 兩種新形態條件下測驗構型按重新抽取的新形態呈現, 以新形態–方位隨機變化條件作為基線。

5.4 實驗結果與討論

實驗3的數據分析方法與前面的實驗相同, 結果如圖10所示。

辨別力()與反應時兩個指標的主效應都達到顯著水平,(2, 34) = 4.85,< 0.05, η= 0.22,(2, 34) = 8.16,< 0.01, η= 0.32。將兩種主要條件的辨別力()與基線條件對比, 構型旋轉–幾何一致下的成績更高, 達到顯著水平,(1, 17) = 4.78,< 0.05, η= 0.22, 新形態–方位旋轉的成績也顯著高于基線,(1, 17) = 13.05,< 0.01, η= 0.43; 反應時的數據與辨別力()一致, 構型旋轉–幾何一致和新形態–方位旋轉的成績都優于基線條件,(1, 17) = 8.31,< 0.05, η= 0.33,(1, 17) = 10.95,< 0.01, η= 0.39。而構型旋轉–幾何一致和新形態–方位旋轉兩種條件在辨別力()和反應時兩方面都沒有表現出顯著差異。

圖8 實驗3旋轉線索示例

圖9 實驗3條件設置

圖10 實驗3各實驗條件下的辨別力(d￠)和反應時

注：*< 0.05; **< 0.01; ***< 0.001

與基線條件相比, 構型旋轉–幾何一致條件下, 測驗構型是嚴格按線索提示對預覽構型進行旋轉后得到, 因此幾何形狀與客體方位兩方面都與旋轉過程保持一致, 此時績效優勢十分顯著; 而新形態方位旋轉條件下, 測驗構型的幾何形態系重新抽取, 與預覽時沒有關聯, 只有客體方位與旋轉線索的提示一致, 此時的績效與構型旋轉–幾何一致條件相當, 也表現出相對于基線條件的優勢。換言之, 要得到高于基線條件的績效, 不需要幾何形態與客體方位都與旋轉完全一致, 只要測驗時的客體方位是按旋轉線索的提示變換所得, 即使此時構型幾何形態與預覽時不同也不會影響優勢效應的產生。

實驗3的結果顯示, 即使在對構型進行了主觀旋轉的操作后, 客體方位的一致性仍然是構型對視覺工資記憶績效影響作用的關鍵因素。由于旋轉的線索僅提供了旋轉的提示, 而沒有直接呈現旋轉后的構型形態, 那么被試在完成任務時主要依賴主觀旋轉后的表征。這意味著即使不是直接觀察到的構型, 而是主觀操作后形成的構型表征中, 對一個特定客體的定位也主要依賴于該客體的相對方位。

6 總討論

諸多研究表明, 構型對于提升視覺工作記憶的績效有著重要作用。前人研究中, 構型信息從預覽階段到測驗階段可能發生位移或者縮放, 而未對幾何形態的變化加以操縱(eg. Jiang et al., 2000, Hollingworth & Rasmussen, 2010)。該控制方式的確幫助我們更加深入的了解構型的諸多加工特性, 比如構型信息不受位置、大小的影響(Jiang et al., 2000); 且構型信息在客體身份不一致時依然發揮作用(Hollingworth & Rasmussen, 2010)。然而筆者認為幾何形態不變的情況下, 便無法對構型的具體作用機制進行深入的探索。

如前文所述, 構型是若干客體的空間分布形態。如果要了解這種形態的內在加工機制, 一種有效的方式便是通過控制影響條件, 考察構型從完全保持初始形態到徹底失去原有特征的過程。在這個過程中, 影響構型的不同因素就可以顯現出其作用, 從而揭示構型提升工作記憶績效的具體作用機制。近來研究者已經開始關注借助動態變化的構型來揭示構型的某些加工特征(Sun et al., 2015; Zhao et al., 2014), 然而現實場景中往往需要對一個特定的構型進行處理和利用, 這個過程中構型依賴哪些因素起作用需要通過操縱因素的變化進行探索。

基于上述思想, 本研究對構型所包含的相對方位與幾何形狀兩種信息分別進行了操縱, 使其中的一種發生變化而另一種保持不變, 如果不同的信息具有不同的作用機制, 那么這種差異就會在不同的變化方式下顯現出來。實驗結果顯示, 當客體相對方位保持不變時, 記憶績效較高, 幾何形狀保持不變而相對方位變化時, 記憶績效較低; 在對構型進行主觀操作形成旋轉后的表征時, 相對方位的一致性仍然起到主要的作用。

6.1 客體、視覺屬性、空間位置的綁定關系

編碼特異性理論認為, 如果提取信息時的背景條件與存儲時接近, 提取操作就會更容易進行(Tulving & Thomson, 1973)。從這個角度來看, 構型可以視為是視覺特征的背景, 測驗時的構型編碼與預覽時越接近, 就越有利于對與之相關聯的視覺信息的提取。然而在后續研究中, 一些更加深入和細致的現象得到了揭示, 預覽與測驗間視覺特征的相似性并不僅僅存在于表面形態, 如果兩者的內在屬性存在特定的關聯, 那么仍然可以觀察到類似的利化效應, 例如客體身份的一致性、構型形狀的一致性等(Hollingworth & Rasmussen, 2010; Kahneman, Treisman, & Gibbs, 1992)。

這些發現提示, 在視覺認知加工中, 客體與視覺屬性、空間位置存在著緊密而復雜的綁定關系。關于視覺屬性與客體之間的綁定聯系已有許多研究, 一般認為集中于一個特定的客體之上的不同視覺屬性可以集合形成一個獨立的客體表征(Treisman, 1996, 1998; Wheeler et al., 2002)。關于客體與位置之間的綁定聯系也有許多令人矚目的發現, 比如客體在視覺工作記憶中主要與相對位置而非絕對位置進行綁定(Hollingworth, 2007)。

在已有研究的基礎上, 本研究主要的拓展在于發現了客體與位置的綁定聯系并不一定依賴于其在視覺上下文中的準確位置, 只要相對方位保持一致, 這種綁定聯系就可以存在并發揮作用?？腕w與相對位置的綁定意味著客體與其視覺上下文在位移、縮放中保持精確對應的話, 視覺工作記憶的績效就可以維持較高水平, 而客體與相對方位之間的聯系則可以讓客體在視覺上下文的位置發生一定的偏移時, 仍然保持較高的記憶績效。這也體現了人的視覺認知系統在處理視覺任務時的靈活性, 一定程度上能夠適應輸入信息的變化。

不過另一方面, 客體的相對方位依賴于客體與其他參照物之間的關系。在構型中, 一個客體的相對方位參照物就是其他的客體, 如果這些客體偏移幅度較大, 就可能影響對相對方位的判斷, 因此位置的偏移必須處在一定的范圍之內才能保證相對方位的不變性。在本研究中為了控制偏移程度, 使用了按規則生成的4客體構型, 從而使不同的構型之間的位置差異不會過大, 目的就在于保持相對方位判斷參照系的穩定, 而實驗發現也是基于此種前提得到。本研究的關注點在于參照系沒有破壞時, 位置偏移而相對方位不變時的工作記憶績效, 那么一個值得關注的問題是, 客體位置的偏移達到何種程度時會影響相對方位的存在和作用, 這有待于未來的研究對此進行探索。

6.2 客體構型在工作記憶中的編碼形式

視覺工作記憶的編碼單元主要是視覺客體, 構型作為若干客體的集合在工作記憶中也表現出重要作用, Chun和Jiang的研究(1998)顯示, 構型可以在完成實驗任務時保持在記憶中并顯示出作用, 其他一些研究也將其視為工作記憶中對客體位置的組織方式(Hollingworth, 2007; Olson et al., 2005), 但目前的研究對于構型在視覺工作記憶中如何進行編碼的探索仍然十分不足。

如果將構型看做客體位置信息的組織方式, 考慮之前的研究中構型不受平移、大小變化影響的發現, 那么確定幾何形狀和朝向即可準確定義一個構型。然而在本研究中, 當顏色出現在相同方位的客體上時, 無論構型的幾何形態是否發生變化, 工作記憶績效都保持較高的水平; 但方位發生變化時, 實驗任務仍可以順利完成, 并不需要幾何形狀的精確符合, 而客體方位因朝向發生變化時績效卻會顯著降低。據此可以推測, 觀察者使用的記憶編碼包括兩方面, 一方面是整體性編碼, 其基礎是客體大致的相對方位而不是幾何形狀, 另一方面是顏色特征本身的編碼。如果整體編碼可以得到利用, 就能實現較高的反應速度和辨別力; 反之方位與編碼階段不一致無法進行整體加工, 就需要對存儲的特征編碼進行掃描操作, 搜尋是否有新的特征出現, 因此反應速度和辨別力都較低。

本研究的另一個發現是, 當提供旋轉線索而對構型進行了主觀旋轉的操作時, 客體方位的變化如果與旋轉一致, 任務績效也可以達到較高水平, 這個過程中同樣不需要幾何形態保持一致。研究表明, 人們的認知系統能夠對視覺表征進行主觀旋轉 (Cooper & Shepard, 1973; Metzler & Shepard, 1974; Shepard & Hurwitz, 1984; Shepard & Metzler, 1988), 而構型的表征也體現出這種性質, 具備主觀旋轉的能力, 并且在旋轉后表現出與通過直接視覺輸入編碼的構型表現出類似的性質。然而另一方面, 這種能力也受到一定的限制, 應對旋轉變化時需要線索才能對構型進行更新, 因此可以說構型信息在視覺工作記憶中的作用既有其靈活性與適應性的特點, 但也受到人的固有認知加工方式的制約。

6.3 工作記憶對構型信息的保持

同其他所有工作記憶保存的信息一樣, 構型信息在工作記憶中的保持也會存在某種保持能力的限制。本研究發現, 存在線索時構型可以在工作記憶中進行主觀旋轉, 以旋轉后的狀態發揮作用, 但旋轉前的原始狀態卻沒有從工作記憶中消除。這提示心理旋轉操作并不能使工作記憶中構型的存儲完全更新, 即使旋轉變化后新的方位信息可以得到利用, 原形態的方位信息仍然可以影響工作記憶任務的完成, 或者說, 此時的工作記憶中能夠同時保持旋轉前后的兩種狀態。

能夠同時保存的信息越多, 就會越有利于記憶任務的完成效率, 不過許多關于工作記憶的研究表明, 存儲信息的精度與數量之間存在權衡的關系(Alvarez & Cavanagh, 2004; Wilken & Ma, 2004), 而本研究中對構型初始狀態和旋轉完成狀態的同時保持似乎并未導致其作用的降低。這一方面可能是由于同一構型的兩種不同朝向并不會占用兩倍的存儲, 而可能有共享的信息編碼, 另一方面可能是由于對構型的存儲尚未超出其能力上限。

關于工作記憶對構型的保持能力, 以及構型發揮作用的加工階段、可能影響構型作用的其他因素(注意資源、記憶負荷等), 還有待于未來的研究中進一步探索。

7 結論

本研究通過3個實驗考察構型中不同信息因素對工作記憶績效的影響作用, 得到如下結論：(1)構型客體的空間相對方位是構型影響視覺工作記憶績效的主要因素; (2)構型整體幾何形態對視覺工作記憶的影響不顯著; (3)對構型進行主觀旋轉后, 影響構型作用的主要因素仍然是相對方位, 與無旋轉情況一致。

Alvarez, G. A., & Cavanagh, P. (2004). The capacity of visual short-term memory is set both by visual information load and by number of objects.(2), 106–111.

Baddeley, A. (2012). Working memory: Theories, models, and controversies., 1–29.

Bays, P. M., & Husain, M. (2008). Dynamic shifts of limited working memory resources in human vision.(5890), 851-854.

Brainard, D. H. (1997). The psychophysics toolbox.,(4), 433–436.

Christophel, T. B., Klink, P. C., Spitzer, B., Roelfsema, P. R., & Haynes, J. D. (2017). The distributed nature of working memory.(2), 111–124.

Chun, M. M., & Jiang, Y. H. (1998). Contextual cueing: Implicit learning and memory of visual context guides spatial attention.(1), 28–71.

Cooper, L. A., & Shepard, R. N. (1973). Chronometric studies of the rotation of mental images. In: Chase, W.G. (Ed.),. Academic Press, New York

Cover, T. M., & Thomas, J. A. (1991).. New York: Wiley.

Cowan, N. (2015). George Miller’s magical number of immediate memory in retrospect: Observations on the faltering progression of science.(3), 536–541.

Gao, T., Gao, Z. F., Li, J. S., Sun, Z. Q., & Shen, M. W. (2011). The perceptual root of object-based storage: An interactive model of perception and visual working memory.,(6), 1803–1823.

Gmeindl, L., Nelson, J. K., Wiggin, T., & Reuter-Lorenz, P. A. (2011). Configural representations in spatial working memory: Modulation by perceptual segregation and voluntary attention.,(7), 2130–2142.

Gordon, R. D. (2004). Attentional allocation during the perception of scenes.,(4), 760–777.

Gordon, R. D., & Irwin, D. E. (1996). What’s in an object file? Evidence from priming studies.,(8), 1260–1277.

Hollingworth, A. (2007). Object-position binding in visual memory for natural scenes and object arrays.,(1), 31–47.

Hollingworth, A., Richard, A. M., & Luck, S. J. (2008). Understanding the function of visual short-term memory: Transsaccadic memory, object correspondence, and gaze correction.(1), 163–181.

Hollingworth, A., & Rasmussen, I. P. (2010). Binding objects to locations: The relationship between object files and visual working memory.(3), 543–564.

Jiang, Y. H., Chun, M. M., & Olson, I. R. (2004). Perceptual grouping in change detection.(3), 446–453.

Jiang, Y., Olson, I. R., & Chun, M. M. (2000). Organization of visual short-term memory.(3), 683–702.

Kahneman, D., Treisman, A., & Gibbs, B. J. (1992). The reviewing of object files: Object-specific integration of information.,(2), 175–219.

Li C. H., He X., & Guo C. Y. (2015). The storage mechanism of multi-feature objects in visual working memory.(6), 734–745.

[黎翠紅, 何旭, 郭春彥. (2015). 多特征刺激在視覺工作記憶中的存儲模式.(6), 734–745.]

Liu Z. Y., & Ku Y. X. (2017). Perceiving better, inhibiting better: Effects of perceptual precision on distractor-inhibition processes during working memory.(10), 1247–1255.

[劉志英, 庫逸軒. (2017). 知覺表征精度對工作記憶中抑制干擾能力的影響.(10), 1247–1255.]

Luck, S. J., & Vogel, E. K. (1997). The capacity of visual working memory for features and conjunctions.,(6657), 279–281.

Luck, S. J., & Vogel, E. K. (2013). Visual working memory capacity: From psychophysics and neurobiology to individual differences.,(8), 391–400.

Ma, W. J., Husain, M., & Bays, P. M. (2014). Changing concepts of working memory.,(3), 347–356.

Metzler, J., & Shepard, R. N. (1974). Transformational studies of the internal representation of three-dimensional objects. In R. L. Solso (Ed.),. Oxford, England: Lawrence Erlbaum.

Mitroff, S. R., Scholl, B. J., & Noles, N. S. (2007). Object files can be purely episodic.,(12), 1730–1735.

Mitroff, S. R., Scholl, B. J., & Wynn, K. (2004). Divide and conquer how object files adapt when a persisting object splits into two.(6), 420–425.

Oberauer, K., Awh, E., & Sutterer, D. W. (2017). The role of long-term memory in a test of visual working memory: Proactive facilitation but no proactive interference.,(1), 1–22.

Oberauer, K., Farrell, S., Jarrold, C., & Lewandowsky, S. (2016). What limits working memory capacity?(7), 758-799.

Olson, I. R., & Marshuetz, C. (2005). Remembering “what” brings along “where” in visual working memory.,(2), 185–194.

Olson, I. R., Zhang, J. X., Mitchell, K. J., Johnson, M. K., Bloise, S. M., & Higgins, J. A. (2004). Preserved spatial memory over brief intervals in older adults., 19(2), 310–317.

Shan, X. J., & Li, S. X. (2010). The new development of mechanism of visual working memory capacity based on new models.(11), 1684–1691.

[單西嬌, 李壽欣. (2010). 由兩個模型看視覺工作記憶容量機制的研究.(11), 1684–1691.]

Shepard, R. N., & Hurwitz, S. (1984). Upward direction, mental rotation, and discrimination of left and right turns in maps.(1-3), 161–193.

Shepard, S., & Metzler, D. (1988). Mental rotation: Effects of dimensionality of objects and type of task.(1), 3–11.

Sun, Z. Q., Huang, Y., Yu, W. J., Zhang, M., Shui, R. D., & Gao, T. (2015). How to break the configuration of moving objects? Geometric invariance in visual working memory.(5), 1247–1259.

Treisman, A. (1996). The binding problem.,(2), 171–178.

Treisman, A. (1998). Feature binding, attention and object perception.,(1373), 1295–1306.

Tulving, E., & Thomson, D. M. (1973). Encoding specificity and retrieval processes in episodic memory.(5), 352–373.

Vogel, E. K., Woodman, G. F., & Luck, S. J. (2001). Storage of features, conjunctions, and objects in visual working memory.,(1), 92–114.

Wheeler, M. E., & Treisman, A. M. (2002). Binding in short-term visual memory.,(1), 48–64.

Wickelgren, I. (1997). Getting a grasp on working memory.(5306), 1580–1582.

Wilken, P., & Ma, W. J. (2004). A detection theory account of change detection.(12), 1–11.

Woodman, G. F., Vecera, S. P., & Luck, S. J. (2003). Perceptual organization influences visual working memory.,(1), 80–87.

Xu, Y. D., & Chun, M. M. (2007). Visual grouping in human parietal cortex.,(47), 18766–18771.

Zelinsky, G. J., & Loschky, L. C. (2005). Eye movements serialize memory for objects in scenes.,(4), 676–690.

Zhang, W. W., & Luck, S. J. (2008). Discrete fixed-resolution representations in visual working memory.(7192), 233–235.

Zhao, L., Gao, Q. Y., Ye, Y., Zhou, J. F., Shui, R. D., & Shen, M. (2014). The role of spatial configuration in multiple identity tracking.(4), e93835.

Effect of spatial position based configuration on visual working memory performance

HUANG Yushang; CAO Liren

(Department of Psychology and Behavioral Science, Zhejiang University, Hangzhou 310028, China)

It has been widely acknowledged that visual working memory (VWM) only maintains and manipulates a limited amount of visual information (e.g. 3~4 objects). Studies on how VWM stores and processes objects have been effective and have yielded useful results. Previous studies in this field are focused on the processing mechanisms of individual objects. However, the mechanisms for grouping and organization of visual objects have received an increasing amount of attention recently. Among numerous types of organizations, configuration, i.e. the spatial formation of visual objects, plays a vital role in understanding the flexibility of human VWM. Many studies have shown that configuration had significant influence on VWM performance. However, configuration was usually employed as an approach to explore the effect of other factors on the memory system. Only a few studies have directly addressed the mechanism of the configuration VWM. In this study, we attempt to determine the critical factor of the information contained in a given configuration that influences VWM. We then attempt to outline the underlying mechanism of the processing in memory system for a given configuration.

In experiments 1 and 2, we separately controlled the variation of two aspects for a given configuration: the spatial position (i.e. relative position of an object described in left, right, and up/down, will be changed when configuration rotates), and the geometric shape (i.e., shape of the polygon with the objects as its vertexes, irrelevant to rotation). These two factors might vary independently or simultaneously. If the spatial position is the dominant factor in the influence of configuration on VWM, the performance will improve when the spatial position is kept constant. Consequently, broken or rotated geometric shapes will not affect memory performance. If geometric shape is the critical factor, the effects would be in reverse, wherein the performance would improve if the geometric shape is kept constant. The results from our experiments indicate that spatial position is the dominant factor. There was no significant difference on VWM performance between same-position-different- shape conditions (geometric shape varied while spatial position preserved) and the baseline condition (configuration were completely identical). The memory performance declined significantly against the baseline level when spatial position changed, regardless of the geometric shape.

In experiment 3, we systematically considered the rotation of a given configuration. A rotation clue was provided such that mental rotation can be conducted on the previewed configuration. The paradigms were identical to experiments 1 and 2; however, the controlled factor of experiment 3 was the consistency between the rotation clue and the spatial position/geometric shape in test phase. When spatial position is consistent with the rotation clue, the memory performance was better. Once again, the geometric shape showed no significant effect.

These findings suggest the following: First, when a given configuration boost the efficiency of VWM, the primary factor is the spatial position of the object. Second, the overall geometric shape has no significant influence on VWM performance. Third, the role of these two factors maintains the same under mental rotation of a given configuration.

visual working memory; objects; configuration

2017-05-15

曹立人, E-mail: caoliren2000@163.com

10.3724/SP.J.1041.2018.01222

B842