比較視覺搜索任務中工作記憶最小化的眼動研究*

蘇 娟白學軍王 超陰國恩

（1教育部人文社會科學重點研究基地天津師范大學心理與行為研究院，天津 300074） （2內蒙古財經大學統計與數學學院，呼和浩特010070）（3麥克馬斯特大學心理神經科學與行為系，加拿大 L8S 4L8）

比較視覺搜索任務中工作記憶最小化的眼動研究*

蘇 娟1,2白學軍1王 超3陰國恩1

（1教育部人文社會科學重點研究基地天津師范大學心理與行為研究院，天津 300074） （2內蒙古財經大學統計與數學學院，呼和浩特010070）（3麥克馬斯特大學心理神經科學與行為系，加拿大 L8S 4L8）

采用比較視覺搜索任務和眼動追蹤技術，通過增加組成圖片的圖形數量和改變不同圖形的特征屬性，考察比較視覺搜索任務是否遵循工作記憶最小化原則以及圖形特征加工的優先性問題。結果表明圖形數量的增加不影響平均每次注視的圖形數量，被試平均每次注視1.65個圖形，即比較視覺搜索任務仍遵循工作記憶最小化原則。不同圖形中顏色和形狀都不同的注視時間最短，顏色不同和形狀不同在注視時間上差異不顯著，表明比較視覺搜索任務中特征維度數量比特征性質在引導注意上具有優先性。事先不規定搜索路徑的情況下，被試主要采用系統搜索策略完成比較搜索任務。

比較視覺搜索任務，工作記憶最小化，眼動。

1 引言

生活中經常需要對兩張相似的圖片進行比較。比如，外科醫生通過對比患者手術前后的腦成像情況，判斷腫瘤是否成功摘除。鑒定專家通過比較兩種筆跡的特征，判斷是否由同一個人書寫而成。還有人們經常玩的找不同游戲，都需要經過快速的視覺搜索判斷兩張圖片相同還是不同。Pomplun等人（2001）提出的比較視覺搜索任務范式，與日常生活中的上述情況有關。他們在實驗中同時呈現兩張圖片，圖片由不同顏色或形狀的圖形組成，通過比較左右兩張圖片中的圖形來判斷圖片是否相同。這一任務包括視覺搜索、眼動和視覺工作記憶等過程。其中，工作記憶在比較視覺搜索任務中的作用成為了爭論的焦點之一。有研究者認為比較視覺搜索任務遵循工作記憶最大化原則，即實時的視覺表征是對當前注意刺激的細節信息和3到4個相關刺激的抽象信息及其場景排列和結構的總和表征（Hollingworth&Henderson,2002;Irwin&Zelinsky,1992）。另一些研究者認為比較視覺搜索任務遵循工作記憶最小化原則，也就是說實時的視覺表征僅與當前任務有關，目的是完成特定任務從環境中提取有關的視覺信息 （Ballard,Hayhoe,Pook,& Rao,1997;Hayhoe,Bensinger,& Ballard,1998; Wang,Matthew,Pavlo,Chen,& Marc,2016）。Pomplun等人的研究發現被試在執行任務的過程中發生了很多 “檢查”的眼動，從而減少了需要記憶編碼的信息量。Gajewski和Henderson（2005）通過平均每次注視的圖形數驗證工作記憶最小化和最大化模型。平均每次注視的圖形數是指眼跳到另一張圖片前被試注視圖形的個數。以后的研究在比較視覺搜索任務范式的基礎上，通過改變兩張圖片間的距離 （Vera,Markus,&Stephan,2011,2015; Bauhoff,Huff,&Schwan,2011）或者轉換為真實的場景 （Gajewski&Henderson,2005;Galpin& Underwood,2005;Bauhoff,Huff,&Schwan,2012）探討這一問題，結果均支持工作記憶最小化原則。

有研究還考察了視覺搜索任務中刺激圖形的顏色、形狀、大小等特征的加工特點。Soto等人研究結果發現不同維度的刺激對注意的捕獲能力存在差異，注意優先效應發生在特征顯著的目標上，如對顏色的加工速度要快于對形狀的加工 （張豹,黃賽, 2013;張豹,黃賽,侯秋霞,2014）。Fournier，Eriksen和Bowd（1998）考察了特征維度數量對加工速度的影響，發現了目標判斷的多特征優勢，即判斷兩個或兩個以上特征聯合出現 （如顏色、大小和形狀都不同）比判斷一個特征的出現 （如顏色）更容易。以上研究結果尚缺乏比較視覺搜索任務下的實驗證據。

那么在比較視覺搜索任務中被試是否總是遵循工作記憶最小化原則？如果增加圖片中刺激的數量，被試是否會改變搜索策略，采取工作記憶最大化原則？也就是說在增加圖片中刺激數量的情況下，被試通過增加工作記憶的負荷，減少在兩張圖片中掃描的次數完成比較搜索任務。其次，在比較視覺搜索任務過程中，對不同圖形的特征加工和已有視覺搜索任務的研究結果是否一致？當特征的維度數量和特征的性質同時進行搜索比較時，哪一個更具有優先性？因此，本研究采用眼動追蹤技術，在改進Pomplun等 （2001）的研究范式基礎上，借鑒Gajewski和Henderson（2005）的計算方法，通過增加圖形的數量進一步探究工作記憶最小化原則的適用范圍。同時匹配了工作記憶刺激與搜索刺激條件，包括顏色和形狀都不同、顏色不同或形狀不同三種條件。如果刺激特征的維度數量和特征性質在比較搜索任務中具有優先性，那么顏色和形狀都不同的加工速度最快，顏色不同次之，形狀不同的加工速度最慢。

2 方法

2.1 被試

來自內蒙古某大學的18名學生參加實驗。年齡在19－21歲，視力或矯正視力正常，無色盲。被試均不了解實驗目的。

2.2 儀器

使用EyeLink 2000記錄被試的眼動軌跡，取樣率為500Hz。刺激呈現在19英寸的DELL顯示器上，分辨率為1024×768。被試眼睛和屏幕間的距離為70cm。

2.3 實驗材料

144對由紅、綠、藍三種顏色和圓形、正方形、三角形三種圖形組成的圖片。每個圖形大小為1°視角 （45像素），相鄰圖形間隔最小為1°視角（45像素），最大為2°視角 （90像素）。圖片大小為8.6°×12.9°（400像素×600像素），兩張圖片間隔1.1°（50像素）。每張圖片圖形數分別為12個、15個和18個，每對中兩張圖片總的圖形數分別為24個、30個和36個。相同或不同的圖片各72對，共144對。不同的圖片對中相同位置的兩個圖形不同，包括顏色不同、形狀不同以及顏色和形狀都不同三種情況。相同或不同的一對圖片隨機呈現，以避免被試形成反應偏向。每對圖片中的圖形及不同圖形的位置隨機化處理，請5名大學生對相鄰顏色和形狀的圖形重復排列構成的圖片篩選。

2.4 實驗設計

實驗采用3×3的被試內設計，自變量分別是組成每對圖片的圖形數 （24，30和36個）和圖形特征 （顏色不同、形狀不同以及顏色和形狀都不同）。

2.5 程序

（1）每個被試單獨施測。 （2）被試坐在距眼動儀70cm處，下頜放在下頜托上，要求盡量在實驗過程中保持不動。 （3）采用九點校準。眼校準成功后向被試呈現指導語： “下面將呈現一系列由不同顏色的三角形、正方形和圓形組成的圖片。每次同時呈現兩張圖片，請你仔細比較左右兩張圖片是否相同。若 ‘相同’請按F鍵，若 ‘不同’請按J鍵。請集中注意，又快又準地做出判斷”。 （4）被試理解指導語后，按空格鍵翻頁。屏幕中央出現一個黑色圓點，要求被試注視黑色圓點并按空格鍵呈現實驗圖片，呈現圖片后按 ‘F’或 ‘J’鍵進行判斷，之后再次呈現黑色圓點，注視并按空格鍵進行下一屏圖片判斷。 （5）6個練習結束后進入正式實驗，整個實驗條件輪組。實驗約持續40分鐘。

2.6 數據處理

采用SPSS16.0 for Windows對數據進行分析，總共剔除無效數據占總數據的1.7%。相同圖片作為填充材料不參與數據分析。

3 結果

本研究通過分析正確率、平均每次注視圖形數和目標注視時間等眼動指標，探討比較視覺搜索任務中的搜索策略、工作記憶容量以及目標特征的加工特點。結果見表1。

3.1 圖形數量和特征對正確率的影響

判斷正確率的圖形數量主效應不顯著，F（2,34）=1.43，p＞0.05。圖形特征的主效應顯著，F（2,34）=17.08，p＜0.001。圖形數量和圖形特征的交互作用不顯著，F（4,68）=0.95，p＞0.05。Bonferroni多重比較后發現，形狀和顏色都不同的正確率顯著高于其他兩種條件，ps＜0.01。形狀不同和顏色不同的正確率差異不顯著，ps＞0.05。

3.2 圖形數量和特征對平均每次注視圖形數量的影響

平均每次注視圖形數量只對回答正確的項目進行分析。以圖片為單位劃分兩個興趣區。根據公式：平均每次注視圖形數=總的注視圖形數/進入興趣區總次數，平均每次注視圖形數量在圖形數量上的主效應不顯著，F（2,34）=3.72，p＞0.05，每張圖片平均每次注視1.65個圖形。圖形特征的主效應顯著，F（2,34）=7.66，p＜0.05。Bonferroni多重比較后發現，形狀和顏色都不同的平均每次注視圖形數量顯著多于形狀不同的條件，ps＜0.05。其他條件在平均每次注視圖形數量上兩兩差異均不顯著，ps＞0.05。圖形數量和圖形特征的交互作用不顯著，F（4,68）=1.49，p＞0.05。

表1 不同圖片在圖形數量和特征上的眼動特征

3.3 圖形數和目標圖形特征對目標注視時間的影響

以兩張圖片中不同的一對目標刺激為單位劃分興趣區，分別為目標1興趣區和目標2興趣區 （以下簡稱目標1和目標2）。興趣區被定義為以目標刺激為中心，邊長為1.2°視角的正方形區域。目標注視時間指目標1和目標2的注視時間之和。目標注視時間上選擇回答正確的項目，且只對目標1和目標2均進行注視的數據進行分析。結果表明目標注視時間在圖形數量上的主效應不顯著，F（2,34）= 0.23，p＞0.05。目標圖形特征的主效應顯著，F（2,34）=4.72，p＜0.05。Bonferroni多重比較后發現，形狀和顏色都不同的目標注視時間顯著少于其他兩種條件，ps＜0.05。形狀不同和顏色不同的目標注視時間差異不顯著，ps＞0.05。圖形數量和目標圖形特征的交互作用不顯著，F（4,68）=0.94，p＞0.05。

4 討論

比較視覺搜索任務包括注視一個或者多個圖形并保存在工作記憶中，引導眼跳使得新圖形進入工作記憶和工作記憶中已有的圖形進行比較。這一搜索、存儲和比較的過程多次重復直到發現不同的兩個目標或者搜索窮盡，然后做出判斷。本研究從工作記憶最小化原則、目標特征加工特點和視覺搜索策略三個方面進行討論。

4.1 工作記憶最小化原則

Pomplun等人 （2001）的比較視覺搜索任務范式要求被試比較由各種顏色和形狀組成的兩張圖片是否不同。研究結果發現兩張圖片間的掃視頻繁，由此推測被試通過不斷地左右掃視而不是增加工作記憶的信息量來完成比較視覺搜索任務。Gajewski和Henderson（2005）在此基礎上對真實場景中的比較視覺搜索任務進行研究，通過計算平均每次注視的圖形數作為工作記憶量的指標，進一步驗證了工作記憶最小化的研究假設。結果發現平均每次注視圖形數量為1.7個圖形。本研究借鑒了Gajewski等人的計算方法，研究結果表明圖形數量的增加不影響判斷的正確率和平均每次注視的圖形數，每張圖片每次平均注視1.65個圖形。結果同樣符合工作記憶最小化模型的假設，表明工作記憶容量和搜索任務有關且是有限的。由于比較視覺搜索任務采用的是邊搜索邊加工的即時策略，使得視覺系統更傾向于表征的最小化。情景識別過程中眼動比將表征保存在工作記憶里更容易，也就是說，眼動比工作記憶更為經濟可行。另一方面有研究表明中央凹視覺區在注視點周圍約1°視角的地方，副中央凹視覺區位于注視點10°視角 （注視點左右各5°視角）的地方，邊緣視覺區是副中央凹區外的所有視覺區域。中央凹處的視敏度最高，隨著與中央凹距離的增大，視敏度顯著降低，提取信息的能力也顯著下降 （Rayner,2012）。本研究材料每個圖形呈1°視角，圖形間隔最小為1°視角，即注視一個圖形時，相鄰圖形可能分布在該注視點的中央凹或副中央凹區域。圖形數增加對相鄰兩個圖形的視野分布影響不大，有可能是造成工作記憶容量沒有顯著差異的原因。研究結果還發現形狀和顏色都不同的平均每次注視圖形數量顯著多于形狀不同的條件，p=0.045。進一步分析后發現，形狀和顏色都不同以及形狀不同的總的注視圖形數和進入興趣區總次數差異均不顯著，p＞0.05。說明目標特征對平均每次注視的圖形數量的影響并不明顯。

4.2 目標特征的加工特點

有人 （Soto,Heinke,Humphreys,&Blanco, 2005;Soto,Humphreys,&Heinke,2006）在其研究中操縱了三種工作記憶表征與視覺搜索刺激之間刺激屬性的匹配條件。結果發現當工作記憶刺激與搜索刺激的顏色與形狀都相同或顏色相同但形狀不同時，兩種條件下眼動指標沒有顯著差異；和形狀相同而顏色不同條件相比，前兩種條件捕獲的首次注視點數更多。說明在工作記憶表征自上而下地引導視覺注意選擇過程中，刺激的顏色屬性比形狀屬性具有更大的優先性。本研究匹配了三種工作記憶表征與視覺搜索刺激之間的條件，結果發現工作記憶刺激與搜索刺激的顏色和形狀都不同的正確率顯著高于顏色不同和形狀不同兩種條件，加工時間則顯著少于其他兩種條件。這表明目標特征影響比較視覺搜索任務的正確率和加工時間，其中目標特征的維度數量比特征性質的影響更大。這一結果驗證了Fournier，Eriksen和Bowd（1998）的實驗結果，即目標特征維度的增加有利于引導注意，從而提高了加工速度。但顏色和形狀在比較視覺搜索任務中的 “顯著程度”是相同的，結果并沒有發現不同維度的刺激具有注意的優先性。說明刺激的特征維度數量與特征性質相比在引導注意上具有優先性。另一方面也說明在需要辨識圖形或者記憶視覺細節的情況下，比較視覺搜索任務仍遵循工作記憶最小化的原則。

4.3 視覺搜索策略

視覺搜索可以分為結構性視覺搜索和非結構性視覺搜索。Pomplun（2001）首次確定了比較視覺搜索任務范式，圖形間用直線連接且規定了從左到右、從上到下的搜索模式，屬于結構性視覺搜索。通常情況下，搜索者會嚴格采用系統搜索策略在結構性視覺條件下進行搜索作業。本研究屬于非結構性視覺搜索任務 （也叫自由視覺搜索），要求被試注視屏幕的中心，當圖片出現時開始搜索并作出判斷。組成圖片的圖形沒有固定的排列格式，且事先不規定搜索路徑。Drury（1978）研究發現在自由視覺搜索任務中，搜索者既可能采取隨機搜索策略，也可能采取系統搜索策略，通常是介于兩者之間。本研究結果發現95.7%的項目被試采用了從左到右、從上到下的系統搜索策略。4.3%的項目被試采用了隨機搜索策略 （如從下到上、從右到左），且多發生在搜索的早期階段。部分被試開始可能使用隨機搜索的策略進行圖片間的比較，當熟悉了搜索任務后，轉為采用系統的搜索方式。多數被試采用從圖片呈現到所有任務結束都采用系統搜索的策略，這可能與搜索習慣有關。

5 結論

本研究結果表明： （1）比較視覺搜索任務中圖形數量的增加并不影響比較視覺搜索策略，被試仍遵循工作記憶最小化原則； （2）不同的圖片中顏色和形狀都不同的目標注視時間最短，顏色不同和形狀不同在目標注視時間上差異不顯著； （3）事先不規定搜索路徑的情況下，被試主要采用系統搜索策略完成比較搜索任務。

張豹,黃賽.(2013).工作記憶表征對視覺注意的引導機制.心理科學進展,21(9),1578－1584.

張豹,黃賽,候秋霞.(2014).工作記憶表征捕獲眼動中的顏色優先性.心理學報,46(1),17－26.

Ballard,D.H.,Hayhoe,M.M.,Pook,P.K.,&Rao,R.P.N. (1997).Deictic codes for the embodiment of cognition.Behavioral and Brain Sciences,20(5),723－767.

Bauhoff,V.,Huff,M.,&Schwan S.(2011).The effect of temporal distance on comparative visual search.Journal of vision,23 (3),1325－1333.

Bauhoff,V.,Huff,M.,&Schwan S.(2012).Distance matters:spatial contiguity effects as trade－off between gaze switches and memory load.Applied Cognitive Psychology,26,863–871.

Drury,C.(1978).Integrating human factors models into statistical quality control.Human Factors,20(5),521－528.

Fournier,L.R.,Eriksen,C.W.,&Bowd,C.(1998).Multiple－feature discrimination fasterthan single－feature discrimination within the same object?Perception&Psychophysics,60(8), 1384－1405.

Gajewski,D.A.,& Henderson,J.M.(2005).Minimal use of working memory in a scene comparison task.Visual Congnition,12(6),979-1002.

Galpin,A.J.,&Underwood,G.(2005).Eye movements during search and detection in comparative visual search.Peception& Psychophsice,67(8),1313-1331.

Hayhoe,M.M.,Bensinger,D.G.,&Ballard,D.H.(1998).Task constraints in visual working memory.Vision Research,38(2), 125-137.

Hollingworth,A.,& Henderson,J.M.(2002).Accurate visual memory for previously attended objects in natural scenes.Journal of Experimental Psychology:Human Perception and Performance,28,113-136.

Irwin,D.E.(1992).Memory for position and identity across eye movements.JournalofExperi mental Psychology:Learning, Memory,and Cognition,18,307-317.

Pomplun,M.,Sichelschmidt,L.,Wagner,K.,Clermont,T.,Rickheit, G.,&Ritter,H.(2001).Comparative visual search:A difference that makes a difference.Cognitive Science,25,3–36.

Rayner,K.,Pollatsek,A.,Ashby.J.,& Clifton,C.J.(Eds.), (2012).Psychology of reading.(pp.9).Taylor& Francis Group:Psychology Press.

Soto,D.,Heinke,D.,Humphreys,G.W.,&Blanco,M.J.(2005). Early,involuntary top-down guidance of attention from working memory.Journal of Experimental Psychology:Human Perception and Performance,31(2),248–261.

Soto,D.,Humphreys,G.W.,&Heinke,D.(2006).Working memory can guide pop-out search.Vision Research,46(6–7), 1010–1018.

Vera,B.,Markus,H.,&Stephan,S.(2015).The influence of expertise on comparative visual search performance.Annals of Leisure Research,7,1-3.

Vera,B.,Markus,H.,&Stephan,S.(2011).Effects of split attention revisited:A new displaytechnologyfortroubleshooting tasks.Computers in Human Behavior,28,1254-1261.

Wang,J.H.,Matthew H.S.,Pavlo D.A.,Chen,C.,&Marc,P. (2016).Is reading impairment associated with enhanced holistic processing in comparative visual search?Dyslexia,22,345-361.

Minimal Use of Working Memory in a Comparative Search for Feature Differences

Su Juan1,2,Bai Xuejun1,Wang Chao3,Yin Guo′en1
(1 Academy of psychology and behavior,Tianjin normal university,Tianjin 300074;2 Institute of Mathematics and Statistics,Inner Mongolia of Finance and Economics University,Hohhot010070;3 Department of Psychology,Neuroscience and Behaviour,McMaster University,Canada)

We manipulated the display size and object identities to investigate whether the comparative search task follows minimal use of working memory and priority for processing features using eye tracking.The number of fixations per scene glance suggested that on average,1.65 objects per fixation were encoded and maintained in visual working memory despite increased display size.Fixation times were shorter for redundant trials than for color-only and shape-only trials,and no difference between color-only and shape-only trials.These results demonstrated that the number of features is of greater attentional priority than feature characteristics.Participants mostly used systematic search strategy to complete the tasks when they were provided no instruction regarding the visual-spatial processing strategy they were to employ.

comparative search task,minimal use of working memory,eye movement.

B842.3

2016-11-14

天津市高等學校心理健康與行為調控創新團隊 （39）、天津市科技計劃項目 （12ZCZDSF07100）和國家自然科學基金項目（81471629）。

陰國恩，E-mail:yinguoen@mail.tjnu.edu.cn。