基于眼動的多目標視覺搜索績效研究

湯洪濤,蘇丹丹，蘭秀菊，柴文超

(浙江工業大學 機械工程學院，浙江 杭州 310014)

基于眼動的多目標視覺搜索績效研究

湯洪濤,蘇丹丹，蘭秀菊，柴文超

(浙江工業大學 機械工程學院，浙江 杭州 310014)

視覺搜索一直是人因工程領域的研究熱點.為了研究在多目標視覺搜索中，目標個數對同時發現多目標現象的影響，設計3組視覺搜索實驗，并在實驗過程中使用眼動儀進行記錄.通過眼動視頻的回放和實驗數據的分析可知：被試傾向于采用隨機搜索策略；頻繁改變搜索策略和注視點變換距離過大影響了被試的搜索過程，導致實驗過程中出現的異常長的搜索時間值；隨目標個數的增多，同時發現兩目標的概率逐漸增加，且目標距離和搜索時間存在一定的相關關系.該研究結果能夠指導實際生產中標準檢測作業或安檢搜索作業的制訂，減少異常時間并提高搜索效率.

多目標；視覺搜索；眼動；同時發現兩目標

視覺搜索是人們獲取信息的一種重要方式，這意味著人需要通過對刺激物的一系列掃視、注視來完成信息處理[1].當前，視覺搜索已經廣泛地應用于工業檢測、安全、閱讀和汽車駕駛等領域[2-3].多目標視覺搜索意味著在一次視覺搜索任務中，需要找出不止一個的目標.視覺搜索的搜索策略主要有系統搜索和隨機搜索兩種.在背景數量遠大于目標數量的前提下，Chan等[4]進行了雙目標的視覺搜索實驗，結果顯示當搜索時間小于30 s時，被試傾向于采用隨機搜索策略，于瑞峰等[5]也證實了Chan等的研究；Hong等[6]研究結果表明：實驗開始時，被試傾向于采取系統搜索策略，而后采用隨機搜索策略；Morawski等[7]認為實際的搜索策略介乎系統搜索和隨機搜索之間.以上的研究對于搜索策略的判斷主要基于數據分析及其與已有模型的匹配性，并不能直觀地了解被試的搜索過程、搜索路徑.

視覺搜索的搜索績效通常通過搜索時間和搜索正確性來衡量.Morawski等[7]發現搜索者幾乎不可能采用完全的隨機或者系統搜索策略，搜索績效也介于隨機和系統策略之間；Chan等開發了VILOMS系統繪制被試的視野形狀，發現實際的形狀不同于先前研究所提出的圓形或橢圓形，并研究視野形狀對搜索時間的影響[8-10]；Courtney等[11-12]的研究證明了視野大小與搜索績效之間的正相關性；楊林棟等發現，高強度、有反饋的視野培訓能夠增大視野面積，顯著提高視覺搜索績效[13]；劉暢等發現安檢環境中的噪音會影響安檢人員的工作效率，語言可懂度對于不同難易程度任務的影響表現出明顯的差異[14].以上的績效研究，主要的分析對象是在搜索時間大于0.7 s，即前、后目標不是同時發現的情況下[15]，各種因素如搜索策略、視野形狀和視野大小等對搜索績效的影響.但是，到目前為止，尚未有學者對多目標視覺搜索過程中，同時發現多個目標的現象及其影響因素進行研究，使得有一定概率存在于現實搜索任務中，如工業檢測和安檢作業等的現象的研究存在不足.湯一平等[16]和丁艷[17]利用視覺傳感器對視覺搜索過程中的運動目標進行捕捉.因此，筆者使用眼動儀記錄被試在視覺搜索過程中的眼動行為，直觀地獲取被試搜索策略；對同時發現多目標的時間數據進行分析，研究其發生的機制及影響因素.

1 實驗方案與設計

為了直觀獲取被試的搜索策略，結合現有的實驗研究基礎和實際情況中可能存在的情況，設計了三個目標個數分別為3，4，5個的視覺搜索實驗，在被試執行搜索任務的過程中使用眼動儀記錄眼動數據；通過實驗軟件本身記錄各個目標的搜索時間，并著重分析小于0.7 s的時間數據，研究同時發現多目標概率及其影響因素.

1.1 被 試

共有30名浙江工業大學的學生參與到本次實驗，其中男生17名，女生13名，占比分別為56.67%和43.33%.年齡22～26歲，平均年齡為23.7歲.

1.2 實驗設備及布置

實驗的搜索區域由Visual Basic軟件開發，能夠模擬實際搜索場景，并能記錄目標出現的形狀和位置，被試的搜索時間，被試的判斷數據.實驗中所使用的顯示器為Ben FP222W，參數為1 680×1 050的顯示器.本實驗利用Tobii glasses 2眼動儀記錄被試的眼動數據.

被試坐在眼睛距離屏幕約600 mm的座椅上，眼睛與屏幕的垂直角度約為5°～10°.

1.3 實驗搜索區域

搜索區域長寬為110 mm×74 mm(在1 680×1 050分辨率的屏幕上顯示)，目標及背景的尺寸均為2 mm×2 mm.實驗1中，每個搜索區域含有3個目標；實驗2中，每個搜索區域含有4個目標；實驗3中，每個搜索區域含有5個目標.目標為“>”或“<”，已有實驗證明，這兩種目標的搜索難度無顯著差異[5]，目標的種類和出現的位置由隨機數發生器控制，隨機出現在搜索區域，但不會處于區域邊緣，以免出現異常長的搜索時間.搜索區域中央的符號“+”用來幫助被試判斷目標所在的區域是“左上”、“右上”、“左下”還是“右下”.圖1為本實驗搜索區域的一個示例.

圖1 實驗搜索區域示例Fig.1 Example of search area

1.4 實驗流程

1) 被試填寫個人信息表，包括姓名、年齡和性別等信息.

2) 主試向被試說明實驗目的，介紹實驗流程，并解答被試疑問.

在實驗開始前，被試需注視屏幕中央“+”號.點擊“開始實驗”按鈕后，屏幕上會出現搜索界面，被試要求以最快的速度找出目標.當找到第一個目標后，立即點擊搜索界面右側的“找到目標”按鈕，在彈出的界面中，判斷找到的目標位置和形狀，然后點擊“繼續搜索”按鈕，則會返回原來的搜索界面，被試需要繼續尋找下一個目標，重復上述過程，直到找到實驗要求的所有目標為止.

3) 被試進行練習操作5～10 min，直到習慣操作流程.

4) 被試帶上眼動儀，并進行瞳孔校準.

5) 按照次序正式開始實驗1、實驗2和實驗3.

6) 實驗結束.

2 實驗結果與討論

2.1 視覺搜索策略研究

從眼動儀記錄的眼動視頻來看，被試采用的視覺搜索策略為隨機搜索策略和系統搜索策略，隨機搜索策略和系統搜索策略示例如圖2，3所示.

圖2 隨機搜索策略Fig.2 Random search strategy

圖3 系統搜索策略Fig.3 System strategy

此外，對被試進行單個多目標搜索任務的眼動視頻進行分析可知，視覺搜索策略會隨著當前的任務進度而改變，例如，當被試搜索第1個目標時，傾向于采用系統策略，對于下1個目標的搜索，會基于當前目標所在位置采用隨機策略繼續搜索.這個實驗結果同Hong和Drury的實驗結論基本一致[20].

2.2 視覺搜索績效研究

先對視覺搜索實驗中的搜索時間進行統計，分析造成搜索時間異常長的影響因素后，重點分析同時發現多目標的概率及其影響因素.

2.2.1 搜索時間統計

當被試對同一個搜索區域頁面當中所有目標(分別為3，4，5個)的類型和位置的判斷都正確的情況下，才認為搜索結果是正確的，否則就是錯誤的不計入統計.在30個參試者每個人10個搜索區域頁面，實驗1中有3個目標，一共300組數據(每組搜索數據3個搜索時間)，有279個是正確的，正確率為93%；實驗2中有4個目標，一共300組數據(每組搜索數據4個搜索時間)，有279個是正確的，正確率為93%；實驗3中有5個目標，一共300組數據(每組搜索數據5個搜索時間)，有293個是正確的，正確率為97.7%.各個實驗搜索時間的統計結果如表1所示.

表1 各個實驗搜索時間

從表1中3個實驗發現有兩個共同的現象：發現1，最后1個目標最長，且顯著大于倒數第2個目標，即搜索最后1個目標的時間異常地長；發現2，第1個目標的搜索時間較長，大于第2個甚至第3個目標，第2個目標的搜索時間最短，后續目標的搜索時間在第2個目標的時間基礎上遞增.

2.2.2 異常時間分析

對于發現1，存在某些異常長的搜索時間，特別是每個實驗中，最后一個目標的搜索時間.這些異常時間，影響了整個視覺搜索任務的效率.對3個實驗中，最后一個目標的搜索時間超過30 s的情況進行統計，結果如表2所示.

表2 異常長搜索時間匯總表

通過查看產生上述搜索時間所在實驗的眼動視頻，發現以下幾點共同的現象：

1) 被試傾向于以上一個目標所在位置為起點，繼續搜索下一個目標.

2) 被試已被告知目標可能出現在搜索區域的任何位置，其還是傾向于在沒有出現過目標的區域進行搜索.

3) 被試搜索過程中注視點跳躍性大，時常出現注視點在對角的象限來回跳躍的情況.

4) 搜索策略的改變較為頻繁，時而系統策略搜索，時而隨機策略搜索.

5) 在搜索無果的情況下，不是對整個搜索區域進行排查，而是反復查看邊緣位置是否存在目標.

對上述5種現象進行分析，結合Chan等對造成異常長搜索時間的原因分析，如被試視野的不規則邊緣，不適當的視野區域重疊，不適當的眼跳距離[4]；認為能對搜索時間產生較大影響的因素是，搜索策略的頻繁改變和注視點變換距離過大.

上述影響因素的分析，可以作為其他視覺搜索實驗的設計和實施過程的參考，減少實驗中異常值的存在，以獲得更多的有效數據.

2.2.3 同時發現多目標

由前人的實驗可知：一次眼動的凝視時間約為0.3 s[20]，反應時間為0.4 s，若目標的搜索時間小于0.7 s(凝視時間加上反應時間)，有理由認為被試在搜索第1個目標的時候，已經看到了第2個目標，或眼睛已經停留在第2個目標上或其所在位置的附近.

如果在同一個搜索界面中，有1個目標的搜索時間小于0.7 s，則可認為被試“同時發現兩目標”，若有連續的兩個目標搜索時間小于0.7 s，則可認為被試“同時發現多目標”.

對于發現2中，第1個目標搜索時間較長的情況，類似于文獻[20，4]的實驗結果，原因可能是無論從哪個位置開始，其尋找范圍為整個搜索區域.

對同時發現2目標和同時發現多目標的數據進行統計，分析數據規律并對造成該規律的原因進行研究.

1) 概率統計

由表1可知，第2個目標的平均搜索時間最短，最小值分別為0.18，0.18，0.19.對不同個數下各目標搜索時間內，同時發現兩目標和同時發現多目標的時間個數進行統計，得出結果如表3，4所示.

表3 同時發現兩目標的時間個數

由表3可知：隨著目標個數的增多，同時發現2個目標的概率增大.就單個目標而言，搜索第1個目標時同時發現第2個目標的概率從14.34%和25.09%增加到32.42%，搜索第2個目標時同時發現第3個目標的概率從12.19%和13.26%增加到18.77%.

就前3個目標的整體搜索過程而言，目標個數分別為3，4，5時，同時發現兩目標概率從26.53%，28.35%增加到51.19%，如圖4所示.對于4，5個目標的實驗，同時發現2目標的概率，在搜索第2個目標時達到最大，搜索后續目標時驟減到某一個值，并穩定或呈緩慢上升的趨勢，如圖5，6所示.

圖4 不同目標個數下同時發現兩目標的概率Fig.4 The probability of find two targets simultaneously in different number of targets

圖5 4目標條件下同時發現兩目標比例Fig.5 The probability of find two targets simultaneously in four targets

圖6 5目標條件下同時發現兩目標比例Fig.6 The probability of find two targets simultaneously in five targets

對于第2個目標的搜索時間小于第1個目標的原因，工作記憶的角色可以解釋[18].Chan和Courtney認為，被試在搜索第1個目標時，同時看到了第2個目標，即第2個目標落在視野范圍內，或者目光停留在第2個目標上或附近[4].

對于搜索第2個目標時同時發現第3個目標的概率下降的現象，有以下2個原因：搜索策略的轉變和目標間距離的變化.

2) 搜索策略轉變

從眼動視頻來看，被試在使用幾次隨機搜索策略后，會轉變成系統策略，按照從上到下，從左到右的方向繼續搜索，直到找到目標為止.

當目標個數從3個逐步增加到5個時，被試搜索最后1個目標的平均時間逐漸增大，推測可能是因為被試在搜索過程進行一段時間后，不能直接判斷當前所看到的目標是否已經搜索過，需要花費時間進行回憶和思考，導致所謂有效搜索面積減少的優勢也不復存在.因此，搜索策略的轉變造成了同時發現多目標概率的下降.

3) 目標間距離的變化

目標個數越多，對應的目標間的平均距離下降，同時發現2個目標及多個目標的概率越大，故對3個實驗中的目標間距離與搜索時間進行相關性分析，結果分別如表5，6所示.

表5 目標距離和搜索時間的相關分析1

Table 5 Relationship analyze of targets’distance and search time

參數目標個數3個4個5個合計R0．2690．2590．1340．184P0．0300．0020．0280．000

P表示因素對試驗結果無影響的顯著概率.由表5可知：P值均小于0.05，說明同時發現兩目標的情況下，目標距離和搜索時間的關系具有統計意義上的顯著性，相關系數R值分別為0.269，0.259和0.134，均小于0.3，說明目標距離和搜索時間存在弱相關關系.

表6 目標距離和搜索時間的相關分析2

Table 6 Relationship analyze of targets’distance and search time

參數目標個數3個4個合計R0．2690．5070．315P0．0140．0070．001

由表6可知：P值均小于0.05，說明同時發現3目標的情況下，目標距離和搜索時間的關系具有統計意義上的顯著性；相關系數R值分別為0.269和0.507，目標距離和搜索時間存在弱相關關系；同時發現4目標時，目標距離和搜索時間存在中等強度的相關關系.

綜上可知：在同時發現2目標和同時發現多個目標，距離和搜索時間的關系均具有統計意義上的顯著性,且同時發現多目標比同時發現2目標受距離的相關性更強.

3 結 論

本研究結合眼動設備記錄了被試在視覺搜索過程中的眼動特征，直觀獲得了被試的視覺搜索策略；對搜集到時間數據進行處理，著重分析了同時發現多目標的概率和原因，結果表明：在多目標視覺搜索過程中，被試采取的搜索策略為隨機搜索策略，與前人通過數學模型推導出的搜索策略相一致；在多目標視覺搜索過程中，造成異常長的搜索時間的原因主要有頻繁改變搜索策略和注視點變換距離過大；在多目標視覺搜索過程中，同時發現兩目標的概率隨著目標個數的增多而增大，同時發現兩個以上目標的概率與目標個數無顯著關系；目標距離和搜索時間存在統計意義上的顯著關系，即目標間距離越近，目標被同時發現的概率越大.

[1] REN Y T, HAN Y C, SUI X. The saccades and its mechanism in the process of visual search[J]. Advanced rsychology，2006，14(3)：340-345.

[2] SCHOONARD J W, GOULD J D, MILLER L A. Studies of visual inspection[J]. Ergonomics，1973，16(4)：356-379.

[3] DRURY C G. Exploring search strategies in aircraft inspection[M]. London: Taylor and Francis Ltd.,1990.

[4] CHAN A H S, YU R F. Validating the random search model for two targets of different difficulty[J]. Perceptual and motor skills，2010，110(1)：167-180.

[5] 于瑞峰，孔哲昕.多目標隨機視覺搜索的目標獨立性及模型研究[J].工業工程與管理，2013，18(3)：113-116.

[6] HONG S K, DRURY C G. Sensitivity and validity of visual search models for multiple targets[J]. Theoretical issues in ergonomic science,2002,3(1):85-110.

[7] MORAWSKI T B, DRURY C G, KARWAN M H. Predicting search performance for multiple targets[J]. Human factors，1980，22(6)：707-719.

[8] CHAN A H S, SO D K T. Measurement and quantification of visual lobe shape characteristics[J]. International journal of industrial ergonomics,2006,36:541-552.

[9] CHAN A H S, TANG N Y W. Visual lobe shape and search performance for targets of different difficulty[J]. Ergonomics，2006，50(2)：289-318.

[10] CHAN A H S, SO D K T. Shape characteristics of useful field of view and visual search time[J]. Travail human，2007，70(4)：343-367.

[11] COURTNEY A J, CHAN H S. Visual lobe area for single targets on a competing homogenous background[J]. Human factors，1985，27:643-652.

[12] GALLWEY T J. Lobe size curves for several targets and their effect on visual search time[J]. International journal of

industrial ergonomics，2009，39：601-607.

[13] 楊林棟，劉厚，于瑞峰.視野培訓對視覺搜索績效的影響[J].工業工程，2014，17(3)：108-113.

[14] 劉暢，鄔歆，于瑞峰.語音噪聲環境下的視覺搜索績效研究[J].工業工程與管理，2014，19(5)：134-139.

[15] 孔哲昕.多目標隨機視覺搜索的目標獨立性及模型研究[D].北京：清華大學，2010.

[16] 湯一平，嚴海東.非約束環境下人臉識別技術的研究[J].浙江工業大學學報，2010，38(2)：155-161.

[17] 丁艷.基于全方位視覺的多目標檢測跟蹤[D].杭州：浙江工業大學，2007.

[18] 于瑞峰，孔哲昕.視覺搜索策略研究綜述[J].人類工效學，2012，18(2)：93-95.

[19] LIU Z, XU Z, ZHOU Q, XIE F, ZHOU S. A study of multi-target visual search by eye movement Behavior[C]// Lecture Notes in Computer Science. LA, United State: Harris,2015.

[20] CHAN A H S, COURTNEY A J. Inter-relationship between visual lobe dimensions, search time and eye movement parameters for a competition search task[J]. The annals of physiological anthropology，1993，12：219-227.

(責任編輯：劉 巖)

Study on performance of multi-targets visual search based on eye movement

TANG Hongtao, SU Dandan, LAN Xiuju, CHAI Wenchao

(College of Mechanical Engineering, Zhejiang University of Technology, Hangzhou 310014, China)

Visual search is always hot research field of human factors. In order to discuss target number’s influence on find target simultaneously(FTS), three experiments were designed, and eye track system is used for recording in the meantime. Through analysis of the playback of video data of eye movement and experiment data, the participant tends to adopt random search strategy; frequently changing search strategies and non-optimum overlap distance of fixation point impact the search process, are reasons for the extremely long search time; the probability of FTS is increasing with increasing number of targets, the relationship of target distance and search time is also found.

multi-targets; visual search; eye movement; find two targets simultaneously

2016-03-08

湯洪濤(1976—)，男，湖北十堰人，副教授，研究方向為系統建模與仿真及人因工程等，E-mail:tanght@zjut.edu.cn.

TB18

A

1006-4303(2017)01-0108-06