基于圖片顯著性的安檢視覺搜索研究

劉 西，汪鴻志

(1.重慶理工大學 車輛工程學院， 重慶 400054; 2.重慶金康新能源汽車設計院有限公司，重慶 400000)

安檢是一項特殊的視覺搜索任務，安檢人員通過搜索X光行李圖片確定行李中是否有違禁品，即從某一刺激背景中尋找特定刺激，具有很強的目的性。安檢是公共交通系統安全保障工作的最后一道防線，其中的視覺搜索問題是認知心理學和人因學的重要研究內容。Wolfe等[1]在模擬的X光行李檢查任務中發現：當事件率降低時，檢出錯誤率會大幅增加。Bravo等[2]發現在密集混亂的背景下，對復雜目標物的搜索效率低于簡單目標物，自下而上的組織加工過程很難將復雜物體組織成單一對象加以識別。McCarley等[3]通過模擬訓練安檢人員的實驗發現，練習可使掃描變得更有效率，但并沒有更有效，由此得出安檢訓練中應注重目標識別而不是掃描技能和搜索策略的結論。Schwaninger等[4]對安檢人員培訓進行研究，發現視角、行李的復雜度和行李內物品的重疊度都影響檢出率。田益凡[5]研究了個體因素與危險品出現概率對X光安檢績效產生的影響，發現時間壓力、圖片難度和危險品類型對視覺搜索績效有顯著影響。靳慧斌等[6]通過比較新老安檢人員在安檢模擬實驗中眼動數據的差異，認為有經驗的安檢員傾向于系統搜索，而新手安檢員傾向于隨機搜索。以上研究中，國內外學者從事件率、圖片復雜度、培訓、新老安檢員眼動數據比較等方面對安檢視覺搜索績效進行了分析，但對X光圖片特征與眼動之間的關系關注較少。

人類的視覺系統具有很強的動態選擇性，能夠很容易地注意到圖像中的顯著性區域。視覺顯著性是一個相對的概念，最早也是最具代表性的顯著性模型由Itti和Koch[7]在“預注意特征”的特征圖模型[8]和特征整合原理[9]的計算體系基礎上提出，利用WTA(winner-takes-all)和IOR(inhibition of return)來掃描視覺信號生成動態注視點。自下而上的模型將圖片分解為顏色、亮度和方向3個低層次屬性，在每個屬性上生成顯著圖；自下而上的模型則能復制某些經典的人類視覺搜索實驗和完全真實的搜索任務[7]。Davice等[10]通過研究發現：在航空照片的識別任務中，專家的注意相比新手的注意與圖片視覺顯著性更相關。Underwood等[11]通過眼動研究發現，在執行審視道路圖片決定是否過交叉路口的任務時，圖片的顯著性與搜索過程的早期注視點相關，即顯著性能吸引早期的注視和注意。也有很多研究結果表明：視覺顯著性模型并不能預測注視點的位置。例如：Chen等[12]發現現實世界中搜索真實物體時，注意和注視點主要是由自上而下的機制導向的；Itti和Koch[7]也認為其模型有局限性，認為搜索的早期階段，自上而下因素起作用之前此模型描述注意和注視點的轉移是最有用的。相對于任務驅動的自上而下的注意機制受先驗知識和任務目標的影響[13-14]，自下而上的注意機制不受任務性質和觀察者目的性的限制，研究工作更可控，也更具有普適性。本文從自下而上的注意機制出發，利用Tobii 眼動儀記錄安檢模擬實驗過程中有經驗的安檢員和新手安檢員的眼動行為，應用Itti和Koch的生物啟發式計算模型生成仿真的動態注視點序列，結合新老安檢員的搜索績效，將人類與仿真程序對視覺刺激的響應進行分析比較，研究X光圖片視覺顯著性與注視點位置的相關性，探討X光行李檢查任務中的視覺注意加工驅動機制，為培訓提供新方向和參考。

1 實驗設計

1.1 實驗被試

8名在校大學生作為新手安檢員和8名機場安檢人員參加了本次實驗，其視力或矯正視力正常。

1.2 實驗材料

選取30張機場X光行李圖片，其中15張圖片中有危險品，15張圖片中沒有危險品。有危險品的圖片中有且只有1個危險品：刀、槍或者簡易爆炸裝置(improvised explosive devices，IED)。

1.3 實驗過程

實驗開始前，向8名新手安檢員介紹IED的組成：起爆器、炸藥、電線和電源。30張圖片被隨機地顯示在顯示器上，被試的任務是在圖片中搜索危險品并指出其位置。 被試者采用“1-肯定沒有危險品”到“5-肯定有危險品”的5點量表評估自己的判斷。除了選1和2，其他判斷均需指出危險品在圖片中的位置。實驗過程中，每顯示1張圖片，被試者進行搜索并判斷，結束后按鍵盤上任意鍵切換到下一張圖片，直到30張圖片判斷結束。實驗過程中，Tobii眼動儀記錄眼動數據，被試者的判斷結果和位置由主試記錄。

2 數據分析

2.1 判斷績效

判斷數據通過受試者工作特性方法(ROC)進行分析。ROC方法不受不同判斷標準的限制，以假陽性率(false positive rate)為橫軸、真陽性率(true positive rate)為縱軸組成的坐標圖繪制曲線，ROC曲線越靠近左上角,實驗的準確性越高。ROC曲線下的面積AZ值越大，判斷正確率越高。表1是16名被試判斷值的AZ值。t檢驗顯示，安檢人員的判斷績效好于新手，t=3.77,df=14,p<0.01。

表1 新手和安檢人員的AZ值

2.2 眼動數據分析

為了分析被試者是如何發現和漏掉目標的，圖片中的危險品被定義為興趣區域，并對首次進入興趣區域的時間和興趣區域的注視時間2個相關變量進行分析計算。如表2所示，安檢人員首次進入興趣區域的時間和興趣區域的注視時間少于新手安檢人員。其中，對于首次進入IED興趣區域的時間和在IED興趣區域的注視時間，安檢人員均少于新手安檢人員：t=3.867,df=14,p<0.01和t=2.625,df=14,p<0.05，說明安檢人員相比新手能更快地定位危險品，且加工效率更高。

表2 安檢人員和新手的部分眼動數據統計

3 X光圖片顯著度與注視點位置的關系

3.1 安檢員和新手的初始視覺選擇性注意的對比

以上分析說明安檢人員比新手能更快、更準確地搜索危險品，無論是檢出率還是眼動數據都證明了這一點。安檢人員能更快地注視到目標區域，尤其對IED的搜索更為明顯。為判斷在搜索的最初階段安檢人員和新手注意X光行李圖片的位置是否有差異，利用相應的顯著特征圖得到安檢人員和新手的第1個注視點的顯著值，進而比較二者之間在初始注視點的顯著度是否有差異。如果新手第一個注視點的顯著值高于安檢人員，說明新手比安檢員在初始注視時更傾向于被顯著的區域所吸引，即新手在搜索圖片時最初檢視是由圖片特征驅動的，而安檢員是由其他因素驅動的。反之亦然。

本文利用Itti和Koch’s等的Saliency模型生成顯著特征圖。圖1是1幅X光行李圖片以及它所對應的顯著特征圖，圖中白色的區域代表相對高的顯著值。工具箱“SaliencyToolbox”采用最大歸一化“max-normalize”方法，這種方法使圖片的差異最大化，從而不能得到圖片真實的顯著值。由于研究需要，本文將顯著值歸一化處理，即顯著值在0～255范圍取值，然后將顏色、亮度和方向3個特征關注圖線性融合生成顯著性特征圖。

應用修正過的“SaliencyToolbox”得到30幅彩色X光行李圖片的視覺顯著性特征圖，同時提取對應的每個被試者第1個注視點的平均顯著值。安檢人員和新手第1個注視點的平均顯著值分別為137和140，差異不顯著，t(14)<1。這說明安檢人員和新手的初始注視點的顯著性特征沒有差異。

圖1 X光行李圖片和對應的顯著性圖

3.2 安檢員和新手的總體視覺選擇性注意對比

為了探尋安檢員和新手的總體注意分配是否存在差異，比較安檢員和新手的注視點落在顯著性特征圖中顯著值最高區域的數量。如果安檢員的注視點落在顯著值最高區域的數量比新手多，說明安檢員的注意分配比新手更傾向于由圖片特征引導；如果二者沒有差異，說明安檢員和新手的總體視覺注意分配在由顯著性所表達的圖片特征這一點上沒有差異；否則，新手的注意分配比安檢員更傾向于由圖片特征引導。

同樣，應用Itti等的顯著性模型產生X光行李圖片的顯著性特征圖，顯著值相對大的區域用白色表示。對于該研究，真實的顯著值不重要，僅需要得到觀察者在顯著區域的注視點數量。因此，在工具箱中采用“最大歸一化”的方法，使得局部差異最大化，得到最顯著區域的注視點數量。用最大歸一化的方法得到的顯著性圖見圖2。分別計算30幅X光行李圖片安檢員和新手在最顯著區域的注視點數量。通過統計分析發現，二者之間沒有差異，t<1；顯著區域的注視時間也沒有差異，t<1。說明安檢員和新手的整體選擇性注意沒有差異。

圖2 X光行李圖片和應用最大歸一化得到的顯著性圖

基于圖片的顯著性特征，通過比較安檢員和新手首注視點的顯著性值和二者落在顯著區域的注視點數量、注視時間，發現安檢員和新手的初始和整體選擇性注意沒有差異。這說明對X光行李圖片，安檢員和新手在選擇性注意方面是相似的，即安檢員和新手有相似的注意偏好。

3.3 初始注視點及注視點分布和圖片顯著性特征的關系

關于第1個注視點是否由圖片特征決定需進一步驗證。根據該顯著性模型的原理，圖片的視覺顯著值預測著注視點的位置(注意分配)。比較隨機點和第1個注視點的顯著值，如果二者沒有差異，說明初始注意分配并不由圖片特征決定；如果第1個注視點的顯著值比隨機點的顯著值大或者小，說明初始注意分配由圖片特征決定。

同樣，應用Itti顯著性工具箱提取首注視點和隨機點的顯著性值，分別比較安檢員和新手首注視點與隨機點的顯著值。采用t檢驗分析二者的差異，結果顯示安檢員和新手首注視點的顯著值均大于隨機點，分別為t=14.62，df=58，p<0.001和t=8.39，df=58，p<0.001。

為了探討人的注視點和顯著性特征圖之間是否存在相關性，編程生成與人的注視點相同數量的隨機注視點(見圖4)，然后比較顯著區域內人的注視點和隨機注視點的數量。如果顯著區域內人注視點的數量比隨機注視點多，說明人更傾向于注意顯著區域，即在X光行李圖片視覺搜索的過程中自下而上的注意機制起很大作用；如果二者沒有差異，說明人對顯著區域的注意不比隨機性高，即在X光行李圖片視覺搜索的過程中自下而上的注意機制作用不大。

圖3 X光行李圖片和對應的有安檢員注視點(綠色)、相同數量隨機點(黃色)覆蓋的顯著圖

首先統計每個被試者對應每幅圖的注視點數量，然后在每幅圖片上隨機生成相同數量的隨機點，共對應480幅圖片生成隨機點。通過統計分析發現，顯著區域注視點的數量比隨機注視點多，其中安檢員注視點比隨機注視點多：t=4.42，df=58，p<0.001；新手注視點比隨機注視點多：t=2.67，df=58，p=0.01。

安檢員和新手更注意顯著性區域，說明驅動注視點的選擇性注意與刺激物特征有很大的相關性，這與自然觀察任務[15]和圖片中搜索人物任務[16]的結果一致,說明顯著性模型在一定程度上能預測X光行李圖片視覺搜索過程中人類注視點的位置。

4 結束語

本文研究表明，安檢員和新手的初始與整體選擇性注意沒有差異，經驗不是影響注意分配的主要原因。機場X光行李圖片檢查是一項自上而下、認知因素占很大比例的主動搜索任務，由于僅使用相關性技術方法(即注意與刺激物特征相關)不能建立顯著性地圖和注視點位置之間的因果關系，故而不能推斷該任務是刺激物驅動機制在引導注意。顯著性區域能有效降低物體識別匹配的復雜度，提高從各種視角識別物體的可靠性[17]。如果將X光行李圖片的顯著性區域通過某種手段顯示出來，既與人們所期望的前注意信息一致，又能幫助安檢員消除混亂背景的復雜度、改善目標探測和識別對象分割，即通過反饋顯著性區域的方法提醒觀察者重視這些區域，那么從理論上能提高檢出率。

顯著性區域僅限于自下而上的、刺激物驅動的注意，與任務目的無關。諸如物體搜索或識別這樣的主動任務，自上而下的視覺注意(即認知因素)是非常重要的因素[16,18]。認知性知識對注意的影響將是下一步研究工作的重點。