一種基于學習及視覺感知啟發的目標分類方法

李娜, 趙歆波, 楊勇佳, 鄒曉春

1.西北工業大學 計算機學院, 陜西 西安 710029; 2.西北工業大學 電子信息學院, 陜西 西安 710029

目標分類是計算機視覺領域中非常重要的研究方向之一，是目標分割，目標跟蹤與行為分析等諸多復雜計算機視覺問題的基礎，已廣泛應用于交通、安防、醫療等領域。計算機自動目標分類技術在一定程度上可以減少人工分類的勞動強度，改變人類的生活方式，但目前計算機自動目標分類技術的應用還受其分類精度的限制。人類擁有強大的目標分類能力，當人在區分不同目標時，先通過視覺通路篩選出自己感興趣的區域，然后由神經系統做出正確判斷，得出分類結果。如果計算機能模擬人類的這種能力，計算機自動目標分類技術將會與人類分類行為更相近，分類結果更準確。

可計算視覺注意力模型，是利用計算機技術實現的視覺認知模型，即利用視覺搜索中的多種信息，由計算機實現人類視覺注意力顯著對象預測的技術。近年來，該領域涌現出多種基于不同技術且效果優良的視覺注意力模型。例如，基于自底向上特征整合的Itti[1]模型，基于神經響應去相關的AWS[2]模型，基于概率公式的SUN[3]模型，基于貝葉斯網絡結構的Torralba[4]模型，基于圖論的GBVS[5]模型等。此外，機器學習的方法也已應用于構建視覺顯著模型當中，Kch?lkopf等人[6]及Judd等人[7]分別利用圖像塊和從每個像素點得到的特征向量來得到顯著區域。但是，現有的大部分視覺注意力模型大多根據觀察者的“自由觀察”，并未涉及諸如目標分類之類的技術。

關于目標分類，傳統的方法有基于外觀的分類方法[8-9]、基于特征的分類方法[10-11]，類似于CAD的物體模型[12]、遺傳算法等[13]。這些傳統的方法在一些領域表現優良，但并不適用于多類目標分類。20世紀60年代，Hubel等人[14]在研究貓腦皮層時發現，用于局部敏感和方向選擇的神經元，可以有效降低反饋神經網絡的復雜性，并受到這種獨特網絡結構的啟發，提出了卷積神經網絡(convolutional neural networks，CNN)。如今，CNN已成為眾多科學領域的研究熱點，特別是在模式分類領域，其分類能力已由Krizhevsky等人[15]在包含幾百種類別共計百萬張圖片的數據庫ImageNet上得已檢驗。 雖然CNN的機理類似于人類神經網絡，但是傳統的CNN忽視了人類視覺系統在分類前對信息篩選的重要作用。因此，如果能將CNN與視覺注意力模型相結合，將會更接近人類行為，其分類能力也會有所提高。

人類的視覺分類行為是一個視覺通絡與神經系統相結合的過程。本文試圖通過對人類信息處理機制及人類神經網絡的仿真，將視覺注意力模型與CNN相結合，提出一種具有生物學優勢的目標分類新方法。其具體工作：①建立一個眼動數據庫EDOC(eye-tracking database for objects classification)，用于記錄觀察者在分類時的注視點數據，分析并學習人類分類時的視覺行為；②基于EDOC數據庫，引入真實眼動數據作為監督值，建立基于有監督學習的視覺注意力模型，以實現人類視覺信息處理機制的仿真；③建立更適合目標分類任務的卷積神經網絡，以實現人類神經網絡處理過程的仿真。

通過對人類視覺目標分類過程的仿真，結果與傳統分類方法相比，本文所提出的目標分類方法，在分類過程上與人類分類行為更相近。實驗表明，本文提出的視覺注意力模型可以更準確地預測人在分類時感興趣區域，并與本文建立的CNN網絡相結合，可顯著提高目標分類的準確度及收斂速度。

1 算法描述

本文提出的目標分類方法，結合了對人類視覺信息處理機制的仿真與對人類神經網絡的仿真，其算法流程如圖1所示。

圖1 算法流程圖

在對人類視覺信息處理機制的仿真過程中，本文首先建立了一個眼動數據庫EDOC，記錄觀察者在分類時的注視點數據。然后在EDOC數據庫里，隨機挑選訓練圖像集，對其進行顯著視覺特征提取，經過支持向量機(SVM)訓練，同時引入真實眼動數據作為基準圖像，建立了基于有監督學習的視覺注意力模型，能預測出人在進行目標分類的視覺顯著圖。

在人類神經網絡仿真過程中，本文首先將視覺注意力模型預測出的視覺顯著圖前60%的顯著區域，作為人類分類的感興趣區域；然后設計了適合目標分類任務的卷積神經網絡，以隨機挑選感興趣區域圖片得到訓練集，利用卷積神經網絡對其進行特征提取，經過SVM訓練，得到最終目標分類結果。

2 建立EDOC數據庫

由于現有的大部分眼動數據庫在建立時，觀察者是“自由觀察”的，并沒有在目標分類任務下，因此，為研究一般人在做目標分類時的視覺行為，本文建立了數據庫EDOC(如圖2所示)。該數據庫包含6類目標的彩色圖像以及受試者觀察這些目標的眼動數據。6類目標分別是飛機、自行車、汽車、狗、人和白貓，每類目標各包含50張樣本，共計300張且均帶有類別標簽。圖像尺寸由600×700至800×500不等。

圖2 EDOC數據庫的示例

本文使用Tobii TX300眼動儀記錄眼動數據。眼動數據采集對象共10人，年齡12歲至40歲，男女各5人。實驗中，每幅圖展示5 s，讓受試者觀察的同時對他們發出區分這6類目標的指令。為保證實驗記錄數據的準確性，每隔10幅圖后均會進行自動校準。根據實驗記錄的數據分析得出，受試者在最初觀察圖像的1 s里很可能只是在自由觀察，并未執行分類任務，所以本文舍棄了受試者前1 s的眼動數據，記錄下來的眼動數據(見圖3b))用來訓練視覺顯著模型。而熱圖(見圖3c))可以反映出受試者在分類時的感興趣區域，分割出的感興趣區域用來做目標分類。統計所有受試者的注視點數據并經過高斯濾波(參數標準差為2)得到基準圖像(ground truth,GT)(見圖3d))，用作測試顯著模型的性能。

圖3 眼動數據采集與處理

3 基于學習的視覺注意力模型

視覺注意力是幫助人類從無標注場景進行視覺感知的一個重要屬性，人類可以迅速從外界輸入的大量視覺信息中判斷出感興趣信息，使之優先得到大腦神經的處理。為模擬人類的視覺注意機制，可通過計算的方法建立模型，即建立視覺注意力模型。為獲得圖像特征與視覺注意力之間的變換關系，本文首先對EDOC數據庫里的圖像提取特征，并將得到的特征與注視點數據相映射，得到適用于分類任務的視覺顯著模型，利用該模型預測人在分類時的顯著圖，進而得到與人類分類行為相近的感興趣區域，以作下一步分類。

3.1 顯著視覺特征提取

為提高視覺注意力模型的性能，本文將低層特征與高層特征相結合，通過反復實驗和結果比較，剔除了場景圖像中與任務不相關的特征后，選取了特征集F={f1,f2,…,f35}，其中包括31個低層特征及4個高級特征。

3.1.1 低層特征

1) 用金字塔濾波器對三尺度的多分辨率亮度圖像進行四方向濾波，得到13個亮度特征(如圖4前13幅圖所示)。

2) 用ITTI[9]模型計算得到顏色、強度、方向3個特征 (如圖4第14～16幅圖所示)。

3) 利用加入了語境特征的Torralba[11]模型，基于圖論的GBVS模型及采用了Lab色彩空間和去相關特征圖的AWS模型計算顯著圖，得到3個模型特征(如圖4第17～19幅圖所示)。

4) 計算紅、綠、藍三顏色通道值及概率值，分別得到3個色度特征及3個色度概率特征(如圖4第20～25幅圖所示)。

5) 用中值濾波器對六尺度的彩色圖像進行濾波，并計算三維色度直方圖，得到5個色度直方圖特征(如圖4第26～30幅圖所示)。

6) 參照攝影師在構圖和平衡畫面時會用到水平線特征，故選取水平線作為最后一個低層特征 (如圖4第31幅圖所示)。

3.1.2 高層特征

在實驗中，我們發現因存在先驗知識的原因，人類對人、人臉及車等各類體征會給予更多關注。因此，本文選取人臉檢測器跟人，汽車檢測器的檢測結果作為高級特征 (如圖4第32～35幅圖所示)。

圖4 特征圖

3.2 訓練過程

在統計學習理論中發展起來的支持向量機(support vector machines,SVM)方法是一種通用學習方法，其在非線性分類、函數逼近、模式識別等應用中有非常好的推廣能力，可以有效地解決有限樣本條件下的高維數據模型構建問題，并具有泛化能力強、收斂到全局最優、維數不敏感等優點。因此，本文利用SVM理論，得到圖像特征與視覺注意力之間的變換關系，將提取的特征集F映射到視覺注意力空間，訓練得到每個特征與視覺注意力之間的關系，并利用該映射關系生成視覺顯著圖，進而得出人類在分類時的感興趣區域。

訓練過程中，取樣本集S?T,T為基準圖像的訓練集。樣本s∈S。令

設P為基準圖像的像素集，P={p1,p2,…,pN},N為基準圖像中像素的個數。O(pi)表示像素的顯著度,i=1,2,…,N。對像素集P進行排序得到有序集合Po={po1,po2,…,poN}，其中O(po1)≥O(po2)≥…≥O(poN)。在利用SVM模型進行訓練時，我們選擇Sp?S作為正樣本，Sn?S作為負樣本，其中Sp={po1,po2,…,pom},m=0.05N,Sn={pol,pol,…,poN},N-l=0.3N，最終預測出顯著圖，訓練過程的流程圖如圖1上半部分(人類視覺信息處理機制的仿真過程)所示。

4 CNN網絡設計

人類的神經-中樞-大腦的工作過程，是一個不斷迭代、不斷抽象的過程。深度學習作為機器學習研究中的一個新領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來處理諸如圖像之類的數據。CNN是一種深度學習下的多層次的機器學習模型，在CNN中，圖像的一小部分(局部感受區域)作為多層結構的最低層的輸入，將不同的信息傳遞到不同的層，每層均通過抽象去獲得觀測數據的最顯著的特征并挖掘數據局部特征，經過不斷的迭代提取全局特征，最終進行分類。

CNN的最大特點就是局部連接和權值共享。它的權值共享的網絡結構使之更類似于生物神經網絡，并且局部連接和權值共享可以減少所要訓練的參數及計算復雜度。CNN網絡結構包括：卷積層，池化層與全連接層，它們參數的設置正是整個CNN網絡結構設計的重點。經過多次實驗與調整，以及對目標特征的分析，本文設計了更適用于目標分類的CNN網絡結構，包含4個卷積層，4個池化層，卷積層與池化層交替設置，如圖5所示。如此，多層的卷積層結構通過對輸入的圖像進行逐層抽象，從而獲得更高層次的分布式特征表達，組合形成更抽象的特征，本文設計的CNN網絡結構最后一層為全連接層，用于對圖片對象的特征描述。

圖5 CNN網絡結構

4.1 卷積層

卷積可以提取出圖像的局部特征，因此卷積層的設置是CNN網絡結構設計的核心。通過對目標特征的分析，以及試驗與調整，本文的CNN網絡結構設計了4個卷積層(C1～C4)(如圖5所示)。特征的提取是通過以權值矩陣形式出現的卷積核(kernel)來完成的，本文建立的CNN網絡各卷積層的卷積核大小分別為5,5,5,4像素。針對各卷積層功能的不同，卷積核的大小也不同，如第一個卷積層的卷積核可以提取邊緣、角等信息，通過實驗與分析，5個像素的大小與目標邊緣特征較符合，因此第一層卷積層的卷積核大小設為5。卷積核提取的二維特征集合為特征圖。每層的特征圖作為下一層的輸入繼續傳播，本文CNN網絡結構各卷積層輸出的特征圖數目分別為9,18,36,72，卷積的步長均為1像素。此外，卷積核與輸入之間的局部連接可以減少很多網絡參數，降低計算負擔。

4.2 池化層

池化即為將尺寸比較大的圖像的不同位置的特征進行聚合，計算圖像一個區域上的某個特定特征的平均值(或最大值)來代表這個區域的特征。池化層的作用是使通過卷積層獲得的特征具有空間不變性。因此為與卷積層層數一致，本文設計的CNN網絡結構也包含4個池化層(S1～S4)(如圖5所示)，分別連接在各層卷積層之后。為獲取對平移、縮放和旋轉不變的顯著特征，各層池化大小均為2個像素，池化的步長均為1 像素。本文采用常見的最大池化方式，其不僅可以降低特征的維數，還可以提高特征的魯棒性。

4.3 全連接層

本文CNN網絡結構的最后一層為全連接層，輸出一個兼顧了目標的局部特征與整體特征的648維的特征向量，由于本文CNN結構中的4個卷積層及4個池化層已先將特征的維數盡可能降低至可接受的大小，因此最后一層全連接層產生的計算負擔在可接受范圍內。最后利用liblinear SVM將得到的648維特征向量，進行訓練，得出分類結果。

至此，本文建立的CNN網絡結構，共計包含在4個卷積層、4個池化層、1個全連接層。在進行目標分類時，目標的一小部分作為本文CNN網絡結構的最低層輸入，經過個卷積層特征提取，并經過各池化層的最大池化，獲得目標最顯著的特征并挖掘出目標的局部特征，經過迭代，提取全局特征并結合局部特征進行分類，最終輸出分類結果。

5 實驗結果及分析

為驗證算法的正確性及有效性，本文設計了3組實驗，第1組實驗驗證了本文的視覺顯著模型(Ours)預測分類RoIs的能力，同時在相同條件下將Ours模型與其它視覺顯著模型做了比較；第2組實驗在數據庫EDOC上評估了本文分類方法分類的錯誤率大小及錯誤率收斂速度，同時比較了本文分類方法與常規CNN的分類能力，本文分類方法是利用分類RoIs進行分類，而常規CNN是利用原圖進行分類；為充分驗證本文算法，第3組實驗增加了實驗數據量，建立了包含6 000張圖的數據集，在該數據集上比較了本文分類方法與常規CNN分類時的錯誤率。實驗環境是IBM x3650m5服務器，配置CPU E5-2603v2 (2.4 GHz), 32 GB RAM。

5.1 視覺顯著模型預測分類感興趣區域實驗

本實驗利用EDOC數據庫中的數據，對分類RoIs進行預測，實驗采集的注視點數據作為基準。實驗時，將所有彩色圖像統一到200×200的大小，每類目標挑選30幅彩色圖像作為訓練，20幅作為測試。與Ours進行比較的8種模型分別是：AIM[16],AWS[2],Judd[7],ITTI[1],GBVS[5],SUN[3],STB[17],Torralba[4]，這9種模型得到的典型視覺顯著圖對比如圖6所示。由于沒有統一評價視覺注意力模型的標準，本文選取了常用的評價函數有：AUC、敏感度與特異度。AUC是一種用來度量視覺注意力模型與基準圖像的差異的一個標準，通常，AUC的值介于0.5到1.0之間， AUC越大代表了模型的表現越好，與基準圖像更相近。敏感度，又稱為真陽性率，指將已知類別的目標準確分類的數目占總分類結果的比例，敏感度越高，模型越靈敏。特異度，又稱為真陰性率，指將非該類的目標準確剔除的數目占總分類結果的比例，特異度越高，模型篩檢目標非該類的能力越強。當3種評價函數數值越高，說明該模型性能越好。本實驗在60%的顯著區域計算敏感度與特異度。3種評價函數的實驗結果如表1所示。

圖6 9種模型得到的視覺顯著圖對比

參數OursAIMAWSGBVSITTISTBSUNTorralbaJudd平均值AUC0．84210．72320．78110．82840．60780．81510．73600．71580．82870．7642敏感度/%73．289551．821261．187871．479440．860567．915349．825252．761971．990560．1257特異度/%82．235477．417479．148077．858877．821778．867476．031476．540277．674578．1772

圖6為EDOC數據庫里的部分樣例在9種模型下的視覺顯著圖對比，通過人的主觀判斷，可以看出相較于其他8種模型，Ours模型能更好的提取目標的特征，如車輪、眼睛等局部特征，人臉，汽車等整體特征。如此，特征的更好提取，更有利于分類準確度的提高。

從表1中可以明顯看出，在AUC指標下，Ours模型的結果為0.842 1，均高于其他8種模型，遠高于ITTI模型，最接近基準圖像(1.000 0)。Ours模型的敏感度為73.289 5，為9種模型的最大值，比平均值大約高13%，說明Ours模型較其他模型更靈敏。而實驗中特異度的最大值也為Ours模型。結果表明，Ours模型在3種評價函數下，性能良好，與基準圖像更一致。因此，Ours模型明顯提高了利用視覺顯著圖預測人在分類時注視點的精度，更適用于提取分類RoIs。

5.2 在EDOC數據庫上的分類實驗

本文從分類錯誤率的大小與收斂速度兩方面，來評價本文分類方法性能。首先，將Ours模型預測的顯著圖前60%的區域，作為分類RoIs，實例如圖7所示。

圖7 分類RoIs獲取

然后將分類RoIs作為如圖5所示CNN網絡的輸入進行分類。并與將原圖作為輸入的常規CNN分類分類方法結果作以比較。實驗時，將所有圖像均統一為100×100的大小，每類目標挑選30幅作為訓練，20幅作為測試。2種分類方法各進行3次實驗，CNN網絡的練次數分別為500,1 000,1 500，以得到的錯誤率作為評判標準，結果如表2所示。

表2 EDOC數據庫上3種訓練次數下輸入原始圖像與分類RoIs進行CNN分類的錯誤率比較

從表2中可以看出，在3種訓練次數下，本文的方法分類錯誤率均低于常規CNN。雖然在訓練次數為500的時候，由于訓練次數較少，2種方法的錯誤率都高于50%，但是本文方法的錯誤率比常規方法的錯誤率小10%。隨著訓練次數的增加，本文方法的錯誤率從63.3%下降到36.7%，直到18.2%。而常規的CNN在訓練次數為1 000時，錯誤率為50%，當訓練次數增加到1 500時，其錯誤率仍高于30%。雖然隨著訓練次數的增加，2種方法的分類錯誤率均會下降，但是很明顯本文的分類方法分類錯誤率的收斂速度快于常規CNN方法。在相同訓練次數下，錯誤率更低。因此，本文的分類方法可以優化分類結果。

5.3 在6 000張圖上的分類實驗

5.1及5.2節的實驗，雖從兩方面驗證了本文分類方法的合理性，但是數據庫EDOC包含的數據量較少，而目前又沒有現成的包含6類目標的大數據庫可以利用，所以，為充分驗證本文分類方法，如圖8所示，本節建立了一個較大的包含了6 000張圖的數據集以進行實驗。該數據集中的圖片均來自網絡，每類各有1 000張。

實驗中，首先利用Ours模型預測這6 000張圖的顯著圖，并將顯著圖的前60%顯著的區域作為分類RoIs。然后利用CNN網絡對分類RoIs進行分類，并與將原圖作為輸入的常規的CNN分類分類方法結果作以比較。同樣地將所有圖像均統一為100×100的大小，每類目標挑選600幅作為訓練，400幅作為測試, 分類錯誤率對比結果如表3所示。

圖8 6 000張圖的示例

訓練次數錯誤率/%原始圖像分類Rols50063．244．6100056．733．8150046．929．1

從表3中可看出，在包含了6 000張圖的較大數據庫上的實驗中，隨著訓練次數增加，2種方法的錯誤率雖然均有下降，但是在相同訓練次數下，本文方法分類錯誤率明顯低于常規CNN。在訓練次數為500的時，本文的方法的錯誤率(44.6%)比常規方。法的錯誤率(63.2%)低近20%，甚至低于常規方法在訓練次數為1 000次的分類錯誤率(56.7%)隨著訓練次數次數的增加，本文分類方法的錯誤率從44.6%下降到29.1%，而常規方法的錯誤率從63.2%下降到46.9%，本文分類方法分類錯誤率的收斂速度很明顯快于常規CNN方法。因此，本文的分類方法在較大數據集上也有優良的分類表現。

6 結 論

受人類對不同目標進行分類識別行為的完整過程的啟發，本文提出了一種結合基于學習的視覺顯著模型與CNN的目標分類新方法。通過建立EDOC數據庫，研究并記錄人們在進行目標分類時的視覺行為；然后，利用該數據庫訓練出針對分類任務的有監督視覺注意力模型，預測人在區分不同目標時的感興趣區域；最后設計了適用于分類的CNN網絡，利用視覺注意力模型得到的感興趣區域進行目標分類。本文的方法與常規的CNN分類方法相比，分類準確度有明顯提高，且收斂速度更快，其生物學優勢也十分顯著。由于人類的視覺行為很復雜，思考過程尤為如此。對于不同目標，人類的思考過程也有所不同，因此，我們暫時無法利用計算機完整地仿真其過程。在今后的工作中，我們可以針對不同目標，提取不同的特征，構造不同的CNN網絡結構，進一步提高分類效率。

參考文獻：

[1] Itti L, Koch C. A Saliency-Based Search Mechanism for Overt and Covert Shifts of Visual Attention[J]. Vision Research, 2000, 40(12): 1489-1506

[2] Garcia-Diaz A, Fdez-Vidal X R, Pardo X M, et al. Decorrelation and Distinctiveness Provide with Human-Like Saliency[C]∥International Conference on Advanced Concepts for Intelligent Vision Systems Springer, Berlin, Heidelberg, 2009, 5807: 343-354

[3] Zhang L, Tong M H, Marks T K, et al. Sun: A Bayesian Framework for Saliency Using Natural Statistics[J]. Journal of Vision, 2008, 8(7): 1-20

[4] Torralba A. Modeling Global Scene Factors in Attention[J]. Journal of The Optical Society of America A, 2003, 20(7): 1407-1418

[5] Sch?lkopf B, Platt J, Hofmann T. Graph-Based Visual Saliency[J]. Advances in Neural Information Processing Systems, 2007, 19: 545-552

[6] Sch?lkopf B, Platt J, Hofmann T. A Nonparametric Approach to Bottom-Up Visual Saliency[C]∥International Conference on Neural Information Processing Systems, 2006: 689-696

[7] Judd T, Ehinger K, Durand F, et al. Learning to Predict Where Humans Look[C]∥IEEE International Conference on Computer Vision, 2010: 2106-2113

[8] Swain M J, Ballard D H. Indexing via Color Histograms[C]∥International Conference on Computer Vision, 1990: 390-393

[9] Schiele B, Crowley J L. Recognition Without Correspondence Using Multidimensional Receptive Field Histograms[J]. International Journal of Computer Vision, 2000, 36(1): 31-50

[10] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110

[11] Lindeberg T. Scale Invariant Feature Transform[M]. Scholarpedia, 2012: 2012-2021

[12] Mohan R, Nevatia R. Perceptual Organization for Scene Segmentation and Description[J]. IEEE Trans on Pattern Analysis & Machine Intelligence, 1992, 14(6): 616-635

[13] Lillywhite K, Lee D J, Tippetts B, et al. A Feature Construction Method for General Object Recognition[J]. Pattern Recognition, 2013, 46(12): 3300-3314

[14] Hubel D H, Wiesel T N. Receptive Fields and Functional Architecture of Monkey Striate Cortex[J]. Journal of Physiology, 1968, 195(1): 215-243

[15] Krizhevsky A, Sutskever I, Hinton G E. Imagenet Classification with Deep Convolutional Neural Networks[C]∥International Conference on Neural Information Processing Systems, 2012: 1097-1105

[16] Bruce N D B, Tsotsos J K. Saliency Based on Information Maximization[C]∥International Conference on Neural Information Processing Systems, 2005: 155-162

[17] Garcia-Diaz A, Fdez-Vidal X R, Pardo X M, et al. Decorrelation and Distinctiveness Provide with Human-Like Saliency[C]∥International Conference on Advanced Concepts for Intelligent Vision Systems, 2009: 343-354