基于顯著性檢測與特征匹配的目標識別方法*

孫世宇，張 巖，杜玉龍，李建增，李德良，范 聰

（陸軍工程大學石家莊校區，石家莊 050003）

0 引言

隨著計算機技術的日益發展，如何模仿視覺系統迅速定位圖像內感興趣目標區域，實現目標的精確識別，已成為計算機視覺領域的熱點問題。本文擬采用目標顯著性檢測算法與特征匹配算子相結合的策略進行目標識別，來縮小計算區域，同時避免誤識別，改善目標識別的精度與速度。

在顯著性檢測方面：Itti等人[1]最早提出顯著性檢測問題，通過顏色、亮度和方向等特征，實現高對比度顯著區域的檢測。Hou等人[2]基于譜殘差在頻譜域內去除冗余信息，在空域得到顯著信息。Guo等人[3]基于四元相位譜，通過提取相位譜實現檢測。Liu 等人[4]從 3 種特征來描述圖像，并在 CRF[5]框架下融合特征來實現檢測。Shen等人[6]將圖像信息分為低秩結構和稀疏噪聲，認為低秩矩陣代表圖像中的背景區域，稀疏矩陣為顯著區域，基于底層和高層特征，利用低秩稀疏分解技術實現檢測。Yang等人[7]結合聯合條件隨機場與區分字典學習方法，計算最小化能量函數實現顯著性檢測。Zhang等人[8]通過計算區域之間的方向和距離的相似性，利用區域聚類進行顯著性檢測。Chen等人[9]引入CNN模型，檢測效果良好。Wen等人[10]利用深度玻爾茲曼特征學習算法對顯著性區域進行判斷，提高檢測精度。

在特征匹配方面：Lowe提出并完善了尺度不變特征匹配算法（Scale Invariant Feature Transform，SIFT）[11]。Bay等人提出了快速魯棒性特征算法（Speeded Up Robust Features，SURF）[12]。該算法在尺度空間內使用快速海森矩陣檢測得到候選點，然后利用小波扇形環繞法定向，同時利用小波響應生成64維描述向量。雖然該算法的實時性與魯棒性較SIFT大幅增強，但快速海森矩陣魯棒性較弱，所以該算法的魯棒性仍待加強。Leutenegger提出了二進制魯棒性尺度不變的特征算法（Binary Robust Invariant Scalable Keypoints，BRISK）[13]。該算法在近似尺度空間中利用基于加速段檢驗的自適應通用角點檢測子（Adaptive and Generic corner detection based on the Accelerated Segment Test，AGAST）[14]計算特征分數，同時利用長距離迭代法定向，使運行效率大幅提升，但尺度空間構建沒有進行濾波，所以該算法的魯棒性不強。Alahi等人提出一種快速視網膜特征描述子（Fast Retina Keypoint，FREAK）[15]。該描述子速度完全滿足實時需求，但魯棒性較弱。Pablo等人提出一種風式特征算法（KAZE）[16]。該算法構造了穩定的非線性尺度空間，利用用海森矩陣檢測，同時考慮了區域交疊帶，使其對于各種變換比SURF、BRISK等更加穩健，但非線性尺度空間運算復雜，運行效率大幅下降。Pablo等人對KAZE進行了改良，提出一種快速風式特征算法（Accelerated-KAZE）[17]。該算法利用快速顯示擴散方程（Fast Explicit Diffusion，FED），動態改善了非線性尺度空間的構建，使得檢測的運行效率與魯棒性大幅增強，同時提出一種改進的局部差異二進制描述符（Modified-Local Difference Binary，M-LDB），使得描述子的速度大大提高，但描述子的魯棒性弱于KAZE描述子。傳統目標識別算法存在的問題有：

1）傳統算法的魯棒性較弱；當輸入圖像存在多個目標，或前景目標與背景相似度較高時，算法所檢測到的區域邊界不明確，檢測結果中存在顯著區域不完整等問題。

2）高斯濾波無法同時保持圖像細節并消除噪聲，檢測子的計算速度仍待提高。所以欲改良傳統顯著性檢測算法和特征匹配算法的魯棒性與實時性問題，其重點是解決特征學習能力的加強、目標邊界的確定、尺度空間的構建、檢測算子的選用的問題。

1 目標識別流程概述

本文提出一種基于顯著性檢測與特征匹配的目標識別方法，方法流程如圖1所示。

圖1 本文算法示意圖

2 改進的顯著性檢測方法

2.1 深度交叉卷積神經網絡模型

基于視神經傳遞原理，對傳統CNN型進行改進，設計了一種深度交叉卷積神經網絡模型（Deep Cross Convolution Neural Network，DCCNN），算法結構如圖2所示。

圖2 DCCNN結構示意圖

對于目標圖像，首先利用兩條數據變換流flow A和flow B同時進行特征提取。然后利用不同底層卷積變換步長提取局部特征，輸送到全連接層。最后在DCCNN頂端對特征進行交叉混合，剔除重復和冗余信息，獲得更加豐富的目標特征。

假設第L層權值矩陣為ωL，輸出值為XL，前向輸出值為YL，則前向輸出函數fL為：

在第L層網絡的損失函數為：

式中，ui為第i個樣本，vi為第i個樣本的標簽值，N為樣本總數，ω為權值，α為正則化系數，用于L2正則化抑制過擬合。

權值矩陣可通過下式進行更新：

在全連接層混合交叉處，采用鏈式求導法對函數內的ωL進行更新：

式中，ωA和fA分別表示flow A中的權值矩陣和前向輸出函數；ωB和fB分別表示flow B中的權值矩陣和前向輸出函數。神經網絡的目標函數T為：

利用隨機梯度下降法對T不斷迭代得到最優解。

2.2 基于DCCNN的顯著性粗糙檢測

顯著性區域實質上是圖像中某種突出特征所在的區域，可以利用DCCNN模型實現粗糙檢測，具體流程如圖3所示。

圖3 顯著性檢測模型

首先分別利用Beltrami流濾波器和SLIC算法來提取邊界與區域特征。然后通過兩個并行的DCCNN模型對特征進行學習，得到邊界置信圖和區域置信圖。最后在聯合CRF框架下融合兩種特征，從而實現顯著性粗糙檢測。

對于輸入圖像I（x，y）中的局部塊Si（x，y），定義其對應的標記函數為si，則在聯合CRF框架下的顯著性檢測條件概率分布模型p（si|Si）為：

式中，Z為歸一化配分函數，E（·）為能量函數，標記函數為si，0代表不顯著，1代表顯著。

圖像局部塊的顯著度值ai為：

則顯著性區域A為：

將能量函數模型定義如下：

式中，α和φ均為定值，ωi代表權值系數，〈·〉代表局部塊之間的平均對比度。

能量函數中加號前一項為數據能量項，其值由邊界特征和區域特征共同決定，和分別為通過DCCNN學習得到的區域置信度和邊界置信度。加號后一項為平滑能量項，該項代表不同局部塊之間的連續性，用來判斷顯著性區域和非顯著性區域之間的相似性。

標記函數si的集合是s通過最大后驗概率maxp（si|Si）求取的。根據式（7），歸一化配分函數Z并不依賴si，因此，在檢測顯著性區域時，可以將顯著模型中maxp（si|Si）的求取問題轉化為計算能量函數E（si，Si）最小值問題，即：

2.3 基于免交互GrabCut的顯著性精確檢測

在聯合條件隨機場內基于邊界和區域特征的顯著性檢測結果較為粗糙，其中存在顯著性目標不完整等問題。為了提高檢測精度，本文在利用聯合CRF模型獲取粗糙檢測結果的基礎上，提出一種免交互Grabcut算法實現精確檢測，算法框架如圖4所示。

圖4 顯著性精確檢測框架

首先對圖像進行二值化處理，其中閾值由大津法選定。然后通過形態學腐蝕與膨脹運算，采用多邊形窗代替矩形窗進行GrabCut分割。最后創建高斯混合模型來求取Gibbs能量函數最小值，利用最大流最小分割法實現顯著性區域的精確檢測，算法效果如圖5所示。

圖5 標記框選取示意圖

免交互GrabCut算法得到的連通區域比實際尺寸更大，這避免了檢測誤差導致的顯著目標缺失，保證了檢測精度和目標完整性。

3 改進的特征檢測子

3.1 非線性尺度空間建模

非線性擴散濾波方法如下式所示：

式中，L為輸入圖像，t為時間，div為散度運算符，為梯度運算符，Lσ為L經高斯核為σ的濾波結果，k為對比因子。

3.2 非線性尺度空間的快速求解

本文采用FED算法[17]求解非線性擴散方程，首先根據尺度參數求出進化時間，如下式所示：

式中，σi為尺度參數單位矩陣，ti為進化時間。

然后基于因式分解的盒子濾波求解不同步長，如下式所示：

最后求解非線性偏微分方程如下式所示：

式中，I為單位矩陣，Al為傳導運算符。

3.3 AGAST算子檢測

選擇合適的特征分數計算方法是在尺度空間中找到特征點的必要條件。在眾多特征分數計算方法中，FAST的魯棒性與速度優勢是極為顯著的。鑒于BRISK引入AGAST計算分數取得的成功，本實驗引入AGAST計算特征分數，AGAST算子的本質是：如果在待檢測點鄰域內，灰度值小于（或大于）待檢測點的點數大于閾值，則該檢測點被判別為關鍵點。經Rosten測試，9個像素參與比較的模板檢測性能較強，所以本文采用AGAST9-16（圓周上共有16個像素，需比較像素的個數為9）計算特征分數。

利用該算子計算尺度空間內的每一層的特征分數，然后進行非極大值抑制與亞像素級矯正得到候選點，再利用小波響應扇形環繞法[12]為候選點定向，得到特征點。

4 實驗驗證

筆記本計算機配置：處理器為2.5 GHz i7第4代，系統為64位Win10，編程環境為鏈接OpenCV 3.10的Visual Studio 2015（SIFT與SURF是從OpenCV 2.41中提取加載的）。

4.1 顯著性檢測實驗

本實驗采用MSRA10K和ECSSD數據庫對傳統顯著性檢測算法與本文顯著性檢測算法進行對比分析，兩個數據庫中分別含有10 000張和1 000張測試圖像，包含人、動植物、交通工具和建筑等各種目標。

各算法部分顯著性檢測結果如下頁圖6與圖7所示，其中最左側為實驗原圖，最右側為數據庫提供的顯著性真值GT，從左至右依次為LC、SR、AC、FT、SeR、CA、SEG、HC、SWD、FES、MC、GR、COV 以及本文顯著性檢測算法的實驗結果。其中，本文顯著性檢測算法的檢測結果與GT最為接近，顯著圖輪廓最清晰，算法性能最強。

圖6 MSRA10K數據庫顯著性檢測結果

圖7 ECSSD數據庫顯著性檢測

為定量說明算法的性能，通過F值[18]、查全率R和查準率P評價算法性能，其計算公式分別為：

式中，SR代表總檢測區域；GT代表顯著性真值；β2代表權重。為避免擴大顯著性檢測區域造成的召回率過高問題，將權重 β2設置為 0.3[19]。

如圖8所示，隨著橫坐標R值逐漸增大，各種顯著性檢測算法的P值均遞減，本文顯著性檢測算法的P-R曲線更靠近右上方，性能更強。

圖8 MSRA10K和ECSSD數據庫實驗結果

4.2 特征檢測子實驗

本實驗采用標準測試圖集[12]對比不同檢測子的性能，如圖9所示，從該數據集選取5個數據子集（含圖像間的單應矩陣），通過測定復現率[20]來評判檢測子性能。

圖9 測試所用圖片集

如下頁圖10所示，對改進的特征檢測子的實驗結果分析如下：

1）KAZE在非線性尺度空間內采用Hessian進行檢測，該算法與Fast-Hessian的對比說明，非線性濾波器構建尺度空間對檢測響應在視點、尺度與模糊變換的特征檢測性能有大幅度提升。

2）AGAST與 Fast-Hessian的對比說明，AGAST在模糊、視點與JPEG壓縮變換方面的魯棒性均有較大提升，這是將AGAST引入本文特征檢測子的重要原因。

圖10 不同變換條件下的復現率比較

3）BRISK的廣泛使用驗證了利用AGAST計算尺度空間內特征分數的可行性。同時BRISK對于視點變換、JPEG壓縮、尺度以及旋轉變換的魯棒性較弱，也驗證了尺度空間構建引入濾波的重要性。

4）由于改進的特征檢測子對于照度、模糊、視點與JPEG壓縮變換的魯棒性較強，可以說明快速非線性尺度空間構建與AGAST配合時性能比較優良。

綜上所述，改進的特征檢測子魯棒性更強。

利用傳統算法與改進的特征檢測子，分別對Graf（800×640像素）圖像序列中的第一張圖像進行100次實驗，取均值后進行對比分析。

如表1所示，將耗時結果分析如下：雖然構建非線性尺度空間增加了計算量，但引入FED算法加速了非線性尺度空間的構建，基于AGAST計算特征分數提高了檢測速度，所以改進的特征檢測子的執行速度大大領先于KAZE與SIFT。

4.3 目標識別實驗

1）建立模板庫。本實驗選取3本具有相似性表面的書籍作為實驗對象，對3個實驗對象分別獲取10個不同角度的影像（1 280×960像素）建立了模板庫。該模板尺寸與待識別的圖像尺寸相差約30%，均有照度、模糊與噪聲影響，部分模板如圖11所示。

表1 算法耗時比較

圖11 目標模板庫

2）目標評判標準。本實驗以目標圖像與模板庫的平均匹配率作為評判標準，平均匹配率越高，則判定目標與模板庫越相似。平均匹配率為待識別目標圖像的已匹配特征點數與某個模板庫中每個模板的總特征點數比值的平均值，定義式如下：

式中，H為平均匹配率，k為模板庫中模板總數，Mi為待識別目標圖像與第i個模板匹配的特征點數，Ni為第i個模板中的總特征點數。

3）實驗結果分析

圖12 識別效果

識別效果如圖12所示，首先通過顯著性檢測提取目標的顯著性區域，然后將3個模板庫的所有模板并行與目標進行特征匹配，最后分別計算3個模板庫的平均匹配率，從而實現目標的實時識別。

圖12（d）為3個模板庫的平均匹配率統計結果，其中模板庫A的平均匹配率為81.66%，模板庫B的平均匹配率為16.31%，模板庫C的平均匹配率為1.62%，將檢測到的目標判定為目標A。模板庫B與C的平均匹配率較低，說明其模板與目標圖像相同的特征較少，同理說明A中模板與目標圖像相同的特征較多，驗證了本算法的合理性與可行性。

5 結論

本文提出一種基于顯著性檢測與特征匹配的目標識別方法，并通過理論推導與實驗驗證說明了方法的可行性與優勢，主要得到以下結論：1）交叉卷積神經網絡模型內的交叉操作降低了目標信息的冗余度，提高了算法的學習能力。2）GrabCut算法的應用有效提高了目標區域的檢測精度。3）改進的特征檢測子的快速非線性尺度空間的魯棒性與實時性比KAZE的非線性尺度空間更強。4）基于AGAST計算特征分數與基于海森矩陣計算特征分數相比，除照度變換外，對于其他變換的魯棒性均有加強，且實時性更強。5）基于顯著性檢測與特征匹配的目標識別方法的魯棒性與實時性較強。