融合顯著性計算和高效子窗口搜索的目標檢測方法?

姜康輝 劉松濤

1 引言

在航空偵察手段建設中，圖像目標檢測具有十分重要的地位。目標檢測的最終目的是定位圖像目標，從而輔助人工判斷圖像或者實現自動目標識別。

常見的目標檢測方法包括：基于模板匹配的檢測方法、基于關鍵點的檢測方法［1～4］、基于分割的檢測方法［5］、基于滑動窗口的檢測方法［6～8］和基于部分（Part-based）的檢測方法［9～10］，其中基于滑動窗口的檢測方法可以直接生成包圍盒，能夠和顯著性檢測結果有效融合，是當前的研究熱點。滑動窗口技術［7］通過一個分類函數給圖像中所有子窗口一個分類值，這個值用來判斷目標是否存在于子窗口，然后通過尋找分類值最大的子窗口，即可確定目標的位置。該方法的主要不足是計算量比較大，對n×n圖像，算法復雜度通常是O(n4)。Christoph H.Lampert等［8］在滑動窗口搜索技術上提出了高效子窗口搜索方法（Efficient Subwindow Search，ESS）。ESS方法允許在所有可能的子圖像上高效的最大化分類器函數。它依賴于分支定界方案在所有的子圖像上尋找評估函數的全局最優值，返回與窮盡搜索方法相同的目標位置。同時，它需要較少的分類器評估，其數量比圖像中的可選區域甚至圖像像素數都要小，通常以線性時間或更快的速度運行。但是傳統高效子窗口搜索方法采用支持向量機進行分類，需要大量訓練圖像。文獻［11］通過設計合適的顯著圖最大化策略，避免了支持向量機需要訓練圖像的不足，然而該方法的顯著圖計算和ESS檢測是分開實施，沒能有效的融合在一起。

借鑒文獻［12］的思想，本文融合顯著性計算和高效子窗口搜索方法，將顯著性計算融合到質量函數和定界函數的設計中，函數設計主要依據三個特征：目標區域和背景之間的對比度，目標區域包含顯著像素的比例和目標區域的大小。在此基礎上結合ESS框架實現了航空偵察圖像快速目標檢測。文末實驗表明，新方法在保證定位效果的同時，更加簡潔和高效。

2 高效子窗口搜索方法

高效子窗口搜索方法的核心是分支定界搜索。ESS算法中存在大量的候選子窗口，但只有幾個包含了目標，含有目標的子窗口經定界函數計算后得到的分數高。分支定界能直接對獲得分數最大的子窗口進行搜索，它將參數空間劃分為分解的子集，計算它們的得分上限，在搜索過程中，將低于上限的子集舍棄，從而節約了大量的搜索空間和時間。

對于ESS方法，參數空間是圖像中所有可能的矩形。用四個參數（l，t，r，b）能有效地將一個矩形子窗口用左上右下的間隔表示，從而有效地節約空間。參數化后所有矩形子窗口就可以表示為（L，T，R，B），其中 L=[llow，lhigh]等。每次迭代過程中，ESS方法檢查得分更高的矩形集，把最大坐標間隔減半，將矩形分成兩個分解的子集，見圖1。

對每個矩形集，計算質量函數得分的上界。當發現某個矩形的分數至少和其他所有子窗口的上界一樣好時，ESS停止計算，這保證了找到全局最優值。圖2是ESS方法的偽代碼，利用優先隊列來保持搜索狀態。

分支定界搜索時，質量函數和定界函數設計是關鍵。通過定界函數 (y)計算區域 y的得分，判斷此區域屬于目標的可能性，最終找到最大得分的區域 y*：

融合顯著性計算和高效子窗口搜索的目標檢測方法設計了新的質量函數和定界函數，并將顯著特征的計算融合到函數設計中。

3 融合顯著性計算的質量函數和定界函數設計

3.1 質量函數

質量函數設計時首先使用了特征直方圖，因為通常目標與背景具有較高的對比度，中心-周圍對比的 χ2值越高表示其越不同于背景區域，越有可能是目標。質量函數 f通過下式計算區域y與背景的對比度：

其中hy是區域y的特征直方圖，hBx是整個圖像的特征直方圖，k是像素灰度等級。本文采用32個等級的灰度特征直方圖，然而僅僅使用灰度特征直方圖會導致選擇單一灰度級和小的區域。因此，引入灰度像素的空間分布這一全局特征，使得區域y盡可能多地包含顯著像素：

其中，W= Σi∈xΣcp(c|i)?wc是整個圖像的特征權重總和，wc=(1-Vc)·(1-DC)表示該灰度級屬于目標的可能性。V（c）是像素位置的方差，高V（c）值表示該灰度的像素分散在圖像中，不可能屬于目標。D（c）表示灰度像素到圖像中心的距離，D（c）越大，表示該灰度像素越不可能包含在目標中［13］。如果像素i落在灰度等級c，那么 p(c|i)=1，否則p(c|i)=0。總之，式（3）的第二項計算區域 y捕獲顯著像素的比例。

最后，區域 y的大小要合適，利用目標和圖像的尺寸比sry進行約束，最終的質量函數設計為：

其中，g(sry)=Ν(μ，σ2)是高斯分布。 α、β是正的常數，用來平衡三個特征的重要性。在實驗中，使用 μ=0.352，σ=0.2，α+β=0.8，α、β的取值與艦船目標大小有關，目標越大β值也大。總之，提出的質量函數結合了三個特征：目標區域和背景之間的對比度，目標區域包含的顯著像素和目標區域的大小。

3.2 定界函數

定界函數 (y)返回質量函數 f的最高值，控制著分支定界搜索的方向。設 yS和 yL表示 y中的最小和最大矩形，rS和rL代表小、大矩形的面積，即矩形中包含的像素個數。

1）質量函數第一項的上界。假設 pK是區域y中第k個像素等級的數目，則

另外，落入區域 y中的像素數目由 yS和 yL界定，則hy(k)的取值范圍為

其中，hy(k)和-hy(k)分別表示較低和較高邊界。為了使定界函數的分數最高，χ2(hy，hBx)的每個像素灰度等級由下式計算：

2）質量函數第二項的上界。因為最有期望的矩形小于或等于最大可能的區域yL，所以計算yL區域捕獲顯著像素的比例表示質量函數第二項的上界，即

3）質量函數第三項的上界。為了防止區域 y出現過大或過小的情況，其大小比率要有一個合適的值。令分別為最小和最大的可能的矩形的尺寸率，其中rx是圖像區域。上界的計算考慮三種情況：（1）如果srL≤0.4，上界設置為 g(srL)；（2）如果 srS≥0.4，上界設置為 g(srS)；（3）如果 srS≤0.4≤srL，上界設為1。

4 仿真實驗

為了檢驗目標檢測的性能，利用航空偵察艦船圖像進行了仿真實驗，從主觀和客觀兩個角度比較融合顯著性計算和高效子窗口搜索方法與之前的ESS目標檢測算法［11］的性能。

4.1 主觀評價

圖3是兩種算法對四幅航空偵察圖像的目標檢測效果。從實驗結果可以看出：兩種算法對目標定位的結果相差不大，都可以較好地檢測目標。在融合顯著性計算和高效子窗口搜索方法的檢測結果中，第二行和第四行的圖像包圍框更緊湊。因此，直觀上融合顯著性計算和高效子窗口搜索方法 保留了原方法的定位性能。

4.2 客觀分析

目標檢測算法的定位結果是矩形包圍盒，通過比較檢測結果和基準標記之間的關系，可以確定是否檢測到目標。本文用F-measure值來評估目標檢測性能，具體公式如下：

其中，P是檢測準確率，表示檢測矩形包圍盒檢測準確的像素占檢測矩形包圍盒的比例，R是檢測完備率，表示檢測矩形包圍盒檢測準確的像素占基準包圍盒像素的比例。實驗結果如圖4，從圖中可以看出兩種方法檢測結果的Precision、recall和F-measure值并無很大的差異，因此，客觀上新方法也保留了原方法的定位性能。

關于算法的復雜度，理論上，融合顯著性計算和高效子窗口搜索的目標檢測方法將顯著特征計算與目標定位融合在一起，應該比先生成顯著圖再進行ESS檢測的方法計算量小。實際中，將不同算法的時間復雜度用計算機的實際運行時間表示。為了克服隨機性，對每個顯著圖算法都運行10次，然后取平均，見表1。從表中可以看出對不同的圖像運行時間快慢不同，分析原因可能是目標檢測時顯著圖計算方法不一樣，會導致子窗口的數量不同，使得搜索時間有快有慢。總之，融合顯著性計算和高效子窗口搜索的目標檢測方法速度依然很快，而且對于部分圖像目標的檢測速度更快。仿真實驗時軟硬件配置為筆記本電腦，硬件性能為3.4GHzCPU，4G內存；操作系統為Windows7 32位，開發軟件為Matlab2014a和VS2008。

表1 不同檢測方法的時間復雜度

5 結語

本文通過新的質量函數和定界函數設計，將顯著特征計算與目標定位融合在一起，并結合高效子窗口搜索框架實現了艦船目標的快速檢測。實驗表明，與文獻［11］相比，融合顯著性計算和高效子窗口搜索的檢測方法保持了原有的定位效果，并且更加簡潔和高效。

［1］Hakan C，Bill T.Efficient Object Detection Using Cascades of Nearest Convex Model Classifiers［A］.In Proceedings of CVPR，Rhode Island，USA，2012：3138-3145.

［2］Suga A，Fukuda K，Takiguchi T，et al.Object recognition and Segmentation Using SIFT and Graph Cuts［A］.In Proceedings of the 19th International Conference on Pattern Recognition，Tampa，Florida，USA，2008：1-4.

［3］Bay H，Tuytelaars T，Van Gool L.SURF：Speeded up Robust Features［A］.In Proceedings of the European Conference on ComputerVision， Graz， Austria， 2006：404-417.

［4］Hare S，Saffari A，Torr P.Efficient Online Structured output Learning for Key point-based Object Tracking［A］.In Proceedings of CVPR， Rhode Island， USA， 2012：1894-1901.

［5］洪義平，易建強，趙冬斌等.自然圖像分割方法及其在目標檢測中的應用［J］.模式識別與人工智能，2006，19（5）：658-662.

［6］Bosch A，Zisserman A，Munoz X.Representing Shape with a Spatial Pyramid Kernel［A］.In Proceedings of CIVR，Amsterdam，Netherlands，2007：401-408.

［7］Matthew B B，Christoph H L.Object Localization with Global and Local Context Kernels［C］//Proceedings of BMVC，2009：1-11.

［8］Christoph H L Matthew B B，Thomas H.Beyond Sliding Windows：Object Localization by Efficient Subwindow Search［C］//IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8.

［9］Felzenszwalb F P，Girshick R B，McAllester D，et al.Object Detection with Discriminatively Trained Part Based Models［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（9）：1627-1645.

［10］Azizpour H，Laptev I.Object Detection Using Strongly-supervised Deformable Part Models［A］.In Proceedings of ECCV，Florence，Italy，2012：836-849.

［11］劉松濤，黃金濤，劉振興.基于顯著圖生成和顯著密度最大化的高效子窗口搜索目標檢測方法［J］.電光與控制，2015，22（12）：9-14.

［12］Yeh M C，Hsu C F，Lu C J.Fast Salient Object Detection Through Efficient Subwindow Search［J］.Pattern Recognition Letters，2014，46（3）：60-66.

［13］Liu T，Yuan Z，Sun J，et al.Learning to Detect a Salient Object［J］.IEEE Transactionson Pattern Analysis and Machine Intelligence，2010，33（2）：353-367.