部分遮擋目標的穩健局部特征點提取方法

摘 要： 部分遮擋目標的特征提取是目標檢測中的難點問題。針對這一問題，提出一種基于穩健性度量統計分析的部分遮擋目標穩健局部特征點提取方法，該方法建立在目標圖像訓練集的局部特征點逐步提純基礎上。它首先對目標在不同條件下獲取的圖像集分別應用SIFT提取相應局部特征點；然后基于統計分析對局部特征點進行粗提取，再通過計算置信度進一步篩選出較穩健的局部特征點；最后分析局部特征點的空間分布等因素提取出最穩健的局部特征點集。實驗結果表明，該方法耗時僅為SIFT檢測算法的30%，并且保證了檢測精度。

關鍵詞： 部分遮擋； 穩健局部特征點； 置信度； 逐步提純

中圖分類號： TN919?34；TP75 文獻標識碼： A 文章編號： 1004?373X（2013）22?0076?05

0 引 言

部分遮擋目標檢測一直是計算機視覺和模式識別關注的重要問題和難點，其在精確制導、自動目標識別系統、交通監視等領域有著重要的實用價值[1?3]。

目前，國內外學者對遮擋目標檢測方法進行了大量的研究[4?5]，現有方法按照檢測信息的不同劃分為3個大類：第一類是基于灰度信息的方法，如規格化互相關[6]；第二類是基于邊界信息的方法，如基于Hough變換[7]和文獻[8]；第三類是基于局部特征的方法。基于灰度信息的方法計算量大，且由于用到了全局灰度信息，所以檢測精度受到約束；而基于邊界信息的方法利用了邊界輪廓信息，一定程度上提高了檢測精度，但是在遮擋情況復雜的情況下很難準確地檢測出目標；基于局部特征的方法利用目標局部特征，受干擾程度相對來說最低。因此，基于局部特征的方法成為國內外學者研究的主流方法，其中以局部特征點的研究最受關注。部分遮擋目標局部特征點提取的難點主要表現在以下2個方面：一方面，由于部分遮擋造成目標部分信息的缺失，而且由于遮擋形式的多樣性和隨機性，給部分遮擋目標的特征表征帶來了困難；另一方面，成像平臺、傳感器和天氣等多方面因素造成目標成像形式的多樣性，遮擋物體的形狀和位置大小等在不同時間、不同地點所表現出來的多樣性使得目標的表現形式也是千變萬化，給提取穩定局部特征點增加了難度。以往的局部特征點提取算法有Harris，SUSAN，FAST等，這些算法缺乏尺度特征，穩定性不高，不能適應遮擋情況的出現[9?11]；為了提高局部特征點的穩定性，SIFT，SURF，以及擴展的ASIFT等局部特征點算子被提出來，它們提取的特征具備光照、尺度、旋轉等多種不變性，在簡單的部分遮擋情況下也能提取出穩定的特征，但容易出現誤檢測[12?14]。

目前基于局部特征點提取方法還存在問題：現有局部特征點提取方法在部分遮擋情況下或穩定性不好，或較耗時。

研究者們關注的問題都集中在對局部特征進行描述以及優化匹配算法上，傳統方法都認為局部特征點的數目越多，檢測精度就越高，然而這樣局部特征點數目越多，其中不穩定點也越多，在復雜環境下目標被誤檢測的概率也相應地提高了，而且耗時也相應增加了。為了解決這些問題，本文提出了一種部分遮擋目標的穩健局部特征點提取方法。該方法利用SIFT提取訓練圖像的局部特征點，再通過粗提取和設置置信度進行精提取得到較穩定的局部特征點，最后通過局部特征點空間分布得到目標的穩健局部特征點。該方法經過逐步提純最后得到目標的穩健局部特征點，不僅數目少，而且穩定性高，既保證了檢測精度，又提高了檢測速度。下面先總體介紹本文的部分遮擋目標穩健特征提取方法，然后敘述其中參數的選擇問題，最后給出部分遮擋目標檢測方法與實驗。

1 本文方法總體流程

本文提出的一種基于穩健性度量統計分析的部分遮擋目標穩健局部特征點提取方法基本出發點：為了得到穩健局部特征點，對包含目標的圖像的局部特征點進行了逐步提純。對一幅訓練圖像，本文方法通過以下幾個步驟提取出穩健局部特征點：第一步，生成包含目標多種狀態的仿真圖像集；第二步，通過仿真圖像集對目標圖像進行粗特征點提取；第三步，對第二步得到的粗特征點設置置信度進行篩選；第四步，考慮到點分布的空間特性完成穩健局部特征點的提取。圖1為本文方法流程圖。

經過上述4個步驟可以從訓練圖像中得到具有穩健局部特征點參考圖像，在接下來的小節中將對流程圖中的每一步驟的實現進行詳細的說明。

2 仿真圖像集生成

本文的目的是提取穩健的能代表目標的局部特征點，因此，所提取的局部特征點應該能適應多種環境變化，在這里獲取目標的多種變化圖像構成一個圖像集。通過對訓練圖像進行訓練來得到這樣一個圖像集，圖像集中包括以下3種情況生成的圖像：光照變化、旋轉變換和尺度縮放。其中實現光照變化包括圖像整體變暗變亮或漸明漸暗，如光照調整范圍在[-100，100]內，以10～50為步長生成光照變化圖像。旋轉變換：可以在[-30°，30°]角度范圍內，以5°～15°為步長生成旋轉變換圖像。尺度縮放：在[0.5，2]縮放尺度范圍內，以0.2～0.5為步長生成尺度縮放圖像。

3 粗特征點提取

利用SIFT算法對目標圖像和圖像集中的任意一幅圖像進行局部特征點提取并且利用SIFT描述向量的最近鄰與次近鄰之比和RANSAC算法完成特征匹配，得到每次匹配后的局部特征點，生成目標圖像中匹配局部特征點的坐標集[Sn，n=1，2，…，N]，[Sn]表示目標圖像與圖像集中第[n]幅圖像匹配后的在目標圖像上的局部特征點的所有坐標。

設目標圖像與圖像集中所有圖像完成匹配后得到的在目標圖像上的所有局部特征點的坐標為[S=S1?S2?…?Sn]，[S]的元素個數為[N′]，[S]中第[m]個元素[S[m]]在[S1]，[S2]，…，[Sn]中總共出現的次數為[L[m]]，則[S[m]]的概率[T[m]=L[m]N]，[m=1，2，…，N′]。

通過匹配得到的目標特征點數目基數很大，通過對特征點出現頻率進行統計，設定閾值刪除不穩定局部特征點。

因此，設定粗特征點提取閾值[t]，當[T[m]≥t]時，將[S[m]]作為粗特征點保存到集合[U0]中。[t]的取值范圍一般在[0.75，0.9]之間。

4 粗特征點篩選

通過閾值限定后的粗特征點數目依然可觀，不穩定局部特征點依然存在很多，為了是局部特征點穩定性更好，對粗特征點進一步篩選。通過對粗特征點設定置信度并根據置信度高低進行點的篩選。

利用訓練圖像，對集合[U0]中的每一個元素（粗特征點）進行置信度計算：

（1）灰度對比度置信度計算

在以所述元素為中心的半徑為[Rr]個像素的圓環鄰域上，利用下式計算所述元素的與灰度對比度有關的置信度[Z1]：

[Z1=maxn0，n1Nr， n0 or n1≥NUM0，else]（1）

式中：[Nr]是圓環鄰域的像素點個數；[n0]是圓環鄰域上像素點灰度值大于所述元素灰度值加上一個灰度閾值[t′]的像素點個數；[n1]是圓環鄰域上像素點灰度值小于所述元素灰度值減去一個灰度閾值[t′]的像素點個數，[NUM]是像素點個數閾值。

[Rr]的取值范圍在[1，5]內，相應地可以計算得到圓環鄰域上像素點個數[Nr]。灰度閾值[t′]一般在[10，100]之間。像素點個數閾值[NUM]的值也是不能太小，具體取值根據[Rr]的取值確定。

（2）梯度均值幅值比置信度計算

在以所述元素為中心的半徑為[R1]和[R2]個像素的圓形鄰域內，計算所述元素與圓形鄰域內任意一個像素點的梯度幅值，求得梯度幅值均值[g1]和[g2]；兩個圓形鄰域半徑[R1]和[R2]不能相差太大，一般可選取[R1]=1，[R2]取值在[3，5]之間。

則梯度均值幅值比[rate]為：

（3）高曲率點置信度計算

所述元素的與高曲率點有關的置信度[z3]可以由下式計算得到：

[Z3=gxxgyy-g2xy1+g2x+g2y] （4）

式中：[gx]表示所述元素在目標圖像中水平方向上的一階差分；[gy]表示所述元素在目標圖像中垂直方向上的一階差分；[gxx]表示所述元素在目標圖像中水平方向上的二階差分；[gyy]表示所述元素在目標圖像中垂直方向上的二階差分；[gxy]表示[gx]在目標圖像中垂直方向上的一階差分。

（4）總置信度計算

5 穩健局部特征點提取

為了實現提高在遮擋情況下檢測的穩定性，穩健局部特征點在目標上的應該盡量均勻分布，因此我們提出按照空間分布情況選取穩健局部特征點。步驟如下：

步驟1：排除相近特征點

對集合[U1]中的每一個元素，在以所述元素為中心、半徑為[Rc]個像素的圓形區域內查找集合[U1]中的元素，并將這些元素中總置信度不是最大值的元素從集合[U1]中刪除。

設經過步驟1的循環處理，得到集合[U2]。

步驟2：按空間距離排序選取穩健局部特征點

計算集合[U2]中元素兩兩之間的空間距離[dk，h]，[k]，[h]表示集合[U2]中的第[k]個元素和第[h]個元素，[k≠h]。然后按照空間距離從大到小的順序進行排序，選取排序后的前[M]個元素，作為穩健局部特征點。如果集合[U2]中元素個數小于[M]，則保留集合[U2]中的所有元素。[M]的取值根據后續使用的要求確定。

一方面，由于對訓練圖像進行了多種情況的仿真，通過設定閾值得到了在大多數情況下都穩定的局部特征點；另一方面，經過對每一特征點從3個方面設立相關的置信度，并且加權得到總的置信度，保證了局部特征點的穩健性。而且，通過空間分布的分析，更好地適應了遮擋情況的發生。本文方法克服了現有大數據量圖像局部特征點提取計算速度慢的問題。

6 實驗結果與分析

實驗中，采用0.6～3 m不同分辨率的光學衛星遙感圖像16幅，目標區域有機場、港口等，光學圖像中主要是云遮擋情況。其中，訓練圖像都是選取分辨率高、成像好、無遮擋情況下的圖像，圖2中展示了部分訓練圖像。下面舉例介紹相關實驗結果。

本文訓練圖像的參數設置如下：先對目標圖像進行仿真變化，生成圖像集。圖像集中包含的圖像有光照變化：模擬太陽光照生成2幅光照變化圖像；旋轉變換：在[-30°，30°]范圍內，以10°為步長生成6幅旋轉變換圖像；尺度縮放：在[0.6，1.4]縮放范圍內，以0.2為步長生成4幅尺度縮放圖像。總共生成[N]=12幅仿真圖像。設定粗特征點提取閾值[t]=0.8，[Rr]=3，灰度閾值[t′]=50，所以[Nr]=16，設定像素點個數閾值[NUM]=10，[R1]=1，[R2]=3，設定粗特征點篩選閾值[t″]=0.8，同時設定[M]=100。

通過訓練得到具有穩健局部特征點的參考圖像，并在此基礎上將本文方法應用于部分遮擋目標圖像中進行目標檢測實驗。在此的方法能為部分遮擋目標檢測提供很好的穩定性和可觀的檢測速度。

7 特征點提取實驗結果

本節介紹穩健局部特征點提取，圖3展示的是無遮擋情況下1 m分辨率圖像的穩健局部特征點提取過程。

圖3是對圖2中的圖像利用本文方法提取穩健局部特征點時在不同步驟下得到的實驗結果，展示的4幅圖像都是進行實驗后從結果圖中截取的一部分，圖中十字符號表示特征點位置。從實驗結果圖（a）到（d）中可以看出特征點數目的明顯變化，最終（d）得到了數目不多但穩健的局部特征點。說明本文方法極大地減少了局部特征點的數目，清除了大部分不穩定局部特征點。

8 遮擋目標檢測實驗結果

提取穩健局部特征點的目的是為了實現遮擋目標的檢測與識別，為了驗證本文方法的性能，將本文方法應用于遮擋目標檢測實際應用中進行實驗，并且與基于經典SIFT的目標檢測方法進行了比較。

在輸入的待檢測圖像中，目標的狀態是不可預知的，實驗的圖像中目標被大量的云層遮擋，并受到光照變化等的影響。

圖4是基于經典SIFT方法和基于本文方法進行的部分遮擋目標檢測實驗的實驗結果對比，圖中十字符號表示匹配的特征點位置，圖中（a）和（c）中的方框表示檢測到的目標，（b）和（d）是進行實驗后從結果圖中截取的一部分。

其中（a）和（b）是基于經典SIFT方法的部分遮擋目標檢測結果：待檢測圖像和訓練圖像的檢測結果圖。（c）和（d）是基于本文方法的部分遮擋目標檢測結果：待檢測圖像和參考圖像的檢測結果圖。

另外，表1列出相應的目標檢測耗時對比，本文方法提取的局部特征點遠小于經典SIFT方法提取的局部特征點，其平均耗時為經典SIFT方法的30%，因此本文方法在保證檢測精度的同時提高了檢測速度。

9 結論

本文針對遮擋目標特征點檢測精度和速度效率不高的情況，提出了一種遮擋目標穩健局部特征點提取方法，它綜合分析了局部特征點的局部特性和空間分布等特性，通過置信度度量逐步篩選出穩健局部特征點。與經典SIFT方法的遮擋目標檢測實驗對比分析表明本文方法能從大量特征點集中逐步提取出穩健的局部特征點，提高了目標檢測速度，同時也保證了檢測的精度。未來需要研究的問題包括：仿真實現更多狀態下的目標形態，完善仿真圖像集；更智能地自動選擇閾值參數。

參考文獻

[1] ZHANG Q， NGAN K N. Segmentation and tracking multiple objects under occlusion from multiview video [J]. IEEE Transactions on Image Processing， 2011， 20（11）： 3308?3313.

[2] HSIAO E， HEBERT M. Occlusion reasoning for object detection under arbitrary viewpoint [C]// 2012 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. [S.l.]： IEEE， 2012： 3146?3153.

[3] BAJORSKI P. Target detection under misspecified models in hyperspectral images [J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2012， 5（2）： 470?477.

[4] TOEWS M， ARBEL T. Detection， localization， and sex classification of faces from arbitrary viewpoints and under occlusion [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2009， 31（9）： 1567?1581.

[5] LIU N， LAI J H， ZHENG W S. A facial sparse descriptor for single image based face recognition [J]. Neurocomputing， 2012， 93： 77?87.

[6] TSAI D M， LIN C T. Fast normalized cross correlation for defect detection [J]. Pattern Recognition Letters， 2003， 24（15）： 2625?2631.

[7] BARINOVA O， LEMPITSKY V， KHOLI P. On detection of multiple object instances using hough transform [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 2012， 34（9）： 1773?1784.

[8] TOSHEV A， TASKAR B， DANIILIDIS K. Object detection via boundary structure segmentation [C]// Computer Vision and Pattern Recognition. [S.l.]： CVPR， 2010： 950?957.

[9] HARRIS C， STEPHENS M. A combined corner and edge detector [C]// Proceedings of Fourth Alvey Vision Conference. [S.l.]： AVC， 1988： 147?151.

[10] SMITH S M， BRADY J M. SUSAN： a new approach to low level image processing [J]. International Journal of Computer Vision， 1997， 23（1）： 45?78.

[11] ROSTEN E， DRUMMOND T. Machine learning for high?speed corner detection [M]. Berlin Heidelberg： Springer， 2006： 430?443.

[12] LOWE D G. Distinctive image features from scale?invariant keypoints [J]. International Journal of Computer Vision， 2004， 60（2）： 91?110.

[13] BAY H， TUYTELAARS T， VAN GOOL L. SURF： Speed up robust features [M]. Berlin Heidelberg： Springer， 2006： 404?417.

[14] MOREL J M， YU G. ASIFT： a new framework for fully affine invariant image comparison [J]. SIAM Journal on Imaging Sciences， 2009， 2（2）： 438?469.