改進SIFT匹配的動態背景下運動目標檢測算法

侯宏錄，李 媛，李光耀

(西安工業大學光電工程學院，陜西 西安 710021)

0 引言

動態背景下運動目標檢測廣泛應用于無人機武器系統、反恐、車載運動目標檢測與跟蹤以及體育運動等領域。運動目標檢測技術是計算機視覺領域中的一個重要研究方向，也是目標跟蹤與行為識別等計算機視覺應用的關鍵技術。其目的是從不同復雜背景中檢測并提取出運動目標，為目標識別、跟蹤和行為分析等奠定基礎。因此，將運動目標與背景進行有效分割，從而準確地檢測目標直接影響后續目標跟蹤、動作識別以及行為理解等中高層任務的性能[1]。

運動目標檢測根據監控場景與攝像機之間是否存在相對運動，可分為靜態背景運動目標檢測和動態背景運動目標檢測。靜態背景運動目標檢測是指在場景中只有實體運動，背景沒有變化或是僅有微小變化，如固定監控攝像頭下運動目標的檢測[2]。動態背景運動目標檢測是指背景和攝像機存在相對運動條件下的檢測，如便攜攝像機拍攝視頻中運動目標的檢測[3]。其中，攝像機和目標都在運動，增加了運動目標檢測的難度，難以準確檢測出目標。背景估計補償差分法[4-6]是動態背景下運動目標檢測的主要方法。其中，如何估計模型運動參數和補償背景[7-8]、消除攝像機運動給運動目標檢測帶來的影響，是解決問題的關鍵。利用尺度不變特征變換(scale-invariant feature transform，SIFT)特征匹配算法進行背景運動估計補償，可實現動態背景下運動目標檢測。然而，SIFT特征匹配算法存在耗時嚴重、誤匹配率大的缺點。考慮到運動目標檢測系統的實時性和準確性，提出改進SIFT匹配的動態背景下運動目標檢測算法。

1 動態背景下運動目標檢測

動態背景下，運動目標檢測流程如圖1所示。

圖1 動態背景下運動目標檢測流程圖Fig.1 Flowchart of moving target detection under dynamic background

無人機、車載平臺的運動使得搭載的攝像機拍攝的視頻圖像中的背景發生全局移動，也就是運動目標與背景存在相對運動。為了準確檢測出運動目標，本文采用背景估計補償差分法實現動態背景下運動目標檢測。首先，利用六參數仿射模型表征背景運動模型[9]。接著，提取SIFT[10]特征點，并借鑒SIFT特征點匹配算法[11-13]的思想，提出了一種改進的特征點匹配算法——先剔除邊緣特征點。然后，利用最近鄰與次近鄰點的歐式距離比確定匹配點。最后，用RANSAC[14]刪除運動目標上的匹配點對，實現對背景運動的準確估計，從而補償背景全局運動。在此基礎上，對圖像進行幀間差分，并對檢測出的結果進行二值化、形態學濾波等操作，從而檢測出運動目標的準確位置。

1.1 背景全局運動模型

動態背景下，運動目標檢測首先要確定合適的背景運動模型。在不考慮景深差異的前提下，綜合背景運動的復雜度、背景運動估計補償的效果及算法實時性等因素，本文選取六參數仿射變換模型來表征背景運動。該模型可以處理攝像機平移、旋轉及小范圍縮放等運動，具有較高的精度，適合實際應用。若第(k-1)幀圖像中某像素點為(xk-1，yk-1)，則經過時間Δt后，運動到第k幀圖像中點(xk，yk)，可用六參數仿射運動模型表示為[15-16]：

(1)

式中:θ為旋轉角度；γ為縮放系數；(e,f)T為x、y方向的平移量。

1.2 特征點提取

特征點是圖像中重要的局部特征的表征。理想的特征點在圖像視角改變、光照變化和噪聲干擾的情況下，仍然能夠在兩幀圖像中的同一位置上同時出現，從而實現特征點的匹配。LOWE等提出一種穩定的SIFT特征算子。該算子不僅具有尺度、旋轉、仿射、視角和光照的不變性，還能在目標存在運動、遮擋和噪聲等因素影響下，保持較好的匹配精度。因此，本文通過SIFT特征點匹配估計圖像背景，進而完成動態背景下運動目標檢測。

1.3 改進的特征點匹配算法

傳統的SIFT特征點匹配算法，通常使用特征點之間的歐氏距離最小值與次小值之比小于距離閾值作為匹配點對正確的準則。在此基礎上，各種改進匹配算法的重點在于利用RANS-AC去除錯誤的匹配點，而非考慮檢測特征點匹配之前的錯誤剔除，依舊存在運算量大、匹配準確度低等問題。針對以上問題，本文提出一種改進的特征點匹配算法。其基本思想是先剔除邊緣易丟失的特征點，再利用最近鄰與次近鄰點的歐氏距離比值確定匹配點，最后用RANSAC進一步精確估計內點、外點，并刪除運動目標上的匹配點對。具體算法如下。

1.3.1 匹配預處理

檢測到的SIFT特征點可能處于圖像的邊緣。由于邊緣的SIFT特征點易受噪聲影響且易丟失，為了增強匹配穩定性并提高模型參數估計準確度，在兩幅圖像匹配之前，應先剔除檢測到的邊緣特征點，完成匹配預處理。剔除邊緣特征點步驟如下。

計算兩幅圖像中心點的橫坐標剔除，各特征點橫坐標到質心橫坐標的距離大于閾值的特征點。閾值的確定根據視頻圖像的橫尺寸決定。本文所選視頻每幀圖像大小為352×288，剔除圖像左右邊緣，選取閾值為159像素。

1.3.2 基于歐氏距離比值的特征點匹配

SIFT 特征點的匹配采用了特征向量對應維度的歐式距離作為兩個特征點相似度的判定依據，匹配還特別采用了雙向匹配策略。在兩幅圖像I和I′中，特征點Ii和Ij′ 的相似性判定度量定義為：

(2)

在完成兩幅圖像匹配時，搜索出某一特征中兩個最匹配的特征點。設它們之間的歐氏距離分別為d1和d2。如式(2)所示，如果最近的距離除以次近的距離小于或等于某個比例閾值Td，則接受這一對匹配點；反之，拒絕。

(3)

不同比例閾值對匹配結果的影響如表1所示。

表1 不同比例閾值對匹配結果的影響Tab.1 Effect of different ratio thresholds on matching results

由表1可知，比例閾值較高匹配點對數量對匹配正確度影響不大，但匹配點對越多，背景運動模型的參數求解耗時越大。經過試驗，閾值為0.6時，匹配較為恰當。

1.3.3 誤匹配特征點剔除

經過匹配，得到N對匹配的特征點。一般情況下，N數值比較大。此時，有一部分特征點對是在運動目標上或是匹配錯誤，這種點稱為外點；還有一部分是在背景上且匹配正確的點，稱為內點。在對背景運動模型參數估計時，應盡量避開外點。為了提高SIFT特征的匹配準確性，從而提高背景運動模型參數估計的精度，進一步采用RANSAC算法剔除運動目標上和誤匹配的特征點。剔除外點具體步驟如下。

①從匹配特征點對集合P中隨機抽取一個樣本集合。由于求解仿射變換矩陣最少需要3對匹配點對，因此樣本大小S=3，根據得到的3對匹配點對計算仿射變換矩陣。

②將余集PS中的匹配點對設置為初始外點集合Q，利用步驟①中得到的仿射變換矩陣，對初始外點集合每一個樣本點進行矩陣變換，并計算變換后的匹配點和其對應匹配點的歐氏距離。若求得的距離小于設定的閾值，則認為該點為內點；否則，該點為外點。最終，將初始外點集合(Q)里判定為內點的點構成S1。

③保存步驟②中確定的內點，并統計內點數目。

④重新從原匹配特征點對集合中抽取3對匹配點對，重復步驟①～步驟③。在多次重復操作之后，獲得最大內點數的特征點對較準確。

1.4 背景補償及運動目標檢測

背景補償效果直接取決于全局運動估計精度，進而影響到目標檢測的準確性。將相互匹配的 SIFT 特征點代入式(1)中，從而估計出背景模型的運動參數。采用六參數仿射變換，變換中需要求解 6個運動參數，理論上只需要3對匹配點。但在實際情況下，相匹配的特征點對數往往遠大于3，故采用最小二乘法求矩陣矢量的最優解得到攝像機的運動參數。最小二乘法是一種數學優化方法，可以通過最小化誤差的平方和來尋找數據的最佳匹配函數，從而得到目標函數的最優值，用于估計攝像機的全局運動參數。

(4)

由于二值圖像d(x,y)可能存在一些噪聲點，需要對其進行形態學處理，消除殘留的噪聲點和細小的空洞，最終得到較為準確的運動目標。

2 試驗結果及分析

試驗一：驗證基于運動估計補償的檢測算法，采用攝像機移動，視野場景中再沒有其他本身移動的目標。選用手機拍攝的拍攝的視頻，視頻總200幀，視頻序列圖像尺寸為568×320。選取其中相鄰2幀，其攝像機移動時的畫面和運動補償算法驗證分別如圖2、圖3所示。

圖2 攝像機移動時的畫面Fig.2 Screens when camera is moving

圖3 運動補償算法驗證Fig.3 Motion compensation algorithm verification

由圖3可知，攝像機的移動使得固定不動的背景也被檢測當成了運動目標。

試驗二：選取公開數據庫中一段移動攝像機拍攝的視頻作為測試對象，來驗證改進算法的有效性。該視頻總共597幀，每幀圖像大小為352×288，幀速率為29.97幀/s。試驗平臺為普通計算機(Intel(R)Core(TM)i5-3317U CPU，1.70GHz)，通過MATLAB2015b仿真軟件完成。其中，選取視頻序列中的第1、第2幀圖像，分別作為參考幀和當前幀進行處理并分析處理結果。

SIFT特征提取效果如圖4所示。

圖4 SIFT特征提取效果圖Fig.4 SIFT feature extraction effects

運動目標檢測結果如圖5所示。

圖5 運動目標檢測結果圖Fig.5 Moving target detection results

匹配算法性能比較如表2所示。

表2 匹配算法性能比較Tab.2 Comparison of algorithm performance

從表2可以看出，本文提出的匹配算法通過多步驟有效組合和篩選匹配，匹配結果與原改進的SIFT算法相比，圖像匹配點數目明顯減少，匹配的準確率顯著提高。通過算法的優化，處理時間顯著縮短，確保了算法的實時有效性。

由圖5(a)可見，參考幀與當前幀直接進行差分后出現大量噪聲，無法準確檢測出運動目標。由圖5(b)可以看出，對視頻圖像進行全局運動補償后可以消除相機運動對背景變化的影響，近似為靜態背景下的目標檢測，這樣可以準確確定目標的位置。圖5(c)為經過背景補償、形態學處理后檢測到的運動目標。

3 結束語

本文針對動態背景下運動目標檢測問題，提出了通過建立背景運動全局模型改進的特征點匹配算法，實現了背景的全局運動參數估計和運動背景補償。通過仿射變換后的參考幀圖像與當前幀圖像做幀間差分，獲得了運動目標的真實位置。通過對改進的匹配算法和原改進SIFT特征匹配算法比較可知，本文改進的特征點匹配算法在匹配準確度和運算速度上優于原改進匹配算法。試驗結果表明，通過背景補償有效消除了相機運動引入的動態誤差，提高了運動目標檢測的實時性和精度。