基于雙向稀疏光流融合的小目標檢測方法

王　華，王　倩，顧　鑫，李　瀟，曹建文，夏　耘

(中國運載火箭技術研究院研究發展中心，北京 100076)

基于雙向稀疏光流融合的小目標檢測方法

王華，王倩，顧鑫，李瀟，曹建文，夏耘

(中國運載火箭技術研究院研究發展中心，北京 100076)

摘要:針對動態背景下的小目標檢測問題，提出了基于雙向稀疏光流融合的目標檢測方法。首先采用FAST方法提取當前幀圖像中的角點，然后在連續的三幀圖像中進行前、后向稀疏光流跟蹤，確定正確匹配的特征點對，利用匹配的特征點對計算用于背景補償的幀間運動參數，最后在背景補償的基礎上進行三幀差分，以檢測出圖像中的運動小目標。實驗結果顯示，本算法能夠很好地解決背景和目標同時快速運動的問題，為運動目標的跟蹤奠定基礎。

關鍵詞:FAST；動態背景；稀疏光流；幀差；背景補償

在對地精確打擊任務中，導引頭經常需要對處于復雜背景下的移動目標進行精確的檢測與跟蹤，為精確打擊武器的制導控制提供目標信息。在復雜地物背景下的小運動目標檢測中，由于背景復雜，且對地成像裝置的高速運動導致背景快速移動、旋轉或縮放，對目標檢測系統的性能有著至關重要的影響[1]。目前常用的方法是模板匹配方法，然而對于背景復雜且目標面積較小的情況，極易因目標模板更新使得模板出現漂移，影響目標跟蹤的精度。另一種常見的方法是利用相鄰兩幀幀差將目標輪廓提取出來，但這種方法存在背景噪聲嚴重，容易出現虛假目標的缺點。為了克服這種缺點，本文采用FAST角點檢測、雙向稀疏光流與三幀差分的方法，實現了對動態背景的實時補償和復雜背景下的運動小目標檢測。

1算法流程

利用稀疏光流實現目標檢測的流程圖如圖1所示。

圖1　算法處理流程圖

主要流程如下：

1)在Icur圖像中檢測FAST特征點并進行特征點篩選。

2)計算當前幀特征點在中間幀內的對應位置，即進行前向光流跟蹤；再驗證中間幀的匹配特征點到當前幀的運動矢量，即進行后向光流跟蹤；剔除經過雙向光流跟蹤后，與原位置距離較遠的匹配點對。

3)用匹配的特征點對計算投影變換矩陣Hcur→cen。

4)利用Hcur→cen將當前幀圖像變換到中間幀坐標系下，并與之作差，得到差值圖Dcur→cen，從幀差圖像存儲隊列取出Dcur→pre。

5)對Dcur→cen和Dcur→pre進行二值分割，區分出變動的像素，并將Dcur→cen存入到幀差圖像存儲隊列作為下一幀計算時的Dcur→pre。

6)將前向差值圖Dcur→cen與后向差值圖Dcur→pre進行邏輯“與”運算，獲得三幀差值圖，此差值圖的前景像素中包含有中間的完整目標區域。

2角點提取

2.1FAST特征點檢測

FAST是一種最新的角點檢測器，其特征檢測原理如圖2所示。其顯著性判據很好地結合了相應的機器學習方法，使得角點檢測的時間消耗達到毫秒級別。因此，FAST在具有比較高的實時要求的應用中得到越來越多的使用[2]。

圖2　FAST特征檢測原理與示例

本文中采用FAST角點判據如下：以p為特征點中心，取半徑為3的圓上的16個點，當該圓上連續存在n個比p處灰度高(或低)的像素，且p點灰度與上述圓弧各點灰度差值累積和在圖像平面的一定鄰域內為最大時，就認為p為角點。本文中取n=9，t=20。

2.2FAST特征點篩選

在分辨率為384×288的可見光圖像中，平均檢測到FAST特征點在2 000個左右(包括非極大值抑制環節)，直接用這些點進行幀間運動估計會造成算法運算量過大，降低了算法的實時性，本文采用如下策略篩選出可靠特征點：將原始圖像水平和垂直方向分成固定的矩形柵格，每個柵格中保留一個FAST特征檢測得分最高的點。按柵格取特征點有助于特征點在空間上散布于整個圖像平面，有助于幀間背景運動參數計算的高精準度。

圖3顯示了連續兩幀圖像提取到的FAST角點，圖3a為前一幀圖像提取到的FAST角點，圖3b為當前幀圖像提取到的FAST角點。可以看出，根據篩選后的角點分布均勻，且一致性較好。

a　前一幀圖像提取的角點

b　當前幀圖像提取的角點

3基于雙向稀疏光流的特征點幀間運動估計

3.1基于區域匹配的稀疏光流計算法

傳統意義上的光流計算方法是稠密光流法，其計算復雜，因而在實時性上大多無法保證，因而在大多數實時系統中無法直接使用稠密光流進行計算[3]。稀疏光流法只需對圖像中具有某些特征的像素點進行光流計算，既能夠很好地反映出被檢測圖像的運動特征，也能極大地降低計算量。

基于區域的稀疏光流計算方法是在圖像序列中尋找一種前后幀圖像之間對應關系，它將光流定義為使得不同時刻圖像區域之間產生最佳擬合的位移。假定有兩幀連續圖像分別為I1和I2，對圖像I1中的每個特征點(x， y)，以此點為中心，2n+1為邊長形成一個正方形的相關窗口wc。在圖像I2中(x， y)點處剪切一個尺寸為(x-N，y-N)，(x+N，y+N)的正方形子圖作為搜索窗口ws，搜索范圍N可根據兩幅圖像間的最大可能位移來具體確定。搜索范圍的大小決定了算法的運算速度，搜索范圍越大則計算量越大，計算速度越慢，反之則計算量越小，計算速度越快。本文中n=3，N=15。

本文中的區域匹配算法采用互相關匹配法，其公式如

(1)

3.2雙向稀疏光流融合改進策略

根據目標前一段時間在圖像坐標中的運動速度，確定相應的幀數進行差分，因此導致了搜索窗口的大小不固定；其次，由于背景運動時導致圖像不清晰，特征點本身的提取不夠穩定、成像噪聲及遮擋等問題的影響，會造成區域匹配出現錯誤。

本算法采用雙向跟蹤的處理策略：首先由Icur→Icen，得到中間幀中特征點位置，此時的搜索區域ws可與選取得比較大，保證次區域能夠覆蓋目標在幀間隔下的運動最大距離；再以此位置為起始完成由Icen→Icur的特征點跟蹤，此時ws應取較小值，當反向跟蹤與特征點原始位置重合才認為跟蹤是可靠的，否則丟棄跟蹤獲得的特征點對。

通過上述的過濾約束，可以極大地降低外點概率，以圖3a和圖3b兩幀圖像為例，采用單向稀疏光流進行匹配時，得到匹配點對為65對，其中錯誤匹配為21對，采用雙向稀疏光流融合策略后，得到的匹配點對為55對，其中匹配錯誤的為4對，雙向稀疏光流匹配后的點對示意圖如圖4所示，可見雙向融合策略大大降低了匹配錯誤的點對數量。

3.3單應矩陣估計

圖像坐標是一個典型的二維坐標，圖像變換可以用一個可逆的單應矩陣來表示。令X和X′為兩張圖的對應特征點，令單應矩陣為

圖4　特征點匹配結果

(2)

則

X′ =HX

(1)

一組對應特征點對為單應矩陣的求解提供了2個約束方程，要完全求解H，至少需要4組對應特征點對。

將單應矩陣寫成矢量形式h=(h11， h12， h13， h21， h22， h23， h31， h32， h33)T，給定一組特征點對重寫上式為

Aih=0

(3)

式中：Ai為2×9矩陣，即

(4)

計算8自由度的矩陣H，最少需要4組對應特征點對(且滿足其中任意3對點不共線)，相應的Ai構成8×9矩陣A。若已知對應點對n≥4，且均為精確對應點，則對于方程Ah=0，h存在非零的精確解。實際應用中，從圖像中獲得點位置必然存在誤差，通常用最小二乘法求解

(5)

即對ATA進行特征值分解，h為零特征值(或最接近零的特征值)所對應的特征向量。

4三幀差分檢測目標

4.1三幀差分

為保證差分出整個目標區域，采用三幀中相鄰兩幀幀差的方法。利用上述FAST角點與雙向稀疏光流融合方法對間隔幀的背景運動進行補償后進行幀差，圖5給出了三幀兩兩幀差的示意圖[4]。對于當前幀Icur，需要計算它到中間幀Icen的運動補償，以實現Icen中的目標檢測，同時還需計算中間幀Icen到當前幀Icur的運動補償，方便當前幀作為中間幀時的三幀差處理。三幀差分處理的示意圖如圖5所示。

圖5　三幀差分計算示意圖

4.2目標檢測流程

三幀差分目標檢測處理環節按以下步驟進行：

1)初始化。

2)計算連續三幀圖像的差分結果。

3)二值化差分值。二值化分割的閾值選取需考慮相機自動增益控制、白平衡及視頻傳輸噪聲等因素的影響。對每個像素的分割閾值選取當以總體像素值的標準差為基礎，結合像素局部區域平均亮度自適應調整。

4)去噪。對于二值化后的圖像，利用數學形態學方法進行濾波處理，去除二值圖像中的噪聲干擾。

5)目標區域提取，采用區域連通方法，對二值圖像中的連同區域進行提取，并計算目標的質心點和目標面積(長、寬)。

6)目標位置映射。經過了三幀差處理環節后，若第Icen幀檢測到目標，則需通過后向映射，得到目標在第Icur幀的位置。考慮到目標在當前幀Icur和中間幀Icen中的位置臨近，且外觀和幾何參數相似，這里將Icen幀中的目標映射到Icur幀坐標系下，再在其周圍臨近區域搜索相似的運動區域，最終獲得當前幀Icur中的目標區域。

5實驗結果及分析

本文的算法已經在實驗室仿真環境下進行了仿真驗證。試驗用硬件為聯想8300t計算機，Intel(R)Corei7-2600，主頻3.4GHz，內存為2Gbyte。試驗前預先截取300幀連續的圖片序列，圖片大小為320×240像素。首先通過人工方式對圖像序列中的目標位置、大小進行標定，然后利用本文的算法、模板檢測法、相鄰幀幀差法對圖片中的目標進行檢測，算法檢測結果與人工標定的結果進行比對，圖6a為仿真過程中的連續三幀圖像，圖6b為經過雙向稀疏光流融合特征點對檢測后經過背景補償的圖像，圖6c為三幀差分并經過噪聲濾除后的二值圖，圖6d為經過目標映射后的當前幀目標檢測結果。從仿真結果可以看出，本文的背景補償方式有效的消除了背景的幀間運動，并檢測出了較完整的目標形狀，通過中間幀的目標檢測結果可以很好地映射回當前幀的目標位置。

圖6　幀差圖像結果

算法對比結果如表1所示。

表1算法檢測結果對比

對比項本文算法模板匹配檢測法相鄰兩幀幀差法檢測時間/ms46.338.944.8形心位置偏差/pixel0.41.31.1目標正確檢測幀數298297293目標大小偏差/%5.5/4.2

從表1可看出，本算法在檢測的目標位置、目標檢測正確幀數上比另外兩種傳統方法更優。在檢測時間上比模板匹配法稍長，與相鄰兩幀幀差法相似，這是因為通過流程優化，本文算法在每一次處理流程中只需進行一次幀差計算，計算量與相鄰兩幀幀差法相當。檢測的目標大小偏差由于本算法引入了兩幅差分圖，使得目標大小偏差比兩幀差分略大。

6結論

本文介紹了一種基于雙向稀疏光流融合的目標檢測方法。在運動目標檢測之前，引入了基于雙向稀疏光流法計算圖像的幀間運動參數，并基于運動參數對背景區域進行全局運動補償確保背景區域的一致性，然后再進行圖像的三幀差分獲取中間幀目標位置及區域，再通過當前幀與中間幀之間的映射關系將中間幀的目標位置及區域映射到當前幀，從而實現了小目標的檢測。該算法使用了雙向稀疏光流融合策略，提高了角點匹配的準確性，而且通過流程優化，在每一次處理流程中只需進行一次幀差計算，減小了計算量。在運動小目標檢測中，使用三幀差分的方法與目標位置映射方法，比模板匹配法和相鄰兩幀差分法提高了運動目標檢測的正確性和目標位置的精確性。

參考文獻：

[1]MARKANDYV，REIDA，WANGS.Motionestimationformovingtargetdetection[J].IEEEtransactionsonaerospaceandelectron.system， 1996， 32(3)： 866-874.

[2]王飛宇，邸男，賈平.結合尺度空間FAST角點檢測器和SURF描繪器的圖像特征[J].液晶與顯示，2014，29(4)：598-604.

[3]牛一捷.一種基于稀疏表達和光流的目標跟蹤方法[J].大連交通大學學報，2014，35(2)：102-107.

[4]丁瑩，范靜濤，楊華民，等.基于圖像配準的動態場景運動目標檢測算法[J].長春理工大學學報，2013，36(1-2)：4-9.

Movingtargetdetectionmethodbasedonbidirectionalsparseopticalflow

WANGHua，WANGQian，GUXin，LIXiao，CAOJianwen，XIAYun

(China Academy of Launch Vehicle Technology R&D Center， Beijing 100076，China)

Abstract:A target detection method to detect small target in dynamic background based on the fusion of bidirectional sparse optical flow is proposed. At first， corners in current image are extracted based on FAST method， and then bidirectional sparse optical flow between continuous frames are executed to determine matching points， and uses these pairs of matching points to calculate motion parameters between frames. Finally， after executing background compensation， frame difference is done to detect small moving target in image. The experimental results show that this algorithm can well deal with rapid motion both of the background and targets.

Key words:FAST； dynamic background； sparse optical flow； frame difference； background

中圖分類號:TP391.4

文獻標志碼：A

DOI：10.16280/j.videoe.2016.03.026

作者簡介：

王華(1979— )，工程師，主要研究方向為信息探測總體技術，信號處理；

王倩(1983— )，女，工程師，主要研究方向為信號處理，信息傳輸方向。

責任編輯：閆雯雯

收稿日期：2015-03-25

文獻引用格式：王華，王倩，顧鑫，等. 基于雙向稀疏光流融合的小目標檢測方法[J].電視技術，2016，40(3)：122-125.

WANGH，WANGQ，GUX，etal.Movingtargetdetectionmethodbasedonbidirectionalsparseopticalflow[J].Videoengineering，2016，40(3)：122-125.