一種利用可見光載荷實現運動目標搜索的方法

徐富元，楊 蔚，祁友杰，朱明明，李仙法

(中國航天科工集團8511研究所，江蘇 南京 210007)

一種利用可見光載荷實現運動目標搜索的方法

徐富元，楊 蔚，祁友杰，朱明明，李仙法

(中國航天科工集團8511研究所，江蘇 南京 210007)

利用無人機可見光載荷實現地面運動目標的搜索是獲取地面運動目標信息的重要技術。為實現在探測器運動的條件下實現運動目標的檢測，提出了一種基于平面+視差的運動目標搜索方法。首先采用相位相關法配準尋找主平面，實現對運動圖像的全局運動補償，然后采用光流法對殘差圖像進行視差濾除。全局運動補償可以有效補償主平面的運動，視差濾除通過多視角理論，去除視差景物在搜索系統中形成的虛警。實驗表明，該方法利用可見光載荷系統，通過對移動探測器的運動補償和視差的濾除，能夠很好地實現地面運動目標的搜索，提高地面運動目標信息獲取的能力。

可見光載荷；主平面補償；視差濾除；運動目標檢測

0 引言

利用無人機可見光載荷實現地面運動目標的搜索，其中主要需要解決的難題有兩個：首先是探測器固定在一個運動的平臺上，從一個運動的背景中提取出相對運動的目標是一個比較困難的過程；其次由于探測器的投影關系，視差景物往往成為目標搜索的主要虛警成份。本文提出了一種平面+視差的運動目標搜索方法。該方法可以能夠很好地解決探測器運動的問題，并且可以通過多視角幾何的理論去除因視差而產生的虛警。

在運動平臺下實現運動目標搜索是一個從二維數據中提取出運動目標的過程[1]。很多傳統的方法均是假設圖像中的深度很小，可以忽略不計[2]。但是在實際的場景中其圖像中的視差是不可忽略的，如果仍然采用二維處理方式，其深度差異較大的地方將會出現大量虛警。

從二維的圖像數據中得到深度信息是一個很難的過程。大多數方法都是通過計算光流或者特征點匹配檢測運動目標[1-4]。也有很多學者通過從連續幀中推導圖像場景的三維信息或者通過建立場景中的運動模型檢測運動目標。如在文獻[1]中，作者采用光流法檢測特征點的二維運動場，通過兩幀圖像建立圖像中固定場景的運動方程。文獻[4]從多視角理論出發，通過建立新的運動限制模型檢測運動目標。但是在實際的應用中，此類理論都建立在一定的運動假設的基礎上。如文獻[1]則假設探測器的成像平面要始終平行，而文獻[4]所建立的運動限制模型也具有一定的局限性，在很多特殊的條件下無法獲得正確的結果。

為了克服以上問題，本文提出了一種平面+視差的運動目標搜索方法。該方法主要有兩個創新點，首先采用相位相關法尋找連續圖像中的主平面，實現圖像中符合主平面的像素點的運動補償；然后采用光流法對殘留像素二維運動信息建立多幀運動方程，實現視差的濾除。該算法的創新點在于通過兩次運動補償可以有效地解決因探測器移動而帶來的視差問題，實現利用無人機可見光載荷提取地面運動目標信息的目的。

1 算法概述

傳統的檢測方法是通過連續的圖像恢復出實際圖像中的深度信息然后通過圖像的三維信息來判斷運動區域如文獻[1-4]。該類方法比較依賴于特征點配準精度，并且對于無特征點的區域將無法判斷有否有目標存在。在文獻[5]中，在三維空間中存在一個參考平面∏12，該平面上的不同視角的圖像坐標點m1和m2存在單應矩陣H將其相互對應，即滿足m1=Hm2。空間中其它坐標的圖像坐標點p1的對應關系則可以表示為：

p1～Hp2+ke

(1)

式中，e是視角1與視角2攝像機中心的極點，k是投影深度。

平面+視差框架已經在文獻[4-7]中提出。本文根據此框架提出了一種基于可見光載荷的運動目標搜索方法。如圖1所示，本文提出的目標搜索方法主要分為全局運動補償與視差濾除，全局運動補償是通過相位相關法計算單應矩陣，提取連續圖像中的主平面，實現對符合主平面上的像素全局補償，最終得到殘差圖像。對于殘差圖像采用光流法計算每個像素連續幀中的運動信息，通過建立三維運動方程，最終提取移動背景下的運動目標。

2 主平面提取

文獻[8]采用相位法實現運動補償的預處理，但是可見光載荷的探測器的移動并非平移式，因此相鄰兩幀圖像存在一定的平移、縮放和旋轉關系。

Reddy和Chatterji提出了一種基于Fourier-Mellin變換的圖像匹配方法, 對圖像旋轉、拉伸和平移有較強的魯棒性[9]。設連續幀圖像為Ii與Ii+1，圖像Ii和圖像Ii+1之間的關系為：

Ii(x,y)=Ii+1(txcosφ+tysinφ-x0,

-txsinφ+tycosφ-y0)

(2)

式中，(x0,y0)為平移量，t為縮放因子，φ為旋轉角度。分別作Fourier變換后，Fourier頻譜幅度為：

|H2(u,v)|=t2

|H1(t-1(ucosφ+vsinφ),

t-1(-usinφ+vcosφ))|

(3)

對式(3)進行極坐標轉換得到:

H2(θ,ρ)=t2H1(θ-φ,ρ/t)

(4)

對式(4)進行幅值取對數即得：

H2K(θ,λ)=H2(θ,ρ)

=t-2H1k(θ-φ,λ-p)

(5)

式中，λ=lg(ρ),p=lg(t)，H1K即為圖像的Fourier-Mellin不變描述子。

由以上描述可知將旋轉和尺度縮放轉變為平移的形式，通過相位相關法計算其參數。

由于Fourier-Mellin在計算中誤差較大，因此不少學者提出了其改進算法，如文獻[10] 在引進核函數的基礎上定義了一種加權距離，經過核函數對圖像的峰值進行修正，更好地解決了圖像的匹配問題。

通過Fourier-Mellin算法得到圖像變換的參數，計算出單應矩陣H。通過單應矩陣將Ii+1變換到Ii。其殘差圖像則為：

IR=HIi+1-Ii

(6)

由于相鄰的兩幀圖像大部分的像素點都位于主平面上，或者處于主平面附近。因此殘差圖像主要由視差較大的像素與運動的像素區域組成。

3 視差濾除

對殘差圖像進行閾值分割，將其中視差較大的部分與運動的區域的像素提取出來，通過光流法描述運動狀態。由于視差是由探測器的運動產生的，因此必須要從二維的光流場當中尋找到背景運動的實際模型，從而實現運動目標的檢測。

如圖2所示在探測器坐標系中，假設探測器的平移運動為(ΔA,ΔB,ΔC)，旋轉運動為(Δα,Δβ,Δγ)，假設在圖像坐標系中有點p(x,y)對應于相機坐標系坐標為P(X,Y,Z)，則圖像中的p點運動矢量(u,v)與相機運動之間的關系為：

u=(-ΔAf+xΔC)/Z+αxy/f-

βxy/f-rx

(7)

假設(u,v)為圖像Ii+1與Ii之間殘差像素的運動場，平面∏為Ii+1和Ii之間的參考平面。假設(u∏,v∏)為參考平面與Ii之間的運動場，設平面上的點P∏(X∏,Y∏,Z∏)。

u∏=(-ΔAf+xΔC)/Z∏+αxy/f-

βxy/f-rx

(8)

由式(7)和式(8)可得到參考平面上的投影點與三維空間中的點的運動矢量之差(uΔ,vΔ)：

uΔ=u-u∏

=(-ΔAf+xΔC)/Z-(-ΔAf+xΔC)/Z∏

=(-ΔAf+xΔC)(Z∏-Z)/ZZ∏

vΔ=v-v∏

=(-ΔBf+yΔC)/Z-(-ΔAf+xΔC)/Z∏

=(-ΔBf+yΔC)(Z∏-Z)/ZZ∏

(9)

令θ=(Z∏-Z)/ZZ∏，則：

uΔ=(-ΔAf+xΔC)θ

vΔ=(-ΔBf+yΔC)θ

(10)

由式(10)可以得到方程：

0=(-ΔBf+yΔC)uΔ-

(-ΔAf+xΔC)vΔ

(11)

(12)

由以上理論可知對于運動的相機，殘差圖像中視差部分滿足式(12)的方程。因此本文采用稠密光流計算殘差區域與殘差區域周圍的像素，以保證估計模型參數時的正確性。如圖3所示，p(x,y)為前景像素點，取其周圍40×40的區域計算稠密光流，估計式(12)中的參數。

式(12)為一個線性最小二乘問題，參數估計一般都采用svd分解得到，為了獲得更精確的參數，很多學者在此方面做了很多研究。本文主要采用文獻[1]提出的求解算法，該算法具有較高的參數估計精度和迭代收斂速度。

4 實驗與分析

本文實驗主要采用可見光載荷高空俯視連續圖像數據，對本文算法與其他文獻算法進行實驗。實驗圖像大小均為960×540，算法實驗平臺為2.4GHz主頻，2G內存的計算機，使用軟件為VS2008，處理速度為每秒8幀，在實驗過程中相機均有較強的旋轉與平移運動。本文從定量與定性的角度對本文的算法進行分析并與其他算法做比較。

4.1 定性的分析

圖4為可見光CCD在熱氣球上高空對地面俯視得到的圖像，探測高度約為50m。在圖像視頻中有兩輛汽車與兩個直立行走的人。其中白色汽車相對于地面是靜止不動的，公路上的灰色的車與行人是運動的。

圖4(a)和圖4(b)是連續的原始的圖像；圖4(c)主平面補償后得到的殘差的圖像；圖4(d)是殘差圖像的二值化的結果，其中黑色的區域表示運動和視差的區域；圖4(e)是經過視差濾除后的二值化的結果；通過圖4(d)和圖4(e)對比可以清楚地看出由于視差的影響，白色的車、路邊的路燈和路的邊緣等沒有運動的景物在主平面配準后被凸顯出來，通過視差濾除后在圖4(e)中已經完全被濾除。圖4(f)是運動目標檢測的最終的結果。

圖5為可見光CCD在低速無人機上高空對地面俯視得到的圖像，探測高度約為60m。在圖像視頻中背景主要有道路和樹木，其中運動的物體主要是兩個直立行走的人、公路上一個騎車的人和一輛騎車還有在遠處樹林背景中的運動的車。

圖5中的每行圖像序列，從左到右依次是原始圖像、殘差圖像、視差濾除后的二值化圖像和最終的目標檢測結果。通過每一行的殘差圖像與視差濾除后的二值化圖像的比較，可以明顯地發現，視頻中樹木和一些視差比較大的區域經過視差濾除后都可以很好地被去除，只保留視頻中運動的目標。

4.2 定量分析

(13)

式中,Nc為關聯目標的個數。

圖6是本文算法與其他算法的比較，由曲線可以看出本文算法能有效分割地面運動的目標，其檢測出的運動目標的位置與實際運動目標的位置偏移較小，因而能夠更準確地獲取地面運動目標的信息。

定義目標的檢測率表示為：

(14)

檢測率主要表示系統虛警率和探測率的關系，本文采用圖4可見光載荷所采集的視頻，對其他算法與本文算法根據式(14)做了相互的比較，其中虛警率α=0.03，結果如表1所示。

由表1可知在相同的虛警率的情況下，本文算法相比較于傳統的算法將會獲得更高的檢測率。

表1 檢測率的比較

5 結束語

本文提出一種利用可見光載荷實現對地面運動目標的檢測的方法。該方法基于平面+視差的框架，首先采用相位相關法配準尋找主平面，實現對運動圖像的全局運動補償。然后采用光流法對殘差圖像進行視差濾除，最終能夠將地面運動目標從連續的視頻中提取出來。實驗表明，該方法利用可見光載荷系統，通過對移動探測器運動補償和視差濾除，能夠很好地實現地面運動目標搜索，提高地面運動目標信息獲取的能力。■

[1] Zhang Y, Kiselewich SJ, Bauson WA, et al. Robust moving object detection at distance in the visible spectrum and beyond using a moving camera[J]. Comput. Vis. Pattern Recog. Workshop in Proc. IEEE Conf., 2006, 24(7):131-132.

[2] Lin Y, Medioni G. Map-enhanced UAV image sequence registration and synchronization of multiple image sequences[J]. Computer Vision and Pattern Recognition., 2007, 25(8): 1-7.

[3] Yin Zhaozheng, Collins R. Moving object localization in thermal imagery by forward-backward MHI[J]. Computer Vision and Pattern Recognition Workshop in Proc. IEEE Conf., 2006, 15(5):8-16

[4] Yuan, Chang, et al. Detecting motion regions in the presence of a strong parallax from a moving camera by multiview geometric constraints[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence., 2007, 29(9):1627-1641.

[5] Mundy JL, Zisserman A. Geometric Invariance in Computer Vision[M]. MIT Press., MA, 1992.

[6] Yu Qian, Medioni G. Motion pattern interpretation and detection for tracking moving vehicles in airborne video[J]. Computer Vision and Pattern Recognition in Proc. IEEE Conf., 2009, 45(5):45-50.

[7] Jin Yuxin, et al. Background modeling from a free-moving camera by multi-layer homography algorithm[J]. Image Processing in Proc. IEEE Conf., 2008, 78(1):789-798.

[8] Xu Fuyuan, et al. Design and implementation of a real-time image registration in an infrared search and track system[J]. IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics., 2013, 87(6):854-865.

[9] Xiong Wenzhen, Cai Guangcheng, Zhang Hongju. Application of an improved Fourier-Mellin descriptor in image matching[J]. Computer Engineering & Science., 2011, 54(5):458-467.

[10]Li Guo, Liao Yu, Chen Weilong. An improved registration algorithm on video super resolution reconstruction[J]. Journal of Hubei University for Nationalities (Natural Science Edition), 2010, 28(2): 177-180.

A moving target detection method using visible payload

Xu Fuyuan, Yang Wei, Qi Youjie, Zhu Mingming, Li Xianfa

(No．8511 Research Institute of CASIC, Nanjing 210007, Jiangsu，China)

The ground moving target detection using the visible payload is an important technology to obtain information of the ground moving target. To detect the moving target on the moving camera, a method within the “Plane+Parallax” framework is proposed to detect the moving target in video sequences observed by a moving camera. Firstly, the reference plane is found by the image registration based on phase-correlation and the global motion compensation is achieved. Secondly, the parallax regions are filtered by the optical flow method. The global motion compensation can effectively compensate for the motion of the main plane and the parallax in the search system is removed by the multi-view theory. The experiments show that this method can achieve the moving target detection using the visible payload through the motion compensation and parallax filter and improve the ability to obtain the ground moving target.

visible payload; main plane compensation; parallax filter; moving target detection

2016-11-30;2017-01-17修回。

徐富元(1986-)，男，博士研究生，研究方向為目標識別與信號處理。

TN971+.5

A