Quickbird遙感影像的車輛自動檢測與運動參數估計

張博研，李廣澤，武星星

Quickbird遙感影像的車輛自動檢測與運動參數估計

張博研*，李廣澤，武星星

(中國科學院長春光學精密機械與物理研究所，吉林長春130033)

遙感圖像的車輛目標提取與運動參數估計在交通管理、戰場態勢分析等領域具有廣闊的應用前景，但目前相關算法均需要人工參與或借助GIS信息，針對上述問題提出了一種基于計算機視覺的全自動車輛檢測與運動參數估計算法。分析了Quickbird全色與多光譜傳感器的焦平面結構特征以及該結構造成的“鬼影”現象;針對全色與多光譜遙感影像的分辨率高、光譜信息豐富的特點，利用植被指數歸一化、圖像分割、形態學灰度重建等圖像處理過程，實現了全色圖像中運動車輛的自動檢測，在此基礎上檢測低分辨率的多光譜圖像中的目標。利用全色與多光譜圖像的成像時間差估計運動參數。在Quickbird遙感影像的驗證實驗中充分證明了算法的可行性與正確性。

全色圖像;多光譜圖像;車輛檢測;運動參數估計;形態學重建

Keywords:panchromaticimage;multispectralimage;vehicleextraction;speedestimation; morphological reconstruction

1 引言

目前常用感應線圈、橋頭傳感器和固定攝相機等地面傳感器來實現交通監控管理，但這些傳感器僅能獲取主干道路的交通信息，對那些支干道路或中小型道路上的交通狀況很少涉及。隨著Quickbird以及IKONOS等新型光學系統衛星的成功發射，高分辨率的遙感影像數據為航天攝影測量開辟了更多領域，通過光學遙感圖像進行車輛檢測與運動參數估計逐漸成為新的研究熱點。

傳統的運動參數估計主要通過圖像序列［1-9］實現，但由于遙感視頻的獲取難度較大，傳統的算法很難滿足實際當中的應用需求，因此基于全色與多光譜遙感影像對的運動參數估計成為新的研究方向。然而遙感影像的分辨率普遍較低，且地物背景復雜，目前的相關算法都是在人工劃分道路區域或者借助GIS輔助數據實現的［10-14］，所以運動車輛自動檢測仍是亟待解決的關鍵問題。

車輛檢測算法一般分為基于模型和基于數據兩大類。基于模型的車輛檢測是一種“自頂向下”匹配車輛目標的過程。例如，哥倫比亞大學的Jin等人，利用共享權重的神經網絡方法［15］建立隱式車輛模型［16］;武漢大學的鄭宏等則引入了人工免疫的概念，借鑒生物免疫系統中抗體系統，歸納了一系列類“抗體”模版［17］。而基于數據的方法則是一個“自底向上”分割目標像素的過程，主要根據車輛目標在遙感圖像中的亮度分布以及幾何特征直接提取車輛目標，例如日本千葉大學的Fumio Yamazaki等提出了一種利用區域相關提取車輛目標輪廓的方法［18］。德國Munchun理工大學J．Leitloff等通過邊緣提取、帶通濾波及最小方差調整等步驟實現車輛目標的自動提?。?9］。對比而言，基于模型的方法主要應用于超高分辨率的航空圖像，或者對紋理信息較豐富的大型目標提取，基于數據的算法則在衛星圖像的車輛檢測與參數估計中應用更加廣泛。

本文通過介紹Quickbird衛星的全色與多光譜相機的焦平面結構，闡述了運動車輛參數估計的原理，并分析了運動目標在Quickbird遙感圖像中的“鬼影”現象，在此基礎上提出一種高精度的運動車輛自動檢測算法，并詳細描述了算法處理過程，最后利用Quickbird遙感圖像驗證了算法的效果。

2 遙感影像中運動目標的特性分析

Quickbird的線陣推掃(TDI CCD)光學成像傳感器由6條全色探測器陣列和6條多光譜CCD探測器陣列組成，其中，每個多光譜成像單元又包括紅、綠、藍和近紅外4個譜段。焦平面的具體結構如圖1所示。由于全色與多光譜探測器陣列的焦平面存在一定的距離，所以對相同區域成像時，全色圖像與相應的多光譜圖像存在0．2 s左右的時間差，導致運動物體在全色與多光譜圖像中的坐標不一致，這就為運動目標的運動參數估計提供了可用線索。

圖1 Quickbird的焦平面結構Fig．1Focal plane of Quickbird

根據以上分析可知，即使已經精確配準過的全色與多光譜圖像，也僅能實現道路、建筑等靜止物體的匹配，而對于運動目標而言，則無法實現位置的精確匹配，導致運動目標在全色與多光譜的彩色遙感圖像中會出現“鬼影”現象。

圖2為Quickbird衛星的原始全色圖像，圖3為全色與多光譜合成的彩色遙感圖，從圖3可見，右側停靠的車輛邊緣清晰，而左側高速公路上的車輛則有明顯的“鬼影”現象，如圖紅色標注。“鬼影”現象雖然造成了運動目標的模糊，但是根據“鬼影”的長度，結合全色圖像的分辨率以及全色/多光譜的成像時間差，即可通過人工處理粗略估算目標的運動速度，計算公式如式(1)所示。

圖2 原始全色圖像Fig．2Original panchromatic image

圖3 Quickbird的彩色圖像Fig．3Pan-sharpened image of Quickbird

其中:V代表速度，L代表“鬼影”的長度，R表示全色圖像的分辨率，t代表全色與多光譜圖像的成像時間間隔。根據上述原理，即可粗略估算出圖3中6個車輛目標的速度值，最快車輛1速度為95．53 km/h，最慢的車輛3速度為50．51 km/h，其余的車輛速度速在該范圍之間，符合高速公路上車輛的運動情況，由此證明了利用全色與多光譜圖像對估計運動目標速度的可行性。

3 全色與多光譜遙感影像的車輛檢測與運動參數估計

由于運動參數的估計需要利用全色與多光譜圖像中的車輛坐標，所以必須首先提取兩幅圖像中的車輛目標，具體檢測流程如圖4所示。

3．1感興趣區域提取

遙感影像成像區域大，地物種類繁多，必然使移動目標的真實性受到影響，所以為了提高目標的探測率、降低虛警率必須結合預處理算法，抑制遙感圖像中的冗余信息。下面分別介紹全色以及多光譜圖像的預處理流程。

3．1．1全色圖像預處理

圖4 運動車輛自動檢測與參數估計算法流程示意圖Fig．4Flow of the proposed method

在全色遙感圖像中，不同類型背景的空間特性一般是不同的，在圖像上直接表現為亮度值的差異，這給地物區域分割提供了便利條件。根據原始遙感圖像的亮度分布特征，道路的灰度值較低，而大面積建筑等背景的灰度值較高，可以判斷，通過閾值分割即可去除較多背景信息。但是遙感圖像中車輛目標的灰度值相對較高，經過分割處理之后，大量的車輛目標也被作為背景分割出來，所以為了保留車輛目標，在上述處理的基礎之上，采用腐蝕以及閉運算等形態學操作，在還原車輛目標的同時還填補了背景分割造成的小空洞和狹窄縫隙。

全色圖像的預處理結果主要取決于分割算法，因此，本文試驗了幾種常見的圖像分割算法。圖5(a)為原始的Quickbird全色圖像，包括建筑、植被、道路以及水池等常見背景，(b)(c) (d)分別為使用全局均值、直方圖最優閾值以及最大類間方差(OTSU)算法的處理效果圖，其中白色區域為被抑制的高亮背景，黑色部分為保留的道路等感興趣區域。根據3種算法的復雜度以及最后的分割效果，全局均值分割都是最佳的選擇。

3．1．2多光譜圖像預處理

多光譜圖像同時包括紅譜段與近紅外譜段的信息，為植被區域的分離創造了良好條件。首先根據多光譜圖像數據計算植被歸一化指數(NVDI)，然后利用圖像分割以及圖像腐蝕、膨脹等操作對植被歸一化指數數據進行后續處理，以圖3(a)對應的多光譜圖像為例，圖6即為多光譜NDVI提取結果，白色部分為植被覆蓋區。通過該操作，基本移除了圖像中的植被背景，進一步減小了車輛探測范圍。

圖5 不同分割算法的處理效果示意圖Fig．5Results of different segment algorithm

3．1．3確定感興趣區域(ROI)

將全色與多光譜遙感圖像的預處理結果累加，則完成了感興趣區域(ROI)的最終確定。

圖7 感興趣檢測區域提取最終結果Fig．7Result of ROI extraction

通過上述對全色以及多光譜圖像的處理，抑制了原始遙感影像中大部分冗余背景，包括高亮的建筑、樹木以及草地覆蓋區域，縮小了車輛目標的檢測范圍，極大程度地降低了目標探測的虛警率。圖6為ROI提取的最終結果示意圖，灰色部分即為感興趣區域。

3．2運動車輛檢測

通過上述操作，極大程度地降低了復雜的地物種類對車輛檢測的干擾，以下的運動車輛檢測以及參數估計都是針對感興趣區域完成的。

3．2．1全色圖像的運動車輛檢測

Quickbird的全色遙感圖像分辨率為0．61 m，所以通過圖像處理算法即可直接實現車輛目標探測。頂帽(Top-Hat)變換是一種常用的灰度圖像分割算法，用于提取圖像中小于結構元素的最大值，即圖像中的亮特征。但是對于背景復雜的遙感圖像，利用頂帽變換提取車輛目標的效果并不令人滿意，考慮到車輛目標分布密集，且道路在某一方向上具有延伸性的特點，選擇Top-Hat重構［20］檢測車輛目標。

Top-Hat重構主要包括兩部分操作:形態學開運算和灰度重構，形態學開運算用于移除小于結構元素的車輛等小目標，灰度重構則用于構建背景遙感圖。Top-Hat重構的關鍵在于結構元素的選擇，由于車輛目標一般為矩形，且長度為6 m左右，在Quickbird全色遙感圖中占據10個像素以內，為了滿足結構元素大于車輛目標的要求，選擇9個像素長度的線型模版作為結構元素。但僅用單一方向的結構元素處理原圖像，會造成大量道路背景信息的丟失，所以本算法選擇12個不同方向的線性模版(如圖8所示)對原始全色圖像進行開運算。開運算處理之后，將各個方向結構元素處理結果的上確界作為形態學開運算的輸出，基本移除了潛在的車輛目標，而道路則由于延伸性而被完好地保留。將上述處理結果作為灰度重構的輸入，對光學遙感圖像進行背景重建，最后將原始全色圖像與Top-Hat重構圖像作差，即完成了全色圖像的運動車輛檢測。

圖8 方向探針模版示意圖Fig．8Directional probes template

3．2．2多光譜圖像的運動車輛檢測

由于多光譜圖像的分辨率僅為全色圖像的1/4，對于Quickbird而言多光譜圖像分辨率為2.4 m，如圖9所示，車輛目標的細節信息太少，如不借助3D數據等輔助信息［21］，無法直接進行車輛檢測。針對該問題，本文首先采用雙立方插值以及多光譜4個譜段的信息，生成一幅合成全色圖，合成方法見公式(4)，合成全色圖像與原始全色圖像具有相似的光譜輻射特性以及相同的分辨率，為后續多光譜圖像的運動車輛檢測提供了便利條件。

其中:SyntheticPan為利用多光譜圖像4個通道數據加權處理得到的合成全色圖，BNB、BNR、BNG、BNNIR分別為多光譜圖像中藍色，紅色，綠色以及近紅外通道的亮度值。

圖9 原始多光譜圖像Fig．9Original multispectral image

車輛正常行駛的速度范圍為20～200 km/h，因此車輛目標在原始全色圖與合成全色圖中的相對位移不會超過10個像素。因此，在合成全色圖像中進行車輛匹配時，只需考慮一個較小的鄰域，極大地降低了圖像匹配的計算量。設全色圖像中每個車輛目標的坐標為(x，y)，以目標中心12× 12的鄰域作為搜索區域進行相關度匹配，得到多光譜圖像中相應車輛的位置(x'，y')，從而實現多光譜圖像的運動目標檢測。

3．3基于全色/多光譜成像模式的運動參數估計

進過上述圖像處理流程，已經成功提取全色圖像和多光譜圖像中的車輛質心位置，根據全色與多光譜圖像中車輛坐標(x，y)和(x'，y')，結合Quickbird的全色與多光譜圖像成像時間間隔0.2 s，以及全色圖像的分辨率0.61 m。車輛在全色與多光譜圖像中的相對位移距離Dis表示為:

其中R表示全色圖像的像素分辨率(0．61 m/s)。根據速度的計算公式，圖像中車輛速度為:

其中t=0．2s，速度方向與相對位移方向一致，為車輛目標的實際速度與推掃速度的合成結果。

4 實驗結果與分析

為了驗證上述算法的可行性以及魯棒性，本文選擇了3種不同背景的Quickbird遙感影像進行測試，如圖10所示。(a)(b)(c)分別為以建筑、植物以及水域背景為主的車輛檢測與運動參數估計示意圖。

圖10 不同背景Quickbird遙感圖像的車輛目標檢測與運動參數估計結果Fig．10vehicles detection results of differentbackgrounds Quickbird images

表1中統計了3幅圖像中的車輛檢測結果，通過表中數據可見，平均正確探測率高達94%，平均虛警率僅為6%，充分說明該算法對多種背景的Quickbird衛星影像均具有良好的檢測效果。其中圖10(a)以建筑背景為主，雖然在感興趣區域提取階段抑制了大部分背景，但是小目標的干擾較多，因此虛警率偏高，圖10(b)以植被為主，且包含少量建筑物，所以車輛目標提取的正確率以及虛警率都接近統計平均值，圖10(c)由于水域背景單一，檢測效果最佳。

表1 圖10所示3幅場景的車輛檢測統計結果Tab．1Statistics results of 3 scenes in Fig．10

表2、3、4分別對應于圖10中的3個場景，列出了車輛目標在全色和多光譜圖像中的位置信息以及每輛車的速度，對于誤檢和靜止的車輛，表中并未統計其速度信息。

表2 場景1的車輛檢測與速度參數估計結果Tab．2Speed estimation and vehicle detection results of scene1

圖10(a)為孟加拉國孫德爾本斯市區的一條主干道區域，由表2可見，最快車速高達171.86 km/h，但僅有一輛車達到此速度，不排除個別車輛超速行駛的可能，而其余車輛的速度均在39.59～124.22 km/h范圍內，屬于正常車速;

表3 場景2的車輛檢測與速度參數估計結果Tab．3Speed estimation and vehicle detection results of scene2

圖10(b)為孟加拉國的一條鄉村道路，通過表3中的數據可見，車輛目標的平均速度在60 km/h左右，符合車輛在鄉村道路上的行駛情況;

圖10(c)為印度契爾卡湖附近高速公路截圖，由于該地區沒有車輛速度上限，所以車輛速度均在116．72 km/h以上，如表4所示。

通過上述驗證實驗可知，對于不同區域背景的Quickbird遙感影像，通過本算法檢測車輛目標不僅不需要人工參與，而且目標的正確探測率高，虛警率低，計算的運動參數值符合實際情況，具有相當高的參考價值，但是有些車輛的運動方向與道路的方向稍有偏差，這是因為TDI CCD在成像時本身存在一個推掃速度，圖像中的速度為目標自身的運動速度與推掃速度的合成結果，也為算法的進一步改進提供了新的方向。

表4 場景3的車輛檢測與速度參數估計結果Tab．4Speed estimation and vehicle detection results of scene3

5 結論

針對Quickbird全色影像的分辨率高、多光譜圖像光譜信息豐富的特點，提出了一種全自動的運動車輛檢測算法，不僅實現了較好的車輛檢測結果，而且突破了以往算法需要借助人工幫助或者GIS信息的限制，然后結合全色與多光譜圖像的成像時間間隔完成了運動參數估計，最后對Quickbird遙感影像的驗證試驗證明了該算法的普適性強，正確探測率高，虛警率低，是一種性能值得推廣的運動車輛檢測與運動參數估計算法。

［1］代科學，李國輝，涂丹，等．監控視頻運動目標檢測減背景技術的研究現狀與展望［J］．中國國象圖形學報，2006，11 (7):919-927．

Dai K X，Li G H，Tu D，et al．Prospects and current studies on background subtraction Techniques for moving objects detection from durveillance video［J］．Journal of Image and Graphics，2006，11(7):919-927．(in Chinese)

［2］ChengJ，Yang J，Zhou Y，et al．Flexible background mixture models for foreground segmentation［J］．Image and Vision Computing，2006，24(5):473-482．

［3］Dickinson P，Hunter A，Appiah K．A spatially distributed model for foreground segmentation［J］．Image and Vision Computing，2009，27(9):1326-1335．

［4］Zha Y F，Bi D Y，Yang Y．Learning complex background by multi-scale discriminative model［J］．Pattern Recognition Letters，2009，30(11):1003-1014．

［5］Bicego M，Castellani U，Murino V．A hidden Markov model approach for appearance-based 3D object recognition［J］．Pat-tern Recognition Letters，2005，26(16):2588-2599．

［6］HuJ S，Juan C W，Wang J J．A spatial-color mean-shift object tracking algorithm with scale and orientation estimation［J］．Pattern Recognition Letters，2008，29(16):2165-2173．

［7］Tao J，Yu W A．Preliminary study on imaging time difference among bands of WorldView-2 and its potential applications［C］//Geoscience and Remote Sensing Symposium(IGARSS)，2011 IEEE International，2011:198-200．

［8］張小建，徐慧．基于視頻處理的運動車輛檢測算法的研究［J］．液晶與顯示，2012，27(1):108-113．

Zhang X J，Xu H．Moving vehicle detection algorithm based on video processing［J］．Chinese Journal of Liquid Crystals and Display，2012，27(1):108-113．(in Chinese)

［9］張紅穎，胡正．CenSurE特征和時空信息相結合的運動目標檢測［J］．光學精密工程，2013，21(9):2452-2463

Zhang H Y，Hu Z．Moving object detection in combination of CenSurE and spatial-temporal information［J］．Editorial Office of Optics and Precision Engineeri．2013，21(9):2452-2463．(in Chinese)

［10］Salehi B，Zhang Y，Zhong M．Automatic moving vehicles information extraction from single-pass WorldView-2 imagery［J］．Selected Topics in Applied Earth Observations and Remote Sensing，IEEE，2012，5(1):135-145．

［11］Larsen S，Koren H，Solberg R．Trafficmonitoring using very-high-resolution satellite Imagery［J］．Photogrammetric Engineering and Remote Sensing，2009，75(7):859-869．

［12］Xiong Z，Zhang Y．An initial study on vehicle information extraction from single pass QuickBird satellite imagery［J］．Journal of Photogrammetric Engineering＆Remote Sensing，2008，74(11):1401-1412．

［13］Pesaresi M，Gutjahr K H，Pagot E．Estimating the velocity and direction of moving targets using a single optical VHR satellite sensor image［J］．International Journal of Remote Sensing，2008，29(4):1221-1228．

［14］Jin X，Davis C H．Vehicle detection from high-resolution satellite imagery using morphological shared-weight neural networks［J］．Image Vis．Compute，2007，25(9):1422-1431．

［15］王燦進，孫濤，王挺峰，等．基于輪廓特征的神經網絡目標識別研究［J］．液晶與顯示，2013，28(4):641-648．

Wang C J，Sun T，Wang T F，et al．Target recognition using neural network based on contour features［J］．Chinese Journal of Liquid Crystals and Display，2013，28(4):641-648．(in Chinese)

［16］ZhengH，Li L，An artificial immune approach for vehicle detection from high resolution space imagery［J］．Int．J．Comput．Sci．Netw．Secur，2007，7(2):67-72．

［17］余勇，鄭宏．基于形態神經網絡的高分辨率衛星影像車輛檢測［J］．哈爾濱工程大學學報，2006，27(B07):189-193．

Yu Y，Zheng H．Vehicle detection from high resolution satellite imagery based on the morphological neural network［J］．Journal of Harbin Engineering University，2006，27(B07):189-193．(in Chinese)

［18］Liu W，Yamazaki F，Vu T T．Automated vehicle extraction and speed determination from QuickBird satellite images［J］．IEEE，2010，4(1):75-82．

［19］Leitloff J，Hinz S，Stilla U．Vehicle detection in very high resolution satellite images of city areas［J］．IEEE，2010，48 (7):2795-2806．

［20］Vincent L．Morphological grayscale reconstruction in image analysis:Applications and efficient algorithms［J］．IEEE，1993，2(2):176-201．

［21］Dirk C．Borghys，M Idrissa，Michal S，et al．Fusion of multispectral and stereo information for unsupervised target detection in VHR airborne data［C］．SPIE，2013，8745:874514-1-874514-12．

Speed estimation and automatic detection of moving vehicle from Quickbird satellite images

ZHANG Bo-yan*，LI Guang-ze，WU Xing-xing
(Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Science，Changchun 130033，China)

Velocity estimation and vehicle detection from satellite images is widely used in the domain of traffic monitoring，battlefield analysis etc．But most of the algorithms in this area are either manual or incorporating ancillary data．A new method has been developed to extract vehicles automatically and determine their speeds based on computer vision．First of all，the“Ghost”phenomenon of moving targets is analyzed by considering the structure of Quickbird panchromatic and multispectral focal plane．Normalized differential vegetation index，image segmentation and morphological gray scale reconstruction are combined to realize accurate vehicles detection in panchromatic image;subsequently image matching is applied to extract vehicles in the multispectral image based on the vehicle positions in panchromatic image．The speed can be calculated by using the vehicle extraction results and time intervals between panchromatic and multispectral images．Finally，this approach was tested on several images of Quickbird covering different backgrounds and can obtain a detection rate as high as 90%．The performance shows that the algorithm is practicable and valid．

TP79

A

10．3788/YJYXS20153004．0687

張博研(1987－)，女，吉林白城人，碩士，研究實習員，主要從事立體測繪和圖像處理方向的研究。E-mail:boyan1021@163．com

李廣澤(1976－)，男，吉林長春人，博士，研究員，主要從事空間遙感相機嵌入式控制系統設計與圖像處理方向的研究。E-mail:Lgzandrew@tom．com

1007-2780(2015)04-0687-08

2014-10-21;

2014-11-15．

國家自然科學基金資助項目(No．61108066);吉林省科技發展計劃項目(No．20130101028jc)

*通信聯系人，E-mail:boyan1021@163．com

武星星(1980－)，男，河南洛陽人，博士，副研究員，主要從事空間光電技術及智能控制方向的研究。E-mail: starglare@126．com