濾光片多光譜成像中運動目標場景誤配準修正

章文潔，黃 旻，張桂峰

(1.中國科學院 光電研究院，北京 100094；2.中國科學院大學，北京 100049)

濾光片多光譜成像中運動目標場景誤配準修正

章文潔1,2，黃 旻1，張桂峰1

(1.中國科學院 光電研究院，北京 100094；2.中國科學院大學，北京 100049)

圖像配準是多光譜相機獲得精確的多光譜數據立方體的重要步驟。文中分析了運動目標對濾光片陣列型多光譜相機所獲取光譜圖像序列的配準結果的影響。針對此類誤配準問題，文中提出一種基于運動目標檢測的誤配準修正方法。該方法首先通過變化檢測粗提取誤配準點區域，然后利用運動目標形狀特征進一步提取誤配準點，利用多圖像序列的空間和灰度關系對誤配準點進行修正。用該方法對8通道的濾光片陣列型多光譜相機的多光譜圖像進行處理，實驗結果表明，該方法能有效地校正多光譜成像中運動目標所造成誤配準的影響，提高多光譜圖像配準的準確度。處理后的圖像數據更有利于圖像判讀、多光譜圖像分類、目標識別等的后續應用。

多光譜圖像;配準;運動目標;目標檢測

0 引 言

光譜相機能夠同時獲得目標二維空間信息和一維光譜信息[1]。濾光片陣列型多光譜相機在面陣CCD前放置了若干個不同譜段的窄帶濾光片[2]，結合飛行平臺推掃，獲取地物目標的多光譜數據。

配準是對同一目標不同波段的圖像進行幾何校準，使不同波段圖像的相同位置對應同一地物[3]。配準是獲得高精度多光譜數據立方體的關鍵。常用的遙感配準方法分為四類：基于區域的配準、基于圖像特征的配準、基于混合模型的配準和基于物理模型的配準[4]。針對濾光片陣列型多光譜相機的圖像配準，趙寶瑋[3]提出一種基于視差約束的改進Hough變換提取同名點和同名直線的方法進行配準，但其中未考慮運動目標對配準結果的影響。

然而，若場景中包含運動目標，則在圖像配準的結果中，運動目標及其經過的路面在不同波段圖中對應的并非同一地物。這種誤匹配將對多光譜分類、光譜識別、目標識別等后續應用造成一定干擾。

針對這類問題，文中提出一種基于運動目標檢測的圖像配準修正算法，對誤匹配點進行修正。校正后這些點在不同波段都對應運動目標或者道路，從而實現多光譜圖像的準確配準。

1 濾光片陣列型多光譜相機成像中的運動目標場景分析

濾光片陣列型多光譜相機獲取的原始圖像數據進行配準和拼接才能形成目標的三維數據立方體[2]，其原理如圖1所示。

圖1 濾光片陣列型多光譜相機獲取數據立方體原理

在配準和拼接后的多光譜數據立方體中，運動目標出現各波段圖像中的不同位置，即造成錯誤配準，如圖2所示。

圖2 靜態目標和運動目標的位置

為了修正運動目標造成的誤配準，需要在運動目標出現的位置復原其在所有波段的信息以及在這些位置復原被運動目標遮擋的景物。因此，先要在多光譜圖像中檢測出運動目標，然后進行修正。

2 運動目標場景的誤配準修正算法

以運動車輛為例，文中設計了一種基于變化檢測和車輛特征的運動車輛提取方法，然后利用運動車輛檢測結果以及各譜段道路的灰度特征，將運動車輛在其軌跡的每個位置的所有譜段復現以及恢復道路信息。

2.1 多光譜圖像的運動車輛檢測算法

遙感圖像的運動車輛檢測大多數都是在人工提取道路或者已知道路掩模的情況下進行的，然后通過閾值分割[5-7]、多尺度高斯橢圓拉普拉斯算子[8]、多尺度分割[9]、重構道路背景[10]、PCA檢測[11]、人工免疫[12]等方法提取車輛。

文中設計了一種無需提取道路的運動車輛檢測方法，在變化檢測的基礎上，結合車輛灰度和幾何特征在8個譜段提取運動車輛。

2.1.1 變化檢測

利用式(1)計算每兩個相鄰序列圖像(即兩個單波段圖像)的變化譜CS(Change Score)。

(1)

其中，i表示序列圖像序號；Fi表示第i個序列圖像；CSi+1,i表示第i+1個與第i個序列圖像變化值；med表示中值濾波器，中值濾波比算術平均更具魯棒性[13-14]。

2.1.2 運動車輛提取

假設Ri、Ri+1分別是第i和i+1個序列圖像中不同位置的暗車，在CS圖中Ri和Ri+1分別變成局部最亮和局部最暗，即獲得了一對正負區域對，如圖3(a)-(c)所示。同理，如果Ri、Ri+1分別是第i和i+1個序列圖像中不同位置的亮車，在CS圖中Ri和Ri+1分別變成局部最暗和局部最亮，如圖3(d)-(f)所示。如果正負區域對能夠滿足一定空間距離要求(時間間隔內車輛可能移動的距離)，則它們可能為同一輛運動車輛。

圖3 運輸車輛提取

同時，在CS圖中，運動車輛的灰度增強，而絕大部分背景(靜態地物)卻相對弱化。因此，更有利于利用灰度閾值，將車輛從背景中分割出來。然后根據車輛的長寬和面積特征將運動車輛分別按照大、中、小型車從候選點中提取出來。

2.1.3 運動車輛匹配

用空間距離作為約束條件對相鄰兩個序列圖像中運動車輛進行匹配。取每個運動車輛區域內所有像素坐標x和y的平均值作為該運動車輛區域的質心，當同種類型的車輛在CS圖中的空間距離大于車身長并且小于車輛可能移動的最大距離時，則將車輛判定為同一輛車。在所有波段的兩相鄰序列圖像檢測車輛時，運動車輛分別作為起點和終點被檢測了兩次。因此，取兩次檢測的質心的平均值為該車的質心作為該車在各圖像序列中位置。

2.2 運動目標場景的配準修正

利用運動車輛檢測結果，對由于車輛運動造成的錯誤匹配的點進行修正，使這些像素點在所有波段均對應相同的地物。

根據運動車輛檢測結果，可以得到車輛的面積、位置、方向。在每個單波段圖像中，通過仿射變換將運動車輛在其軌跡的每個位置復現，從而每輛運動車輛能在其軌跡的每個空間位置復原。

而對于恢復由于車輛經過而缺失的道路信息，需要利用相鄰的多光譜圖像序列的灰度信息。

假設Fi-1、Fi、Fi+1分別表示第i-1、i、i+1幅序列圖像。對無運動車輛經過的道路區域進行采樣，根據式(2)求出相同道路區域不同波段間的每個像素點灰度比值系數矩陣ai-1,i,ai,i+1,ai+1,i-1。

(2)

由于不同道路材質在不同的波段有不同的反射率，該比值系數矩陣呈現分塊狀，如圖4所示。其中，圖(a)和圖(b)分別為第i個和第i+1個序列圖像道路；圖(c)為灰度系數知陣ai,i+1。

圖4 道路灰度系數

(3)

3 實驗結果與分析

為驗證所提出的算法的可行性，文中對濾光片陣列型多光譜相機的航拍數據進行處理。該多光譜相機包含8個譜段，獲得配準后的多光譜數據之后，對誤配準的點進行修正。

3.1 運動車輛檢測

用2.1中的方法檢測該多光譜圖像中的運動車輛，在所有的波段都取得了較好的結果。圖5給出了部分結果。其中，圖(a)和圖(b)分別為第i+1個和第i個序列圖像；圖(c)為CS圖；圖(d)為運動車輛的檢測結果。圖(d)中橢圓框表示車輛起點，矩形框表示車輛終點，連線表示同一輛車。

圖5 運動車輛的檢測

3.2 運動車輛和道路的修正結果

利用運動車輛檢測結果，對運動車輛造成的誤配準的像素點進行修正。在實際計算過程中，對檢測出的運動車輛的區域先進行形態學膨脹處理，以減少誤差。圖6給出了多光譜圖像修正的結果。圖6(a)為處理之前的RGB合成圖。同一個運動車輛出現在三個位置，并且光譜信息是不完整的(矩形框和橢圓分別為暗車和亮車)。(b)-(d)分別為處理之后，連續三個曝光時刻RGB圖像。在8個波段的圖像中運動車輛出現每個位置都運動該車，其經過的道路信息也已經復原，即修正了錯誤配準。

圖6 運動車輛和道路的配準修正(RGB)

4 結束語

濾光片陣列型多光譜相機獲取的原始圖像經過配準和拼接后能得到地物目標完整的三維數據立方體。但是，在數據立方體中，運動目標出現的位置對應的并不是同一個目標。為了修正這種誤配準，文中提出一種基于運動目標檢測的誤配準修正方法。在變化檢測的基礎上，同時結合車輛灰度與幾何信息提取運動車輛，然后分別通過仿射變換和相鄰圖像序列的灰度信息恢復運動車輛和道路的信息。用該方法對8通道的濾光片陣列型多光譜相機的多光譜圖像進行處理。實驗結果表明，該方法有效地修正了由于運動目標造成的誤配準。處理后的圖像數據更有利于圖像判讀、多光譜圖像分類、目標識別等的后續應用。

[1] 崔 艷.光譜成像儀定標技術研究[D].西安：中國科學院西安光學精密機械研究所，2008.

[2] 趙寶瑋，相里斌，呂群波，等.機械快門對大面陣濾光片型多光譜相機成像的影響及改進[J].光譜學與光譜分析,2013,33(7):1982-1986.

[3] 趙寶瑋.機載多光譜相機數據的高質量獲取與處理技術研究[D].西安：西安電子科技大學，2014.

[4] 余先川，呂中華，胡 丹.遙感圖像配準技術綜述[J].光學精密工程,2013,21(11):2960-2972.

[5] Alba-Flores R.Evaluation of the use of high-resolution satellite imagery in transportation applications[R].Minnesota:University of Minnesota,2005.

[6] Larsen S ?, Amlien J, Koren H,et al.Mapping road traffic conditions using high resolution satellite images[C]//Proceedings of geographic object-based image analysis.Calgary:[s.n.],2008.

[7] Liu Wen,Yamazaki F,Vu T T.Automated vehicle extraction and speed determination from quickbird satellite images[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2011,4(1):75-82.

[8] Larsen S ?,Salberg A B.Automatic vehicle counts from qu-ickbird images[C]//Proc of joint urban remote sensing event.Munich:[s.n.],2011:9-12.

[9] Tan Q,Wei Q,Yang S,et al.Evaluation of urban road vehicle detection from high resolution remote sensing imagery using object-oriented method[C]//Proc of joint urban remote sensing event.Shanghai:[s.n.],2009:1-6.

[10] 張博研.遙感圖像的車輛目標檢測與運動參數估計[D].西安：西安電子科技大學，2013.

[11] Salehi B,Zhang Y,Zhong M.Automatic moving vehicles information extraction from single-pass WorldView-2 imagery[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2012,5(1):135-145.

[12] Zheng Hong,Li Li.An artificial immune approach for vehicle detection from high resolution space imagery[J].International Journal of Computer Science and Network Security,2007,7(2):67-72.

[13] Bar D E,Raboy S.Moving car detection and spectral restoration in a single satellite WorldView-2 imagery[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,2013,6(5):2077-2087.

[14] Mitchell H B.Image fusion:theories,techniques and applications[M].Berlin:Springer-Verlag,2010:75-90.

Misregistration Correction for Moving Object Scene in Filter-type Multispectral Imaging

ZHANG Wen-jie1,2,HUANG Min1,ZHANG Gui-feng1

(1.Academy of Opto-eletronics,Chinese Academy of Sciences,Beijing 100094,China;2.University of Chinese Academy of Science,Beijing 100049,China)

Image registration is a key step for multispectral camera to obtain multispectral data cube.The impact of moving objects on image registration for filter array type multispectral camera was analyzed.To solve the problem,a method based on the detection of moving vehicles to correct the misregistration is presented.Firstly,the potential regions of misregistration pixels are roughly extracted by change detection,and then the misregistration pixels are screened through the features of moving objects,and these pixels are corrected based on the relationships of space and gray level among the multispectral image sequences.The method is applied to process the multispectral image obtained with an 8-channel filter array multispectral camera.The experimental result indicates that the approach could fix the wrong matches effectively and improve the accuracy of multispectral imaging registration.The processed images would be more favorable to image interpretation,the classification of multispectral image,object recognition and other subsequent applications.

multispectral images;registration;moving object;object detection

2015-03-05

2015-06-11

時間：2016-01-04

國家杰出青年基金資助項目(61225024)

章文潔(1990-)，女，碩士，研究方向為圖像配準、圖像處理、光譜成像技術；黃 旻，研究員，研究方向為計算光譜成像技術。

http://www.cnki.net/kcms/detail/61.1450.TP.20160104.1607.070.html

TP39

A

1673-629X(2016)01-0018-04

10.3969/j.issn.1673-629X.2016.01.004