復雜地物條件下基于線特征的異源景象匹配

王　力，賈　平，張　葉，馬天翔

(1.中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033;

2.中國科學院大學，北京 100049)

?

復雜地物條件下基于線特征的異源景象匹配

王力1,2，賈平1*，張葉1，馬天翔1

(1.中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033;

2.中國科學院大學，北京 100049)

摘要：為了尋求應用于復雜地物條件下異源景象匹配的算法，使其滿足尺度和旋轉不變性，受視覺成像系統的啟發，利用初始簡圖可以表征圖像大部分信息的特點，提出了一種新的基于線段對的異源圖像匹配算法。首先，提取并篩選圖像中能夠表征圖像信息的線段；然后，利用線段自身信息及線段的相對位置關系構建線段對特征；接著，通過線段對之間的相似性對圖像進行粗匹配；最后，利用線段之間的拓撲關系進行精匹配。實驗表明，本文方法對具有旋轉、縮放和平移變換的異源圖像的匹配正確率達到了75%以上，運算時間是傳統匹配算法的1/5左右，基本滿足了異源景象匹配應用對算法實時性和準確性的要求。

關鍵詞:圖像匹配；線段對匹配；尺度旋轉無關；異源圖像

Multi-sensor image matching based on line features

under complex object conditions

1引言

異源景象匹配技術是在多學科基礎上發展起來的一門新技術，在民用、軍事、醫療等領域具有重要的應用價值。在航空光電載荷系統中，通過將基準圖和實時圖進行匹配，從而實現圖像的拼接以及融合。異源景象匹配算法的難點在于異源圖像之間存在尺度、視角、亮度、分辨率等方面的諸多差異。在硬件系統運轉正常時，匹配算法的優劣決定了光電載荷系統的性能。因此，異源景象匹配技術的研究對于航空光電載荷系統的發展有著重要的意義[1]。

異源景象匹配算法主要有基于區域的圖像匹配方法、基于變換域的圖像匹配方法以及基于特征的圖像匹配方法。基于區域的圖像匹配方法主要包括基于區域相似性的匹配方法以及基于互信息的匹配方法等，這類方法在時間復雜度上很難滿足實時性的要求，并且由于異源圖像間灰度的差異太大，很難得到較高的匹配成功率[2]。基于變換域的圖像匹配方法主要包括Fourier-Mellin算法(FMT)和相位一致性算法等，這類算法對縮放和平移量稍大的圖像適應性不強，且對圖像形變敏感，另外對于圖像的畸變或部分內容的改變適應能力較差[3-5]。基于特征的圖像匹配方法主要有基于點特征的匹配方法[6]、基于邊緣特征的匹配方法[7]以及基于線特征的匹配方法[8-9]等，基于點特征的算法在圖像灰度差異較小時有較高的精度，但對灰度差異較大的圖像無能為力；基于邊緣的匹配方法匹配精度高，但時間復雜度過高；基于線特征的算法特征易于提取并且時間復雜度低，但在灰度差異過大的情景下很難保證匹配正確率。

考慮到在航空異源景象匹配中，一般感興趣的圖像區域多為人工建造區域，圖像紋理豐富，易于提取出同名線段。另外，對于視覺系統，由少量的線條所構成的輪廓信息很大程度上反映物體的特征。受視覺系統的啟發，本文提出了一種基于線段對的匹配方法。首先提取圖像中的線特征，然后根據線段之間的距離和夾角對線段配對，構建滿足旋轉、縮放的特征描述子，采用距離相似性度量來進行匹配處理得到最終結果。

2算法介紹

本文算法主要包括線段提取、構建特征描述符與特征匹配。線段提取采用R.Von Gioi等人提出的A Line Segment Detector(LSD)[10]算法來實現；通過對提取出的線段本身信息及相互間位置關系的統計來描述線段對特征；利用線段間的拓撲關系進行精確匹配。

2.1　線段提取

現有的線段提取算法主要有Hough變換[11]、基于邊緣檢測算子的直線提取方法[12-13]以及LSD直線提取算法。由于受航空載荷系統的功率限制等因素，應用于航空景象的匹配算法必須能夠滿足實時性的要求。

圖1　LSD提取線段效果Fig.1　Effects of line segment extraction by LSD algorithm

以上3種算法中，Hough變換時間復雜度過高，不適合應用于實時性要求較高的算法；基于邊緣檢測算子的算法檢測精度低，很難提取出完整的線段；LSD算法運算速度快，可以在線性時間內得出亞像素級精度的檢測結果。本文采取LSD算法來對圖像進行線段提取[7]。LSD算法是通過統計圖像每個像素點梯度值和方向，排除梯度值過小的像素點的影響，將梯度方向相近且像素點位置相鄰的像素點結合構成待篩選線段，通過計算檢測到的待篩選線段和完美噪聲圖像(不會檢測到目標的噪聲圖像)的相似性來確定最終得到的線段。LSD提取線段的效果如圖1所示。

2.2　線段對特征提取及表征

對圖像提取出線段之后，通過描述線段對的空間結構和線段間的幾何關系來反映線段對之間的關系，為線段對相似性度量做準備。本文利用線段之間的長度比例、角度關系、距離關系以及相對位置關系來描述兩條線段的關系。

在構造線段對之前，為了提取出明顯的特征以及消除噪聲的影響，需要對提取的線段按照表達式(1)進行篩選:

(1)

圖2　線段篩選結果Fig.2　Selection of line segment

(2)

圖3　線段配對原則Fig.3　Rule of line combination process

如圖4(a)所示，在計算線段對之間的距離時，分別計算出兩條線段li(P1,P2)和lj(P3,P4)四個頂點之間的距離L1,L2,L3,L4四者的平均值即兩條線段之間的距離，表達式如下：

(3)

如圖4(b)所示，為了得到兩條線段的夾角，需要求出兩條線段所在直線的斜率K1，K2，按照直線夾角的公式可得：

(4)

將線段斜率用坐標形式表示得:

(5)

如圖4(c)所示，線段l1和l2的頂點分別為P1(x1,y1)，P2(x2,y2)，P3(x3,y3)，P4(x4,y4)，兩條線段的相對位置關系可用下式表示：

(6)

(7)

式中，ξx代表兩條線段間橫向的位置差異，ξy代表兩條線段間縱向的位置差異。

圖4　線段相互關系示意圖Fig.4　Relationship of line segments

由于在構造線段對的過程中，沒有限制一條線段只能出現在一個線段對中，多個線段對之間有可能會共用某一條線段，通過這種拓撲關系可以簡化匹配工作。

2.3　特征匹配

假設Si和Sj是從實時圖和基準圖中提取出的線段對特征向量集，Vi，Vj分別為Si，Sj中的一個特征向量。由歐氏距離定義兩個線段對之間的相似性。兩線段對之間的相似性度量函數如下：

(8)

式中，λl,λξ,λd,λθ分別為兩個線段對長度比例、相對位置關系、距離及夾角在匹配過程中所占權重。它們滿足λl+λξ+λd+λθ=1且λl>0，λξ>0，λd>0，λd>0。

理論上同名線段對應該具有相同的特征向量，如果Vi和Vj的特征向量的相似性度量相距甚遠，超過設定的某一閾值ρmax，那么我們就認定Vi和Vj不是同名特征點，即這兩個特征是不匹配的。

(9)

(10)

在初步匹配結束之后，線段對之間有可能出現多對一的情況，為了避免這種情況的發生，對每個線段對加入一個標記位，比較匹配到同一個線段對的所有實時線段對，標記實時線段對與基準線段對相似性最高的實時線段對為已配準狀態，其余實時線段對為未配準狀態，至此線段對之間的配準工作完成，接下來利用線段對之間的拓撲關系進一步匹配各個線段。

圖5　精確匹配過程Fig.5　Process of accurate registration

為了提高匹配的可靠性可以采用雙向匹配算法[14]，雙向匹配算法的思想為僅保留以紅外圖像作為實時圖像和以可見光圖像作為實時圖像時匹配成功的線段作為匹配結果。在匹配完成之后利用隨機抽樣一致算法(Random Sample Consensus, RANSAC)進一步降低錯配率[15-16]。

由于異源圖像匹配完成之后往往需要進行融合等操作，這些操作需要匹配結果能夠達到像素級別的精度，為了后續處理的方便，本文采用每條線段的中點來代表改線段。

3實驗結果與分析

3.1　實驗閾值設置

為了進一步驗證所提算法的性能，在硬件配置為：CPU為core i3-2310，3.3 GHZ，內存為4 G，算法開發工具為vc2010的設備上進行大量實驗，使用圖片大小為256 pixel×256 pixel。

圖6　δ值與算法運算時間及特征數量的關系Fig.6　Relationship between δ, operation time and feature number

由于閾值δ、dmax的選取對算法性能有很大的影響，其中δ主要影響運算時間和提取的特征數量，dmax影響算法匹配正確率和運算時間，本文通過大量的對比試驗統計出閾值選取和匹配正確率及匹配時間之間的關系。圖6表示δ值對算法運算時間以及特征數量的影響，圖7表示dmax對匹配正確率及運算時間的影響。

圖7　dmax值和匹配正確率及運算時間的關系Fig.7　Relationship between dmax, the correct matching rate and operation time

由圖6可以看出，δ值越大，運算時間越小，但特征數量也越小。為了保證算法的有效性并且保證算法的運算時間，取δ=0.53。由圖7得到，當dmax=270時，匹配正確率最高并且可以保證算法的運算時間，取dmax=270。

3.2　實驗結果

為了驗證本文算法的有效性，本文通過大量的異源圖像進行仿真實驗。由于異源匹配領域沒有通用的圖像庫，因此本文選用了多組多光譜圖片，并將實時圖像逆時針旋轉5°，縮放為原圖的0.9倍后截取部分圖片作為實驗圖像來驗證算法是否具有旋轉、縮放和平移不變性，經過變換之后的紅外圖片大小為211 pixel×211 pixel。圖8為采用本文方法匹配之后比較有代表性的四組結果，其中圖8(a)是地面拍攝的異源圖像對的匹配結果，圖8(b)、8(c)、8(d)是航拍得到的異源圖像對的匹配結果。為了能夠更加簡潔的描述線特征并且直觀地觀察匹配結果，圖8中的線段用該線段的中點來表示。

圖8　本文方法匹配結果Fig.8　Matching results using proposed algorithm in this paper

為了更加客觀地評價本文算法，分別采用本文算法、SIFT匹配算法、互信息方法以及文獻[6]

表1　4種算法性能比較

提出的點特征和邊緣信息相結合的算法對復雜地物條件下的異源圖像進行多次匹配測試，得出4種算法正確匹配率和匹配時間的實驗數據。結果如表1所示。

圖9　本文算法與SIFT算法比較結果Fig.9　Comparison of the proposed algorithm and SIFT algorithm

從表1可以看出，本文提出的算法正確率最高，邊緣相關方法次之，傳統點特征匹配算法最低。在計算時間上，本文方法用時最短，遠低于互信息方法與傳統點特征方法相近。

為更加直觀地體現本文算法的有效性，圖9給出了一組使用本文方法、SIFT及文獻[6]所述方法對異源景象匹配的實驗結果。

本文方法要求異源圖像對之間存在相同或者相似的直線特征,這點在城市、港口、機場等大多數人造場景，一般能夠滿足。但是在山區、農田等一些特殊的場景,通常難以有效提取對應的直線特征, 則本文方法將會失效。

4結論

本文針對異源景象成像機理不同造成的灰度差異大以及圖像間存在縮放和旋轉時導致的匹配困難問題，受到人眼視覺模型的啟發，提出一種復雜地物條件下基于線特征的異源圖像匹配方法。介紹了線段對的提取、表征與匹配過程，給出了該算法對于復雜地物條件下異源景象匹配問題的效果。實驗結果證明:基于線特征的匹配算法可以完成具有旋轉、縮放變換的兩幅異源圖像間的匹配。當圖像同時具有旋轉縮放和少量平移變換時，匹配正確率能夠達到75%左右，當兩幅異源圖像場景相差較小時，匹配效果會有進一步提升。

參考文獻：

[1]張蕾.采用非采樣Contourlet變換與區域分類的紅外和可見光圖像融合[J].光學 精密工程,2015,23(3):810-818.

ZHANG L. Fusion of infrared and visible images based on non-sampled contourlet transform and region classification[J].Opt.PrecisionEng.,2015,23(3):810-818.(in Chinese)

[2]李壯.異源圖像匹配關鍵技術研究[D].長沙：國防科技大學,2011:67-77.

LI ZH. Research on key technologies of multi-sensor images matching[D]. Changsha:National University of Defense Technology,2011:67-77.(in Chinese)

[3]LIM F L,WEST G A W,VENKATESHS. Use of log polar space for foveation and feature recognition[J].IEEE,1997,144(6):323-331.

[4]CHEN Q S,DEFRISE M,DECONINCK F. Symmetric phase-only matched filtering of Fourier-Mellin transforms for image registration and recognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1994,16(12):1156-1168.

[5]沈同圣,張健,等.面向目標檢測的空間觀測圖像精確配準[J].光學 精密工程,2014,22(8):2205-2213.

SHEN T SH,ZHANG J. Precise registration of Space observation images for target detection[J].Opt.PrecisionEng.,2014,22(8):2205-2213.(in Chinese)

[6]王飛宇，邸男，賈平.結合尺度空間FAST角點檢測器和SURF描繪器的圖像特征[J].液晶與顯示，2014,29(4):598-604.

WANG F Y,DI N,JIA P. Image features using scale-space FAST corner detector and SURF descriptor[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(4):598-604.(in Chinese)

[7]李壯,朱憲偉.基于邊緣相似性的異源圖像匹配[J].飛行器測控學報，2011,30(2):0037- 0041.

LI ZH,ZHU X W. Matching mult-i sensor images based on edge similarity[J].J.SpacecraftTT&CTechnology,2011,30(2):0037-0041.(in Chinese)

[8]高峰,文貢堅,呂金建.基于干線對的紅外與可見光最優圖像配準算法[J].計算機學報,2007,30(6):1014-1022.

GAO F. An optimal algorithm for IR/visual image registration based on main-line-pairs[J].ChineseJ.Computers,2007,30(6):1014-1022.(in Chinese)

[9]張葉,曲宏松,王延杰.運用旋轉無關特征線實現景象匹配[J].光學 精密工程， 2009,17(7):1759-1765.

ZHANG Y,QU H S,WANG Y J. Implementation of scene matching based on rotation invariant keylines[J].Opt.PrecisionEng.,2009,17(7):1759-1765.(in Chinese)

[10]VON G R,JAKUBOWICZ J,MOREL J,etal.. Lsd:a fast line segment detector with a false detection control[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2010,32(4):722-732.

[11]陳志良.序列圖像中的直線特征提取與匹配[D].南昌:南昌航空大學,2011:19-31.

CHEN ZH L. Research on Extraction and Matching of Linear in Image Sequences[D]. Nanchang:Nanchang Hangkong University,2011:19-31.(in Chinese)

[12]楊寧.基于邊緣特征的前方車輛識別[D].長春：吉林大學,2007:10-23.

YANG N. Detection of preceding vehicles based on edge character[D]. Changchun:Jilin University,2007:10-23.(in Chinese)

[13]楊桄,童濤.基于多特征的紅外與可見光圖像融合[J].光學 精密工程,2014,22(2):489-496.

YANG G,TONG T. Fusion of infrared and visible images based on multi-features[J].Opt.PrecisionEng.,2014,22(2):489-496.(in Chinese)

[14]周達標.基于局部不變特征的目標自動識別[J].光子學報，2015,44(2):021003.

ZHOU D B. Automic target recognition based on local invariant features[J].ActaPhotonicaSinica,2015,44(2):021003.(in Chinese)

[15]王燦進，孫濤，陳娟.局部不變特征匹配的并行加速技術研究[J].液晶與顯示，2014,29(2):266-274.

WANG C J,SUN T,CHEN J. Speeding up local invariant feature matching using parallel technology[J].ChineseJ.LiquidCrystalsandDisplays,2014,29(2):266-274.(in Chinese)

[16]王健博,朱明.基于字典描述向量的實時圖像配準[J].光學 精密工程,2014,22(6):1613-1621.

WANG J B,ZHU M. Real time image registration based on dictionary feature descriptor[J].Opt.PrecisionEng.,2014,22(6):1613-1621.(in Chinese)

王力(1992—)，男，甘肅定西人，碩士研究生，主要從事航空圖像處理和模式識別方面的研究。E-mail：wl_ciomp@126.com

賈平(1964—)，男，吉林延吉人，研究員，博士生導師，主要從事光學動態成像控制和圖像處理技術等方面的研究。E-mail：jiap@ciomp.ac.cn

Supported by Jilin Provincial Science and Technology Development Plan Project of China(No.20140204009GX), Changchun City Major Scientific Research Project of China(No.14KG008)

WANG Li1,2, JIA Ping1*, ZHANG Ye1, MA Tian-xiang1

(1.ChangchunInstituteofOptics,FineMechanicsandPhysics,Chinese

AcademyofSciences,Changchun130033,China;

2.UniversityofChineseAcademyofSciences,Beijing100049,China)

*Correspondingauthor,E-mail:jiap@ciomp.ac.cn

Abstract:In order to provide a robust multi-sensor image matching algorithm to satisfy the scale and rotation invariance, we put forward a new matching method based on key line segment pairs, inspired by the visual system in which most of the information of image is contained in sketch. Firstly, the line segments that can express the feature of image are found and screened out. Then，the characteristic of line segment pairs is constructed by using the information and the relative position of line segments. And initial matching is carried out by the similarity between line segment pairs of two images. Finally, the topological relationship between line segments is used to achieve accurate registration. Experiment results tested by multi-sensor images show that the accuracy of image matching by using this proposed algorithm is more than 75% and the computing time is about 1/5 of traditional algorithm which satisfies the requirement of real-time and veracity in the multi-sensor image matching.

Key words:image registration;line-pairs registration;rotation and scale invariance;multi-sensor image

作者簡介：

中圖分類號：TP391.4

文獻標識碼:A

doi:10.3788/CO.20160901.0081

文章編號2095-1531(2016)01-0081-08 2095-1531(2016)01-0089-08

基金項目：吉林省重大科技攻關資助項目(No.11ZDGG001) 吉林省科技發展計劃資助項目(No.20140204009GX),長春市重大科技攻關計劃資助項目(No.14KG008)

收稿日期:2015-09-11； 2015-09-11；

修訂日期:2015-11-13 2015-11-13

Supported by Jilin Provincial Major Scientific Research Special Project of China(No.11ZDGG001)