無人機機載光電平臺偵察圖像拼接技術*

張明義 趙泉樸 吳中華

(1.陸軍軍官學院無人機系 合肥 230031)(2. 71290部隊 濰坊 261000)

無人機機載光電平臺偵察圖像拼接技術*

張明義1趙泉樸1吳中華2

(1.陸軍軍官學院無人機系 合肥 230031)(2. 71290部隊 濰坊 261000)

針對無人機機載光電偵察平臺的技術特點,對比了多種圖像拼接算法的優缺點,給出了基于二進制圖像配準算法和空域圖像融合方法的等效大視場、高分辨率圖像拼接處理方法。

無人機；偵察；圖像拼接

(1. UAV Department, Army Officer Academy, Hefei 230031)(2. No.71290 Troops of PLA, Weifang 261000)

Class Number E87

1 引言

無人機機載光電偵察平臺的分辨率和視場角對于偵察圖像的分辨率和視場起到決定作用。由于視場角與分辨率之間存在相互制約的關系[1],受材料工藝水平的限制,單片CCD傳感器難以同時滿足無人機偵察圖像高分辨率和大視場的要求,如果將獲取的視頻圖像直接播放,無法獲得戰場全貌,無法全面進行戰況分析、態勢評估和威脅衡量。為了解決這個問題,本文研究利用圖像拼接技術,將光電偵察平臺獲取的圖像序列拼接成一幅等效的大視場、高分辨率圖像,以滿足航空偵察對大視場和高分辨率的要求。

2 圖像拼接基本流程

圖像拼接是將兩幅或者兩幅以上具有重疊區域的圖像進行圖像配準,以其中一幅為基準圖像,將其它圖像按配準得到的仿射矩陣變換到基準圖像所在坐標系下,進行圖像融合,得到一幅等效的具有較寬視場角的高分辨率圖像或者360°視角的全景圖像技術。該技術為圖像降噪、視場擴展、運動物體去除[2]、模糊消除、空間解析的提高和動態范圍增強提供了可能性。圖像拼接流程大致可分為圖像預處理、圖像配準和圖像融合等三個步驟,如圖1所示。圖像預處理是對原始圖像進行幾何校正、直方圖匹配、平滑濾波、增強變換等數字圖像處理的基本操作,為圖像配準作好準備；圖像配準和圖像融合是圖像拼接技術的核心。

圖1 圖像拼接的基本流程圖

3 圖像配準算法

圖像配準是將不同時間、不同傳感器或不同條件下獲取的兩幅或多幅圖像進行匹配、疊加,使得圖像上的同名點精確對準的過程,配準的精度決定了圖像的拼接質量。

3.1 圖像配準的基本方法

根據圖像源的不同,圖像配準主要分為三類:一是基于圖像灰度統計的方法[3]；二是基于變換域的方法[4]；三是基于圖像特征的方法[5]。

基于圖像灰度信息的匹配方法主要有:塊匹配法、比值匹配法、網格匹配法、互信息匹配方法、互相關匹配方法、投影匹配方法等。基于圖像灰度信息的匹配方法雖然較簡單,易實現,但是計算量較大,而且受光照、視角和遮擋的影響較大,圖像的亮度不均勻變化、比例變化、旋轉及遮擋都會造成較大的匹配誤差,常用于對具有水平或垂直方向位移以及輕微旋轉和變形情況的圖像進行配準。

基于變換域的方法主要有:相位相關法、擴展相位相關法、小波變換等。這些方法對于頻域出現的噪聲具有較好的魯棒性和較高的匹配精度,但對圖像間的重疊比例要求較高(大于50%)。

基于圖像特征的方法,按利用圖像的特征不同分為基于特征點、基于邊緣和基于結構信息的圖像配準方法。基于特征點的圖像配準在畸變、噪聲等方面具有一定的魯棒性,配準精度高、計算量小、速度快,但是當圖像特征較相似,重疊區域較小時,容易出現誤匹配,影響配準精度；基于邊緣的圖像配準在圖像結構特征不變的情況下,可以排除灰度變化的影響,缺點是對旋轉、縮放等幾何畸變的適應能力差；基于結構信息的圖像配準能處理仿射變換和重復模式的匹配,但是當仿射變換比較大和干擾點較多的情況下,匹配效果較差。

3.2 二進制圖像配準算法

二進制圖像配準算法是基于特征點的圖像配準。該類算法中的特征點檢測主要基于FAST判據:如圖2所示,對于某一像素點p,若其離散包圍圓上的16個點中至少有n個連續像素點的亮度值大于p的亮度值Ip加上閾值t,或者小于p的亮度值Ip減去閾值t,則判定p為角點,其中9≤n≤12。

圖2 FAST角點檢測算法

FAST判據的原理是通過比較像素點對的亮度來檢測角點[6],避免了經典算法中矩陣或算子與原圖像的卷積計算,可大大提高特征點檢測的速度。對于768 × 512pixels的PAL制視頻圖像,每幀圖像檢測500個特征點,FAST角點檢測算法和各經典算法計算時間如表1所示。

表1 FAST角點檢測算法與經典算法性能比較

從表1可以看出,FAST算法的檢測速度遠大于現有的特征點檢測算法。并且對平移、旋轉、縮放變化保持高重復性,但對強噪聲不具有魯棒性,并且檢測結果依賴于閾值t的選取。

二進制圖像配準算法的主要特點在于其使用BRIEF,Oriented Fast and Rotated BRIEF(ORB),BRISK,FREAK等二進制特征描述算子。BRIEF算子是在對原圖像進行高斯平滑濾波后,通過比較特征點位置附近服從高斯隨機分布的512對像素點亮度值,獲得二進制字符串作為特征點描述符。ORB,BRISK和FREAK算子都在BRIEF算子的基礎上進行改進,通過比較不同采樣模式下像素點對的亮度獲得二進制字符串作為特征點描述符,如圖3所示。其中ORB算子對旋轉具有不變性,對噪聲具有較強的魯棒性；BRISK算子和FREAK算子對平移、旋轉、尺度變化具有不變性,對噪聲、視角變化具有較強的魯棒性。

圖3 BRISK和FREAK的采樣模式

二進制特征描述算子的最大優勢是特征描述符的相似性可以用漢明距離代替歐幾里得距離來評估,漢明距離的計算可以通過逐位異或(XOR)附加一個位計數器來實現,比歐幾里得距離的計算效率高很多。對于800 × 600 pixels的序列圖像,每幅圖像檢測1500個特征點,使用二進制配準算法和經典配準算法進行特征點描述和匹配計算時間如表2所示。

表2 二進制配準算法與經典算法性能比較

由表2可知,二進制配準算法計算速度約比經典的SURF,SIFT算法快兩個數量級,同時保持對噪聲、尺度、旋轉變化的魯棒性,適用于實時性要求高的無人機航空圖像處理任務。

4 圖像融合

圖像融合是指在完成圖像匹配以后,對圖像進行縫合,并對縫合的邊界進行平滑處理,讓縫合自然過渡,消除不同時刻圖像采樣,由于圖像光強或色彩的不連續性而造成的圖像拼接邊界處的縫隙問題,它的主要思想是讓圖像在拼接處的光強平滑過渡以消除光強的突變。圖像融合方法主要分為兩大類:一類是空域融合方法；另一類是頻域融合方法。

4.1 空域融合方法

空域融合方法有算術平均法、加權平均法、中值濾波器法等。算術平均方法的主要思想是:圖像對應位置上的灰度值算術相加后取平均,消除拼縫的痕跡,能提高圖像質量,由于簡單的算術平均,相對于多分辨率融合,其運算速度極快。加權平均法是將重疊區域中對應位置上像素點的灰度值按照一定的權值處理后疊加在一起,形成一種漸變的效果,之后合成新的圖像,權值的選取主要采取漸入漸出法和帽子函數加權平均法,加權平均需要進行加權計算,因此該算法的時間復雜度比算術平均法要高,但能夠保留更多的細節信息。中值濾波器法采用中值濾波器作用在邊界附近區域的處理方法,使與周圍灰度值差比較大的像素取與周圍像素接近的值,從而消除光強的不連續性,該算法適于處理邊界附近的狹長地帶,速度較快,但質量一般。

4.2 頻域融合方法

頻域融合方法有多分辨率金字塔圖像融合算法和基于小波分解算法等。其基本方法都是把圖像分解到不同分辨率下的一系列子圖像,然后在每一級子圖像上進行融合,得到融合后的子圖像序列后再進行重構。其中,小波變換能夠在不同的空間分辨率上突顯原始圖像的重要特征數據,并且經過小波分解后的細節信息損失小,各尺度之間的系數無冗余,適用于多分辨率圖像融合。

空域融合方法速度快,適合大多數插入圖像的場合；頻域融合方法是在頻率域上對邊界區域進行融合,質量更好,但是在選擇系數上需要有先驗知識的支持,因此更適合專用的特定場合。

5 圖像匹配實驗

論文采用二進制圖像配準算法和空域融合方法速度對某無人機機載光電平臺獲取的偵察圖像進行了拼接處理,拼接效果如圖4所示。

圖4 拼接效果

通過實驗得出:對于大小為1k×1k pixels,幀頻為25幀/s的無人機視頻圖像,圖像拼接精度可達到2～3pixels,在CPU主頻為2.6Ghz,內存容量為4G的PC機上,采用隔幀抽取圖像進行拼接的方法,可實現無人機偵察視頻圖像的準實時拼接。拼接后的圖像對于提高戰場全域觀察能力,充分發揮偵察圖像的使用效益具有重要意義。

[1] 黃波,黃大慶.無人機光電平臺技術指標設計方法[J].信息化研究,2010,36(11):26-28.

[2] 楊智堯,宋欣,宋占偉.動態圖像的拼接與運動目標檢測方法的研究[J].圖學學報,2014,35(6):893-898.

[3] 冷曉艷,薛模根,韓裕生,等.基于區域特征與灰度交叉相關的序列圖像拼接[J].紅外與激光工程,2005,34(5):602-605.

[4] 周國庫.基于小波提取邊緣特征點的遙感圖像配準技術[D].西安:西北工業大學,2002.

[5] 張汗靈,郝重陽.基于特征的自動圖像配準算法[J].電視技術,2003(9):80-83.

[6] Alahi A. FREAK: Fast Retina Keypoint[C]// IEEE Conference on Computer Vision and Pattern Recognition. 2012:510-517.

[7] Mahesh, Subramanyam M V. Automatic image mosaic system using steerable Harris corner detector[C]// International Conference on Machine Vision and Image Processing. 2012:87-91.

[8] Harandi B K G, Shattri Bin Mansor, Helmi Zulhaidi M. Shafri. IMAGE MOSAIC METHODS FOR UAV SEQUENCE IMAGES[C]// Acrs. 2015.

[9] 婁樹理,楊增勝,周曉東.無人機光電偵察、監視技術研究[J].紅外與激光工程,2007,23(2):28-30.

[10] 肖詩勤,楊關良,范順昌.一種基于特征的全景圖拼接算法研究[J].艦船電子工程,2009,29(11):119-120.

Image Mosaics of UAV Electro-Optical Platform

ZHANG Mingyi1ZHAO Quanpu1WU Zhonghua2

Aiming at the characteristic of UAV electro-optical platform, the paper contrasted advantages and disadvantages of several image mosaics algorithms. Based on binary image registration algorithm and spatial domain images fusion methods, the paper carried out a mosaic processing method on wide-field and high-definition image.

UAV, reconnaissance, image mosaics

2016年6月15日,

2016年7月21日

張明義,男,博士,副教授,研究方向:無人機作戰運用。

E87

10.3969/j.issn.1672-9730.2016.12.026