多源圖像融合技術(shù)在無人機(jī)中的應(yīng)用

于君娜，單子力，李方方，李 峰

(中國電子科技集團(tuán)公司第五十四研究所，河北 石家莊 050081)

0 引言

隨著無人機(jī)和傳感器技術(shù)的發(fā)展，目前無人機(jī)上已經(jīng)可以搭載多種成像傳感器。分析各傳感器的成像特性差異并結(jié)合應(yīng)用目的，獲取多源傳感器的組合模式、數(shù)據(jù)形式、處理流程，并利用圖像融合技術(shù)得到互補(bǔ)的融合圖像[1]，有利于更加準(zhǔn)確地獲得目標(biāo)物體的全面信息。目前，多源圖像融合技術(shù)在遙感圖像分析等領(lǐng)域發(fā)揮著重要的作用[2]，具有重要的社會價值[3]。1979年Daliy[4]等人將雷達(dá)圖像和Landsat MSS圖像用于地址解釋，這是最早的圖像融合。1988年，圖像融合的概念被POHL C.提出[5]。Al-wasszi F.A[6]首次將HIS變換用于圖像融合中，將圖像從RGB空間轉(zhuǎn)換到HIS空間。但HIS變化導(dǎo)致融合后的圖像產(chǎn)生明顯的光譜失真，不能有效使用光譜信息。2009年，殷立瓊[7]將HIS變換和小波變換相結(jié)合進(jìn)行圖像融合，同時利用小波變化和HIS變換的優(yōu)勢，減少了光譜扭曲現(xiàn)象。Tetrolet變換能夠精確地表達(dá)圖像的結(jié)構(gòu)及紋理特征，2013年延翔[8]將Tetrolet變換用于不同頻譜圖像的融合中。同年，KotwalK[9]提出一種基于貝葉斯高光譜圖像融合方法，實(shí)現(xiàn)了高效可視化。2014年，Zhang B.H.[10]結(jié)合BEMD分解和雙通道PCNN，將分解策略引入圖像融合。同年，Hua[11]等人提出一種基于圖上游走技術(shù)的多聚焦圖像融合方法。雖然進(jìn)行了大量的研究，但圖像融合方法仍然面臨著很多問題。本文針對HIS變換融合算法中產(chǎn)生的光譜失真問題進(jìn)行深入研究，引入壓縮感知理論，提高了圖像融合的性能，為后續(xù)目標(biāo)檢測[12]、目標(biāo)識別[13]與定位應(yīng)用[14]提供較好的數(shù)據(jù)保障。

1 傳感器成像特性分析

目前中/遠(yuǎn)程無人機(jī)上搭載的成像傳感器主要有航空數(shù)碼相機(jī)、電視攝像機(jī)、紅外攝像儀和合成孔徑雷達(dá)，成像特點(diǎn)如表1所示。

表1 無人機(jī)載成像傳感器成像特性

傳感器類型主要成像特點(diǎn)航空數(shù)碼相機(jī)分辨率高,圖像尺寸大,搜索面積大,但實(shí)時性差電視攝像機(jī)分辨率和圖像尺寸比航空數(shù)碼相機(jī)低,實(shí)時性強(qiáng)紅外熱像儀分辨率和圖像尺寸比電視攝像機(jī)低,實(shí)時性強(qiáng),主要用于搜集地面目標(biāo)的紅外輻射信息,晝夜兩用。合成孔徑雷達(dá)分辨率高,圖像尺寸大,搜索面積大,可以全天時、全天候工作,穿透力強(qiáng)

其中，航空數(shù)碼相機(jī)和電視攝像機(jī)都是利用光學(xué)成像原理成像，所獲取的圖像中含有豐富的光譜信息和完整的目標(biāo)幾何特征信息，符合人眼感知系統(tǒng)，方便判讀人員進(jìn)行目標(biāo)識別和分類，但是受空氣能見度和光照的影響較大；紅外攝像儀主要是搜集地面目標(biāo)的紅外輻射信息進(jìn)行成像，適用于在夜間成像以及在白天發(fā)現(xiàn)偽裝的熱敏目標(biāo)，如坦克、士兵等，但是在紅外熱像儀中只顯示了物體表面的溫度分布，不能清晰顯示物體輪廓和具體的形狀信息，不利于人眼識別；機(jī)載SAR是利用微波進(jìn)行成像，具有較強(qiáng)的穿透性，能夠全天時、全天候?qū)δ繕?biāo)進(jìn)行觀測，不受天氣、煙霧、樹林和戰(zhàn)場偽裝的影響，在夜間、氣候惡劣的情況下或在沙塵、煙霧彌漫的戰(zhàn)場上，它的偵察能力尤為突出，但是SAR圖像也不能清晰顯示物體輪廓和具體的形狀信息，給判讀帶來了很大的困難。

綜上所述，各傳感器由于成像原理不同，各有優(yōu)缺點(diǎn)，如何利用來自其他傳感器的圖像來替代或彌補(bǔ)某一傳感器圖像中丟失的信息，成為多源傳感器應(yīng)用的重點(diǎn)。

在實(shí)際應(yīng)用中，由于上述4種傳感器的成像尺寸和分辨率特性差異，比較適用的傳感器融合模式為電視攝像機(jī)獲得的可見光圖像與紅外熱像儀獲得的紅外圖像進(jìn)行融合[15]，航空數(shù)碼相機(jī)獲取的航空相片與SAR圖像進(jìn)行融合。目前無人機(jī)上搭載的電視攝像機(jī)和紅外熱像儀已經(jīng)做到共軸，從而可以方便獲取同一地區(qū)、同一時相的可見光圖像和紅外圖像，這樣的一對圖像由于拍攝角度一致，給后續(xù)的配準(zhǔn)融合帶來了很大的方便，通過融合技術(shù)能更容易發(fā)現(xiàn)隱藏的熱敏目標(biāo)。航空數(shù)碼相片和SAR圖像由于成像幅面積大、分辨率高，二者進(jìn)行融合處理能夠在短時間內(nèi)獲取大范圍內(nèi)準(zhǔn)確的戰(zhàn)場態(tài)勢。

2 圖像融合處理流程

在無人機(jī)多源圖像融合處理的實(shí)際應(yīng)用中，圖像融合是從數(shù)據(jù)獲取、處理、展現(xiàn)的一個完整過程，下面將分別針對可見光圖像與紅外圖像融合、航空數(shù)碼相片與SAR圖像融合的處理過程進(jìn)行分析。

無人機(jī)下傳的可見光圖像與紅外圖像均以視頻的形式存儲，并疊加遙測數(shù)據(jù)。由于可見光圖像與紅外圖像是共軸、同時相的，可以從播放的某一傳感器視頻中人工截取單幀靜止圖像作為待融合圖像并獲取對應(yīng)的遙測數(shù)據(jù)，根據(jù)時間參數(shù)從另一個傳感器視頻中獲取單幀靜止圖像作為另一待融合圖像，根據(jù)單幀靜止圖像對應(yīng)的遙測數(shù)據(jù)分別對待融合圖像進(jìn)行系統(tǒng)幾何校正完成圖像粗定位，對粗定位后的2幅待融合圖像進(jìn)行特征點(diǎn)提取、自動配準(zhǔn)處理，如果自動配準(zhǔn)找不到足夠的同名點(diǎn)對，可以進(jìn)行人工干預(yù)，對配準(zhǔn)后的2幅待融合圖像的重疊區(qū)域內(nèi)的數(shù)據(jù)進(jìn)行融合計(jì)算處理，形成融合結(jié)果文件保存到磁盤上，也可以對配準(zhǔn)后的2幅待融合圖像進(jìn)行疊加顯示，人工通過卷簾、透明的方式對重疊區(qū)域數(shù)據(jù)進(jìn)行分析比對。具體處理流程如圖1所示。

圖1 可見光圖像與紅外圖像融合處理流程

航空數(shù)碼相片與SAR圖像都是以本地文件存儲的，以數(shù)碼相片為起點(diǎn)，根據(jù)遙測數(shù)據(jù)對待融合的數(shù)碼相片進(jìn)行系統(tǒng)校正獲取圖像地理范圍，根據(jù)時間和地理范圍獲取對應(yīng)的SAR圖像，對SAR圖像進(jìn)行系統(tǒng)幾何校正，后續(xù)處理步驟同可見光圖像與紅外圖像融合處理步驟。

3 圖像融合算法

可見光圖像與航空數(shù)碼相片都是3波段RGB彩色圖像，紅外圖像和SAR圖像都是單波段灰度圖像，可用于可見光圖像與紅外圖像融合、數(shù)碼相片與SAR圖像融合的經(jīng)典算法主要為HIS變換法，本文對經(jīng)典的HIS變換法的原理和缺陷進(jìn)行分析，將壓縮感知理論應(yīng)用到無人機(jī)數(shù)碼照片和SAR圖像融合處理中，很好地解決了無人機(jī)多源異構(gòu)圖像融合問題。

3.1 HIS變換圖像融合

目前常用的彩色模型可分為2類，一類是RGB顏色空間模型，這里的R是紅色，G是綠色，B是藍(lán)色，這3個基礎(chǔ)色構(gòu)成了其他顏色；另一類是IHS顏色空間模型，是由亮度、色度與飽和度構(gòu)成的，分別用I，H，S表示，其他顏色也是由這3個分量構(gòu)成，亮度I表示的是由其他物體反射的全部能量和圖像的空間信息，色度H表示的是色彩組成的主波長，反映的是頻譜信息，飽和度S表示的是顏色的純度，主要反映地物的光譜信息。在IHS色彩空間中，I，H，S三個分量相關(guān)性很低，因此可以利用這個特點(diǎn)對分量單獨(dú)進(jìn)行處理，并且這種彩色空間更適于人眼的觀察，算法也很簡單，因此被廣泛地應(yīng)用到圖像融合技術(shù)。在HIS變換中，把圖像由RGB空間變換到HIS空間稱為正變換[16]，相反的，由HIS空間變換到RGB空間稱為逆變換[17]。

① HIS正變換公式如下：

② HIS逆變換公式如下：

基于HIS變換的圖像融合的過程：首先將數(shù)碼相片/可見光圖像進(jìn)行HIS正變換，提取I分量；SAR圖像/紅外圖像以I為基準(zhǔn)，進(jìn)行直方圖配準(zhǔn)得到I′；用獲得的I′替代I，進(jìn)行HIS逆變換，得到變換后的RGB影像，即融合后圖像。處理流程如圖2所示。HIS變換法在將SAR圖像/紅外圖像中的紋理特征融合到可見光圖像中時，由于SAR圖像/紅外圖像的成像機(jī)理與可見光圖像不同，與可見光圖像強(qiáng)度分量差異大，所以融合后的圖像與原圖像相比會產(chǎn)生較大的光譜失真。

圖2 HIS變換圖像融合處理流程

3.2 壓縮感知圖像融合

傳統(tǒng)HIS變換方法在進(jìn)行航空數(shù)碼相片與SAR圖像融合處理時，在引入SAR圖像紋理信息的同時，也丟失了光學(xué)圖像光譜信息。針對傳統(tǒng)算法的這些不足，本文將壓縮感知理論應(yīng)用到無人機(jī)數(shù)碼照片和SAR圖像融合處理中，該方法在引入SAR圖像紋理信息的同時，能夠有效地保持可見光圖像光譜信息，取得較好的融合效果。

3.2.1 算法原理

3.2.2 實(shí)現(xiàn)過程

基于壓縮感知的圖像融合方法過程如圖3所示。

圖3 基于壓縮感知的圖像融合流程

① 圖像分塊

圖像分塊是一種預(yù)處理方法，通常處理大幅或者多幅圖像的時候，數(shù)據(jù)量會很龐大，導(dǎo)致計(jì)算的復(fù)雜度比較高，對硬件實(shí)現(xiàn)的要求較為嚴(yán)格。基于對此問題的思考，提出了一種常用的解決方案：分塊思想。假如存在待融合圖像A，將A分成許多大小為N×N的子圖像塊Au，其中每一塊的大小主要由人為因素決定，每個子塊的順序要進(jìn)行標(biāo)記。進(jìn)而對每個子圖像塊Au分別進(jìn)行處理，降低了數(shù)據(jù)的復(fù)雜度，利于硬件的實(shí)現(xiàn)。

② 轉(zhuǎn)化為向量

轉(zhuǎn)化為向量是為了進(jìn)一步實(shí)現(xiàn)處理的簡單化，即將子圖像塊Au轉(zhuǎn)化為向量fAu。為了形象描述該過程，現(xiàn)以8×8的待融合子圖像塊Au為例，對其進(jìn)行轉(zhuǎn)化，轉(zhuǎn)化后的向量記為fAu：

fAu=(au11，…，au18，au21，…，au28，…，au81，…，au88)′，

式中，u表示待融合圖像所分成的子圖像塊數(shù)的標(biāo)號，u為多少就代表是第多少塊；au11等表示的是子圖像塊Au中元素的元素值。

③ 信號的稀疏表示

信號的稀疏表示是先確定信號的變換域，再得到信號在該變換域上的稀疏系數(shù)。通常情況，對向量進(jìn)行離散余弦變換可以得到較好的稀疏系數(shù)，這個變換域上得到的系數(shù)也具有較好的稀疏性，因此一般都采用該變換域。對上步得到的向量進(jìn)行離散余弦變換，得到在余弦基上的稀疏系數(shù)，保證信號具有足夠的稀疏性。按照上式中的符號，待融合的向量分別為fAu，fBu，經(jīng)過離散余弦變換后得到FAu，F(xiàn)Bu，過程可表示：

K=0，1，...，N-1。

④ 測量矩陣

測量矩陣要求用與稀疏基不相干的矩陣進(jìn)行乘積，從而得到測量數(shù)據(jù)。該測量矩陣與稀疏基越不相干得到的效果越好；同時不相干性也是設(shè)計(jì)測量矩陣必須要重點(diǎn)考慮的條件之一。通常情況下選用隨機(jī)高斯矩陣，它可以滿足與任一矩陣的不相干性，并且具有較好的測量結(jié)果，是當(dāng)前普遍選用的一種測量矩陣。以均值為0，方差為1的隨機(jī)高斯矩陣為例，設(shè)該矩陣為φ，則有：

φ∈RM×N(M?N)，

φi，j～N(0，1)，

式中，φi，j表示測量矩陣φ中的元素；M表示測量矩陣的維數(shù)；N表示測量矩陣的列，即個數(shù)；維數(shù)是要遠(yuǎn)小于個數(shù)的。經(jīng)過這個矩陣，可以得到系數(shù)的測量值yAu，yBu：

⑤ 融合規(guī)則

融合規(guī)則是指將得到的測量值按照某種特定的規(guī)則進(jìn)行運(yùn)算，得到一個新的數(shù)值，這個新數(shù)值就是融合后的數(shù)值。進(jìn)行運(yùn)算的規(guī)則稱之為融合規(guī)則，它直接決定了圖像的融合效果，選取最為簡單的一種融合方式，即加權(quán)的融合規(guī)則，對待融合的測量數(shù)據(jù)進(jìn)行融合，得到融合后的數(shù)據(jù)zu：

式中，t表示測量值中的元素個數(shù)的標(biāo)號。之所以選取該融合方式，除了可以使計(jì)算較為方面，較為簡單地得到融合值外，還可以充分體現(xiàn)壓縮感知的優(yōu)越性，利用較為簡單的融合方式就可以得到通常復(fù)雜融合算法下的融合效果。本文采用的求取權(quán)值系數(shù)的公式為取熵法，假定待融合圖像A，B的熵分別為HA，HB，則：

⑥ 圖像重構(gòu)

⑦ 分塊融合后子圖的重新組合

重新組合是指將重構(gòu)后的矩陣塊Cu按照原始順序依次放好，組成的矩陣即為融合后的矩陣。該步是一種簡單的線性組合，按照原始順序進(jìn)行即可，需要注意的是每一個圖像塊的順序即可，組合完后的矩陣即為融合后的圖像C。

4 融合實(shí)驗(yàn)

本文分別利用傳統(tǒng)的HIS變化法和基于壓縮感知理論的圖像融合方法，對無人機(jī)獲取的某目標(biāo)區(qū)域數(shù)碼照片和SAR圖像進(jìn)行融合處理。利用光譜扭曲程度對融合后的圖像進(jìn)行融合效果分析，光譜扭曲程度直接反映了圖像的光譜失真程度，扭曲程度越小，說明融合圖像的光譜失真越小，融合效果越好[18]]，光譜扭曲度定義為：

式中，V′(i，j)，V(i，j)分別表示圖像在點(diǎn)(i，j)處像素的灰度值，前者是融合后圖像灰度值，后者是原圖像灰度值。由于可見光圖像和融合后圖像是彩色圖像，需要將彩色圖像轉(zhuǎn)換為灰度圖像后再進(jìn)行光譜扭曲度計(jì)算。

圖像融合實(shí)驗(yàn)結(jié)果如圖4所示，其中圖4(a)和圖4(b)分別為融合前數(shù)碼照片和SAR圖像，圖4(c)為HIS變換融合結(jié)果，圖4(d)為壓縮感知融合結(jié)果。

圖4 圖像融合實(shí)驗(yàn)結(jié)果

HIS變換融合結(jié)果圖像光譜扭曲度約為80°，基于壓縮感知的融合結(jié)果圖像光譜扭曲度為30°，通過光譜扭曲度和目視效果可以看出，基于壓縮感知的圖像融合方法在進(jìn)行無人機(jī)數(shù)碼照片和SAR圖像融合時，在光譜保持方面相對于HIS變換有較大提高。

5 結(jié)束語

本文通過對目前無人機(jī)搭載的載荷獲取的數(shù)據(jù)特性進(jìn)行研究，根據(jù)各傳感器的成像特性差異，獲得航空數(shù)碼相片、可見光圖像、紅外圖像和SAR圖像的融合組合模式，并利用傳統(tǒng)HIS變換法和基于壓縮感知的圖像融合方法對航空數(shù)碼照片和SAR圖像進(jìn)行融合處理，基于壓縮感知的圖像融合方法在光譜保持方面有較大優(yōu)勢，得到的融合結(jié)果圖像充分保持了航空數(shù)碼相片和SAR圖像的優(yōu)勢信息，表明了此方法的有效性，但依然有可以改進(jìn)的地方。在構(gòu)造融合規(guī)則時，本文使用了簡單的加權(quán)融合，接下來會對融合規(guī)則進(jìn)行改進(jìn)：首先對SAR圖像進(jìn)行目標(biāo)檢測，對檢測出的目標(biāo)區(qū)域增加權(quán)重。