無人機遙感圖像融合算法綜述

王海鵬，么鴻原，林雪原，郭 強

（海軍航空大學，山東煙臺264000）

如今，航天遙感技術已經(jīng)變成人們獲取特定地域地理信息及環(huán)境信息的重要手段之一[1]，將無人機作為遙感平臺更是被廣泛應用于災害監(jiān)測、環(huán)境偵察等方面[2]。與其他遙感平臺相比，無人機具有體積小、時效性強、操作靈活、成本低等明顯優(yōu)勢[3]；但無人機遙感圖像單張的覆蓋區(qū)域較小，對目標區(qū)域的觀測圖像數(shù)目過多，圖像與圖像之間重疊較大。因此，將無人機所拍攝的遙感圖像拼接融合形成一幅廣視野的全景圖像有利于對目標區(qū)域進行分析[4]。

目前的遙感圖像拼接融合技術可分為“像素級”“特征級”“決策級”3個級別[5]；為最大程度保留圖像信息要素細節(jié)，減小拼接融合過程中所造成的信息丟失的原則，無人機遙感圖像的融合應采用像素級的融合方法[6]。

本文對一些常見的像素級融合方法進行了分類介紹，重點介紹了3種經(jīng)典的圖像融合方法。同時，介紹了可以根據(jù)哪些指標對一幅圖像從主觀與客觀兩方面進行評價；在實驗階段，對3種經(jīng)典融合方法進行了實驗驗證與性能分析。

1 研究現(xiàn)狀

在無人機遙感圖像融合中，如果對遙感圖像直接進行暴力拼接，那么不可避免地會產(chǎn)生拼接縫隙明顯、鬼影、虛影、模糊等現(xiàn)象[7]，嚴重影響拼接效果。因此，通過某種融合算法，有效地避免或消除以上情況的出現(xiàn)，實現(xiàn)待拼接圖像之間重疊部分的色彩紋理等重要信息能夠平滑過渡成為了當下主要研究問題[8-9]。

像素級融合又可根據(jù)空間域和變換域對各種方法進行分類：如，空間域融合方法包括邏輯濾波法[10]、加權平均法[11]、主成分分析（PCA）法[12]、HIS空間圖像融合法[13]、羽化融合法[14]等；變換域圖像融合法包括多分辨率融合法[15]（即金字塔分解法）、小波變換法[16]等。

1.1 邏輯濾波法

邏輯濾波法是將圖像間的2個像素值直接進行邏輯運算，從而合為一個像素值的最直觀的融合方法。例如，當2個像素值均大于某一特定閾值（門限值）時，進行“與”運算，此時“與”濾波器輸出為“1”，即圖像通過“與”濾波器獲得的特征可以認為是環(huán)境中十分顯著的成分（即主要方面）；相同的，當2個像素并不都大于特定閾值時，可通過“或”運算進行圖像分割；當2個像素值均小于特定閾值時，進行“或非”運算。

1.2 主成分分析（PCA）法

主成分分析PCA方法是指對圖像作多維正交線性變換，找出幾個綜合變量代替原來眾多的變量使其盡可能代表原來變量的信息量。并在此基礎上，進一步進行統(tǒng)計分析。

假設對m個波段的多光譜圖像進行主成分變換，將圖像中m個波段的相同位置的m個像素值看作其m個特征值，則可得到一幅圖像的m個特征向量為：

若圖像的大小為N×M，那么就會有K維矢量，其中K=MN；求出其協(xié)方差矩陣：

求出λ1≥λ2≥…≥λm為Cx的m個特征值，u1,u2,…,um為其m個特征向量，可得主成分分量為：

1.3 HIS空間圖像融合法

HIS是指通過亮度（Intensity）、色調（Hue）、飽和度（Saturation）3個分量對圖像色彩進行描述的彩色空間。HIS空間融合能夠保留圖像的光譜信息特征，有效增強圖像配準精度。

以TM多光譜圖像與全色波段圖像進行HIS圖像融合為例，其一般步驟為：

1）對TM圖像進行HIS變換得到圖像的I、S、H分量；

2）將得到的I（亮度）分量與全色圖像依照一定規(guī)則進行融合運算，例如幾何配準，得到新的分量I′；此時，把I′、H、S3個分量HIS逆變換回到RGB空間，在得到了新圖像的同時，還兼具高空間分辨率與高光譜分辨率的RGB圖像，即融合完成。

1.4 HIS空間圖像融合法

小波變換是一種建立在Fourier理論的基礎上的新的變換分析方法。圖像在經(jīng)過小波變換分解后也會得到來自各個頻段的圖像信息，式（4）中為h(x)基本的小波函數(shù)。

式（4）中：a是小波變換的伸縮因子；b是平移因子，且a,b∈R,a≠0。

小波變換會根據(jù)圖像的框架結構將圖像分解為多個子圖像，子圖像中中包含著細節(jié)圖像與近似圖像，圖1所示為小波分解后的二維塔形結構。其中，LL、LH、HL、HH分別是圖像的低頻近似分量、水平高頻分量、垂直高頻分量、對角高頻分量。

圖1 二維塔形結構Fig.1 Two-dimensional tower structure

采用小波變換進行圖像融合就是采用小波變換進行分解與重構的過程。首先，要將各源圖像進行多尺度分解（即小波變換），分解出一系列的具有不同特征的子圖像；由于得到的子圖像無論在空間域還是頻率域的特性都不相同，可以根據(jù)這些特征信息獲取相應的小波系數(shù)；按照某種融合準則將各源圖像的小波系數(shù)融合。此時，做小波逆變換即可得到融合圖像。其融合過程如圖2所示。

圖2 小波變換的融合過程Fig.2 Wavelet transform fusion process

2 3種經(jīng)典的圖像融合算法

2.1 加權平均融合算法

加權平均融合算法核心在于權重的選擇與分配，即所謂的“權”的確定，也稱“加權系數(shù)”。這樣，在融合計算時，可根據(jù)不同像素點的重要程度對2幅圖像重疊區(qū)域內的像素乘上對應的加權系數(shù)，再求和。[9]

常用的2種加權融合算法有：指數(shù)函數(shù)加權融合算法、漸入漸出式的加權融合算法。通常情況下，均選用漸入漸出式的加權融合算法。具體如下：

在2幅圖像融合的過程中，假設兩幅圖像的拼接順序是f1→f2，在重疊區(qū)域內，k1由1逐漸減小為0，k2由0逐漸增加至1，即在最初的非重疊區(qū)域內，先取f1的像素值，重疊區(qū)域開始融合時，f1所占的比重逐漸減少。同時，f2所占的比重逐漸增加。最后，離開重疊區(qū)后，取f2的像素值，完成了2幅圖像重疊區(qū)域的平滑過渡。

圖3 漸入漸出式權值變化圖Fig.3 Gradual fade-in weight change graph

2.2 羽化融合法

羽化融合算法是通過對2幅圖像的重疊區(qū)域中在拼接線周圍一定范圍內的區(qū)域進行融合處理的算法。其原理為：將其中一副圖像記作img1，將另一幅記作img2；將2幅圖像的重疊區(qū)域記作Over1，羽化融合就是指將重疊區(qū)域的邊界由img1平滑過渡到img2，即完成了由img1到img2的拼接融合；反之，則完成由img2到img1的拼接；將過渡區(qū)域記作Trans；融合過渡過程如圖4、5所示。

圖4 由參考圖像過渡Fig.4 Transition from reference image

圖5 由待拼接圖像過渡Fig.5 Transition from image to be stitched

羽化融合的步驟如下：

1）計算過渡步長s：將img2中重疊區(qū)域內的重疊邊界行像素值記作m，將img2中重疊區(qū)域內的Trans行的像素值記作l，可通過式（6）計算得到過渡步長。

2）計算融合后過渡區(qū)域的像素值：融合后過渡區(qū)域中第Trans行的像素值為l+s，第Trans-1行的像素值為l+2×s，第Trans-2行的像素值為l+3×s，以此類推，最后過渡區(qū)第1行的像素值將變成l+Trans×s。此時，重疊部分上邊界的過渡完成。側邊界同理。

2.3 多分辨率融合法

多分辨率圖像融合法也被稱作金字塔圖像融合法，最早提出的多分辨率算法是基于Laplacian金字塔的金字塔分層結構將圖像之間的重疊部分互相對應的分解到各個頻域中進行操作；通過將圖像分解到不同的頻域，使接下來的操作能夠極好地避免圖像信息丟失，避免圖像失真，保存圖像細節(jié)信息完整。多分辨率融合方法的大致流程如圖6所示。

圖6 多分辨率融合過程Fig.6 Multi-resolution fusion process

3 圖像融合性能評價

融合后圖像質量的優(yōu)劣與圖像融合方法直接相關，對于圖像融合性能的評價方法一般分為主觀和客觀2類[17]。主觀方法主要是通過人眼的觀察來評價融合后圖像的質量；而客觀方法主要指的是通過一系列的計算得到相應的數(shù)據(jù)來定量的評價圖像融合質量。客觀方法又分為無參考圖像的評價方法和有參考圖像的評價方法。本文針對無參考圖像的評價方法進行介紹。

3.1 圖像融合的主觀評價

圖像的主觀評價，顧名思義是指當人看到融合后圖像的主觀意識，是依靠人眼對圖像進行觀察而得出的評估結果[18]。雖然這種方法對于觀察者來說簡單直觀，但過于依賴人的主觀意識，不同人觀察可能會有不同的評價結果，且人眼無法分辨圖像的細節(jié)差異，對于色彩的細微變化也不敏感。因此，在評價圖像時，還需要引入客觀指標進行定量的客觀評價。

3.2 圖像融合的客觀評價

由于圖像中含有豐富的信息，因而選取不同的參數(shù)進行評價所得到的結果有可能不同。因此，在進行客觀評價時，一般針對某個或某幾個側重的方向選取特定的參數(shù)指標進行計算評價[19]。下面介紹一些常用的客觀評價參數(shù)。

1）熵EN。圖像的熵值代表著圖像所攜帶信息量，熵越大，表示圖像攜帶的信息越多，定義為：

式（7）中：L代表圖像的灰度級別；p(g)代表灰度值g像素占總像素的比例。

2）空間頻率SF。圖像的空間頻率大小表示圖像活躍程度的高低，定義為：

式（8）中：RF為行頻率；CF為列頻率。

3）信噪比SNR。假定融合圖像與參考圖像之間的差異為噪聲，信噪比越大代表融合圖像的質量越好，定義為：

式（9）中：S為信號方差；N為噪聲方差。

4）峰值信噪比PSNR。一般情況下，圖像的峰值信噪比越大，表示融合圖像質量越好，失真越少，定義為：

式中，MSE為圖像均方誤差。

5）標準差SD。標準差代表圖像像素信息的豐富程度，值越大圖像中像素信息越豐富，定義為：

式（11）中：M是圖像的寬；N是圖像的高；F(i,j)是圖像的像素值；是圖像像素均值。

6）平均梯度AG。平均梯度與空間頻率相似，反映的都是圖像的清晰程度；平均梯度越大，圖像越清晰，定義為：

4 實驗結果與分析

本文對3種經(jīng)典的像素級融合算法：加權平均融合、多分辨率融合、羽化融合進行測試及評價，實驗平臺為個人計算機，配置為Intel Core i5-2450M 2.5 GHz，4 GB內存，操作系統(tǒng)為64位Windows7，算法基于OpenCV2.4.10，用C++進行編程并在Visual Studio 2010中進行實驗。實驗數(shù)據(jù)為120張大疆無人機航拍獲得，圖像格式為JPEG。

4.1 主觀評價

圖7中給出了4張結果圖。觀察圖7可知，未采用融合方法[20]的拼接圖像拼接縫隙明顯，顏色過渡十分突兀且拼接錯位；采用多分辨率融合算法使重疊部分色彩過渡平緩，幾乎看不出拼接縫隙，且拼接準確；采用加權融合算法雖然拼接準確，但顏色紋理過渡突兀，拼接線明顯；采用羽化融合方法雖然顏色紋理過渡相對平緩，但重疊區(qū)域的拼接線周圍出現(xiàn)一定的圖像變形、鬼影。從主觀分析結果來看，多分辨率融合法的融合效果明顯優(yōu)于其余2種方法。

圖7 融合效果及細節(jié)放大圖Fig.7 Fusion effect and detailed enlarged view

4.2 客觀評價

在實驗中，本文對120張無人機遙感圖像采用金字塔結構，將其分解出的第一層圖像分別采取3種融合方法進行融合，每種融合方法進行一組實驗，并對每組實驗得到的60幅融合結果圖計算出前文所提到的6項客觀評價指標的平均值，即得到實驗中各項參數(shù)的統(tǒng)計特性，并進行客觀分析及評價。

表1 各項融合指標Tab.1 Various integration indicators

表1中，黑體加粗為最優(yōu)。從6項指標中可以看出來，在熵值、信噪比、峰值信噪比、標準差4項評價中，多分辨率融合方法最優(yōu)，其次是羽化融合方法，加權平均方法最差；在空間頻率、平均梯度兩項評價中，加權融合方法最優(yōu)，其次是羽化融合、多分辨率融合法最差，但由前文分析可知，空間頻率與平均梯度表示圖像中像素活躍程度的高低，觀察融合圖像可知，是由于加權融合方法并不能使圖像的色彩及紋理能夠平緩過渡，因而影響到圖像中的像素活躍程度會高于其余2種方法。而由于多分辨率融合方法基本上完成了顏色及紋理的平滑過渡，在空間頻率及平均梯度兩項評價中數(shù)值較低。

結合主觀評價與客觀評價兩方面的評價結果，總體上，采用多分辨率融合方法得到的融合圖像拼接準確，色彩過渡平緩基本無色差，圖像清晰，細節(jié)能夠大量保留。其融合效果要優(yōu)于羽化融合方法及加權平均融合方法。

本文對各種算法的運行時間也進行了數(shù)據(jù)統(tǒng)計，3種融合方法在對120幅遙感圖像的金字塔結構第一層直接融合所用時間如表2所示。由表2可知，多分辨融合方法雖然融合效果要優(yōu)于加權融合方法及羽化融合方法，但其運算復雜度也導致運行時間也遠遠大于其余2種算法。

表2 融合算法運行時間Tab.2 Fusion algorithm runtime s

5 總結

本文對一些常見的像素級圖像融合法進行了介紹，并重點介紹了3種經(jīng)典融合方法，同時介紹了根據(jù)哪些指標對對1幅圖像從主觀與客觀兩方面進行評價；通過對3種經(jīng)典融合方法進行實驗分析可知，多分辨融合方法融合效果要優(yōu)于加權融合方法及羽化融合方法，其運算復雜度也導致運行時間也遠遠大于其余2種算法。這充分說明了采用評價指標對融合方法進行優(yōu)劣性評價的有效性。因此，在實際的應用中，應根據(jù)需要選擇合適的融合算法進行改進。