無人機航片和衛星影像融合算法

牛麗峰，李軼鯤，楊樹文，李小軍

(1.蘭州交通大學 測繪與地理信息學院，蘭州 730070；2.甘肅省地理國情監測工程實驗室，蘭州 730070；3.地理國情監測技術應用國家地方聯合工程研究中心，蘭州 730070)

0 引言

無人機航測已成為對地觀測的重要手段，獲取的影像具有分辨率高，影像細節顯示明顯以及可視區豐富等優點。高分辨率衛星遙感影像具有獲取范圍大、全天時、全天候、實時獲取影像等優點，但是其成像易受高大地物遮擋而形成大面陰影，影響地物信息識別[1]。因此，將無人機航片和高分辨率衛星影像進行融合具有非常好的應用前景。

近年來，國內外學者研究的重點多在高分辨率影像融合方面[2]。如李成鐵等人[3]提出了基于字典學習的超分辨率影像融合方法，有效提高了多光譜影像的分辨率；李盛陽等[4]提出了曲面波變換_超球面彩色變換算法 (Curvelet_HCS)，構建了影像融合數據源選取的決策樹算法，該算法很大程度改善HCS算法的光譜失真。在無人機影像融合方面，韓文超等人[5]提出了利用最佳縫合線的融合方法，融合圖像的目視效果明顯增強；任偉健等人[6]改進了加權平均融合算法，有效去除了拼接線縫隙，融合影像質量較好。在航片與衛星影像融合方面，學者們也做了有益探索，如吳松等人[7]使用一些傳統的融合方法對無人機高分辨率數據與陸地衛星8 (Landsat-8)的多光譜數據進行融合；陳利軍等人[8]將航片與地球觀測系統(SPOT)影像融合時，發現HIS融合方法在很大程度上能減少光譜失真；賈永紅等人[9]通過相關計算獲得原始全色影像的I分量，實現了航片與多光譜影像的有效融合。

綜上所述，雖然以上融合方法有很好的適用性，但是融合影像空間信息有損失和光譜真，且無人機航片間融合時存在信息扭曲等缺點。而無人機影像和高分辨率衛星影像融合主要集中在傳統融合方法，這些方法融合效果不佳。因此，針對無人機影像和衛星影像使用傳統HIS融合中存在的光譜信息填補不足、空間信息豐富度低的問題，提出無人機影像最優波段替代I分量進行融合，融合結果較好地加強了空間信息特征，有效地增強了無人機影像的光譜信息。

1 融合方法

1.1 最鄰近擴散算法融合(nndiffuse pan sharpening，NNDiffuse)

NNDiffuse融合[10]是一種針對高分辨率影像的融合方法。其原理是融合影像中的每個像素是其鄰近的超像素光譜的加權線性混合值，每個光譜看作是最小操作元素。因此，整個算法中涉及因素有像素大小比、空間光滑性和強度平滑性，融合算法公式為：

(1)

δ2=minNj(x，y)j=1，2…，9

(2)

其中Nj(x，y)在9個相鄰像素中是不相同的。

Nj(x，y)=∑(p，q)∈Ωj(x，y)|p(x，y)-Pp，q|
j=1，2…,9

(3)

Ωj定義了9個相鄰超像素中的每一個的擴散區域(x，y)是表示像素在高分辨率坐標中的位置。

該融合算法相比于其傳統的HIS變換、PCA變換和色彩標準化變換(colornormalized，rovey)影像光譜逼真，增強了空間特征。針對國產高分二號影像的多光譜和全色影像目前主流的融合方法分別是高通濾波法(high-pass-filter，HPF)、葉斯法及改進算法(Pansharp 及Pansharp2)。湯耶磊等[11]已經對這幾種融合方法做了評價分析，對于高分二號影像融合效果最適合的是NND、HPF、Pansharp融合算法。NND融合方法所獲得融合影像光譜性良好。本文以此為根據，使用NNDiffuse融合方法對高分二號影像的多光譜和全色影像進行融合處理。

1.2 HIS影像融合

HIS是一種顏色模型，它跟人類視覺認知系統非常相似，在進行HIS影像顯示時，將I分量的分辨率提高則整個圖像的分辨率也會提高。處理MS影像的主要局限在于HIS變換只能使用于RGB真彩色影像。Te-MingTu等人[12]針對超過3個波段的高光譜影像的應用，提出了GHIS 變換。在后期的研究中W.DON提出它的公式[13]如下：

(4)

(5)

W=[ω1，ω2，…，ωN]其中W是權重，是正變換矩陣的第一行，并且可以盡可能地選擇測量多光譜影像(MSS)和全色影像(PAN)信道之間的頻譜重疊度{ωi}k=1， …，N，一般N=3。在N=3時，MSI是高光譜影像，MSP是經過GHIS融合后的影像。亮度I不是通過單個波段確定而是給每個波段加一個權重，然后將所有波段，這樣集中了各波段的光譜信息，很好地減少了光譜扭曲度，顯著增強空間特征。

1.3 改進的HIS變換方法

HIS變換是將低分辨率的影像RGB模型轉換成HIS模型，然后用高分辨率影像全色影像(PAN)代替I分量，最后經過HIS逆變換，得到融合影像。雖然這種方法在多光譜遙感影像和PAN影像中融合效果好且方便，但是在航片影像中很難應用，必須從無人機影像(unmanned aerial vehicle，UAV)中選取最恰當的波段影像。本文基于波段的選擇提出如下公式：

(6)

式中：I′表示的是從無人機影像中獲取的波段；UAV(：，：，K)表示無人機影像的波段數。其中a值是通過計算多光譜影像(MSS)的直方圖和波段的相關系數確定。

相關系數是對變量之間線性相關程度的衡量指標，以2個變量與各自平均值的利差為基礎，通過2個利差相乘來反映二者之間的相關程度。本文使用計算公式如下：

(7)

α是余弦角，α越大則2個波段之的相關性越低。遙感影像融合中相關系數指標反映2幅影像之間的光譜保持度[14]。因此，本文通過計算無人機影像與遙感影像各波段之間的系數，確定需要融合的影像波段。

研究中，筆者對要融合的原始影像，利用高分二號影像自帶的RPC參數對MSS和PAN進行正射糾正，以PAN影像為基準，對MSS和UAV影像做空間配準。本文融合主體分為2個部分：MSS與PAN的融合、MSS與PAN融合后影像和UAV影像的融合。過程如圖1所示。

圖1 整個融合流程

①利用8個系數的偶立方核對[15]原始MSS圖像進行插值運算和空間匹配處理，得到糾正影像(MSI)。

②使用 NNDiffuse變換方法對MSI影像和PAN影像融合，得到融合影像 (NND)。

③使用相同的插值方法將NND影像的大小與UAV影像大小相同，計算NND影像的3個波段和UAV影像的3個波段的直方圖及他們各個波段之間的余弦角α，如表1所示。取UAV影像中的與NND影像各個波段相關性強的波段作為本次融合波段。

表1 UAV影像與MSP影像各波段的余弦角

通過HIS融合原理可知，只需要一個波段來頂替I，根據表1可知選擇第三波段，且a=7，b=1。因此，公式(6)變為：

-UAV：，：，1-UAV：，：，2)

(8)

④用選取的UAV影像波段代替原始I影像得到I′影像。

⑤最后對H、S和I′做HIS逆變換得到融合影像(MDD)。

2 實驗結果

2.1 實驗數據

本文實驗數據采用高分二號影像的MSS影像和PAN影像，它們的分辨率分別為0.8 m×0.8 m和1.6 m×1.6 m，PAN影像相比于原始MSS影像其分辨率要高很多。所用MSS影像大小為23像素×30像素，PAN影像大小為92像素×120像素。所采用的UAV影像分辨率是0.2 m×0.2 m，它的分辨率要比PAN影像高，圖像更清晰。其大小是368像素×480像素，具有4個波段。

2.2 融合結果

本文實驗是通過MATLAB語言實現，通過上述算法流程融合的結果如圖2所示。評價和分析HIS融合方法、PCA融合方法和改進HIS方法的融合結果與NND影像和多光譜影像之間的相關性。

圖2(a)是無人機波段影像，圖2(b)是高分二號影像的MSS影像，圖2(c)是MSS影像和PAN影像的融合結果，本文中用NND表示，圖2(d)～圖2(f)分別是改進HIS方法融合結果、原始HIS融合方法融合結果和PCA融合方法融合結果。

圖2 原始影像及融合影像

2.3 融合效果評

本文使用Gemine Vivone[16]采用的評價指標。光譜扭曲度越小表明光譜越真，光譜扭曲越小。空間失真度值越小則空間信息越真實。光譜映射角越大融合效果越差。融合質量評價指標值越大表示融合效果越好。融合影像相關系數是對原始影像和融合相信相關性的描述，值越大相關性越高。通過MATLAB計算得到評價指標和影像直方圖如圖3所示。

在視覺上，圖2(d)影像清晰，色彩上與NND影像接近，圖2(e)影像色彩與NND影像有所差別，更接近原始MSS影像色彩，圖2(f)所獲得影像色彩更接近無人機影像。圖3(b)是MSS與PAN融合結果NND影像和NND影像與無人機航片影像的融合結果的灰度直方圖，灰度直方圖能夠反映出影像差異[17]。另外，結合圖3(a)和圖3(b)可以明顯得到：本文改進后的融合方法所獲得的融合影像光譜信息扭曲度最低，空間信息扭曲度也最低，融合質量明顯高于原始HIS融合方法，且其融合質量的數據分辨率高，這表明通過此方法融合影像能更好地保留遙感影像的光譜信息，融合影像很好地突出了影像空間細節；傳統HIS融合方法所得融合影像細節成分較突出，且與MSS影像相關性好，PCA融合影像相關性好。

圖3 影合影像質量評價

3 結束語

無人機航片影像對于無人機影像融合中面臨I分量替換波段選取問題，本文提出一種波段提取的方法，改進HIS變換。實驗結果表明該方法一定程度上改善了空間信息的損失，彌補了航片影像光譜信息匱乏的缺點，波譜變化變化趨勢基本一致，光譜保真度較好且融合效果好，融合影像分辨率明顯提高，特別是其融合后影像空間信息豐富，細節顯示明顯提升；表明通過影像波段之間的相關性確定無人機航片影像融合波段具有一定的合理性，且該方法具有較強穩定性和適用性。但是，通過這種方法提取的波段HIS融合方法中代替I分量，融合后影像與原始圖像的相關性要比原始HIS融合方法差一點，這也是后期需要改善的地方。