應用整體結構信息分層匹配的紅外與可見光遙感圖像融合方法

常新亞 丁一帆 郭夢瑤

(1 航天東方紅衛星有限公司，北京 100094)(2 北京市遙感信息研究所，北京 100192)(3 北京化工大學，北京 100029)

紅外成像能晝夜工作，適應不良天氣，是對地觀測衛星的主要探測手段之一。但是，與可見光成像相比，紅外成像的空間分辨率依然較低；另一方面，弱小目標探測等實際應用亟需高分辨率的紅外遙感圖像。在此情形下，許多航天器，如我國的天宮一號(TG-1)目標飛行器、遙感14號和遙感28號衛星，同時搭載了紅外、可見光等多種成像載荷，通過對紅外載荷的成像數據進行圖像融合或圖像超分辨等處理，提高紅外圖像的空間分辨率。其中，圖像融合是指綜合多源圖像的信息，獲得對同一場景或目標更為準確、全面和可靠的圖像，使之更加適合人的觀察和分析、機器的處理[1]。遙感圖像融合技術是遙感圖像預處理的關鍵技術，也一直是數據融合領域的研究熱點[2]。

目前，光學遙感圖像融合研究主要針對可見光與多光譜圖像、可見光與高光譜圖像，可分為加性變換和比值變換兩大類型[2]。其中，比值變換融合方法[3-4]主要采用與可見光成像譜段重疊的多光譜、高光譜譜段合成低分辨率可見光遙感圖像；然后利用可見光圖像與低分辨率可見光遙感圖像的比值圖像表征融合圖像的空間細節；最后按像素點計算比值圖像與多光譜、高光譜上采樣圖像的乘積生成融合圖像。由于紅外與可見光成像的光譜譜段截然不同，二者不存在重疊的成像光譜波段，因此比值變換方法不適用于紅外與可見光遙感圖像融合。加性變換融合方法可細分為頻率域變換(FT)、分量替換(CS)兩個子類。其中，頻率域變換融合方法[5-6]首先分別對可見光與多光譜、高光譜圖像進行頻率分解，然后對可見光圖像的高頻分量及多光譜圖像的低頻分量進行逆變換生成融合圖像。分量替換融合方法[7-8]首先對多光譜、高光譜圖像進行矩陣變換，得到保留分量和替換分量，然后對可見光圖像與保留分量進行矩陣逆變換生成融合圖像。

紅外與可見光成像的光譜譜段差異大，二者的光譜波段不重疊，因此，近年來加性變換方法被用于紅外與可見光遙感圖像融合。該方法利用頻率域變換從可見光圖像中提取反映地物空間細節的高頻信息，側重于將地物的空間細節有效注入紅外遙感圖像，往往由于空間細節的不當注入導致融合圖像中部分地物模糊不清[9-11]。此外，現有方法未考慮待融合圖像間的分辨率差異，而航天器紅外與可見光成像分辨率往往相差很大，例如天宮一號采集的可見光與紅外圖像分辨率相差10倍，現有方法生成的融合圖像細節模糊不清。

本文面向航天器紅外與可見光成像的圖像融合需求，提出應用整體結構信息分層匹配的圖像融合方法，實現紅外與可見光遙感圖像的高保真融合。與現有方法將地物的空間細節有效注入紅外遙感圖像的融合思路不同，本文采用將紅外圖像整體結構信息替換可見光圖像整體結構信息的新融合思路，可有效避免空間細節注入不當導致融合圖像模糊不清的問題。

1 紅外與可見光圖像融合方法

假設紅外圖像I的地表采樣間距是可見光圖像P的N倍(N≥4)，分別以N/2k倍(k=1，…，|lbN|-1)比率對可見光圖像P進行均值下采樣，生成的均值下采樣圖像記為Pk。由于紅外與可見光圖像分辨率差異大，本文采用分層擬合思路，將整體結構信息采取分層匹配的圖像融合方法。首先，將紅外圖像與可見光圖像P1融合生成F1；然后，將融合圖像F1與可見光圖像P2融合生成F2；以此類推，最后將融合圖像F|lbN|-1與可見光圖像P融合生成F。其實現過程見圖1。

圖1 圖像融合方法實現過程

1.1 整體結構信息提取

人眼視網膜含有錐狀體和桿狀體兩類感光細胞，其中，錐狀體獲取的信息可以使人充分的分辨物體的空間細節，桿狀體獲取的信息可以使人充分地分辨物體的整體結構。借鑒人眼信息處理的機制，本文將圖像數據分為整體結構信息和空間細節信息：整體結構信息是圖像的低頻成分，主要反映圖像數據的整體趨勢；空間細節信息的變化波動較劇烈，主要描述圖像紋理和細節。圖2展示了原始圖像、整體結構和空間細節信息的特點，其中，整體結構信息的走勢較平滑，空間細節信息則圍繞著數值0上下劇烈波動。

圖2 圖像整體結構與空間細節信息示例Fig.2 An illustration of image overall structural information and spatial detail information

紅外圖像的分辨率較低，可見光和紅外圖像融合的目標是利用可見光圖像的空間細節銳化紅外圖像，因此兩者融合也被稱為可見光銳化(Panshar-pening)[2]。可見光和紅外圖像融合只能從可見光圖像中抽取空間細節信息來銳化紅外圖像，若引入可見光圖像的整體結構信息則會改變紅外圖像中目標的溫度特性，引起溫度失真。此外，融入至紅外圖像的空間細節信息須與可見光圖像保持一致，否則容易導致融合圖像的空間細節模糊不清。根據上述整體結構和空間細節信息的特點，本文利用高斯濾波計算圖像的整體結構信息，并將原始圖像減去整體結構信息得到空間細節信息，見式(1)。

(1)

式中：U，H，D分別為原始圖像、整體結構和空間細節信息；G為高斯濾波器；*為卷積運算符；i和j分別為圖像中像素的行號與列號。

1.2 紅外與可見光圖像融合模型

現有方法側重利用可見光圖像的空間細節注入紅外遙感圖像實現二者的有機融合，但由于紅外與可見光圖像分辨率差異大，且可見光圖像的空間細節自身復雜多變(見圖2)，容易導致空間細節信息注入紅外圖像不當，從而造成融合圖像中部分地物模糊不清。為了解決這個問題，本文認為理想融合圖像與可見光圖像的空間細節信息是一致的，二者的差異在于整體結構信息不同，因此，使可見光圖像的整體結構信息與紅外圖像一致即可實現可見光圖像與紅外圖像的高保真融合。

根據上述分析，本文通過消除可見光與紅外圖像的整體結構信息差異，提出利用紅外圖像整體結構信息匹配可見光圖像整體結構信息的新融合思路，利用數據擬合實現可見光圖像整體結構信息與紅外上采樣圖像的強度匹配。首先，將可見光圖像減去紅外上采樣圖像，得到二者的差值圖像；然后，通過高斯濾波計算差值圖像的整體結構信息；最后，將可見光圖像減去差值圖像的整體結構信息，生成紅外與可見光融合圖像，見式(2)。

F(i,j)P(i,j)-(P(i,j)-I′(i,j))*G(i,j)

(2)

式中：I′為紅外上采樣圖像(上采樣至與可見光圖像分辨率相同)。

考慮到航天器可見光圖像與紅外圖像的分辨率差異大，為更精準地消除可見光與紅外圖像的整體結構信息差異，本文采用由低分辨率至高分辨率的分層匹配方案。首先，將紅外圖像上采樣至與可見光圖像P1分辨率相同，并按式(2)將之與可見光圖像P1融合生成F1；然后，將融合圖像F1上采樣至與可見光圖像P2分辨率相同，并按式(2)將之與可見光圖像P2融合生成F2，以此類推，最后將融合圖像F|lbN|-1與可見光圖像P融合生成F。

總體而言，應用整體結構信息分層匹配的融合方法生成的融合圖像溫度保真與細節保真效果好。此外，由式(2)可知，融合方法僅涉及圖像的卷積濾波及圖像減法計算，計算復雜度低，也適用于遙感器的在軌實現。可見光圖像的空間分辨率遠優于紅外圖像，可見光相機相對紅外相機成像的原始數據率高、數據量大，另外，考慮到目前在軌處理器水平(通常為V7、K7系列FPGA及數字信號處理器(DSP)架構)和硬件單機復雜度，在采用本文方法對可見光圖像與紅外圖像進行融合之前，首先，應對可見光圖像目標進行在軌快速篩選，提取疑似目標切片(或區域切片)，以大大減少可見光圖像輸入數據量；然后，通過衛星在軌定位解算實現可見光圖像中目標切片與紅外圖像中對應切片的快速關聯；最后，利用本文方法對可見光與紅外圖像的目標切片進行圖像融合操作，生成高分辨率融合圖像，以便后續應用時提取目標的高分辨率空間細節和溫度特征辨識目標。隨著在軌處理器的高速發展，如高等級圖形處理器(GPU)、專用集成電路(ASIC)等技術的應用，未來也可以考慮本文方法直接在軌使用。

2 融合方法驗證與分析

2.1 試驗數據與評價指標

為了驗證本文融合方法的有效性，使用我國天宮一號采集的紅外與可見光圖像進行融合試驗。其中，可見光圖像分辨率為1 m，紅外圖像分辨率為10 m。為了檢驗融合方法的溫度保真與紋理保真性能，本文選取空間細節豐富且不同區域溫度具有顯著差異的圖像進行試驗分析，見圖3(a)和圖3(b)。此外，本文采用文獻[12]中提出的溫度扭曲度(Ds)、細節扭曲度(Dλ)、綜合保真度(QNR)來評價融合圖像。這些評價方法已在學術界廣泛使用，可以客觀度量融合圖像的溫度與細節保真效果。其中，Ds∈[0,1]，其值越小，溫度保真效果越好；Dλ∈[0,1]，其值越小，細節保真效果越好；QNR∈[0,1]，其值越大，融合圖像的綜合保真效果越好。在本文試驗中，整體結構信息分層匹配的高斯濾波器G取值如下。

(3)

2.2 試驗結果分析

文獻[9-11]是目前最新發表的可見光與紅外圖像融合方法，分別為圖像分解法、總體變分法和頻率變換法。這些方法均采用加性變換思路進行融合，側重高效提取可見光圖像的空間細節信息并將之注入至紅外圖像中。在試驗中，將這3個方法與本文融合方法進行對比分析，結果如圖3(c)～圖3(f)所示。通過對比紅外圖像與融合圖像的空間細節可以發現：圖像分解法、總體變分法、頻率變換法生成的融合圖像存在一定程度的細節模糊，而本文融合方法獲得的融合圖像的溫度與細節保真效果均較好。表1給出了融合圖像的客觀評價值，可知本文融合方法在溫度保真、細節保真及綜合保真方面均優于對比方法。

圖3 圖像融合方法試驗效果對比Fig.3 Experimental comparison of image fusion methods

表1 圖像融合質量定量評價

3 結束語

本文提出應用整體結構信息分層匹配的可見光與紅外圖像融合方法，采用數據擬合及分層匹配思路生成紅外與可見光融合圖像，實現大空間分辨率差異條件下(相差10倍以上)紅外與可見光圖像的高保真融合。試驗表明，本文融合方法的溫度與細節保真效果好，優于對比方法。該方法已在我國遙感14號和遙感28號衛星的遙感圖像產品生產線上應用，且由于其計算復雜度低，并行性好，也適用于航天器的在軌應用。