基于最佳指數因子的自適應權值圖像融合

葉云青，王長征，周日貴

（1.華東交通大學軟件學院，江西南昌330013；2.華東交通大學信息工程學院，江西南昌 330013）

對遙感影像的顯示和分析，通常被稱為科學可視化。科學可視化與表達圖表之間的差異在于后者主要側重于傳達已經被理解的信息和結果，而在科學可視化的過程當中，科學家試圖理解數據并獲取知識[1]。

遙感數據經過拷貝后一般存放在大容量的存儲設備中（如：硬盤或光盤），讀取數字遙感數據，經過數字圖像處理（如，空間域及頻率域圖像處理）后將其傳輸到影像處理器的幀緩沖存儲器中，也就是顯示內存的集合。最后再通過顯卡等硬件來實現顯示。

多波段圖像融合[2]是將獲取的某一場景的不同波段的遙感圖像數據進行空間配準，在此基礎上將各圖像數據所含的優勢信息進行相互補充，并有機結合起來產生新的、信息含量更大的圖像的綜合分析技術。圖像融合是信息融合的重要分支和研究熱點，已廣泛應用在機器視覺、醫療診斷、軍事遙感等領域[3-4]。在遙感領域，大量遙感圖像的融合為更方便、更全面地認識環境和自然資源提供了可能[5-6]，其成果廣泛應用于大地測繪、植被分類與農作物生長勢態評估、天氣預報、自然災害檢測等方面。

論文對像素級影像融合的一般方法進行了介紹，研究了圖像融合效果的客觀評價準則，提出了基于最佳指數因子的自適應權值圖像融合算法，并給出了實驗結果。

1 像素級多波段遙感影像融合的一般方法

現在的成像模式有很多種，其中使用了許多種可以采集不同類型圖像/視頻的傳感器，如可見光傳感器（CCD，CMOS）、紅外傳感器、深度傳感器、層析成像（CT）、核磁共振成像（MRI）、合成孔徑雷達（SAR）及毫米波雷達傳感器（MMWR）等。根據信息表征層次的不同，多傳感器信息融合可分為數據級融合、特征級融合和決策級融合。因此，有的學者將圖像融合也分為3類：像素級融合、特征級融合和判決級融合[7-8]。像素級圖像融合指的是直接對各幅圖像的像素點進行信息綜合的過程。

1.1 影像融合的一般步驟

為實現圖像融合，需要使用多種圖像技術來完成以下3個步驟：

1）圖像預處理。對圖像的預處理包括圖像歸一化、圖像濾波、圖像增強等。

2）圖像配準。是要將各幅參與融合的圖像進行空間配準，圖像融合對配準精度要求非常的高，如果空間誤差超過一個像素，則融合的結果會出現重影，影響融合的質量。

3）圖像融合。經過預處理和配準，就可以對所得到的圖像進行信息方面的融合。

1.2 像素級影像R，G，B三通道加權融合方法

在進行像素級別的圖像融合的過程中，有許多種算法可以采用，在此著重介紹基于三通道的R，G，B加權融合法[9-10]。

加權融合法是一種比較簡單直觀的方法，具體的步驟如下：

1）在fk（x，y）中選擇相應的區域，其中：fk（x，y）代表原始圖像；

2）對該區域的各波段圖像通過坐標定位；

3）選擇對應同一區域的fl（x，y）及fm（x，y），并將其與ft（x，y）配準，其中：fl（x，y）代表一個波段的圖像，fm（x，y）代表另一個波段的圖像；

4）按式（1）進行代數運算以得到加權的融合圖像

式中：g（x，y）代表融合后的影像；ws1，ws2，wt分別代表各波段影像的權值（權值的大小可在[0，0，0]至[255，255，255]區間選擇）。其中的“+”表示的是一個連接運算，按位分別連接到R，G，B三個通道。

該方法在不影響原始圖像的分辨率的情況下，提供了一種有效的融合手段，在此提出的基于最佳指數因子的自適應權值多波段遙感圖像融合算法就是基于該算法的一種改進。在保證圖像分辨率的情況下提供了較有效的融合及觀測手段。

1.3 像素級影像加權融合方法的例子

按照前面介紹的加權平均融合方法，以某地區的互聯網衛星圖像的1，2，3波段影像為數據。

1）在原始遙感圖像中選擇相應的區域，如圖1所示；

2）對該區域的各波段圖像通過坐標定位；

3）選擇對應同一區域的其他兩個波段，并將其與原始圖配準，結果如圖2所示；

4）按式（1）進行代數運算以得到加權的融合圖像，融合后的效果如圖3。

2 圖像融合過程中所遇到的問題

雖然，基于三通道的R，G，B加權融合法可以有效的融合多波段的影像數據，達到一個信息疊加的目的，但在這個融合的過程中還需要考慮一些因素。

1）加權的過程中，權值的大小如何控制？

在多波段遙感影像的融合過程中，對每個通道的數據如何控制權值，這個權值是否固定為確定的值？自適應的獲取權值是一個有效的方法，可以提供一個較佳的融合效果。

2）對多個不同波段的遙感影像的不同組合是否會對最終的融合效果有影像？

遙感圖像通常都提供多個波段的影像，供用戶分析。對于這些多波段的遙感影像，如何從中選擇合適的波段來進行融合，不同的波段組合融合的效果是否相同？事實證明不同的波段組合，不同的組合順序，都會影響最后的融合效果。

3）如何衡量融合的效果?

既然，不同的波段組合，不同的組合順序，都會導致最后的融合效果不同，那是否有方法來衡量融合的效果呢？權值的改變，也會影像融合效果。這就需要能夠從客觀上提供衡量的手段，為波段的選擇，及組合提供科學的依據。

3 基于最佳指數因子的自適應權值圖像融合算法

基于最佳指數因子的自適應權值融合方法，是針對在進行多波段數據融合的過程當中，所遇到的實際問題，結合統計學的知識，提出的在多波段不同遙感數據的組合中，選擇包含信息量最佳的若干組合進行RGB三通道加權融合的方法。該方法基于各個波段組合內及組合間的總方差與相關性的數量特征。

3.1 自適應加權融合

對選擇的3個波段組合，按加權的方式融合到3個R，G，B通道去，形成真彩色的圖像。權值的大小設定為[0，0，0]至[255，255，255]，可以通過計算最佳指數因子的方式，獲取最佳權值組合。權值的大小改變，會影響最終的客觀評價值，也就是文章后面介紹的最佳指數因子。通過枚舉的方式，可以獲取最佳的權值組合（即當前組合的最佳指數因子最大）。

3.2 最佳指數因子

計算任意3個波段影像集的OIF（optimum index factor，最佳指數因子）公式如式（2）。這種方法可以應用于任何多光譜遙感影像集，具有最大OIF的3個波段遙感影像，包含了最為有價值的信息，在影像融合階段，可以依據該參數，在多種組合種選擇最佳的組合，供研究分析使用。該因子為衡量多波段的遙感影像融合效果提供了一個客觀依據。

式中：Sk為第k波段的標準差，計算公式如（3）；rj為待評估的3個波段中任意兩個波段間的相關系數的絕對值；Abs為數學函數，取絕對值，計算公式如（4）。

上述公式中，BVik為第k波段第i個像元的亮度值；μk為第k波段的均值；SPkl為任意兩波段的離均差乘積和；covkl為任意兩波段的協方差。

4 實驗結果分析

實驗硬件環境：CPU為PentiumⅣ2.4 GHz，內存512 M，顯卡NVIDIA GeForce4 MX。軟件環境：操作系統為Windows XP，開發工具為Visual C++2005。

4.1 加權融合值法

實驗表明，不同的通道權值，為用戶觀測融合影像提供不同的顯示效果，如圖4所示。這里選擇圖2中配準后的三波段影像，給定權值為：[110，74，60]（設定的權值最后要經過歸一化），融合后影像的OIF值為7.884 982。

4.2 最佳指數因子法

根據圖2中，選擇的衛星數據中第一、第二、第三波段影像，在融合的過程當中，選擇的波段不同，波段的組合順序不同，其OIF的值也不相同，見表1。從試驗結果中可以看出組合（3，2，1）最佳，組合（1，2，3）其次。而OIF值是衡量融合效果的客觀數據，以上波段組合的融合效果圖如圖5所示。

表1 實驗結果數據比較Tab.1 Comparison of experimental results

4.3 基于最佳指數因子的自適應權值圖像融合算法

根據前文的實驗結果，選擇OIF值最大的組合（3，2，1），通過枚舉的方式，獲取最佳的權值組合（即當前組合的最佳指數因子最大）。自適應權值融合效果圖如圖6所示，權值選擇為[121，123，126]，OIF值為8.568 249。

4.4 實驗結果對比

通過表2中的實驗結果可以看出，在多波段遙感影像的融合過程中，通道的權值，波段的組合，都會影響最后的融合效果。基于最佳指數因子的自適應權值圖像融合法是一個有效的方法，可以提供一個較佳的融合效果。

表2 實驗結果對比Tab.2 Comparison of experimental results

5 總結

影像融合在遙感影像的顯示和分析過程中起到了重要的作用。以科學的方式探究數據和信息，從而獲得對數據內涵的理解，這已經是人們探索空間數據的重要手段。基于最佳指數因子的自適應權值融合方法，結合各個波段不同組合的總方差與相關性的數量特征，選擇包含信息量最佳的若干組合進行自適應加權融合以獲取較高的OIF，為研究人員提供了一個有效的觀測手段。

[1]劉先紅.多傳感器融合算法研究[D].西安：西安電子科技大學，2006.

[2]JOHN R J.遙感數字影像處理導論[M].北京：機械工業出版社，2007.

[3]張麗蘇，吳嘉平.分層分區分景相結合的區域土地利用/覆蓋分類方法——以浙江錢塘江流域分類為例[J].國土資源遙感，2007，73（3）：74-80.

[4]張世清，姜慶五，汪天平，等.遙感技術用于洲灘型血吸蟲病流行區釘螺孳生地生態的監測[J].中華預防醫學雜志，2003，37（5）：331-335.

[5]LIU Q J，TAKEUCHI N.Vegetation inventory of a temperate biospherereserve in China by image fusion of Landsat TM and SPOTHRV[J].Journal of Forest Research，2001，6（3）：139-146.

[6]陳東，李飚，沈振康.SAR與可見光圖像融合算法的研究[J].系統工程與電子技術，2000，22（9）：5-7.

[7]胡江華，柏連發，張保民.像素級多傳感器圖像融合技術[J].南京理工大學學報，1996，20（5）：453-456.

[8] 張加友，王江安.紅外圖像融合[J].光電子·激光，2000，11（5）：537-539.

[9]李軍，林宗堅.基于特征的遙感影像圖像融合方法[J].中國圖像圖形學報，2002，2（2）：103-107.

[10]LALLIER E，FAROOQM.Areal time pixel-level based image fusion viaadaptive weight averaging[A].In：Proceedings of the 3rd Interna-tional Conference on Information Fusion[C].2000：9-13.