可見光與紅外圖像融合研究現狀及展望＊

任海鵬

（91550部隊20分隊 大連 116023）

1 引言

1.1 圖像融合概念

圖像融合是指按照一定的規則，把同一目標或同一場景的多個傳感器的成像或單一傳感器的多次成像進行一定的處理，生成一幅信息更全面、精確和穩定的新圖像，包含了多個圖像的冗余信息和互補信息。

可見光與紅外圖像融合屬于典型的圖像融合，是指綜合和提取可見光與紅外圖像的特征信息，使得同一場景圖像既保留可見光圖像高的空間分辨率和豐富的紋理細節信息，又顯示場景中熱目標區域[1～2]。

1.2 圖像融合研究意義

紅外成像具有被動工作、抗干擾性強、目標識別能力強、全天候工作等特點。但隨著復雜戰場環境中目標靈活性和機動性的不斷提高，偽裝和隱身能力的不斷增強，加之紅外圖像本身存在著對比度低、邊緣模糊、信噪比低、成分復雜等缺點，使得目標檢測識別變得更加困難。相比之下，可見光傳感器是利用光的反射率成像的，具有光譜信息豐富、分辨率高、動態范圍大等優點，但其缺陷是在夜視和低能見度環境下的對比度低，成像效果不理想[3]。

與單獨使用紅外或可見光圖像均存在諸多不足相比，可見光與紅外圖像融合技術能夠有效地綜合和發掘它們的特征信息，增強場景理解，突出目標，有利于在隱藏、偽裝、迷惑的情況下更快、更精確地探測和識別目標，甚至獲取目標的狀態信息等[4～5]。

1.3 圖像融合應用進展

目前，可見光與紅外圖像融合系統已經以星載、機載、車載及艦載等方式廣泛應用于空間監測、軍事偵察、醫學成像、目標識別、安全監控機場安檢和森林消防等領域[2～10]。

1.3.1 夜視系統

2002年，英國Octec公司和 Waterfall Solution公司[6]聯合開發了用于警用直升機上的圖像融合系統，該系統可將紅外和彩色可見光視頻圖像融合，其輸出圖像具有近似于可見光圖像的自然彩色效果。2005年，美國的William[7]提出了一種服務于夜間駕駛、基于離散Haar小波變換的圖像融合算法，這種方法可以把來自照相機不同波段的三個圖像融合在一起。

2007年，BAE公司[8]從美軍獲得設計開發數字ENVG的合同，這種夜視鏡可將從紅外和可見光傳感器獲得的視頻圖像進行數字融合，并呈現在彩色顯示屏上，而且能夠通過通信手段在多個士兵間實現圖像資源共享。

1.3.2 安全監控

2003年，美國Lehigh大學[9]研發了用于武器檢測的紅外和彩色可見光圖像融合系統，該系統同樣能夠產生具有自然效果的彩色融合圖像。2007年，美國Infrared Solutions公司[10]研制了基于紅外和可見光圖像融合技術的商用相機，該產品在預防性維護和過程監控方面具有很大的應用價值。

1.3.3 人臉檢測

美國的Aglika[11]研究了基于紅外和可見光圖像融合的人臉識別。他提出了基于像素、在小波域內實現，并且使用遺傳算法來決定如何合并紅外和可視化信息的融合方法。新加坡的Jiang[12～13]研究了用于人類檢測的紅外和可見光圖像融合問題。研究中提出了一種簡單有效的圖像融合方案，這種方案采用多級技術來完成圖像融合，以實現更好的人類監測和監視，大大降低了在圖像融合時丟失圖像細節信息的可能性。

2 可見光與紅外圖像融合的層次及過程

2.1 圖像融合的層次

一般來說，圖像融合流程主要包括：圖像預處理、圖像配準、圖像融合、特征提取以及識別與決策，如圖1。按信息抽象程度，圖像融合一般分為三個層次：像素級圖像融合、特征級圖像融合、決策級圖像融合。圖像融合的這三種不同層次的融合不是互相獨立的，在實際的應用中，可能同時在不同的融合層次上進行融合。

圖1 可見光與紅外圖像融合流程圖

2.2 圖像融合的特殊性

與可見光圖像灰度層次分明，紋理細節信息豐富，邊緣“陡”相比，紅外圖像具有空間分辨率低，紋理特征不明顯，圖像邊緣平滑等特點，二者特征的顯著差異既增強了圖像融合的互補性，也給圖像融合過程帶來了有別于一般圖像融合的困難和挑戰，如難以直接利用圖像灰度信息進行紅外和可見光匹配等，使得可見光與紅外圖像融合過程多結合有效的圖像特征提取、配準和融合分類進行，特別是在融合過程中，往往將紅外圖像顯著的熱目標特征主動融進可見光圖像豐富的背景信息中，達到豐富背景信息中凸顯熱目標特征的視覺效果。

3 可見光與紅外圖像融合算法

目前報道的圖像融合算法很多，但并不都適用于紅外與可見圖像融合。本部分重點介紹可用于可見光與紅外圖像融合的算法，圖2為采用不同圖像融合算法獲得的融合圖像[14～20，23]。

3.1 像素級圖像融合算法

像素級圖像融合可大致分為三大類：空間域簡單代數法、基于變換域的圖像融合和基于多尺度分解的圖像融合。在像素級圖像融合過程中，諸多融合算法很少獨立運行，往往根據融合目的不同和源圖像性質差異組合應用。

3.1.1 空間域簡單代數法

空間域簡單代數法主要包括簡單的圖像融合方法和基于統計的圖像融合方法。簡單的圖像融合方法是直接對源圖像中的各對應像素分別進行選擇、平均或加權平均、多元回歸或其它數學運算等處理后，最終合成一幅融合圖像。這類融合方法具有算法簡單、融合速度快的優點，但直接使用往往難以取得滿意效果，可作為基礎算法運用到復雜融合方法中。

圖2 原始圖像和不同融合算法得到的融合圖像

采用統計方法進行圖像融合是從信號與噪聲的角度考慮圖像融合問題的，它在建立成像傳感器統計模型的基礎上，確定融合優化函數，進行參數估計，通過融合處理來降低或消除融合圖像中的噪聲成分，增強融合圖像的信噪比。

3.1.2 基于變換域的圖像融合算法

目前基于變換域的圖像融合算法是研究熱點，常用的變換域圖像融合方法有：MIT融合法、假彩色圖像融合法、主成分分析法，還有基于其他圖像變換（如DCT）的融合算法。

MIT融合法以中心－環繞分離網絡為基礎，應用生物視覺拮抗特征融合紅外和可見光圖像，對融合結果的顏色進行了重新映射，使得融合圖像具有適合人眼觀察的自然色彩。這種算法結構靈活、適用性廣，可根據輸入圖像傳感器的模式和數目對算法結構進行調整。

基于彩色（或假彩色）空間描述變換的圖像融合算法是在人眼對顏色的敏感程度遠超過對灰度等級的敏感程度這一視覺特性的基礎上提出的融合算法。其關鍵是要融合圖像的可視效果盡量直觀，一般是通過彩色映射的方法將輸入圖像映射到另一個彩色空間中，得到一幅假彩色的融合圖像。

3.1.3 基于多尺度分解的圖像融合算法

一幅圖像經過多分辨率分解可得到一組不同分辨率的圖像表示，不同分辨率下的圖像包有對應尺度的關鍵信息。基于多分辨率分解的圖像融合方法其融合過程就是在不同尺度、不同空間分辨率上分別進行的。按采用的多尺度分解方法不同可分為：傳統的基于金字塔變換的圖像融合算法和基于小波變換的圖像融合算法。

金字塔變換融合法最早由Burt等[14～15]于1983年提出，是現在較為常用的圖像融合方法，用于圖像編碼中，是一種多尺度、多分辨率的方法。在這類算法中，原圖像不斷地被濾波，形成一個塔狀結構。金字塔圖像融合算法可以在不同尺度、不同空間分辨率上有針對性地突出各圖像的重要特征和細節信息，從而有可能達到更加符合人或機器視覺特性的融合效果。

與金字塔圖像融合算法相比，小波變換也是一種多尺度、多分辨率分解，但是是非冗余的[16～17]。小波變換的圖像融合算法，容易提取原始圖像的結構信息和細節信息，具有完善的重構能力，保證了圖像在分解過程中沒有信息損失和冗余信息產生。不足之處是融合過程中小波對應的分解和重構濾波器系數及分解尺度的選擇，對影像融合的效果有很大的影響。

3.2 特征級圖像融合算法

特征級融合是將由多源數據中分別提取的特征匯總在一起形成新的特征集，以后據此再進行決策。一個特征圖像融合系統主要包括四部分：信息的獲取、信息加工和處理、特征提取和信息融合。特征級融合的常用方法主要有：基于梯度特征、紋理特征和模糊特征區域的多尺度圖像融合[18]。

3.2.1 基于梯度特征的方法

圖像的梯度特征反映了圖像的一種變換系數特征。圖像的梯度在各個像素點進行計算，每個像素點反映四個方向的梯度，分別是橫向、縱向以及兩個對角線方向。為了在圖像各個尺度上反映圖像的這些梯度特征，必須在這種梯度算子與傳統的拉普拉斯金字塔多尺度變換方法之間建立一種特殊的聯系。

3.2.2 基于紋理特征的方法

利用梯度特征的多尺度變換的圖像融合方法僅僅考慮了圖像在不同尺度的圖像變換系數特征，而沒有考慮各個尺度上的紋理特征。紋理有三個主要標志：1）某種局部的序列性在比該序列更大的區域內不斷重復；2）序列是由基本部分非隨機排列組成的；3）各部分大致是均勻的統一體，在紋理區域內的任何地方都有大致相同的結構尺寸。

3.2.3 基于模糊特征區域的方法

在每幅圖像當中，由于其中的每個像素都是屬于圖像的某一個區域，基于模糊區域特征的圖像融合方法是在多分辨率分析的基礎上，根據圖像每層的低頻分量進行K均值聚類，將低頻圖像分解成重要區域、次重要區域以及背景區域；圖像各個區域針對不同屬性進行模糊化，根據每個區域各自的模糊隸屬度來決定每一部分區域的融合策略，最終得到融合圖像的多分辨率表示，再對其進行多分辨率反變換就可以得到圖像的融合結果。

3.3 決策級圖像融合算法

決策級融合是在信息表示的最高層次上進行融合處理。它基于一些認識模塊，模擬人的識別、分析、推理的思維過程，也稱為符號級或判決級融合。其缺點是預處理代價高，且需要一整套成熟的信息優化理論、特征提取方法以及豐富的專家知識。

3.3.1 神經網絡法

神經網絡法有大規模并行處理、連續時間動力學和網絡全局作用等特點，將存儲體和操作合二為一。Newman等[19]提出了六種不同類型的雙模態神經元用于可見光和紅外圖像的融合。Fechner等[20]提出基于多層前向神經網絡的圖像融合方法，通過訓練多層前向神經網絡識別前視紅外圖像中感興趣的像素，將其融入可見光圖像中。

3.3.2 貝葉斯估計方法

貝葉斯理論是Bayes于1763年提出的，其基本原理是：給定某假設的先驗似然估計，隨著新的證據（觀測數據）的到來，貝葉斯方法可以更新該假設的似然函數[3]。貝葉斯推理是處理隨機模式的重要方法，因此針對不同的應用背景和各種方法的不足，不少學者致力于基于貝葉斯決策理論的融合方法的研究。但該方法需先驗知識，且當多個可解的假設和多個條件相關時顯得很復雜。

3.3.3 Dempster－Shafer推理方法

D－S證據理論是對概率論的進一步擴充，適用于專家系統、人工智能、模式識別和系統決策等領域的實際問題。作為Bayes推理的延伸，D－S理論無須預先知道有關的先驗概率就可進行證據融合。但問題是怎樣才能有效地處理矛盾的證據和冪指數增長的計算量等[18]。

3.4 靜態融合向動態融合的延伸

近年來，靜態圖像的融合問題得到廣泛研究，動態圖像融合也因安全監控、人臉識別、工業監測、智能交通等領域的迫切需求而逐漸成為熱門研究領域。Oliver等[13]提出了基于離開小波框架變換的多傳感器動態圖像融合算法，但該算法依然是對多傳感器獲得的序列圖像按靜態圖像的融合方法處理的。

敬忠良[23]將序列圖像超分辨率復原和運動目標檢測理論用于多傳感器動態圖像融合中，較好地利用了序列圖像在時間軸上的運動信息。這種融合算法利用了兩種成像傳感器所成圖像的空間灰度信息和序列圖像在時間軸上的運動信息，融合后的序列圖像既有較好的目標指示特性，又有高清晰度的背景信息，有利于提高監控人員對目標情景的感知能力。

4 結語

4.1 存在的問題

可見光與紅外圖像由于相關性小，其配準相當復雜，目前尚有許多難點問題。有針對性地研究具有自動配準功能的紅外和可見光圖像，是提高整體融合效率和性能的前提。雖然有一些評價圖像融合效果的指標和方法，但這些指標和方法只是反映圖像融合效果的普通的、一般性的理論，目前還不能有效反映出融合效果與特定應用目的的實際接近程度。

此外，目前對于多源動態圖像融合算法的研究較少。如果以靜態圖像融合方法對多傳感器獲得的序列圖像逐幀進行融合處理，則不能利用序列圖像在時間軸上的運動信息來指導圖像融合過程，如何利用多傳感器序列圖像中的運動信息目前還是一個難點。

4.2 新的研究思路

在追求實時性和可靠性的同時，圖像融合技術的研究開始強調融合圖像應具有符合人類視覺感知的自然色彩效果和良好的顏色恒常性。目前研究人員主要還是用主觀方法來評價彩色圖像融合的質量，開發考慮人類視覺特性和圖像色彩自然性的客觀評價方法已成為必然趨勢。對于特定場景和特定目標的融合系統開發，在先驗知識驅動下，應實現自動、快速、準確融合。

4.3 發展趨勢

在實際應用中，可見光與紅外融合的源圖像來源廣泛，應用目的多種多樣，很難僅憑某一種算法就能達到融合目的。因此，必然帶來融合算法或融合圖像的優選問題。是根據源圖像性質和應用目的選擇算法進行圖像融合，還是在遍歷所有算法形成各自融合圖像后進行優選，或者二者兼而有之。

可見光與紅外圖像融合是現代信息技術與模式識別、人工智能、圖像分類、目標檢測與識別等多學科交叉、綜合、延伸產生的新的科學研究方向，科學技術的發展必將使圖像融合技術在越來越多的領域得到深入廣泛的應用。隨著網絡技術的飛速發展，大規模、分布式相結合的圖像融合系統已經成為信息融合技術發展的重要趨勢。

[1]錢小燕，韓磊，王幫峰.紅外與可見光圖像快速融合算法[J].計算機輔助設計與圖形學學報，2011，23（7）：1211－1216.

[2]Riley T，Smith M.Image fusion technology for security and surveillance applications[A].Proc.SPIE，2006，6402：1－12.

[3]劉從義.可見光與紅外動態圖像融合方法及應用研究[D].上海：上海交通大學，2007.

[4]Smith M I，Heather J P.Review of image fusion technology in 2005[A].Proc SPIE，2005，5782：29－45.

[5]Constantinos S P，Pattichis M S，Tzanakou E M.Medical imaging fusion applications：An overview [A].Conference Record of the 35th Asilomar Conference on Signals，Systems and Computers.2001，2：1263－1267.

[6]M.I.Smith，A.N.Ball，D.Hooper.Real－time image fusion：A vision aid for helicopter pilotage[A].Proc.SPIE，2002，4713：30－41.

[7]William F H.Application of the Discrete Haar Wavelet Transform to image fusion for nighttime driving[A].Intelligent Vehicles Symposium，2005：273－277.

[8]http：／／www.baesystems.com／Newsroom／NewsReleases／2007／autoGen＿10772913162.html.

[9]Xue Z，Blum R S.Concealed weapon detection using color im－age fusionA.The 6th International Conference of Information Fusion，2003，1：622－627.

[10]Schmidt R.Benefits of IR／visible fusion [A].Proc.SPIE，2007，6541：1－6.

[11]馬東輝，薛群，柴奇，等.基于圖像信息的紅外與可見光圖像融合方法研究[J].紅外與激光工程，2011，40（6）：1168－1171.

[12]王嶺雪.基于生物視覺特性的夜視圖像彩色融合技術研究[D].北京：北京理工大學，2003.

[13]許 輝，袁軼慧，常本康.可見光與紅外融合圖像反射與輻射光譜分析[J].紅外技術，2011，33（7）：420－423.

[14]Burt P J，Adelson E H.The Laplacian pyramid as a compact image code[A].IEEE Trans Commun，1983，31（4）：532－540.

[15]Meek T R.Multi resolution image fusion of thematic mapper imagery with synthetic aperture radar imagery [D].USA：Utah State University，1999.

[16]崔巖梅.一種基于小波變換的多尺度多算子圖像融合方法[J].光學技術，1999（4）：37－39.

[17]李樹濤，王耀南.基于樹狀小波分解的多傳感器圖像融合[J].紅外與毫米波學報，2001，20（3）：119－222.

[18]王潤生.信息融合[M].北京：科學出版社，2007：219－220.

[19]Newman E A，Hartline P H.Integration of visual and infrared information in bimodal neurons of rattlesnake[J].Optic tectum.Science，1981，213：789－791.

[20]Fechner T，Godlewski G.Optimal fusion of TV and infrared images using artificial neural networks[A].Proceedings of SPIE，1995，2492：919－925.

[21]付冬梅，王文濤.基于紅外熱圖像的分區域RANSAC匹配算法[J].計算機與數字工程.2010（3）.

[22]張良，邵琳.圖像融合在高光譜遙感數據處理中的應用[J].計算機與數字工程.2010（2）.

[23]敬忠良，肖剛，李振華.圖像融合—理論與應用[M].北京：高等教育出版社，2007：179－180.