紅外和彩色可見光圖像亮度-對比度傳遞融合算法

李光鑫，吳偉平，胡 君

（中國科學院長春光學精密機械與物理研究所，吉林長春130033）

紅外和彩色可見光圖像亮度-對比度傳遞融合算法

李光鑫，吳偉平，胡 君

（中國科學院長春光學精密機械與物理研究所，吉林長春130033）

以紅外和彩色可見光圖像為研究對象，提出了一種基于亮度-對比度傳遞（LCT）技術的彩色圖像融合算法。首先借助灰度融合方法將紅外圖像與彩色可見光圖像亮度分量融合，然后用LCT技術改善灰度融合結果的亮度和對比度，最后利用快速YCBCR變換融合策略在RGB空間內直接生成彩色融合圖像。文中利用像素平均融合法和多分辨率融合法作為不同的灰度融合措施以分別滿足高實時性和高融合質量的需求。實驗結果表明，提出算法的融合結果不僅具有與輸入彩色可見光圖像相近的自然色彩，而且具備令人滿意的亮度和對比度，即使采用運算簡單的像素平均法進行灰度融合，同樣可以獲得良好的融合效果。

彩色圖像融合；亮度-對比度傳遞；YCBCR變換；紅外圖像；可見光圖像

1 引 言

紅外和可見光圖像融合按輸出結果的色彩可分為灰度圖像融合和彩色圖像融合。彩色圖像可以為人們提供更多的信息，將源多波段圖像合成為一幅彩色融合圖像可以擴大多傳感器系統表達信息的動態范圍，從而更有利于場景的理解，因此，彩色圖像融合技術受到了各國學者的廣泛關注［1～3］。

現今的傳感器技術能夠方便地獲取彩色的可見光圖像，在對紅外和可見光圖像進行融合時，如果能夠充分利用可見光圖像的顏色信息，得到的融合結果就會具備可見光圖像的自然顏色特征，從而符合人的視覺感知，增強融合圖像的可辨識性。 Toet［4］、Blum［5］、Smith［6］等眾多學者［7，8］對紅外和彩色可見光圖像的融合進行了研究，提出的方法通過顏色變換分離可見光圖像的彩色分量，然后直接利用這些顏色信息構筑最終融合圖像的彩色分量，所生成融合圖像的色彩比較自然，接近場景的真實情況，非常便于人眼觀察。

紅外和彩色可見光圖像融合過程中需要用到灰度圖像融合方法來合并源圖像的信息。為了獲得高質量的融合圖像，通常需要用到高計算復雜度的灰度融合算法（一般為多分辨率圖像融合方法），使得整個融合系統變得復雜，很難滿足實際系統高實時性的需求。眾所周知，像素平均法（即將兩幅輸入圖像相加后除以二）運算速度快，可以運用到實時系統中，但是由于算法本身融合性能差，很難獲得令人滿意的融合效果，因此很少得到人們的青睞。

融合圖像亮度差，特別是對比度低是像素平均法的主要缺點。為了利用簡單的像素平均法同樣能夠獲得良好的彩色融合效果，本文提出了一種十分簡單的亮度-對比度傳遞（Luminance-contrast Transfer，LCT）技術，基于該技術，結合提出的快速YCBCR變換融合思路，開發了一種紅外和彩色可見光圖像的融合方法：基于LCT的彩色圖像融合算法（LCT Based Color Image Fusion Algorithm）。這種方法省去了顏色空間變換過程，直接在RGB空間內對圖像進行融合。實驗結果表明，LCT方法的融合結果不僅可以保持源彩色可見光圖像的自然色彩，而且還具有令人滿意的亮度和對比度，即使用像素平均法進行灰度融合同樣可以獲得良好的融合效果。

2 快速YCBCR變換融合原理

為了提高融合算法的運算速度，本文給出了一種快速YCBCR變換融合策略。YCBCR變換［9，10］是圖像處理領域中較為常用的顏色變換，Y為亮度分量，CB和 CR存儲彩色信息，二者符合色差（Color Difference）模型［11，12］；CB為藍色差通道，CR為紅色差通道。YCBCR變換可以很容易地將彩色圖像的亮度和顏色信息分離，因此可以借助YCBCR變換完成紅外和彩色可見光圖像的融合。用IR表示源紅外圖像，Vis表示源彩色可見光圖像，利用YCBCR變換對紅外和彩色可見光圖像進行融合的一般思路如下：

（1）將彩色可見光圖像［RVis，GVis，BVis］T變換到YCBCR空間，得到可見光圖像的3個顏色分量YVis，CB，Vis，CR，Vis：

（2）用灰度圖像融合方法將可見光圖像亮度分量YVis和紅外圖像IR融合，得到灰度融合圖像F。

（3）用灰度融合圖像F作為亮度分量，CB，Vis，CR，Vis作為彩色分量，通過YCBCR逆變換得到最終的彩色融合圖像［RC，GC，BC］T：

對圖像進行YCBCR變換需要大量的乘法和加法運算，這會耗費融合系統的運算時間。通過

下列推導可以簡化上述的YCBCR變換融合過程：

式（3）表明，在RGB空間內，通過對彩色可見光圖像［RVis，GVis，BVis］T進行簡單的加法操作就可以獲得最終的彩色融合圖像［RC，GC，BC］T，這種快速YCBCR變換融合策略省去了顏色空間變換過程，直接在RGB空間內完成圖像的融合，有效地降低了算法的復雜度。

3 亮度-對比度傳遞技術

2001年，美國猶他大學的Reinhard等人［13］通過均值和方差匹配思想提出了一種在兩幅彩色圖像之間進行顏色傳遞（Color Transfer）的方法，該方法得到了圖形、圖像處理界眾多學者的重視。受Reinhard的均值、方差匹配思想的啟發，本文提出了LCT技術，用以改善融合圖像的亮度和對比度。LCT技術的具體表達式如下：

式中，F*為調整后的灰度融合圖像，Ref為灰度參考圖像，（μF，σF）和（μRef，σRef）分別為灰度融合圖像F和灰度參考圖像Ref的均值和方差。

式（4）所示的映射變換使得調整后的灰度融合圖像具有和參考圖像一樣的均值和方差。均值可以反映圖像的平均亮度，方差可以表示圖像的對比度，因此經過映射變換后，參考圖像的亮度和對比度特征就會傳遞到灰度融合圖像中。這樣，只要選取一幅合適的灰度參考圖像，就可以用式（4）所示的方法來改善彩色融合圖像亮度分量的亮度和對比度，從而提高最終彩色融合圖像的質量。由式（4）可以看到，亮度-對比度傳遞過程中只用到參考圖像的一階（均值）和二階（方差）統計量，這就表明，在實際的融合系統中沒有必要存儲一幅真正的圖像，只需要存儲參考圖像的均值和方差兩個特征參數。

4 LCT融合算法

結合LCT技術和快速YCBCR變換融合策略，本文提出了基于LCT技術的彩色圖像融合方法。算法步驟如下：

（1）計算彩色可見光圖像的亮度分量YVis：

（2）用灰度圖像融合方法將可見光圖像亮度分量YVis和紅外圖像IR融合，得到灰度融合圖像F。

（3）用式（4）將灰度參考圖像Ref的亮度和對比度傳遞給灰度融合圖像F，得到調整后的灰度融合圖像F*。

（4）將彩色可見光圖像的R，G，B分量分別與（F*-YVis）相加，得到最終的彩色融合圖像［RC，GC，BC］T，如式（3）所示。

可見光圖像亮度分量YVis和紅外圖像IR的灰度融合是LCT方法的重要步驟。除了采用像素平均（Pixel Averaging，PA）融合法以外，本文還利用多分辨率（Multiresolution，MR）融合法來融合YVis和IR。MR法可以將源圖像分解到多個頻率通道，從而進行更為細致的融合，這種方法可以獲得非常高的融合質量，但是其計算復雜度遠高于PA法，不利于實時處理。因此，在實時性要求高的場合，可以用PA法來完成LCT方法的灰度融合步驟；在對融合質量要求高的場合，可以用MR法來完成。

5 實驗結果與分析

5.1 融合方法的比較

為了驗證LCT融合方法的有效性，本節將該方法（這里稱 LCT方法）與灰度圖像融合方法（用PA法和MR法對紅外圖像IR和可見光圖像亮度分量YVis進行灰度融合）和不用LCT的彩色圖像融合方法（這里稱為NLCT方法）進行比較。其中 NLCT方法與 LCT方法相近，不同的是，NLCT方法不用LCT技術，直接用灰度融合圖像F與可見光圖像的亮度分量 YVis相減，然后將差值（F-YVis）分別加入到可見光圖像R，G，B 3個顏色通道來形成最終的彩色融合圖像。采用PA法進行灰度融合的LCT方法稱為 P-LCT，采用MR法進行灰度融合的LCT方法稱為M-LCT，相應地，采用PA法和MR法進行灰度融合的NLCT方法稱為P-NLCT和M-NLCT。為了降低紋波現象，實驗中采用基于相關信號強度比的加權多分辨率圖像融合算法［14］進行灰度MR融合，用Daubechies的雙正交“5-3”小波［15，16］作為多分辨率分析工具，分解層數為 4，閾值取 0.75，掩模取｛｛1/16，1/8，1/16}，｛1/8，1/4，1/8}，｛1/16，1/8，1/16}}。

圖1 實驗中所用的參考圖像Fig.1 Reference image used in the experiment

采用圖1所示的灰度圖像作為LCT方法的參考圖像，該圖像是作者用Sony Cybershot DSCF717數碼相機在日照充足情況下拍攝的，拍攝地點：吉林大學南嶺校區3號教學樓南側；拍攝時間：2006年5月。選取由英國Octec公司提供的“Octec1”、“Octec2”兩組配準的長波紅外和彩色可見光圖像作為實驗源圖像。Octec1紅外和彩色可見光圖像分別如圖2（a）和（b）所示，該組圖像在有煙霧障礙情況下拍攝，場景中包括3個人、一些樹木和樓房。Octec2紅外和彩色可見光圖像分別如圖3（a）和（b）所示，該組圖像在無煙霧障礙情況下拍攝，場景中包括一個人、一些樹木和樓房。

圖2 各方法對Octec1圖像的融合結果Fig.2 Fusion results of Octec1 images obtained by different methods

圖3 各方法對Octec2圖像的融合結果Fig.3 Fusion results of Octec2 images obtained by different methods

圖2、圖3分別展示了各方法對Octec1圖像、Octec2圖像的融合結果。通過實驗結果可以得到以下兩個重要結論：

（1）同灰度融合方法和NLCT方法相比，LCT方法具有最好的融合效果，其融合圖像既具有與可見光圖像相近的自然色彩，又有良好的亮度和對比度。

圖2（c）、（d）和圖3（c）、（d）分別展示了灰度融合方法對Octec1圖像和Octec2圖像的融合結果。雖然源圖像信息在PA融合圖像和MR融合圖像中得到了不同程度的體現，但是由于灰度動態范圍的限制，無論是對于PA法還是MR法，瞬時觀察它們的融合圖像都有一種“模糊一片”的感覺。

圖2（e）、（f）和圖3（e）、（f）分別為NLCT方法對 Octec1圖像和 Octec2圖像的融合結果。NLCT方法實質是在未經過任何處理的灰度融合圖像中直接“灌注”可見光圖像的顏色，因此可以明顯地看到，P-NLCT融合圖像和M-NLCT融合圖像都很好地傳承了可見光圖像的自然色彩。這種色彩雖不能提高融合圖像的亮度和對比度，但是卻使得圖像場景中的各個部分更加容易區分。

圖2（g）、（h）和圖3（g）、（h）分別為用LCT方法對Octec1圖像和Octec2圖像的融合結果。同NLCT方法一樣，LCT方法直接用可見光圖像的顏色信息來構筑融合圖像的彩色分量，所以PLCT融合圖像和M-LCT融合圖像都很好地保持了可見光圖像的自然色彩。LCT方法用經過LCT技術處理后的灰度融合圖像作為彩色融合圖像的亮度分量，有效地改善了最終融合圖像的亮度和對比度，可以看到，LCT融合圖像的亮度和對比度明顯好于NLCT融合圖像。LCT技術和顏色信息的聯合運用，使得LCT融合圖像具有一種“一目了然”的感覺。

（2）M-LCT方法具有最優的融合質量，P-LCT方法也能夠取得令人滿意的融合效果。

由圖2和圖3可以明顯地看到，相對于同組的其他圖像，M-LCT融合圖像（見圖2（h）和圖3（h））突出和表現圖像細節的能力更強，無論是對于Octec1圖像還是Octec2圖像，源多波段圖像中的人、樹木、地面、樓房的細節信息在M-LCT融合圖像中都得以清楚、準確地的再現。彩色圖像融合、LCT、MR融合3種技術的性能優勢在M-LCT融合圖像中得到了充分的展示，但是，這種優勢是以犧牲算法復雜度為代價的，復雜的MR融合過程給算法計算帶來了嚴重的負擔。

LCT技術的運用使得計算簡單的P-LCT方法也能夠取得良好的融合效果，源圖像中主要的特征信息在P-LCT融合圖像中都得以很好的再現。與P-LCT方法相對應的PA方法和P-NLCT方法中都沒有使用LCT技術，它們的融合圖像表現源圖像細節信息的能力就較弱。PA方法（見圖2（c））、P-NLCT方法（見圖2（e））對Octec1圖像的融合結果中最右側樓房的門窗比較模糊，場景中最右側的人也不易識別；PA方法（見圖3（c））、PNLCT方法（見圖3（e））對Octec2圖像的融合結果中樹木、樓房和地面的紋理都不清晰，人也不易看得清楚。相比之下，在P-LCT融合圖像（見圖2（g）和圖3（g））中，可以明顯地看到上述信息。

P-LCT方法的融合效果雖然沒有M-LCT方法好，但是，P-LCT方法的融合質量也能夠令人滿意。更重要的是，P-LCT方法的計算復雜度低，利于實時處理。因此，如果沒有特別的需要，實際工作中沒有必要采用復雜的M-LCT方法來融合圖像，低計算復雜度的P-LCT方法足以滿足大部分情況的需要。

5.2 參考圖像的選取

LCT方法對灰度參考圖像的要求并不苛刻，對參考圖像的場景和大小沒有嚴格的限制，只需要其具有適中的亮度和對比度。為了說明這一點，本節結合3幅不同的參考圖像，用M-LCT方法分別對Octec1圖像和Octec2圖像進行融合，融合結果如圖4所示。圖4左列為實驗中所用的3幅參考圖像，這3幅圖像均來自于FreeFoto.com網站；與這些參考圖像相對應的融合圖像顯示在中、右兩列，分別為Octec1圖像和Octec2圖像的融合結果。

由圖4可以看到，所有的融合結果都傳承了相應參考圖像的亮度和對比度特征。圖4上、中兩行參考圖像的亮度和對比度都比較適中，因此相應的融合圖像都具有良好的視覺效果；下行參考圖像的亮度過高，這種不合適的亮度特征使得下行的融合圖像也過亮，嚴重地淹沒了圖像中的細節信息。

由圖4上、中兩行的圖像可以發現，不同參考圖像所對應融合結果的差異不大。因此，在實際的融合系統中，沒必要隨著輸入圖像的變化來重新設置參考圖像的均值和方差，只需在系統中存儲一組固定的均值和方差（均值和方差所對應的參考圖像需具有適中的亮度和對比度）即可完成亮度-對比度傳遞過程。

圖4 采用不同參考圖像的M-LCT方法的融合結果左：3幅不同的參考圖像；中：與各個參考圖像相對應的Octec1圖像的融合結果；右：與各個參考圖像相對應的Octec2圖像的融合結果Fig.4 Fusion results obtained by M-LCT method with different target images Left：three different target images；Middle：fusion results of Octec1 images corresponding to each target image；Right：fusion results of Octec2 images corresponding to each target image

6 結 論

以紅外和彩色可見光圖像為研究對象，提出了一種基于LCT技術的彩色圖像融合算法。該算法產生的融合圖像不僅具有和可見光圖像相近的自然色彩，而且還具備令人滿意的亮度和對比度，即使采用運算簡單的像素平均法進行灰度融合同樣可以獲得良好的融合效果。只要光照條件充足，能夠獲得彩色的可見光圖像，結合LCT方法就可以構筑一個有效的實時彩色圖像融合系統。

致謝：Octec公司，FreeFoto.com網站提供了本文的實驗源圖像，特此聲明并表示感謝。

［1］SMITH M I，HEATHER J P.Review of image fusion technology in 2005［J］.SPIE，2005，5782：29-45.

［2］倪國強，肖蔓君，秦慶旺，等.近自然彩色圖像融合算法及其實時處理系統的發展［J］.光學學報，2007，27（12）：2101-2109.NI G Q，XIAO M J，QIN Q W，et al..Development of near natural color image fusion algorithms and real-time image fusion system［J］.Acta Optica Sinica，2007，27（12）：2101-2109.（in Chinese）

［3］金偉其，王嶺雪，趙源萌，等.彩色夜視成像處理算法的新進展［J］.紅外與激光工程，2008，37（1）：147-150.JIN W Q，WANG L X，ZHAO Y M，et al..Developments of image processing algorithms for color night vision［J］.Infrared and Laser Eng.，2008，37（1）：147-150.（in Chinese）

［4］TOET A.Color image fusion for concealed weapon detection［J］.SPIE，2003，5071：372-379.

［5］XUE Z Y，BLUM R S.Concealed weapon detection using color image fusion［C］.The 6th International Conference of Information Fusion，Melbourne Australia Jul 8-11，2003：622-627.

［6］DWYER D，SMITH M，DALE J，et al..Real time implementation of image alignment and fusion［J］.SPIE，2005，5813：16-24.

［7］LI G X，WANG K.An efficient natural-looking color fusion method of infrared and visible images［C］.IEEE TENCON 2006，Hong Kong，China Nov 14-17，2006：1-4.

［8］李光鑫，王珂.基于Contourlet變換的彩色圖像融合算法［J］.電子學報，2007，35（1）：112-117.LI G X，WANG K.Color image fusion algorithm using the contourlet transform［J］.Acta Electronica Sinica，2007，35（1）：112-117.（in Chinese）

［9］NEELAMANI R，QUEIROZ R de，FAN Z，et al..JPEG compression history estimation for color images［J］.IEEE T.Image Process.，2006，15（6）：1365-1378.

［10］SKODRAS A，CHRISTOPOULOS C，EBRAHIMIT.The JPEG 2000 still image compression standard［J］.IEEE Signal Proc.Mag.，2001，18（5）：36-58.

［11］JACK K.Video Demystified［M］.3rd ed.Eagle Rock，VA：LLH Technology Publishing，2001.

［12］POYNTON C.Digital Video and HDTV，Algorithms and Interfaces［M］.San Francisco：Morgan Kaufmann，2003.

［13］REINHARDE，ASHIKHMIN M，GOOCH B，et al..Color transfer between images［J］.IEEE Comput.Graph.，2001，21（5）：34-41.

［14］李光鑫，徐抒巖.適于圖像融合的快速顏色傳遞方法［J］.光學 精密工程，2009，9（17）：2301-2310.LI G X，XU S Y.Fast color transfer method for image fusion［J］.Opt.and Precision Eng.，2009，9（17）：2301-2310.

［15］COHEN A，DAUBECHIES I，FEAUVEAU J C.Biorthogonal bases of compactly supported wavelets［J］.Commun.Pur.Appl.Math.，1992，45：485-560.

［16］DAUBECHIES I.Ten Lectures on Waυelets［M］.Philadelphia：SIAM，1992.

Luminance-contrast transfer based fusion algorithm for infrared and color visible images

LI Guang-xin，WU Wei-ping，HU Jun

（Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）

With the particular research on infrared and color visible images，a color image fusion algorithm based on Luminance-contrast Transfer（LCT）technique is presented.Firstly，the method employs a grayscale fusion approach to fuse the infrared image and the luminance component of the color visible image.Then，it uses the LCT technique to improve the luminance and contrast of the grayscale fused result.Finally，the color fused image is generated directly in the RGB space with the fast YCBCRtransform fusion scheme.Two different strategies which employ the pixel averaging fusion approach and the multiresolution fusion approach as the grayscale fusion solution are proposed to implement the high real-time and high fusion quality，respectively.Experimental results show that the proposed algorithm can produce a color fused image not only with the natural color appearance similar as that of the input color visible image，but with pleasing luminance and contrast，and can also provide a good result even using the pixel averaging scheme to implement the grayscale fusion.Key words：color image fusion；Luminance-contrast Transfer（LCT）；YCBCRtransformation；infrared image；visible image

國家自然科學基金資助項目（No.60507003）

TP751

A

1674-2915（2011）02-0161-08

2010-12-12；

2011-01-23

李光鑫（1978—），男，吉林長春人，博士，副研究員，主要從事圖像融合、圖像處理等方面的研究。E-mail：guangxin.li@126.com