基于小波變換灰度與彩色圖像融合算法研究

姚洪濤，侯懷俠，白會東

（長春理工大學計算機科學與技術學院，長春 130000）

灰度CMOS 圖像傳感器由于去掉彩色濾光片，進光量是彩色CMOS 圖像傳感器的三倍，故將灰度CMOS 圖像傳感器和彩色CMOS 圖像傳感器進行融合可以增加融合系統(tǒng)的夜視能力和動態(tài)范圍。因此提出一種灰度與彩色圖像融合算法，該算法是基于小波變換與HSI 顏色空間轉(zhuǎn)換的融合方式，同時提出一種基于梯度因子、灰度標準差、均亮度值的動態(tài)融合權值確定方式，并運用MATLAB 等圖像處理工具進行仿真驗證。

圖像融合；小波變換；HSI 顏色空間

0 引言

CMOS 圖像傳感器發(fā)展迅猛，在數(shù)碼相機、手機拍攝、安防監(jiān)控等數(shù)字成像系統(tǒng)方面應用廣泛，由于CMOS 圖像傳感器作為一種典型的固定成像傳感器，具有成像性能良好，制作成本低等多個優(yōu)良特點，未來發(fā)展前景和市場巨大。針對安防監(jiān)控與倒車影像系統(tǒng)中單個鏡頭成像信息的缺失，單彩色CMOS 圖像傳感器成像亮度不足，在光線較差的環(huán)境中成像效果較差。單灰度CMOS 圖像傳感器成像缺乏色彩信息，但由于灰度圖像傳感器去掉了彩色濾光片，進入光量是彩色圖像傳感器的三倍[1]。

結合兩者的優(yōu)劣特點為此本實驗室設計灰度與彩色雙CMOS 融合成像算法，獲得更加明亮清晰的圖像信息，提高圖像動態(tài)范圍。同時根據(jù)人眼成像特點，人眼中分為兩種細胞，桿狀細胞只能感受亮度信息，錐狀細胞可以感受亮度和色彩[2]。進行灰度和彩色的圖像融合可以實現(xiàn)更加接近人眼的視覺效果。

所以本文提出了一種基于小波變換和顏色空間轉(zhuǎn)換的灰度與彩色圖像融合算法，并且根據(jù)灰度標準差、梯度因子、灰度均值確定動態(tài)融合權值。同時提出了飽和度均勻化的方法進行HSI 顏色空間中S 通道的融合。

1 理論基礎

1.1 小波分解與融合

基于小波變換的圖像融合就是把源圖像進行小波變換，如圖1 把它分解到不同的頻段內(nèi)，然后在不同的頻段內(nèi)選用不同的融合規(guī)則分別進行融合。

圖1 小波分解與融合

根據(jù)查閱資料可知，不同的小波系所具有的性質(zhì)不同，表1 為各個小波系性質(zhì)對比[3]。

表1 不同小波系性質(zhì)

同時不同分解層次也有不同的效果，分解層次過少，無法很好地分解出低頻輪廓部分，分解層次過多則會造成低頻輪廓部分丟失過多。

本文采用sym4 小波、五層分解、多層二維離散小波分解函數(shù)wavedec2（）進行分解和waverec2（）重構。sym4 小波屬于Symlet 小波系是近似對稱的一類緊支正交小波函數(shù)，它具有dbN 小波系的一切良好特性，而在對稱性方面的改進，又使得該小波系在信號處理方面避免了不必要的失真。

在MATLAB 中wavedec2 是多層二維離散小波分解函數(shù)。[C,S]= wavedec2（X,N,'sym4'）為分解函數(shù)形式，X=waverec2（C,S,Lo_D,Hi_D）為重構函數(shù)形式。[C,S]=wavedec2（X,N,'sym4'）該函數(shù)值利用母小波函數(shù)sym4 對于圖像矩陣X 的第N 層進行二維離散小波分解，N 為正整數(shù)；返回結果為分解系數(shù)矩陣C 和分解系數(shù)長度適量矩陣S。X=waverec2（C,S,sym4）是利用指定的sym4 實現(xiàn)多層圖像矩陣的二維離散小波重構[4]。

1.2 顏色空間轉(zhuǎn)換

此處的RGB 轉(zhuǎn)HSI 的公式采用算法幾何推導法，HSI 轉(zhuǎn)RGB 是逆運算。首先是RGB 轉(zhuǎn)HIS。

然后是HSI 轉(zhuǎn)RGB：

則可以求得R、G、B 完成從HSI 顏色空間到RGB顏色空間的轉(zhuǎn)換[3]。

2 算法描述

圖1 是灰度與彩色圖像融合算法的結構框圖，其具體算法步驟為：先對兩源圖像進行顏色空間轉(zhuǎn)換，由RGB 顏色空間結構轉(zhuǎn)到HSI 顏色空間結構，然后針對所得兩個I 通道圖像分別進行小波分解和融合，期間進行樣本訓練確定兩I 通道融合權值，進行四樣本參考快速融合。同時S 通道進行飽和度均勻化處理，對H 通道則進行簡單疊加，最后對融合后的HSI 三通道分量進行顏色空間反變換得到RGB 顏色空間結構輸出圖像。

圖2 灰度與彩色圖像融合算法

2.1 融合權值確定

不同融合方式中融合權值的選擇多種多樣，如文獻[1]中高頻分量采用均值法，低頻分量采用最大值法。文獻[5]中高頻分量融合系數(shù)采用的是兩圖像在單個像素為中心的局部區(qū)域最大均方差值的小波系數(shù)，低頻分量采用絕對值最大法。在單幀靜態(tài)圖像融合中這些方法都是有一定可取性，但是在復雜多變的動態(tài)環(huán)境下，固定的融合系數(shù)顯然是不適應的，動態(tài)融合系數(shù)的確立是支持動態(tài)融合的關鍵。而且當每一次單幀融合都重新確立融合權值，速度顯然是達不到動態(tài)視覺的要求。

因此主要針對動態(tài)融合中的環(huán)境多變性和動態(tài)視覺對融合速度的要求，提出一種基于灰度標準差和梯度因子以及均亮度的融合權值確定方法。

2.2 關于確定動態(tài)融合權值的研究

首先在[C,S]=wavedec2（X,N,'sym4'）分解函數(shù)中，C為各層分解系數(shù)，S 為各層分解系數(shù)長度即大小。C 的存儲結構為：

其中A（N）代表第N 層的低頻分量系數(shù)，H（N）代表第N 層的水平高頻分量系數(shù)，V（N）代表第N 層的垂直高頻分量系數(shù)，V（N）代表第N 層的對角高頻分量系數(shù)。S 的結構是儲存各層分解系數(shù)長度的，即第一行是A（N）的長度（其實是A（N）的原矩陣的行數(shù)和列數(shù)，第二行是H（N）|V（N）|D（N）|的大小，第三行是H（N-1）|V（N-1）|D（N-1）的大小，倒數(shù)第二行是H（1）|V（1）|D（1）的大小，最后一行是圖像X 的大小。所以融合中的兩個圖像S 的大小相同而C 的取值不同[4]。

固定的高頻和低頻融合規(guī)則顯然是無法適應多變的環(huán)境。故而，各個尺度上的每個頻率子帶都有其獨立了融合規(guī)則則可以實現(xiàn)最佳的融合效果。故而本文從梯度因子，灰度標準差兩個標準去確立各個頻率子帶的融合規(guī)則。由于C 的結構是一個1*N 的矩陣結構。故而設立一個1*N 的結構矩陣作為權值矩陣P 和Q 然后把權值矩陣P 和Q 轉(zhuǎn)化為對角矩陣diag（P）和diag（Q），所以融合后的C=C1*diag(P)+C2*diag(Q) 。如何確定權值矩陣，需要進行以融合后的圖像梯度因子和灰度標準差為參考基準進行衡量。本文樣本訓練實驗中采用的為364*500 大小的圖片，在5 層sym4 小波函數(shù)分解下C 為1*193062，每個系數(shù)權值p 和q 可取0。1 到2 之間20 個取值。采用一種簡化的權值確定方式。利用MATLAB 構建關于全局灰度標準差k與p、q 的函數(shù)關系k=f(p,q)。不同的融合權值可以得到不同的融合結果，融合權值越大灰度標準差越大，但是增加到一定程度開始下降。下圖分別為全局灰度標準差與權值p、q 函數(shù)關系圖，全局梯度因子與權值p、q函數(shù)關系圖。如圖越接近黃色數(shù)值越大，越接近藍色數(shù)值越小。

圖3 灰度標準差與權值p、q函數(shù)關系圖

圖4 全局梯度因子與權值p、q函數(shù)關系圖

結合灰度梯度因子，以及融合后的灰度均值可以得出良好的融合權值。圖5 為圖像均亮度值與權值p、q 之間的函數(shù)關系圖。

圖5 圖像均亮度值與權值p、q之間的函數(shù)關系圖

根據(jù)實驗數(shù)據(jù)分析以及圖像觀察多組圖像融合可得當梯度因子和灰度標準差達到全部遍歷值最大值的70-80%時以及灰度均值在0.5 附近時圖像成像效果最佳。

2.3 S通道融合

I 顏色通道通過以上的權值遍歷策略和四樣本參考快速融合可以得到清晰度很好的圖像，但是S 空間中需要進行調(diào)整，如圖6 所示標準彩色圖像S 通道圖像明顯優(yōu)與待融合的彩色圖像S 通道信息。

圖6 S通道圖像對比

標準彩色圖像HSI 三通道分解后S 圖像與待融合彩色圖像HSI 三通道分解后S 圖像可以看出右側(cè)部分存在一定差異。由于灰度圖像沒有H 和S 通道分量。而彩色圖像的S 分量由于焦點變化與標準彩色圖像的S 通道分量存在一定差異，若想實現(xiàn)不同焦點的灰度與彩色圖像融合得到更好的融合后彩色圖像，需要對彩色圖像S 通道圖像進行處理，由于S 保存的是彩色圖像顏色的飽和度同時灰度圖像不存在顏色S 通道分量。

飽和度是彩色圖像中顏色的鮮艷程度，飽和度越高圖像顏色越加鮮艷，飽和度越低圖像鮮艷程度越低，顯著更加的昏暗。

圖7 飽和度

根據(jù)實際拍攝中圖像亮度對飽和度的影響，實際拍攝中環(huán)境光線越好，則可以獲取到的顏色種類信息越加豐富。故而本文提出一種基于灰度圖像亮度均值的顏色飽和度調(diào)整方法，灰度圖像I 的取值為0 到256，又由于可見光為7 種顏色赤橙黃綠青藍紫頻率譜分布，故將亮度大于128 的點進行飽和度降低處理，亮度小于128 的部分進行飽和度增加處理。

經(jīng)過飽和度增強處理后圖像細節(jié)明顯增強，但是出現(xiàn)白色成分的失真，如圖8 所示。

圖8 圖像經(jīng)飽和度均勻化處理前后對比

表2 飽和度均勻化前后對比

通過上表數(shù)據(jù)可以看出，經(jīng)過飽和度均勻化之后的圖像在對比度方面得到明顯提高。圖像清晰度和細節(jié)豐富度上也得到了明顯提升。

3 結語

通過后的實驗結果反應出算法的可行性，在動態(tài)融合權值確定，不同組的融合圖像所得到的灰度標準差與權值p 和q 的函數(shù)關系1、梯度因子與權值p 和q的函數(shù)關系2、圖像均亮度值與權值p 和q 之間的函數(shù)關系各不相同。通過取均亮度值為0.5 匹配另兩個函數(shù)關系中的全部遍歷最大值的70-80%，從而確定最終的融合權值p 和q。針對圖像色彩飽和度S 通道融合，采用飽和度均值化的方法大大提高了圖像細節(jié)信息和清晰度。但是對白色成分略有丟失。

總之，針對單一CMOS 圖像傳感器在實際暗光條件下性能和動態(tài)范圍的缺失，本文著力研究了灰度與彩色圖像的融合算法，使得成像動態(tài)范圍大大增加，實際應用更加靈活，對環(huán)境光線變化的適應能力明顯增強，通過利用灰度與彩色圖像的融合使得雙CMOS 圖像傳感器成像系統(tǒng)，在復雜多變的環(huán)境中始終保持較為良好的成像結果。

目前為止，圖像融合技術應用領域極為廣泛，融合算法的適應性和智能化程度越來越高，但至今仍舊缺乏智能化廣泛適應性圖像融合算法。本文雖實現(xiàn)灰度與彩色圖像較好的多動態(tài)范圍融合，但在智能化融合模式學習以及動態(tài)融合調(diào)整和硬件實現(xiàn)難度降低方面仍然需要做出改進和進一步深入研究。