彩色圖像多尺度融合灰度化算法

顧梅花，王苗苗，李立瑤，馮 婧

西安工程大學 電子信息學院，西安 710600

彩色圖像灰度化是圖像處理和計算機視覺領域的基本課題和重要前提，是將三維通道信息轉換為一維灰度數據的過程。為了節約成本，人們仍使用黑白打印，并且許多出版物的大部分圖片是灰度圖像。生活中還存在很多更有藝術效果的黑白圖像，由此衍生了灰度圖像在藝術美學方面的應用，如中國水墨畫渲染、黑白攝影等[1]。為了減少輸入圖像的信息量或者減少后續的運算量，都需要將彩色圖像進行灰度化處理，其在圖像預處理等方面有很多應用，如邊緣檢測[2-3]、特征提取[4-5]等。

為了使灰度化后的圖像更好地保留彩色圖像特征，許多方法被相繼提出。根據算法中映射函數是否可應用于整幅圖像的所有像素，常見的灰度化算法大致可以分為兩類：全局映射法和局部映射法。

在局部映射法中，灰度值隨著空間位置而改變，將不同的灰度值賦給相同的顏色以增強灰度圖像局部對比度，容易受相鄰像素的影響。2004 年，Bala 等人[6]將高頻色度信息引入亮度通道，局部保留了相鄰顏色之間的差異。Smith 等人[7]使用拉普拉斯金字塔提取圖像多層特征，根據彩色與灰度圖像色對比度比例來調整拉普拉斯各分層灰度值，增強不明顯的邊緣，進行對比度調整。盧紅陽等人[8]提出一種基于最大加權投影求解的算法，建立最大化的加權局部保留投影模型，提出最大加權投影的目標優化函數。局部映射法試圖找出顏色在三維的局部差異，通過控制像素的亮度值，從而精確地保留圖像的局部特征，但無法保證全局顏色的一致性，把一個整體圖像轉換為非齊次的，最終求出的灰度圖像可能會產生暈影[9]。

全局映射法試圖最小化一些目標函數，要求映射后灰度圖像的結構描述接近于原始彩色圖像。Lu 等人[10]利用弱色序約束，采用二階多變量多項式參數模型，最大限度地保留了原始顏色對比度。Liu等人[11]采用線性參數模型最大化梯度相關相似度。2017年，他們又提出一種半參數方法[12]，將文獻[11]所提算法與Matlab 中rgb2gray 函數結合。Zhou[13]、Chen[14]與 Du[15]等人都提出了一個基于顯著度的視覺對比度模型，將灰度化算法中對比度保留問題轉化為最小化灰度圖像與原圖像的顯著度問題。全局映射法著眼于整體顏色分布差異，對整幅圖像的所有像素采用相同的映射函數進行灰度化，能夠更好地保持全局結構信息，但會使結果圖像變平滑，很難同時保留不同區域的局部特征。

本文提出一種基于多尺度圖像融合的局部灰度化算法。多尺度處理方法能在不同尺度下表示圖像，某種尺度下不易看出或獲取的特性在其他尺度下相對更容易被看出或檢測，金字塔分解是一種有效的多尺度表達結構。首先將彩色圖像分解為R、G、B三個通道的單色圖像，利用拉普拉斯金字塔分解各通道圖像，根據每個通道的對比度、飽和度與顯著性特征確定系數矩陣。為了能夠在濾波后更好地保留邊緣特性，引入梯度域導向圖像濾波器（Gradient Domain Guided Image Filter，GGIF）[16]，GGIF 濾波后進行高斯金字塔分解，再與對應通道圖像拉普拉斯金字塔逐層融合，最后經過金字塔逆變換得到最終的灰度圖像。

1 梯度域導向圖像濾波

梯度域導向濾波器是由導向濾波器（Guided Image Filter，GIF）[17]，再加上邊緣感知因素組成，它使得導向濾波器對正則項參數的選擇變得不那么敏感。GIF 算法假設輸出圖像是引導圖像G在以像素p′為中心，r為半徑的窗口Ωr(p′)中的線性組合，表達式如下：

在保持線性模型的同時，定義一個代價函數E最小化輸出圖像和輸入圖像X(p)之間的差異：

GIF是速度最快的邊緣保護濾波器之一，它可以避免梯度的反轉。然而，由于正則項λ為固定值，GIF濾波不可避免會將邊緣平滑，為了消除正則項大小帶來的影響，Kou等人[16]提出了基于梯度域的導向濾波器（GGIF）。與GIF 相比，GGIF 加入了兩個邊緣感知因素來判斷單個像素是否位于邊緣，于是其代價函數變為：

利用線性回歸最小化代價函數E求出ap′、bp′的最優值為：

其中，⊙ 代表兩個矩陣的點乘，μG⊙X,r、μG,r(p′) 和μX,r(p′)分別為導引圖像G與輸入圖像X的點乘，G和X在窗口Ωr(p′)內的均值。為了解決重復計算的問題，對窗口內的所有ap′和bp′的值取平均值。

于是GGIF濾波后的輸出由下式計算：

2 本文算法

本文的算法原理如圖1所示。首先，將彩色圖像分為R、G、B 三個通道，分別對各通道圖像進行拉普拉斯金字塔分解，得到三個以金字塔形狀排列、圖像尺度逐層降低的圖像集合。其次，采用各個通道圖像的對比度、飽和度與顯著度組合得到各個通道的系數矩陣。將三個系數矩陣進行高斯金字塔分解，分解層數與上一步三個通道圖像的拉普拉斯分解層數相同。然后，取R、G、B三個通道圖像中熵最大的通道作為GGIF濾波中的引導圖像，進行高斯金字塔分解后與各個通道系數矩陣金字塔梯度導向圖像濾波。最后，將R、G、B 三個通道圖像拉普拉斯金字塔與各通道系數金字塔逐層融合，金字塔逆變換得到最終彩色圖像灰度化結果。

2.1 融合系數矩陣

融合系數矩陣由各個通道圖像的對比度、飽和度和顯著性決定。

對比度Ck：將每個R、G、B通道經過拉普拉斯濾波后取絕對值作為對比度。拉普拉斯濾波采用一個二階微分線性算子，它具有邊緣定位能力強、銳化效果好的特點，濾波后就產生了一個簡單的對比指標Ck，它傾向于給重要的元素，如邊緣和紋理，賦予更高權重系數。對比度Ck的計算公式為：

圖1 基于多尺度圖像融合的灰度化算法框架圖

其中，k∈{r,g,b}，代表三個不同的通道圖像，(i,j)代表k通道上的某一像素點，?為相關運算算子，Lap為3×3的拉普拉斯濾波模板[-1-1-1;-1 8-1;-1-1-1]。

飽和度Sk：在計算三個通道均值后，將每個通道與均值差的絕對值作為每個通道的飽和度特征。飽和度Sk的計算公式如下：

顯著性GSk：圖像顯著性是圖像中重要的視覺特征，體現了人眼對圖像中某些區域的重視程度，它代表了最能表現圖像內容的區域。本文將各單通道圖像經過拉普拉斯濾波得到高通圖像Hij,k，然后經高斯低通濾波后建立圖像顯著性特征。顯著性GSk由式（9）計算：

其中，Lap為3×3的拉普拉斯算子[0 1 0;1-4 1;0 1 0],Gau為窗口大小11×11、標準差為5的高斯低通濾波算子。

于是融合系數定義為三個特征之和：

其中，wC、wS、wGS為權重指數，控制各個特征對融合系數的影響。各個特征對應的權重指數小于0時，將在融合系數中去除該部分特征，當特征對應的權重指數較大時，則表示該項特征所占融合系數的比重更大，實驗結果中該項特征的影響也最大。當wC、wS、wGS取值相同且為1時，融合系數由對比度、飽和度、顯著性這三個特征相加得到，此時，這三個特征占融合系數的比例相同，可以更好地保留圖像的整體結構與特征。權重指數取不同值的實驗結果如圖2 所示，（a）為彩色圖像原圖；（b）為wC、wS、wGS取[1，0，0]時的實驗結果，可以看到，邊緣銳化效果明顯，存在過于銳化的情況；（c）為wC、wS、wGS取[0，1，0]時的實驗結果，圖像的飽和度較好，灰度化后顏色對比鮮明；（d）為wC、wS、wGS取[0，0，1]時的實驗結果，灰度化后圖像中顏色對比較為柔和，但有部分偽影出現；（e）為wC、wS、wGS的取值為[1，1，1]，即本文所選的權重指數取值，所得灰度化結果顏色對比度保持較好，且能較好地保留彩色圖像中的細節特征。

為了得到穩定的結果，最后需要對融合系數矩陣歸一化處理，使每個通道的融合系數矩陣相加之和為1：

圖3 中，（a）為彩色圖像原圖與R、G、B 三個單通道圖像；（b）～（d）分別為R、G、B 三個通道的對比度、飽和度、顯著性特征；（e）為由式（10）計算得到每個通道的權重系數后，利用式（11）進行歸一化處理的結果；（f）為各通道圖像融合后的最終灰度化結果。

圖2 權重指數不同時的實驗結果

圖3 彩色圖像各個融合系數特征

2.2 多尺度圖像融合

然而，直接使用式（12）并不能產生令人滿意的結果，尤其是在權值變化快的地方容易產生細縫，導致圖像不連續，如圖4（b）所示，可以看出彩色色輪圖像在灰度化后會產生比較明顯的噪聲塊。為了解決這一問題，Mertens 等人[18]與 Ancuti 等人[19]都先將融合系數進行高斯金字塔分解，再與輸入的幾幅待融合圖像拉普拉斯金字塔分解的結果逐層融合，融合后每一層的金字塔表示為：

其中，G{}代表將系數矩陣高斯金字塔分解，L{}代表將單通道圖像拉普拉斯金字塔分解，F{}為融合后的灰度圖像金字塔，l為金字塔分解的層數。文獻[20]表明，當金字塔分解層數l的取值由式（14）確定時，融合后的圖像在客觀評價時具有較高的分數，并且出現較少的偽影效應，式中r和c分別為輸入圖像的行和列。

這樣，灰度圖像金字塔第l層的結果為R、G、B三個通道圖像的第l層拉普拉斯金字塔圖像與融合系數矩陣第l層高斯金字塔的乘積之和。最后，將金字塔逆變換得到灰度圖像g，如圖4（c）所示。

高斯-拉普拉斯金字塔融合方法解決了融合后產生噪聲的問題，但并沒有完全消除引入的偽影，某些區域還會造成亮度過亮，如圖4（c）所示。本文算法在多尺度融合中引入了梯度域導向圖像濾波器（GGIF），將各個通道系數矩陣高斯金字塔分解后得到的圖像作為GGIF濾波器的輸入圖像X，選擇三個通道中熵最大的通道圖像進行高斯金字塔分解，作為各系數矩陣高斯金字塔層的引導圖像GI，則濾波后輸出為：

圖4 不同權重系數融合方法

多分辨率融合能有效解決圖像不連續的問題，但可能產生偽影。為了解決偽影問題，本文算法使用了一種邊緣保留濾波器——梯度域導向濾波器（GGIF）。與高斯-拉普拉斯融合方法相比，引入GGIF濾波后的圖像融合有兩大優勢：第一，利用GGIF濾波比起高斯濾波能更好保護邊緣，有效避免暈輪、偽影現象。第二，由于將三個通道圖像中熵最大的通道作為引導圖像進行濾波，信息量能最大程度被保留在濾波后的結構中。因此，在較亮或是較暗的區域，圖像的細節能被很好地保留下來。

3 實驗結果與分析

本文采用?adik 圖像集與CSDD 圖像集，將所提算法與其他幾種灰度化算法從定性與定量兩方面進行比較。實驗結果如圖5 所示，（a）為原彩色圖像，其中第1～4 行來自?adik 圖像集，第5～7 行來自CSDD 圖像集；（b）為在 Matlab 中運行 rgb2gray 后的結果；（c）為 Lu 的 CP 灰度化算法結果；（d）是Liu 的半參數算法結果；（e）為Du提出的顯著度算法結果；（f）為本文算法灰度化結果。

3.1 基于定性的方法比較

圖5 ?adik數據集與CSDD數據集圖像灰度化結果

?adik 圖像集的圖像相對簡單，所包含的顏色信息少，但包含了很多具有相同亮度、不同色度的圖像。從圖5 中1～4 行可以看出，rgb2gray 函數在等亮度情況下損失了很多細節特征與邊緣信息，對比度保留較差。CP算法與Liu的半參數方法雖然能有效保留對比度，但對比度的保留或增強不一定符合人眼感知。本文算法對線條和邊緣敏感，能夠較好地保留彩色圖像中的細節特征。

CSDD 圖像集圖案和顏色更加豐富，場景更加復雜。rgb2gray 算法雖然損失很多特征，但與CP 算法相比具有更好的穩定性，如第6行，CP算法容易產生偽影，造成圖像邊緣模糊。本文算法能在較亮或較暗區域保留細節，如第5 行能很好保留桔子和桔子影子的對比度，第6 行右側瓶子的紋理在灰度圖像中成功保留下來，在過度曝光的最后一行也能保護云朵邊緣。

綜上所述，本文算法對邊緣信息敏感，在較亮或較暗區域能夠檢測出其他四種方法丟失的細節。

3.2 基于定量的方法比較

用于比較彩色圖像灰度化算法性能的客觀評價方法很少，然而主觀評價十分耗時且不能對圖像質量給出一個準確的描述標準。因此，非常有必要對灰度化后的圖像進行客觀評價。

Lu 等人[10]提出了定量的度量方法——度量顏色對比度保持（Color Contrast Preserving Ratio，CCPR）。CCPR基于人類對顏色的感知，當彩色圖像中兩個像素的歐幾里德距離δ在LAB彩色空間中小于一個固定值τ，在人類的視覺系統通常是看不見差異的，CCPR計算公式為：

其中，Ω為顏色差異δxy≥τ的子像素對集合，‖ ‖Ω表示Ω中像素對的數目。CCPR的分母表示灰度化后仍然可分辨的像素對個數。CCPR的取值范圍是[0，1]，當它的值越接近1代表灰度化效果越好。

為了更好地研究每幅圖像的性能，定義了每幅圖像的平均色彩對比度保持比（ACCPR）：

在定量評價中，分別度量算法灰度化后顏色對比度保持度CCPR及τ的值為1到15時CCPR的均值ACCPR。結果如表1和表2所示。由表1可以看出，不管是ACCPR還是CCPR，本文算法都優于rgb2gray、CP 算法、Haodu算法及SPDecolor。由表2 可以看出，當τ值較小時，五種算法的CCPR 值都比較接近，隨著τ值的增大，rgb2gray、CP算法與本文算法的CCPR值下降較快。

表1 ?adik圖像集的CCPR值

表2 CSDD圖像集的CCPR值

圖6 灰度化結果局部放大比較

將測試圖像中黑色矩形框標記部分進行放大，如圖6所示，其中第1行為兩幅彩色圖像原圖，第2、3行分別為局部區域放大后的圖像，（b）到（f）為各灰度化算法實驗結果中的對應區域。從圖6中可以看出，本文算法較好地保留了色彩之間的對比度，更加符合人眼感知，且很好地保留了圖像的邊緣結構與紋理特征。

4 結束語

本文提出的基于多尺度圖像融合的灰度化算法，采用一種高斯-拉普拉斯金字塔融合模型，并引入GGIF來消除融合過程中產生的偽影現象，在?adik 數據集和CSDD 數據集上都得到了較好的灰度化結果。對本文算法、經典算法、最新算法都進行了定性、定量的實驗分析，實驗結果表明本文算法能很好地保留彩色圖像的原始信息，并且由于加入了GGIF 濾波，對邊緣信息敏感，在灰度化后能很好地保留較暗或較亮區域的細節特征，但在保留圖像對比度方面還存在提升空間。