基于人眼視覺的多尺度融合圖像增強算法

王改云，郭智超+，路皓翔，陸家卓，張 琦

(1.桂林電子科技大學 電子工程與自動化學院，廣西 桂林 541004；2.桂林電子科技大學 計算機與信息安全學院，廣西 桂林 541004)

0 引 言

圖像處理技術被廣泛應用于生活的各方面[1-3]。現階段被廣泛應用的圖像增強方法主要有兩類，直接增強方法和間接增強方法。第一類直接增強法將圖像的亮度通過某些指標定量表示，并提出相應算法來改進這些指標。代表算法有基于Retinex模型增強算法。該算法指出相機捕獲的圖像由反射分量和照明分量組成，通過去除影響原始圖像的反射分量，實現增強圖像真實影像的目的。李佳等[4]通過單尺度Retinex方法調整圖像中過曝光和欠曝光的灰度級。然后將圖像分為細節層和基本層，并用不同的直方圖處理方法進行增強，從而在增強圖像亮度的同時增強了圖像細節信息。Qu J H等[5]引入多尺度Retinex算法整合圖像的空間信息，并利用基于梯度的加權融合方法融合HSI和PANI的空間細節，從而更好地模擬真實圖像的特征。第二類間接增強法將圖像亮度特性投影到直方圖上，并在直方圖上調整圖像的亮度。蘆碧波等[6]將RGB圖像轉換至XYZ顏色空間，提取其亮度信息，并將其分為高、中、低3個區域，利用對數色調映射對這些區域進行直方圖均衡化處理，同時采用雙邊濾波進行細節補償。該算法能在增強圖像細節的同時有效模擬真實場景的亮度特性。Acharya U K等[7]使用了兩個最優約束參數，減少直方圖均衡過程中的信息丟失，該方法很好地構造了原圖的亮度同時減少了其細節的丟失。

為了進一步改善增強算法顏色失真和細節模糊的問題，本算法在HSV空間上利用人眼的敏感特性增強圖像的亮度，從而在增強圖像亮度時有效地避免了顏色失真的問題，并通過引導濾波在過濾圖像噪聲的同時增強了圖像的細節信息。

1 算法原理

圖1是算法的流程，算法總體分為顏色空間轉換、圖像亮度增強、圖像細節提升3部分。首先對輸入圖像進行顏色空間轉換，將其從RGB空間轉換至HSV空間[8]，分離圖像的顏色信息和亮度信息，從而達到在改變圖像亮度時圖像顏色不會失真的目的；然后提取H、S通道的信息Image H和Image S作為增強權重圖對V通道的信息Image V進行增強從而提升圖像的亮度；最后利用引導濾波[9]增強圖像的細節信息，并將增強后的Image V1和Image H、Image S轉換為細節豐富且亮度得到增強的RGB圖像。

圖1 算法流程

1.1 亮度增強

算法將從HSV空間對低照度圖像進行增強，HSV模型通過H、S、V這3個通道的信息Image H、Image S、Image V來表示圖像，其中Image V描述的是圖像的亮度，Image S、Image V則描述了圖像的顏色和顏色的深淺。但是學者們利用HSV模型增強圖像亮度時通常會忽略H、S兩通道信息的重要性。人類通過區分顏色和辨別光照強弱來感知周圍的環境，當一束光投射在人眼的視網膜上時，生物學將視網膜刺激中的模糊光譜信息與觀察者的感知聯系起來進行研究，將人們對刺激的評判分為3種心理性向度。在此框架中，從感覺背后的物理屬性的條件概率分布中得出累積密度函數，預測經典色度中的光譜刺激所產生的色調、飽和度和亮度。為了方便科學研究，光波被科研工作者賦予3種可以被量化理解的物理量，即波長、波幅和純度。Fuhui Long等[10]通過對比實驗證明色調、飽和度和亮度的感知特性是由自然界中光的物理特征的統計共變性決定的，從而得到了與之對應的色彩模型為HSV色彩模型，圖2是HSV模型。其中H代表H通道的色相(Hue)，S代表S通道的飽和度(Saturation)，V代表V通道的亮度(Value)。

圖2 HSV模型

(1)色相：表征物體色彩的顏色屬性，它的取值范圍為0°～360°，其中0°代表紅色、120°為綠色、240°為藍色，它們的補色分別為60°的黃色、180°的青色和300°的品紅色。

(2)飽和度：是指色彩的純度，飽和度越高代表色彩越純，飽和度越低則色彩越趨近灰色，其取值范圍為0～100%。

(3)亮度：是指顏色中摻入黑色或白色的量，其取值范圍為0～100%。

RGB空間和HSV空間之間相互轉換的公式如式(1)～式(3)所示，其中R、G、B、H、S、V分別代表同一圖像在不同模型中的不同通道

V=max(R,G,B)

(1)

(2)

(3)

并且，人眼對不同顏色的敏感度不同，其主要原因是人眼在可見光譜范圍內的視覺靈敏度分布不均勻，通過實驗和研究[11]可以發現。對比敏感度函數(contrast sensitivity function，CSF)是對比度檢測閾值的倒數，是以模擬人類視覺和預測視覺表現為基礎測量的。它描述的是空間頻率和對比度靈敏度之間的關系。圖3(a)～圖3(c)分別是10只眼睛紅色、綠色和藍色機制的CSF數據。

圖3 10只眼睛對紅、綠、藍的CSFs平均值曲線

圖3中每個特殊符號代表一只眼睛，實線擬合了10只眼睛單一顏色機制中心頻率平均值的變化規律。表格縱坐標是以對數標度的對比敏感度，橫坐標為空間頻率。結果表明，人眼紅色機制的CSF高于綠色機制的CSF，藍色機制的CSF在整個空間頻率上最低。紅色和綠色機制的CSF峰值出現在6.4 c/deg，藍色機制的CSF峰值出現在4.8 c/deg的較低頻率。由此表明，人眼對不同波長的顏色敏感度不同。Schiller Florian等[12]通過利用7種顏色模型CIECAM02、HSV、DKL、LAB、LUV和CIE1931xyY測量了人眼對顏色空間中不同顏色在不同飽和度下的敏感度。實驗發現人眼對不同飽和度的顏色敏感度不同。Fuhui Long等[10]為了預測亮度對色相和飽和度的影響函數，將圖像從RGB空間轉換至HSV空間從而統計圖像的色相、飽和度和亮度3個物理屬性的聯合概率分布。實驗通過計算并均衡化亮度、色相和飽和度的物理相關共生頻率得到了：①色相和飽和度的物理相關性P(HP,SP)； ②色相和亮度的物理相關性P(HP,BP)； ③飽和度和亮度的物理相關性P(SP,BP)。 根據這些分布，直接確定每個物理屬性的一維條件概率分布，以及幾種屬性的關系。然后，通過累積相關概率值，從這些一維條件概率分布中計算用于預測色度函數和飽和度函數的累積密度函數。通過實驗研究證明，亮度的提升能夠增強人眼對飽和度和不敏感波段顏色的敏感度。因此，在增強圖像的視覺效果時，圖像飽和度和圖像顏色兩個因素必須都要考慮。綜上所述，為了提升人眼對整體圖像的敏感度，通過對人眼不敏感區域進行亮度增強，進而更有針對性地提升人眼對整體圖像敏感度。算法利用人眼的這一特性，將低照度圖像H、S顏色通道的信息Image H和Image S作為權重圖對其V通道的信息Image V進行增強，從而提升人眼對圖像的敏感度。

1.2 細節增強

qx=akIx+bk?x∈ωk

(4)

通過式(4)可以看出qx與Ix具有線性關系，且輸出圖像與原圖的相似程度可由ak和bk決定。式(5)描述了輸出圖像與原圖的相似程度，其中Ix代表引導圖像中編號為x像素的像素值，px代表輸入圖像中編號為x像素的像素值

(5)

為防止ak過大，式(5)還引入了正則化參數ε， 引導圖像選用原圖像時ε將被舍棄。由式(5)可知，找到合適的ak和bk就可使輸出圖像很好地還原輸入圖像，通過化簡得

(6)

(7)

(8)

2 算法實現

2.1 亮度增強

由文獻[11]可知人眼對黃綠色的敏感度最高，對藍色光和紅色光的敏感度較差。同時人眼對飽和度低的顏色也不敏感。因此，算法通過增強這些人眼敏感度較低區域的圖像亮度來提升人眼對整體圖像的敏感度。具體做法為，在算法亮度提升階段將增強Image H中241°～360°區域的權重值即人類視覺系統不敏感的波長區域，和Image S中40%～80%區域的權重，人類視覺系統不敏感的飽和度區域。并將這些圖像作為權重圖對V通道的信息Image V進行增強，從而更有效地提升圖像的亮度。由于HSV模型3個通道信息互不影響，這也保證了增強后的圖像不會產生色彩的偏差。具體的步驟如圖4所示，圖中Input為輸入的RGB圖像。Image H為色相通道權重圖，其灰度值與人眼對顏色的敏感度成反比，Image S為飽和度通道權重圖，其灰度值與顏色飽和度成反比，Image V為圖像的亮度圖，Image V1為增強后的Image V。

圖4 亮度增強流程

2.2 細節增強

圖5 引導濾波使用不同參數的效果

3 增強效果分析

該圖像增強算法的實驗環境為：CPU 3.40 GHz (4 CPUs)，Intel core i7-8 550U 1.8 GHz，內存為8192 MB，Windows 10 操作系統，在Matlab 2018b軟件平臺實現相關算法。實驗圖像采用同時存在過曝光和欠曝光的細節信息豐富的建筑物和目標單一的人物RGB圖像進行增強實驗，從定量分析和定性分析兩個方面對本算法性能進行評估，并與Patch-net(Platform：Tensorflow,CPU)[13]、FBBF(Platform:MATLAB,CPU)[14]、Zero-dce(Platform:Tensorflow,CPU)[15]、FFM(Platform:MATLAB,CPU)[16]和FBM(Platform:MATLAB,CPU)[17]增強算法進行了對比，進而驗證了算法的優越性。

3.1 定性分析

圖6給出了不同算法對邊緣輪廓明顯的建筑物RGB圖像增強的結果，圖6展示了原圖和近幾年出現的增強算法的處理結果。通過對比可看出，對比算法和優化算法均能增強低照度圖像，但FBBF和Zero-dce處理后的圖像存在偽影，使得圖像輪廓信息變的模糊，Patch-net增強圖像的天空部分出現了明顯的分塊現象，FFM和FBM對圖像的亮度增強效果不夠明顯。本算法將圖像由RGB顏色空間轉到HSV顏色空間，將圖像的亮度和圖像的顏色完全分離，并利用HSV空間H和S通道能夠提升圖像質量的信息Image H、Image V轉換為權值圖，對V通道的亮度信息Image V進行增強，使得增強后的圖像更接近實際光照環境同時避免了圖像顏色失真。

圖6 不同算法對圖像的增強輪廓效果對比

圖7給出了細節紋理特征豐富的建筑物和人物的RGB圖像在不同算法增強后的效果，通過對比可看出，由Patch-net、FBBF、FFM和FBM增強后的圖像人物頭發紋理部分出現了顏色失真的現象，Zero-dce增強后圖像的對比度整體偏低，這使得人物發梢、地面部分丟失了許多細節信息。而優化算法處理后圖像人物的面部和頭發部分的亮度、對比度均得到了提升，同時還保留了圖像原本的顏色信息，并還原了圖像的細節信息，這是由于該算法在增強圖像細節階段，利用引導濾波增強了圖像的細節信息。

圖7 不同算法對圖像增強的細節效果對比

3.2 定量分析

本文主要利用平均梯度(AG)、信息熵(EN)、熵增強(EME)3個衡量指標對算法增強效果進行評估。平均梯度可以評判圖像細節的豐富程度和圖像的亮度，圖像包含的細節越豐富AG的值越大，其表達式為

(9)

信息熵可以評判圖像所包含的信息量，其中i表示圖像中像素灰度值的大小，h(i) 是整幅圖像中出現灰度值為i像素點的概率。一般信息熵越大說明圖像質量越好，表達式為

(10)

熵增強能夠評判圖像中像素的最大灰度值與最小灰度值間的差異即圖像的對比度，熵增強的值越大圖像的對比度越大，即增強算法的增強效果越顯著，其表達式為

(11)

為驗證算法的可行性。表1展示了10張圖像以不同取值范圍Image H作為增強權重增強Image V得到增強結果的平均值。隨著H通道取值角度的增加，圖像的AG值先減小后增加。當H通道角度為1°～180°時，圖像質量提高不明顯，對應圖像的En也不高，當H通道選取241°～360°時增強的效果最明顯，由此可以表明，增強Image H中241°～360°區域的權重值更能提升圖像的整體質量。

表1 H通道不同取值范圍增強圖像的AG、EME和EN

從表2中可以看出，隨著S通道角度的增加，圖像的AG逐漸增加，但當取值范圍為0～40%或80%～100%時，圖像質量提高不明顯，對應圖像的EN也不高，由此可以看出用不同波長作為亮度增強的權重圖對圖像的影響也不同。為了提升圖像的整體質量，需要提升Image S中40%～80%區域的權重。

表2 S通道不同取值范圍增強圖像的AG、EME和EN

綜上所述，算法在亮度提升階段，通過提升Image H中241°～360°區域(人類視覺系統不敏感的波長區域)的權重值以及Image S中40%～80%區域(人類視覺系統不敏感的飽和度區域)的權重值并對Image V進行增強處理，可以有效地提升圖像的亮度，同時，有效地增強人眼對圖像的敏感度。

為驗證該算法的優越性，將不同場景下的低照度圖像進行了對比實驗，表3中第一行數據為原始圖像的客觀評價值，其它行分別為通過不同增強算法增強后，圖像的各項客觀評價值。通過對比可以發現，幾種增強算法均可以增強圖像的AG、EN和EME。本算法增強的低照度圖像的指標分別由原來的2.87、36.25和6.32增加到了5.58、70.50和8.20，并且增強效果優于幾種傳統增強方法，由此可知該算法具有更好的增強效果。

表3 不同算法的增強效果對比

4 結束語

本文算法適用于增強含有豐富細節的低照度圖像，改善了傳統亮度增強算法增強結果容易出現顏色失真和細節增強不明顯的問題。該算法利用被學者忽視的圖像的H、S通道信息Image H和Image S，結合人眼視覺對不同頻段可見光靈敏度不同的特性，將Image H和Image S作為增強權重對圖像的V通道信息Image V進行增強。最后，算法利用引導濾波算法增強圖像的細節信息。最終達到提升圖像整體質量的目的。由于該算法細節增強的增強系數是根據經驗人為設定的。因此下一階段將對算法的自適應調參進行優化，進一步提升算法的普適性。