一種基于灰度映射與融合技術的微光圖像增強模型

何 磊， 龍 偉， 李炎炎， 劉壽鑫

(四川大學機械工程學院, 成都 610065)

1 引 言

隨著計算機視覺技術的迅速發展，數字圖像處理系統已經廣泛應用于許多領域[1-6].然而，在圖像采集的過程中，總會存在一些不可控制的因素導致圖像質量的缺陷，尤其是在室內、夜間以及陰天等[7，8]光照條件較差的情況下.在這類環境拍攝的圖片具有低亮度、低對比度以及灰度范圍狹窄等特征.這使得圖像內的細節難以區分，嚴重降低了它們的主觀視覺效果，并極大地限制了各類視覺系統的功能[9-11].因此，研究低照度圖像的增強算法以提高成像設備的性能具有重要意義和實用價值.

灰度變換是一種常用的低照度圖像增強方法，其主要原理是運用數學函數對像素進行逐點增強，因此又被稱為基于映射的方法[12].其中Gamma函數應用最為廣泛.通過調節參數γ值的大小，可以選擇性地對圖像的不同灰度區域進行拉伸或壓縮，以獲得更好的增強效果.Huang等提出了一種自適應Gamma校正算法，該算法根據累積概率分布直方圖自適應獲取Gamma校正參數[13].Cheng等構造了自適應映射函數，并根據光照圖的分布特征進行調整，從而提高了低亮度區域的灰度值，同時抑制了局部高亮度區域的灰度值[14].灰度映射類方法能夠突出感興趣的灰色區域，具有實現簡單、速度快等優點.然而，這些方法沒有考慮圖像的整體灰度分布導致其增強能力有限、適應性差[15].

本文提出了一種全新的低照度圖像增強算法.首先，我們對圖像像素含極少的灰度區域進行線性映射增強來提升圖像的整體亮度.然后，我們利用圖像的灰度分布特征自適應調整圖像暗區像素的灰度值分布，以避免因過度拉伸導致的圖像色彩失真.最后，我們將直方圖方法分別用于動態映射函數增強前后來產生兩條增強路徑，并把通過兩種路徑增強后的圖片進行融合來進一步提升圖像的整體色彩表現.實驗結果顯示，本文算法在視覺效果、定量評價以及運行速度方面均優于對比算法.

本文貢獻有以下幾點：(1) 提出了一種針對極少像素灰度區域壓縮的線性壓縮處理模型;(2) 設計了一種能夠根據圖像的灰度分布特征來進行調整的動態灰度映射函數;(3) 利用圖像的平均灰度值自適應地提升圖像的亮度和對比度;(4) 結合經典直方圖均衡化方法與融合機制進一步提升了圖像的色彩表現.

其余部分組織如下：第2節對經典灰度映射函數進行了簡要的介紹；第3節詳細描述了本文所提出的方法；第4節給出了實驗結果，并與近5年最新的方法進行了比較；第5節給出了本文的結論.

2 典型的灰度映射方法

灰度映射類算法具有實現簡單、運行速度快的優點.經典灰度映射方法包括對數函數、Gamma函數以及其他各種改進函數.對數變換函數意味著輸出圖像中每個像素的值與輸入圖像中相應像素的值之間存在對數關系.其歸一化后的表達式如下.

(1)

其中，c為調節參數.與對數變換函數類似且得到廣泛應用的還有Gamma變換函數，其表達式如下.

gout(x,y)=gin(x,y)γ

(2)

其中，γ表示為校正系數.圖1顯示了以上兩種經典灰度映射方法取不同參數時的曲線形狀.

圖1 經典映射函數(a) 伽馬映射函數； (b) 對數映射函數Fig.1 Classical gray transformation methods(a) Gamma transformation; (b) logarithmic transformation

3 本文算法

經典灰度映射方法未能考慮到圖像的整體灰度分布特征導致其增強能力有限、適應性差.針對這一問題，我們提出了一種能夠根據圖像灰度分布特征進行自適應調整的動態映射增強算法，算法流程如圖2所示.

由于RGB色彩空間中的三個顏色分量(R、G和B)具有強烈的相關性，在增強過程中容易產生嚴重的色彩偏差.我們首先將圖像由RGB色彩空間轉換到了HSV色彩空間，并提取出與圖像色彩信息無關的V(亮度)分量單獨進行增強，以保證不改變原圖像的色彩信息.此外，為了確保增強后的圖像擁有較大的灰度動態范圍，我們在增強前使用經典直方圖均衡化方法對原圖像的V分量進行了對比度拉伸.

圖2 本文方法流程圖Fig.2 Algorithm flow chart of this paper

3.1 模型I：亮度增強模型

為了使圖像獲得最好的增強效果，我們把圖像的亮度增強劃分為了針對微量像素灰度區域的線性壓縮增強以及基于灰度分布特征的動態映射增強兩個部分.線性壓縮增強的主要目的是為了在微量提升圖像亮度的同時，將圖像中像素數量極少的灰度級區域解放出來，為之后的動態映射函數提供更多可使用的灰度空間.

3.1.1 極少像素灰度區域的線性壓縮處理模型 為了提升后續動態映射函數的增強效果，我們對圖像的極少像素灰度區域進行了線性壓縮處理.具體細節如圖3所示.首先，我們對待增強圖片的灰度值(如圖3a)按照其包含的像素數量由少到多進行排序得到了圖3b.將圖3b中像素數量極少且累計數量占比不超過總像素數量t%(本文取5%)的前n個灰度級被定義為極少像素灰度區域.為了在圖像原灰度圖中確定此區域，我們將圖3b中排列在第n個位置的像素數量定義為閾值T，通過T可將原圖的V分量劃分為極少像素壓縮區域和不變區域，如式(3)所示.

V=Vc∪Vu

(3)

其中，Vc、Vu分別為極少像素壓縮區域和不變區域.當圖像中灰度值為i的像素數量g(i)≤T時，則i∈Vc；否則i∈Vu.然后，我們根據所需要的壓縮量m(0≤m

(4)

通過式(4)可以得到圖3c中的壓縮映射函數P(i)，如下式.

(5)

將原圖像的V分量代入式(5)可以得到壓縮處理后的Vm，如下式.

Vm=P(V)

(6)

圖3d顯示處理前后的灰度直方圖變化.經過對比可以發現，該方法能夠在維持圖像灰度分布特征基本不變的前提下有效地提升了圖像的整體亮度，從而達到了提升后續動態映射函數增強效果的目的.

圖3 灰度壓縮過程(a) 原始圖像灰度直方圖；(b) 按像素數量排序后的灰度圖；(c) 壓縮映射函數；(d) 壓縮映射前后的灰度直方圖對比Fig.3 Compression process(a) Gray image of the original image; (b) grayscale image sorted in ascending order according to pixel amount; (c) compression mapping function; (d) comparison of compression effects

3.1.2 動態灰度映射函數 為了避免圖像像素之間的灰度反差過大導致圖像色彩失真，我們使用了動態灰度映射函數對圖像進行調整.首先,我們對圖像暗區內各個灰度值的像素數量比例進行計算得到圖4a上；然后，將灰度值按照其像素數量比例由大到小進行排列，并將排列好的像素數量比例數列按照倒序重新賦予給相應的灰度值(如圖4a中)；最后，將拉伸區的各個灰度值進行排序得到了歸一化后的指數增量Δγ(i)(如圖4a下).我們通過Δγ(i)可以得到動態指數γdyn的表達式.

γdyn(i)=

(7)

其中,i為像素灰度值；γ1、γ2分別為γdyn的上、下限閥值(1>γ1>γ2≥0)；b為動參數截止點，其值可通過下式進行計算：

(8)

經過反復實驗對比，我們把γdyn的動態區間確定在了0.76～0.45之間，即γ1=0.76，γ2=0.45.接下來把式(7)帶入到式(2)中，C取255便得到了動態映射函數.

fdyn(i)=255×(i/255)γdyn

(9)

圖4b顯示了增強截止點為m時，圖3a的動態函數映射曲線.可以清楚地看到，曲線在像素占比較大的灰度區域變化較為平緩，有效地避免了像素集中的灰度區域因灰度反差過大而導致的色彩失真現象.最后，我們通過調節m使增強后圖像的平均灰度值盡可能地接近灰度中值128來確保圖像的整體亮度.

圖4 動態映射函數(a) 動態增量Δγ(i)的生成； (b) 圖3a的動態增強曲線Fig.4 Dynamic enhancement function(a) Generation of dynamic increment Δγ(i); (b) dynamic enhancement function ofFig.3a

3.2 算法模塊II：權函數融合模型

為了進一步提升圖像的色彩表現，我們使用了圖像融合技術來使增強后的圖像占有更多的灰度級.如圖2所示，我們通過改變直方圖均衡化方法的使用位置產生了一條新的增強路徑.通過融合兩條路徑增強后的圖像，我們得到了色彩表現更加自然的融合圖像，具體公式如下.

Vmix=ω×V1+(1-ω)×V2

(10)

其中,V1、V2分別為經過路徑1、路徑2增強后的亮度分量；ω為權重系數(本文取0.34)；Vmix為融合后的亮度分量.圖5顯示了同一幅圖像分別經過路徑1、路徑2進行處理以及融合后的效果對比圖與灰度直方圖.經過對比可以發現，融合后的圖像不僅亮度方面表現良好，色彩表現也有著十分自然.

圖5 權函數融合前后的效果對比(a) 原始圖像及其灰度直方圖； (b) 通過路徑1生成的圖像及其灰度直方圖； (c) 通過路徑2生成的圖像及其直方圖； (d) 通過路徑1和路徑2融合后生成的圖像及其直方圖Fig.5 Comparison of effects before and after fusion(a) Original image and its grayscale image; (b) effect after being processed by path 1; (c) effect after being processed by path 2; (d) effect after the fusion of path 1 and 2 using weight function

我們使用了MATLAB R2020a和Windows10操作系統，在Intel (R) Xeon (R) E-2176M CPU @ 2.70 GHz和32 G RAM的PC上進行實驗.所選用的比較算法包括LECARM方法[16]、FFM方法[17]、RRM方法[18]、JIEP方法[19]以及JED方法[20].在測試中，我們在公共數據集中選取了33幅低照度圖像作為對比評價的數據集(其中23幅測試圖像源來自文獻[21]，剩余部分為實地拍攝的低照度圖像).所有的圖片都歸一化為8位，即0 ～ 255.測試圖像的大小為(256×384 )～(1200×1200).此外，由于篇幅有限，我們僅在測試數據集中挑選了10幅圖像作為本文實驗視覺效果的對比展示，如圖6所示.

圖6 視覺效果對比中使用的原始微光圖像：船，城市，零食，民房，庭院，教堂，走廊，起重機，學院，轎車Fig.6 Test images for visual contrast display: Boat, City, Snacks, Bungalow, Courtyard, Church, Corridor, Crane, College and Car

4.1 視覺效果比較

圖7～圖16為6種方法增強結果的視覺對比圖.圖17和圖18提供了部分圖像的細節放大對比圖.此外，圖18c和圖18d還在相應圖像的右側額外給出了目標對比區域的邊緣輪廓圖以便進行更直觀的邊緣細節對比.由于高斯拉普拉斯算子(LOG)具有邊界定位精度高、抗干擾能力強以及連續性好的優點，我們使用了該算子來完成圖像區域輪廓圖的提取工作.對比算法FFM與LECARM是兩種基于單圖像融合理論的算法.FFM在色彩表現方面十分突出且亮度一致性較好(如圖15a與圖18c)，但由于其在融合過程中加入了原圖片的光照分量導致整體亮度偏低.與FFM方法相比，LECARM算法在保持色彩的同時更加注重整體亮度的提升，但由于其曝光率機制的引入，很容易產生全局光照不均的現象(見圖15d).JIEP方法是基于Retinex理論的改進算法，其增強效果與FFM方法十分相似.JIEP方法雖然在亮度一致性方面不如FFM方法(見圖15與圖18c)，但它具有一定的邊緣細節保持能力，能夠在增強的過程中很好地保護圖像的輪廓細節(圖18d).盡管JIEP方法在色彩與輪廓細節方面表現良好，但其在亮度方面提升較小導致圖像整體偏暗，甚至部分暗區在增強后的亮度依然很低(見圖18c與圖15c).JED與

圖7 圖像“船”的實驗結果(a) FFM方法； (b) JED方法；(c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.7 Experimental results in Boat(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

圖8 圖像“民房”的實驗結果(a) FFM方法； (b) JED方法；(c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.8 Experimental results in Bungalow(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

RRM是兩種基于降噪模型的Retinex改進算法.這兩種算法在大部分情況下色彩表現較好，且亮度相對較高.但由于其在降噪過程中對圖像的反射分量進行了處理，因此會導致增強后的圖像對一部分顏色的表現過于強烈.當原圖像中有大量此類顏色出現且色彩對比較為強烈時就會產生嚴重的色彩失真現象(見圖18a與圖18b的紅色部分).相對于這些算法，本文算法不僅亮度提升效果明顯且整體亮度分布較為均勻(見圖18c與圖18d).在增強色彩變化強烈的低照度圖片(如圖9和圖11)時，不但能夠大幅度地提升圖像的亮度而且還能夠保持較好的圖像色彩表現(見圖18a與圖18b).此外，本算法對各種類型的低照度圖片(圖14為夜晚,圖9為室內,圖10為白天,圖15為全局低照度圖像,圖16為局部低照度圖像)都具有較好的處理效果，應用場合較為廣泛.因此，相對于以上5種對比方法，本方法無論是在視覺效果上還是在應用范圍上都具有一定的優越性.

圖9 圖像“零食”的實驗結果(a) FFM方法； (b) JED方法； (c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.9 Experimental results in Snacks(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

圖10 圖像“城市”的實驗結果(a) FFM方法； (b) JED方法；(c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.10 Experimental results in City(a) FFM； (b) JED； (c) JIEP； (d) LECARM； (e) RRM； (f) the proposed method

圖11 圖像“起重機”的實驗結果(a) FFM方法； (b) JED方法； (c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.11 Experimental results in Crane(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

圖12 圖像“教堂”的實驗結果(a) FFM方法； (b) JED方法； (c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.12 Experimental results in Church(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

圖13 圖像“走廊”的實驗結果(a) FFM方法； (b) JED方法； (c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.13 Experimental results in Corridor(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

圖14 圖像“學院”的實驗結果(a) FFM方法； (b) JED方法； (c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.14 Experimental results in College(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

圖15 圖像“轎車”的實驗結果(a) FFM方法； (b) JED方法； (c) JIEP方法； (d) LECARM方法； (e) RRM方法； (f) 本文方法Fig.15 Experimental results in Car(a) FFM; (b) JED; (c) JIEP; (d) LECARM; (e) RRM; (f) the proposed method

圖16 圖像“庭院”的實驗結果

圖17 部分實驗圖像放大區域示意圖Fig.17 Schematic diagram of the enlarged area of some experimental images

4.2 客觀評價

為了進行更定量的測量，我們選擇了4種圖像質量評價指標來對增強圖像的質量進行評價.這4個指標分別為：Contrast (C)、Average Gradient (AG)、Maximum Contrast with Minimum Artefact (MCMA)以及Perception based Image Quality Evaluator (PIQE).

(1) Contrast：C指標描述圖像灰度對比度的大小.其值越大，圖像越清晰[14].

C=

(11)

其中，I(u,v) 代表圖像坐標(u,v)處的灰度值.

(2) Average Gradient：AG指標反映了圖像的細節表現能力.其值越大代表圖像的細節紋理表現越好[22].

(12)

(3) Maximum Contrast with Minimum Artefact：MCMA指標主要用于衡量增強算法在提升圖像感官質量的同時帶來的副作用大小. 其值越小代表增強算法在提升圖像感官質量的同時帶來的偽影、噪聲、模糊等增強副作用越小[23].

(13)

其中，PDRO、PHSD和PPU是從圖像中提取的三個子度量，分別代表動態范圍占用(DRO)、直方圖形狀變形(HSD)和像素均勻性(PU).

(4) Perception based Image Quality Evaluator：PIQE指標是從人類感知行為的角度設計的圖像質量評價模型. 其數值越小代表圖像的失真度越低，圖像的感知質量越好[24].

(14)

其中，NSA是給定圖像空間中活動塊的數量；Nt是防止分母為0的正常數；Dsk是活動塊的失真量.

表1顯示了各個算法在不同指標下客觀評價的實驗結果.表中數據代表的是33幅測試圖像的實驗數據的均值.其中最好的結果用粗體突出顯示.實驗數據表明本算法在C、AG、MCMA以及PIQE的表現上均優于其他對比算法.這說明相對于對比算法，經過本文算法增強后的圖像不僅清晰度更高、細節表現力更好，而且由算法增強帶來的圖像失真、偽影、噪聲等副作用最小.此外，根據PIQE的數據可知，經過本文算法增強后的圖像具有最佳的感官質量.綜上所述，本文算法在數據上明顯優于其他對比算法.

表1 指標C、AG、MCMA以及PIQE的客觀評價結果

5 結 論

在本文中，我們提出了一種基于灰度映射與融合技術的微光圖像增強模型.該方法能夠在提升圖像亮度的同時使圖像保持良好的色彩表現.實驗數據表明，本算法在視覺質量、定量測量均優于其他參與對比的最新方法.