基于色調映射的快速低照度圖像增強

陳迎春

武漢大學 數學與統計學院，武漢430072

1 引言

計算機視覺和多媒體算法需要高可見性的輸入圖像[1]。然而，在弱光條件下拍攝的圖像通常能見度較低。一般來說，圖像增強技術可以使輸入圖像看起來更好，更適合于特定的算法[2-3]。現有的圖像增強技術可分為兩大類：全局增強[3-12]和局部增強[1-2，13-15]。全局增強對所有圖像像素執行相同的處理，而不考慮它們的空間分布。然而，全局增強可能會使明亮的區域飽和，導致細節損失。為了避免這個問題，一些圖像增強方法采用非線性單調函數（如冪律[16]、對數[17]和函數[18]）進行增強。直方圖均衡化（Histogram Equalization，HE）[19]是另一種避免飽和的方法，它可以有效地提高對比度，成為一種應用廣泛的技術。HE 的許多擴展考慮了一些限制，如亮度保持[3-4，20]和對比度限制[5]。然而，全局增強可能會導致局部區域的細節丟失，因為全局處理不能確保所有局部區域都得到很好的增強。

考慮到像素的空間分布，局部增強可以獲得更好的效果，成為當前技術的主流。局部直方圖均衡化[8，21]采用滑動窗口策略局部執行HE。在觀察到反向的弱光圖像接近于煙霧圖像的基礎上，借鑒去霧技術解決了低光圖像的增強問題[22-23]。然而，上述方法的基本模型在物理解釋[1]中存在不足。為了給圖像增強提供一個有物理意義的模型，Retinex 理論假設到達觀察者的光量可以分解為兩部分：亮度光照和反射光照。大多數基于視網膜的方法通過去除亮度光照部分[13]得到增強效果，而其他方法[1-2，14]保留一部分亮度光照以保持自然性。然而，這些方法可能會受到過增強和增強不足的影響。

為了避免增強過程中丟失細節，文獻[24]提出一種基于最優加權多曝光融合機制的保細節欠曝光圖像增強方法，通過求解能量函數獲得局部對比度、飽和度和曝光度的最優權值。

除了單一的圖像增強之外，目前還有很多針對低亮度視頻的增強算法，如文獻[25]提出一種基于分區曝光融合的不均勻亮度視頻增強方法。文獻[26]提出一種基于區域系統和圖像融合的視頻增強方法。

為了更快地實現增強，并獲得更好的增強效果，本文受到HDR（High-Dynamic Range，高動態范圍圖像）色調映射技術[27]的啟發，結合圖像分解和雙邊濾波，自適應地對圖像進行全局色調映射處理以及恢復色彩飽和度，提出一種新的快速低照度圖像增強算法。實驗結果表明，與現有的幾種低照度圖像增強算法相比，該算法的增強效果顯著，運行時間更短。

2 本文算法

整個算法的流程為：

（1）將圖像從RGB 顏色空間變換到YUV 顏色空間，對亮度通道進行雙邊濾波，得到基本層和細節層。

（2）對基本層圖像進行自適應全局色調映射，再疊加細節層圖像信息。

（3）恢復圖像色彩飽和度，并重新變換到RGB空間。

2.1 雙邊濾波

為了達到降噪平滑、保持邊緣的效果，文獻[28]提出了一種新的非線性濾波器，即雙邊濾波。雙邊濾波的權重不僅考慮了像素的空間距離，還考慮了像素間的相似程度，對于圖像I，雙邊濾波定義為：

其中，J 是濾波后的圖像，BF 為雙邊濾波器，f 是空間距離項相關的光滑函數，g 是亮度項相關的光滑函數，k(x)是歸一化項，設為：

與高斯濾波相比，雙邊濾波在構造過程中，增加了一個基于像素的高斯濾波函數，可以根據像素值相似性自動調節權重，這種差異化的權重處理方式確保邊緣附近像素值得到較好的保持。

在增強低照度圖像時，圖像的邊緣部分有時會出現光暈和偽影，雙邊濾波可以保持圖像邊緣[29]，有效避免圖像增強后的光暈和偽影現象。對圖像亮度數據進行濾波處理，得到圖像的基本層和細節層：

其中，Lbase為圖像的基本層，Ldetail為圖像的細節層。

2.2 自適應色調映射

受文獻[27]啟發，對圖像基本層進行全局映射。根據韋伯-費希納定律[30]，人類視覺系統感知亮度近似為對數函數。使用文獻[30]中給出的映射函數：

其中，Lp為全局自適應輸出，Lbase為圖像基本層，Lbasemax為圖像基本層數據的最大值，Lˉbase為文獻[31]中的對數平均亮度，設為：

其中，N 是圖像中像素的總個數，δ 是個很小的值，以避免圖像中有像素為零的點而產生奇點。

利用式（6），充分壓縮了整個場景的亮度值，對低照度圖像有著明顯的調節作用。圖像基本層信息和其最大亮度值除以對數平均亮度，這使得式（5）具有一定的適應性。

采用式（5）和（6），對基本層進行映射壓縮后，利用細節層中的信息進行細節補償：

其中，α 為細節調整參數，α ＞1時為細節增強，本文取α=1.2，Lg為映射后的亮度分量圖像。

另外，若直接對輸入圖像做全局映射而不是先對亮度圖像進行雙邊濾波處理，輸出圖像會產生光暈和偽影，丟失細節信息，如圖1所示。

圖1 有無雙邊濾波的對比結果

2.3 恢復色彩飽和度

一般來說，對亮度分量處理之后，再轉換到RGB 空間，圖像會出現飽和度一定程度丟失的現象。為了盡量減少輸入圖像和輸出圖像之間的顏色飽和度變化，根據文獻[32]對R、G、B通道應用如下修正公式：

其中，Y′為映射后的亮度分量，Y 為輸入的亮度分量。將分量R′、G′、B′連接，即得到最終的增強圖像。

3 實驗結果與分析

3.1 實驗結果

將本文算法與近三年來的主流算法進行比較，包括LIME[33]、CRM[34]、BIMEF[35]、RRM[36]。所 有 代 碼 都 在Matlab R2016a 中，保證了時間比較的公平性。所有的實驗都是在一臺運行Windows 10操作系統的機器上進行的，機器的內存為64 GB，CPU為2.4 GHz。

本文共做了三組實驗，如圖2～圖4所示。其中圖（a）為輸入圖像，圖（b）～圖（e）為其他算法，圖（f）為本文算法。

與圖2（f）相比，圖2（b）增強效果不明顯，其他算法產生了肉眼可見的光暈偽影，如男人肩膀處，圖（e）還會產生過度平滑。

與圖3（f）相比，圖3（b）增強效果不明顯，其他算法雖然圖像亮度提升得更好，但在邊緣處效果失真，對天空白云的恢復也出現失真。

與圖4（f）相比，圖4（b）增強效果不明顯，圖4（c）、（d）產生大量噪聲，圖（e）增強效果明顯，對大面積低像素圖像也具有魯棒性，但運行速度非常慢，由表1 可知。綜合來看，本文算法對大面積低像素圖像增強效果更好。

3.2 客觀評價

對于低照度圖像增強算法，不僅要根據圖像的直觀評價來進行對比，還要使用客觀評價值，使實驗結果更加精確，有說服力。

目前，對于弱光圖像的增強評價還沒有提出標準的客觀指標。在本研究中，使用Entropy（信息熵）、NIQE（Natural Image Quality Evaluator，自然圖像質量評價）[37]、LOE（Lightness Order Error，亮度階誤差）[38]、運行時間這四個評價標準。

Entropy 作為常用的圖像增強質量評價指標，用于衡量增強圖像中信息豐富程度，信息熵越大，表明圖像中包含的細節信息越多。

NIQE是基于自然圖像統計模型的圖像質量評價指標，與人眼主觀質量評價有著很好的一致性，評價過程中利用待評價圖像特征模型參數與預先建立的模型參數之間的距離來確定圖像質量。

圖2 第一組實驗的結果對比

圖3 第二組實驗的結果對比

圖4 第三組實驗的結果對比

根據NIQE模型，NIQE值越小，圖像失真度越低。

LOE 可以客觀測量增強圖像的亮度失真。LOE 定義為：

其中，RD(x)是原始圖像P 與增強后圖像P′的亮度相對階差，定義如下：

其中，m 為像素數量，⊕代表異算子，L(x)和L′(x)分別為輸入圖像與增強圖像在x 處的三個顏色通道之間的最大值，如果p ≥q，函數U(p,q)返回1，否則返回0。

根據LOE模型，LOE值越小，圖像自然性保持得越好。用40 張低照度圖像進行增強處理，最后結果取40張圖像的指標結果平均值。表1 給出了不同增強算法的評價結果。

表1 多組實驗的客觀評價對比

由表1 可以看出，本文算法信息熵和NIQE 數值與其他算法相比相差不大，處于中等水平。除了算法LIME，本文算法的LOE值遠小于其他算法，亮度失真度小。從表中時間一列可知，本文算法運行時間最短，特別的，比RRM 算法快了將近400 倍，能快速實現增強效果。所以，本文算法既能提升速度又能保證增強后的圖像自然不失真，增強效果有了很大的提升。

3.3 算法局限性

雖然本算法可以快速實現增強，但也存在一定的局限性，對于單一強光源圖像，強光源區域可能會曝光過度，處理效果不夠好。

4 結論

本文提出了一種新的低照度圖像增強方法，即結合雙邊濾波的自適應全局映射圖像增強算法。首先為了克服由于映射而產生的光暈現象，在映射操作之前，對圖像的亮度信息進行雙邊濾波處理，使得邊緣的處理效果更加明顯。其次利用映射公式，在全局范圍內改變圖像亮度，同時為了使圖像更加清晰，對細節進行增強處理，使得增強后的圖像質量更好。最后為了使圖像更具有色彩飽和度，對R、G、B 三通道分別運用修正公式，增強后的圖像顏色飽和度得到保持。經過實驗對比后發現，本文算法可以快速實現圖像增強，增強效果明顯，且對有大面積低像素的圖像處理得更好，算法的綜合結果明顯優于其他主流算法。