基于直方圖均衡化與MSRCR 的沙塵降質圖像增強算法

王春智，牛宏俠

（1.蘭州交通大學光電技術與智能控制教育部重點實驗室，蘭州 730070；2.甘肅省高原交通信息工程及控制重點實驗室，蘭州 730070；3.蘭州交通大學自動化與電氣工程學院，蘭州 730070）

0 概述

沙塵天氣是風將干燥塵土沙粒卷在大氣中進行流動的一種災害性天氣現象，對人們的出行造成了極大的不便。而且，沙塵天氣在戶外拍攝圖像，圖片會呈現整體偏黃，圖像細節不突出，前景和背景分離不明顯，導致圖像目標信息隱藏，獲取到的有用信息少，對于視頻監控及對圖像的分析處理會產生諸多影響。因此，研究沙塵降質圖像的顏色校正及對比度提升具有很強的現實意義。

沙塵天氣中沙塵是由風、沙子和小塵埃粒子流組成的多流體，沙塵顆粒以離散分布的形式呈現［1］。沙塵天氣圖像與常規的低質圖像的主要區別在于：沙塵天氣圖像會產生嚴重的顏色偏移問題，聚集的沙塵顆粒形成流體將黃色光反射，導致圖像整體色調偏黃；相比于普通低質圖像，沙塵圖像噪聲嚴重，圖像對比度更低。自然環境由于受到沙塵顆粒的影響，沙塵顆粒與反射光產生的散射造成圖像整體對比度和亮度偏低。基于傳統的低曝光圖像增強方法，如直方圖均衡化［2］、小波變換［3］、交替方向乘子圖像增強算法［4］等，可以對曝光度低的圖像進行亮度增強，增強圖像細節信息，但是對于圖像的顏色偏移問題不能得到很好的解決，而且在增強處理后會放大圖像本身的噪聲，對于沙塵顆粒多的低質圖像，也不能達到清晰恢復圖片的效果。

研究人員通過圖像增強的方式對沙塵天氣圖像恢復展開研究。文獻［5］介紹一種多權重圖像增強的方法，將顏色校正后的圖像利用伽馬校正產生兩張亮度不同的圖像，然后分別計算2 張圖像的3 個權重圖，與2 張圖片權重映射融合后得到增強圖像，該方法對于清晰度及圖像細節恢復效果不錯，但是整體對比度還有待提高。文獻［6］提出一種基于顏色校正和對比度增強的算法。首先利用高斯模型對各通道進行顏色校正，然后根據改進的基于奇異值分解的增強算法提升圖像對比度，該算法降噪效果不明顯，在處理遠景圖像上也有待提高。

基于圖像復原的方法對于圖像恢復也有很好的效果。文獻［7］在改進高斯模型進行顏色校正的基礎上，基于大氣散射模型的對比度增強算法對圖像進行增強，該方法對于圖像細節及對比度有進一步提升，但是對于降噪及色彩校正方面提升不太明顯。文獻［8］在大氣散射模型的基礎上介紹了基于暗通道先驗理論的圖像去霧算法。由于沙塵天氣成像模型與大氣散射模型具有一定的相似性，有研究人員將暗通道先驗知識應用于沙塵圖像清晰化。文獻［9］將沙塵圖像轉換到LAB 顏色空間，然后分別對其分量進行暗通道原理及Retinex 增強圖像，合并通道后再轉回RGB 空間得到清晰化圖像，對圖像清晰度恢復有較好的效果，但對于圖像前景偏藍及圖像細節恢復仍有待改進。

目前研究人員通過基于深度學習的方法來解決霧霾天氣圖像的恢復。文獻［10］利用卷積神經網絡對透射率圖進行估計，進而提取霧霾圖像的特征，再結合傳統算法實現圖像去霧。文獻［11］提出一種Cycle-Dehaze 網絡模型，通過將低分辨率圖像放大，使用不成對的訓練方式，從而可以端到端直接生成無霧圖像。文獻［12］提出一種端到端門控上下文聚合網絡結構GCANet，采用平滑擴張技術，并利用定義的門控子網融合不同霧霾特征，可以很好地實現端到端去霧。但是，將這些深度學習方法直接用于沙塵天氣圖像恢復，并不能很好地解決色彩偏移問題，而且處理后圖像的對比度提升效果也不理想。

為解決上述算法中存在的顏色校正效果欠佳及對比度偏低等問題，本文提出一種基于直方圖均衡化和MSRCR 的沙塵降質圖像增強算法。該算法利用全局直方圖均衡化和限制對比度自適應直方圖均衡（Contrast Limited Adaptive Histogram Equalization，CLAHE）方法進行顏色校正，采用雙邊濾波方法進行降噪，并通過MSRCR 算法、伽馬校正、基于圖像分析的偏色檢測及顏色校正方法進行圖像增強處理，來保持色彩均衡。

1 本文算法

本文提出的算法基于兩個部分進行處理，分別是進行顏色校正處理和圖像增強處理。在顏色校正方面，主要利用限制對比度自適應直方圖均衡化方法進行顏色校正，對圖像的RGB 通道進行拆分，再進行直方圖均衡化預處理，然后利用CLAHE 處理后得到偏色校正后的圖像，能有效解決圖像前景偏藍的問題。圖像增強部分包括3 個方面：1）通過雙邊濾波進行降噪；2）利用MSRCR 進行顏色細節及暗區域的細節增強；3）通過伽馬校正提高整體對比度，同時對于顏色過增強問題利用基于圖像分析的偏色檢測及顏色校正方法進行校正。本文整體算法流程如圖1 所示。

圖1 本文算法流程Fig.1 The algorithm procedure of this paper

1.1 圖像顏色校正

1.1.1 直方圖均衡化預處理

直方圖均衡化能將灰度范圍分布不均勻的原始圖像通過變換函數映射為灰度分布均勻的圖像。該變換函數是指圖像各灰度級概率的累積分布函數，變換后圖像灰度動態范圍增大，圖像對比度也相應提高。經直方圖均衡化處理后，灰度累積分布函數sk為：

其中：pr(ri),i=0,1,…,L-1 表示與圖像灰度級相關聯的直方圖；ni表示灰度值為ri的像素個數；n表示給定圖像的像素總數。通過式（1）可將灰度值為rk的像素經變換函數T修正為灰度值為sk的對應像素。

由于沙塵天氣圖像具有集中性、順序性、偏離性的特點［7］，利用直方圖均衡化能夠很好地將沙塵天氣圖像的灰度直方圖分布在整個圖像灰度的取值范圍內［13］，而且其整體灰度值分布也近似均勻分布，從而可以得到具有較高對比度及較大灰度動態范圍的校正圖像，對于沙塵天氣降質嚴重的圖像能夠提升一定的對比度［14］。直方圖均衡化后的對比圖像及直方圖分別如圖2 和圖3 所示。

圖2 原圖及直方圖均衡化后圖像的對比Fig.2 Comparison of original image and histogram equalization image

圖3 原圖及直方圖均衡化后的對比結果Fig.3 Comparison results of original image and histogram equalization

從圖2（b）可以看出，直方圖均衡化處理沙塵圖像可以提升對比度，去除一定的沙塵影響，但是圖像整體偏暗，如圖3（a）、圖3（b）所示，從處理前后直方圖對比可以看出，經直方圖均衡化處理后圖像前景偏藍的問題也很明顯。

1.1.2 CLAHE 校正顏色

根據上述全局直方圖均衡化處理的結果，圖像的清晰度及對比度仍有待提高，在本文算法中采用CLAHE 進一步校正。CLAHE 是根據已設定的亮度最大值對原圖的直方圖進行截取像素，再將其重新分配到每個灰度級，不僅能一定程度地限制圖像噪聲增強，而且圖像分割的塊數增多，對比度限幅處理圖像效果就越好，從而可以有效提升圖像的亮度及圖像細節，達到顏色校正的目的。實際處理結果如圖4 和圖5 所示。

圖4 圖2（a）經直方圖均衡化和CLAHE 處理后的結果Fig.4 Fig.2（a）results after histogram equalization and CLAHE processing

圖5 偏色校正前后對比圖像Fig.5 Color deviation correction contrast image

從圖4 可以看出，在預處理的基礎上經CLAHE 算法處理后，圖像灰度直方圖分布更為均衡，通道偏離性得到很好改善。從圖5（c）可以看出，當前算法處理后沙塵天氣圖像的偏色問題得到很好解決，圖5 中框選部分展示出在直方圖均衡化預處理的基礎上，經CLAHE算法處理后對于圖像的對比度和清晰度提升具有更好的效果。但是，校正處理后仍具有一定的噪聲，而且對于圖像的色彩豐富度也需進一步提升。

1.2 圖像增強

1.2.1 雙邊濾波

雙邊濾波是同時考慮空間域信息和灰度相似性的一種非線性濾波方法，其優點是對于邊緣保存有很好的效果［15］，且在高斯濾波的基礎上，多了一個基于空間域分布的高斯濾波函數，進而有效地解決了距離較遠的像素影響邊緣像素的問題，達到保護邊緣去除噪聲的目的，其基本模型如下：

其中：f(i,j)為原始圖像在(i,j)點處的噪聲；g(i,j)是經濾波處理后的降噪圖像；ωs(i,j,k,l)和ωg(i,j,k,l)是在坐標(k,l)處的空間權重和灰度相似度權重；σs是空間標準差；σg是灰度標準差；集合區域Ωr,i,j則是以(i,j)為中心的邊長為(2r+1)的正方形區域內像素點的集合。

文獻［16］在CLAHE 偏色校正基礎上直接使用MSRCR 算法進行豐富圖像色彩處理。文獻［17］在MSRCR 算法基礎上加以改進，引入局部權重校正因子函數，再與CLAHE 算法處理后的圖像進行加權融合，具有提升對比度的效果，但對于有本身噪聲干擾的圖像及直方圖均衡化后殘留的噪聲，會對后續圖像的清晰度恢復造成一定的干擾。本文算法引入雙邊濾波進行降噪處理，以避免影響后續圖像的清晰度及色彩豐富度的恢復。

1.2.2 MSRCR 算法

MSRCR算法是基于Retinex理論演變而來，Retinex理論是根據反射性質的變化進而調整原圖像中像素灰度值，其主要包含2 個方面的內容：1）物體的顏色是由物體對不同波長光線的反射能力決定的；2）物體的色彩不受光照非均性的影響，具有一致性。基于此理論，研究人員提出了基于單尺度Retinex（SSR）算法和多尺度Retinex（MSR）算法用于圖像增強。而MSRCR 基于上述算法再次進行改進，MSRCR 算法能較好地解決MSR 算法存在的圖像動態范圍小及色彩豐富度提升幅度小的問題，并且對于圖像細節也有相當程度的恢復［18-19］。

其中：RMSRCRi(x,y)表示使用該濾波后第i個通道恢復后的圖像；Ci(x,y)是i通道的色彩恢復因子，用來彌補色彩的局部失真；RMSRi(x,y)表示對于i顏色通道經多尺度濾波后的恢復圖像。Ci(x,y)和RMSRi(x,y)計算分別為：

其中：α、β分別表示非線性控制因子和增益常數；I(x,y)表示原圖像；Gn(x,y)是指單尺度的高斯濾波；λn表示權值；m為尺度數目。在本文算法中，取參數α為125，β為45，尺度m為3。

1.2.3 后處理

經MSRCR 算法處理后，能夠得到亮度較高、色彩較為豐富的清晰圖像，但是從實驗結果來看，仍存在圖像對比度低及色彩校正過度的情況，因此需要對MSRCR 算法處理后的圖像進行進一步處理。首先使用伽馬校正調整圖像對比度，使圖像對比度整體提升，之后使用基于圖像分析的偏色檢測及顏色校正方法解決色彩過度校正的問題［20-21］。本文首先基于等效圓進行偏色檢測，然后采用一種結合灰度世界［22］和完美反射的顏色校正方法對偏色圖像進行校正。由于結合了灰度世界法和完美反射法的特性，相比于文獻［23］在沙塵圖像偏色校正時使用的動態閾值法，本文使用的算法顏色校正效果更好，而且該算法對于不同光源色溫下圖像的顏色校正都有很好的適用性。如圖6（c）所示，后處理后的圖像在圖像偏色方面得到明顯改善，并且展現了更多的圖像細節信息。

圖6 后處理結果圖像Fig.6 Post processing result images

2 實驗結果與分析

為驗證本文算法的有效性，選取大量沙塵降質圖像進行實驗，圖像選自百度圖庫、相關論文及部分自主拍攝的圖像。在此基礎上，與現有較好的霧霾天氣圖像清晰化算法（如GCANet 算法［12］、ZHI 算法［6］、PAN 算法［7］、MSRCR 算法）進行結果對比分析。實驗在Win10 系統下進行，使用Python 編程語言，硬件環境為Intel?CoreTMi7-10750HCPU@2.60GHz，16.0GB RAM。

2.1 主觀分析

本文算法和其他算法對比的實驗結果如圖7 所示，其中圖7（a）中的3幅圖像分別為圖像a1、圖像a2和圖像a3。從圖7 可以看出：經GCANet 算法處理后，圖像能去掉部分沙塵影響，清晰度有所提升，但是色偏嚴重；經ZHI 算法處理后，沙塵圖像前景偏藍嚴重，影響了圖像的清晰度；經PAN 算法處理后圖像偏色問題有所改善，但是整體清晰度較低，圖像偏暗；經MSRCR 算法處理后，圖像清晰度和顏色豐富度提升明顯，但是圖像存在校正過度及整體對比度較低的問題。相比之下，經本文算法處理后，整體圖像清晰度及對比度都有很大提升，并且相當程度解決了圖像偏色問題。從圖7 框選部分可以看出，本文算法對于圖像細節信息也有更多保留。

圖7 不同算法處理結果對比Fig.7 Comparison of processing results of different algorithms

本文選取了3 幅不同偏色程度的沙塵圖像進行主觀和客觀分析，實驗圖像數據如表1 所示。在CLAHE算法處理中，選擇的顏色對比度閾值為2.0，像素均衡化的網格單元選取為4×4；在雙邊濾波中，取空間標準差σs、灰度標準差σg均為75，集合區域Ω取5。

表1 實驗圖像數據Table 1 Experimental images data

2.2 客觀分析

圖像的主觀分析會由于不同人眼判別而有所差異，因此需要客觀的量化標準來進行分析。本文采用圖像標準差、信息熵和平均梯度來衡量各個算法的處理效果。圖像標準差反映了圖像像素值與均值的離散程度，標準差越大說明圖像灰度值分布越廣，圖像質量越好；在圖像中，信息熵反映了灰度分布特征所包含的信息量，信息熵越大，圖像的細節信息更豐富；平均梯度用于衡量灰度變化程度，也反映了圖像細節反差變化的速率，其值越大，圖像對比度越高，圖像層次也越多，圖像更清晰。

常用的客觀評價指標還有PSNR、SSIM 等，評價指標PSNR 一般是用來衡量圖像質量的恢復程度，SSIM 是對比分析恢復圖像與原圖的相似程度。而本文主要是衡量沙塵圖像恢復后的信息量和對比度的提升效果，故選取圖像標準差、信息熵和平均梯度作為評價指標更為貼切。

表2、表3與表4給出了對圖像a1、圖像a2、圖像a3經過各算法處理后的客觀評價結果（其中粗體數字為最優值）。從表中數據可以得知，經本文算法對不同偏色程度的圖像處理后，標準差、信息熵及平均梯度都比其他算法有所提高，即處理后圖像的對比度更高，圖像更為清晰，而且圖像的細節信息及色彩豐富度恢復效果更好。

表2 各算法對圖像a1 處理的客觀評價結果Table 2 Objective evaluation results of each algorithms on image a1 processing

表3 各算法對圖像a2 處理的客觀評價結果Table 3 Objective evaluation results of each algorithms on image a2 processing

表4 各算法對圖像a3處理的客觀評價結果Table 4 Objective evaluation results of each algorithms on image a3 processing

對于各算法的時間效率進行分析，運行時間如表5 所示（其中粗體數字為最優值）。由于本文算法基于MSRCR 算法，因此時間效率僅與實驗中的其他算法進行對比。

表5 各算法的運行時間分析比較Table 5 Analysis comparison of running time of each algorithms s

對比表5 中各算法平均運行時間可以得知，本文算法時間效率最高，PAN 算法的時間效率最低。本文算法相比ZHI 算法提升了46.2%，相比GCANet算法提升了79.4%，相比算法復雜度更高的PAN 算法提升了94.8%。

3 結束語

本文針對沙塵天氣圖像存在的偏色問題，提出一種基于直方圖均衡化處理的算法。通過對全局直方圖進行均衡化預處理，并利用限制對比度自適應直方圖均衡方法的進一步處理，能夠有效解決圖像色彩偏移問題，且在一定程度上恢復圖像色彩。針對經MSRCR算法處理后圖像對比度偏低的問題，采用伽馬校正提升對比度，并利用基于圖像分析的偏色檢測及顏色校正方法改善處理后存在的色偏問題。實驗結果表明，本文算法對于沙塵降質圖像對比度提升、色偏校正具有較好的效果，且在一定程度上能夠抑制圖像噪聲，突出圖像細節，提升圖像色彩豐富度，算法效率明顯提升。但是本文算法在對含有大范圍天空區域的沙塵圖像處理時容易出現光暈現象，圖像降質嚴重，在處理后呈現前景偏藍的情況，因此對于遠景部分的圖像細節增強是下一步的研究方向。