基于亮區域檢測的圖像去霧增強方法

葉志鵬，賈 睿，寧 雷，付繼偉，崔利軍

（1. 北京宇航系統工程研究所，北京，100076；2. 太原衛星發射中心，太原，030027）

0 引 言

美國太空探索技術公司（SpaceX）的獵鷹9號運載火箭于2016年首次實現了一級的海上回收。中國也于2019年實現了首次海上發射。與陸上發射和回收相比，海上發射與回收運載火箭具有以下顯著優勢[1,2]：a）利用海上發射平臺在赤道附近進行火箭發射能夠最大限度地利用地球自轉從而提高運載能力；b）遠離人口稠密地區，降低火箭發生故障后落入人口稠密區的風險，能夠實現任意軌道傾角的發射；c）顯著降低與民用航空器的航線沖突。可見光成像裝置是記錄海上發射過程最直接的手段之一，能夠為事后分析提供可靠證據。可見光成像系統具有抗電磁干擾能力強、頻帶寬等諸多的優點，可以全面、直觀、實時的反映被監測的對象。對于海上發射場景，清晰準確地獲取運載火箭首區圖像信息是視覺成像系統的基本要求，對于及時準確的故障定位具有重要意義。但是視覺系統的成像質量在使用過程中往往受到海上常見的海霧等氣象條件的影響，導致采集的圖像產生一定程度的退化，甚至會丟失某些重要的局部特征，導致獲取到的監控圖像價值降低。因此，圖像的去霧增強顯得十分重要。

1 去霧方法概述

海霧是由于海洋上低層大氣中的水汽凝結，造成水平能見度降低而產生的。海霧主要可分為平流霧、混合霧、輻射霧、地形霧。其中，平流霧是因空氣平流作用在海面上產生的霧，是影響可見光成像系統的主要形式。可見光成像系統因受到海霧的影響，導致場景中的目標清晰度下降，降低對目標的分辨能力。因此，研究可見光圖像的去霧及增強方法獲取高質量的圖像，對降低運載火箭對于天氣的要求、提高可見光數字成像系統工作的穩定性和可靠性具有積極意義。

可見光圖像去霧算法是當前的研究熱點。現階段圖像的去霧算法可大致分為兩類：圖像增強方法和基于物理模型的去霧方法[3]。圖像增強方法通過改變圖像的灰度動態范圍增強圖像的對比度，進而提升目標區域的顯示效果。這種方法沒有考慮霧圖的成像機制，處理后的圖像存在色彩失真、細節模糊等問題。基于物理模型的方法通過研究可見光在霧氣中的傳輸模型，給出了圖像降質的物理過程，通過建立霧圖退化模型補償因退化導致的圖像失真，從而恢復出無霧圖像的最優估計[4]。目前，常見的基于物理模型的去霧方法主要是He[5]總結歸納的暗通道先驗理論模型，通過估計霧圖像的透射率和全局大氣光強恢復無霧圖像，與圖像增強算法相比去霧效果更好[6]。宋瑞霞[7]針對暗通道方法易導致圖像天空區域色彩失真的問題，提出一種基于天空分割和色調映射的圖像去霧算法，在HSI顏色空間中利用圖像眾數和圖像連通區域提出天空識別算法，分割出天空與非天空區域并分別求透射率，最后在RGB空間中利用大氣散射模型復原圖像。董輝[8]提出了一種基于自適應可變形結構元（Adaptive Deformable Structuring Element，ADSE）中值濾波結合灰度形態學重構精細化透射率的方法。該方法通過有霧圖像的顯著圖計算ADSE，用生成的ADSE對最小顏色通道圖像進行自適應中值濾波運算，獲得的濾波圖像作為模板圖像進行灰度形態學重構運算，獲得精細化暗通道圖像, 繼而得到精細化透射率，完成圖像去霧。程丹松[9]結合圖像融合策略增強可視化區域的視覺效果，利用像素塊加權插值法計算每個像素點的暗通道值，并利用高斯模型自適應地恢復天空和其他明亮區域。Fattal[10]通過霧圖的顏色和亮度先驗信息提高圖像的顯示效果。汪云飛[11]利用超像素代替傳統的滑動窗口以提高透射率估計的準確性。

現有方法通常認為霧圖中存在的亮度較高的天空區域是導致暗通道先驗方法失效的主要原因，但忽視了場景中可能存在的其他高亮目標影響恢復效果的問題。針對現有方法的不足，提出了一種改進的霧圖亮區檢測策略。利用場景文字檢測及天空分割方法將整幅圖像自適應地劃分為亮區域和暗區域，分別估計兩類區域的透射率，最后根據大氣散射模型得到復原的無霧圖像。

2 暗通道去霧原理

基于暗通道先驗的去霧模型認為多數有霧的退化圖像是由以下大氣散射獲取的：

式中I(x)為有霧圖像；J(x)為無霧圖像；t(x)為大氣透射率；J(x)t(x)為光經過物體散射后形成的入射光衰減模型；A為全局大氣光強度；為大氣光在物體周圍散射的光強。

對式（1）進行變換，有：

RGB圖像中每一個顏色通道c，都滿足：

暗通道模型認為，在無霧可見光RGB圖像中絕大多數非天空的局部區域中存在至少一個顏色通道某些像素上強度值趨于0，即：

因此局部區域Ω(x)透射率可表示為

在實際圖像處理的過程中，通常會引入調節系數w∈ (0,1)以保留圖像的景深，有：

將估計出的透射率代入式（1），可以求出無霧圖像J(x)；同時，為了避免透射率t(x)趨近于0引入噪聲，設置下限值t0：

3 基于亮區域檢測的去霧模型

暗通道去霧模型自提出以后受到了廣泛的關注，但是存在以下問題[9]：

a）暗通道模型基于圖像的局部塊計算透射率，對于圖像中物體的邊緣透射率估計不準確，產生“光暈效應”；

針對上述不足，本文提出了一種改進的透射率估計策略，在天空檢測基礎上，增加了場景中文字信息的識別，從而提高了場景亮區域檢測的準確性。針對圖像的亮區域和暗區域，分別進行透射率估算，使透射率估計更為準確。

算法的流程如圖1所示。

圖1 算法流程Fig.1 Process of the Algorithm

3.1 亮區域檢測

暗通道先驗認為圖像中像素點在某個顏色通道強度趨于零，但該假設對于圖像中天空等較亮區域并不成立。為解決這一問題，本文引入了文獻[12]的亮區域檢測方法，將可見光RGB圖像轉換為灰度圖像并進行均值濾波，利用OTSU閾值進行圖像分割。圖像分割結果如圖2所示，其中白色像素區域為亮區域，黑色像素為暗區域。

圖2 有霧場景亮區域檢測結果Fig.2 Light Area Detection Results of the Fogged Scene

3.2 大氣光強度估計

常用的大氣光估計方法包括以下幾種：

a）全局法。先從暗原色通道中選取最亮的0.1%比例的像素點，選取在相對像素點上有霧圖像值最大的點作為大氣光的估計值。He方法采用這種方法進行大氣光估計。

b）分塊遞歸法。將圖像固定平均分為4塊區域，分別求取每個子區域的平均亮度值，選取亮度值最大的塊，再將這個塊進一步平均分為4個塊，選取最亮的塊并計算每個子區域的平均亮度。重復這一過程直至圖像子區域的尺寸小于某一閾值，在子區域中選取亮度最大的點作為全局大氣光強度值。

c）亮度最大值法。選取輸入圖像中亮度最大像素點的灰度值作為全局大氣光強度值。

d）位置先驗法。該方法認為一般拍攝的有霧圖像中，天空部分一般位于圖像的上方，因此將圖像從上至下平均分為3個子區域，然后在最上方的子區域使用全局法估計大氣光強度值。

e）全局平均法。計算輸入圖像的暗通道圖像并進行均值濾波，求取其中灰度值最大的點；接下來求取輸入圖像RGB三通道中值最大的通道圖像，找到灰度值最大的像素點，最后將兩個點的灰度值的平均值作為全局大氣光A。本文采用此方法進行大氣光估計。

3.3 透射率修正

已有研究表明，天空等較亮區域不滿足暗通道先驗理論，亮區域的像素值與大氣光強度A接近，即：

因此由式（7）可知有t(x) → 0，導致透射率的估計值與實際值相比偏低，因此需對透射率進行修正。本文在文獻[13]給出的透射率修正方案基礎上，對亮區域和暗區域采用不同的透射率計算策略。對于亮區域，在原有的透射率計算基礎上，通過比較暗通道圖Jdark(x)與A中各通道像素值，取最大值和最小值的商作為補償系數對透射率進行修正。暗區域的透射率計算方式與傳統方法一致。針對亮區域和暗區域分別計算透射率從而使本文方法對于霧圖像的亮區域具有更好的適應性。

3.4 雙邊濾波

雙邊濾波是一種基于空間分布的非線性邊緣保留濾波器，邊緣保留原理是通過結合圖像的空間鄰近度和像素相似度，綜合考慮空域信息和灰度相似性，達到去噪的同時保留圖像中邊緣的效果。濾波器系數由幾何空間距離和像素差確定。

雙邊濾波定義如下：

式中I為輸入圖像；FB(I)為濾波后圖像；和分別表示以(x,y)為中心、半徑為w的矩形內點的空間相似度和像素相似度，σs和σr為方差參數。

4 實驗結果與分析

本文采用運行環境為Windows 10操作系統、CPU主頻為3.4 GHz，將本文方法與圖像處理領域具有代表性的直方圖增強方法與傳統He方法進行了比較，采用Qt 5.14.0和OpenCV 4.2.0開發運行環境。本節將從視覺效果比較本文方法與He方法的處理結果。實驗采用的圖像數據均為國外公開的火箭及中國自然場景圖像。

視覺效果評價主要分為主觀評價和客觀評價兩類。主觀評價以視覺評價為主，客觀評價采用圖像處理領域主流的評價指標。由于動態視頻圖像通常由多幅靜態圖像組成，因此本文方法也適用于動態視頻圖像序列的去霧。

4.1 主觀評價

圖像去霧結果如圖3所示。從圖3中可以看出，由于直方圖增強算法不屬于基于物理模型的方法，因此沒有考慮可見光在霧氣介質中的傳播，因此去霧效果十分有限，同時處理結果出現了明顯的色彩偏差；He方法處理后的圖像霧霾效果得到了去除，但處理后的圖像偏暗；經過本文方法處理后，圖像的色彩更加自然，圖片的邊緣和輪廓信息保存更加完善，整體效果得到了增強，圖像的去霧效果較好。

圖3 實驗結果Fig.3 Experimental Results

4.2 客觀評價

主觀評價標準可以比較直觀的評價圖像增強的效果，但是它依賴于個人主觀意識的影響，不同個體的評價結果存在偏差，因此本文同時采用客觀評價指標包括信息熵（Entropy，E）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結構相似性（Structural Similarity，SSIM）作為評價指標。

信息熵用于度量圖像的平均信息量，是圖像質量的重要指標，計算公式如下：

式中P(bi)為bi的概率；L為圖像的灰度等級數。圖像的熵值越大，信息量越大，圖像的細節信息越豐富。

峰值信噪比是圖像處理領域使用最為廣泛的評價指標，其值越大，代表處理后的圖像劣化程度越小，和原圖相比失真越少。峰值信噪比計算方法如下：

式中n為采樣比特數，對于RGB可見光圖像通常設置為8。均方誤差（Mean Squared Error，MSE），計算公式為

結構相似性用于評估算法保留結構信息的能力，其值越大越好。給定兩幅圖像x和y，結構相似性計算公式如下：

式中μx和μy分別為x和y的平均值。和分別為x和y的方差；σxy為x和y的協方差。c1和c2為常數，為常數，L為像素值的動態范圍，

各圖像的尺寸信息及指標評價結果見表1～3。

表1 客觀評價標準ΔE對比結果Tab.1 Comparative Results of the Objective Evaluation on ΔE

表2 客觀評價標準PSNR對比結果Tab.2 Comparative Results of the Objective Evaluation on PSNR

表3 客觀評價標準SSIM對比結果Tab.3 Comparative Results of the Objective Evaluation on SSIM

從表1～3中可以看出，本文方法處理結果表明各評價指標均有明顯提升。結合上述主觀評價結果可以看出，基于直方圖的圖像增強方法處理結果存在較大色差，并不適于人眼觀察，且損失部分細節，雖然熵度量指標由于其他兩類方法，但此時圖像已與原圖存在較大偏差。基于暗通道的去霧方法有一定的去霧效果，但去霧后圖像較暗，且圖像的顏色不夠真實。本文算法結合了暗通道去霧和直方圖增強的優點，提高了評價指標的同時能夠得到更好的圖像顏色，提高了復原圖像的效果。

表4給出了本文算法實現代碼優化前后在普通計算機上運行的時間及空間復雜度，表中結果為程序運行5次取平均值。從表4中可以看出，本文方法的空間復雜度較低，能夠適應地面處理計算機的硬件環境。但是優化前本文方法的時間復雜度較高，對于圖像4的處理時間達到了378 ms，換算為幀率為2.65幀/s，雖然能夠完成地面數據后處理的任務，但是算法實時性尚有較大改進空間。經過分析，原因如下：

a）本文方法的實現代碼僅注重實現基本功能，未進行編碼優化；

b）本文方法采用雙邊濾波器，雖然能夠提高圖像恢復效果，但是耗時較高，約占消耗總時間的90%以上。

根據上述原因，本文從工程實踐角度出發，通過以下方式提高運算速度：

a）將二維雙邊濾波分解為2個一維的雙邊濾波。先使用一維雙邊濾波模板對行進行濾波，然后對卷積結果進行列濾波，此步驟在計算值域系數的時候可以使用原圖像數據進行計算，從而極大地降低乘法運算次數。根據計算機組成原理理論，乘法運算是影響程序運行速度的重要因素；

b）利用計算機體系結構中單指令多數據流（Single Instruction Multiple Data，SIMD）技術對實現代碼進行優化，常見的方式為使用Intel公司的IPP庫。SIMD技術在指令譯碼后執行部件可以同時訪問內存從而一次性獲取全部操作數進行運算，從而提高代碼執行速度。

表4 本文算法實現代碼優化前后在普通計算機的時空復雜度Tab.4 Time and Space Complexity of the Algorithm before and after Code Optimization on Ordinary Computer

從表4中代碼優化后結果可以看出，經過優化的程序代碼運行速度顯著提高，已經能夠滿足實時處理的要求。

5 結 論

本文針對暗通道先驗去霧模型的不足，給出了一種自適應透射率估計方法，通過圖像亮區域檢測自適應地估計全局大氣光值，并對透射率進行動態修正，有效地提高了有霧圖像的復原效果。實驗結果證明了本文方法的有效性。然而，該方法目前存在恢復后亮區域存在光暈效應的問題，將在今后的工作中進一步完善。