基于天空區域分割的快速去霧算法研究

摘" 要： 針對傳統暗通道先驗去霧算法在處理戶外含霧圖像時，出現天空區域顏色失真和處理速度慢的問題，提出一種可自適應識別天空區域的快速去霧算法。在天空分割方面，選用圖像中細節特點明顯的亮度分量為研究對象，結合最大類間方差法（OTSU）和動態參數建立自適應識別天空區域算法模型，得到最佳分割閾值，分割出有霧圖像的天空區域和非天空區域，并根據天空區域計算出大氣光值。在提高處理速度方面，在使用引導濾波優化透射率過程中引入圖像下采樣算法，保證復原后圖像質量的同時減少算法耗時。最后經過與多種經典算法對比，文中算法在視覺效果上細節更加自然，SSIM、PSNR和MSE的綜合指標均超過其他算法，并且處理速度較快。主觀和客觀評價結果均表明，文中算法在視覺效果和時間效率方面都優于其他幾種算法，具有一定的實用價值。

關鍵詞： 圖像去霧； 暗通道； 天空分割； 大氣光值； 引導濾波； 透射率優化

中圖分類號： TN911.73?34； TP391.4" " " " " " " " "文獻標識碼： A" " " " " " " " " 文章編號： 1004?373X（2024）23?0008?07

Research on fast dehazing algorithm based on sky region segmentation

LI Qinjun， XIAO Dechao， HAN Liuyu， ZHANG Guoyu， YANG Ping

（School of Electronic Information and Artificial Intelligence， Shaanxi University of Science and Technology， Xi’an 710021， China）

Abstract： In view of the color distortion and slow processing speed in the region of sky when the traditional dark channel prior （DCP） dehazing algorithm is used to process outdoor foggy images， a fast dehazing algorithm which can identify the region of sky adaptively is proposed. In terms of sky region segmentation， the luminance components with prominent details in the image are chosen as the subject of study. In combination with the OTSU algorithm and the dynamic parameters， an algorithm model is established to identify the region of sky adaptively， and the optimal segmentation threshold value is obtained. The regions of sky and non?sky in the foggy images are segmented， and the atmospheric light value is computed according to the region of sky. In terms of increasing the processing speed， the image downsampling algorithm is introduced in the process of optimizing the transmittance by guided filtering， which reduces the time consumption of the algorithm while ensuring image quality after restoration. In comparison with various classical algorithms， the proposed algorithm offers more natural visual details. Its SSIM （structure similarity index measure）， PSNR （peak signal?to?noise ratio） and MSE （mean squared error） surpass those of the other algorithms， and its processing speed is faster. Both subjective and objective evaluation results show that the proposed algorithm is superior to the other algorithms in visual effect and time efficiency. To sum up， it has a certain practical value.

Keywords： image dehazing; dark channel; sky segmentation; atmospheric light value; guided filtering; transmission rate optimization

0" 引" 言

在視覺應用領域中，圖像是獲取和利用外部信息的重要手段和方法，是周圍環境的客觀表現也是視覺的基礎，圖像質量對計算機視覺的分類和識別有著重要影響。然而霧霾等復雜天氣會降低能見度并且影響照片成像質量，會出現顏色缺失、飽和度低以及細節模糊等問題。這對智能交通監控系統、智能駕駛、森林巡防和資源勘測等領域的實際應用產生巨大的影響[1?4]，因此快速而有效地復原有霧圖像具有重要的實際意義，如圖1所示。

圖像去霧技術發展到現階段主要分為兩類，即基于圖像增強的去霧方法和基于圖像復原的去霧方法?；趫D像增強的方法主要通過提高對比度來達到去霧的效果。文獻[5]引入了一個來自RGB顏色空間的物理散射模型。該方法通過計算有霧場景的不同顏色簇數據，可以從多種有霧圖像中恢復無霧圖像。文獻[6]提出一種基于HSV（Hue， Saturation， Value）顏色空間的重疊子塊同態濾波算法，該方法先將有霧圖像的色彩空間轉換為HSV顏色空間后，再對亮度分量[V]使用重疊子塊同態濾波處理，恢復無霧圖像。

除上述方法外還有直方圖均衡化[7]、同態濾波[8]以及小波變換[9]等算法?；趫D像復原的方法是利用大氣散射模型，解算大氣光照值和透射率圖來恢復無霧圖像?；谥兄禐V波的去霧算法先對有霧圖像進行白平衡處理，然后使用中值濾波計算大氣光值，但是會因為無法保存邊緣信息而導致光暈效應[10]。文獻[11]提出一種基于暗通道先驗（Dark Channel Prior， DCP）的圖像去霧算法，該方法通過觀察到的無霧圖像暗通道圖像素值接近于零的先驗知識，根據大氣散射數學模型求解出無霧圖像。之后為了減少計算耗時，文獻[12]提出了引導濾波加快計算，此類方法去霧效果較好，但無法處理含有天空區域的有霧圖像。后來許多研究者在文獻[12]的基礎上進行改進，如文獻[13?14]提出的算法，這些算法為了解決天空區域失真的問題，提出了先分割出天空區域和非天空區域再單獨對兩部分進行處理的解決方法。通過該方法處理后的圖像去霧效果得到了一定的提升，但是在處理街景道路、森林等不同場景下的有霧圖像時，其天空區域分割的效果較差，影響有霧圖像的復原效果，同時隨著視覺領域的不斷發展，對圖像處理實時性的要求也在增加，上述幾種方法難以滿足。因此，本文為了解決傳統算法在不同場景下天空區域分割適應性差和計算耗時長的問題，提出基于自適應天空區域識別的高效圖像去霧算法。首先，在有霧圖像HSV顏色空間的[V]分量上，使用改進的大津法得到天空分割的最優閾值，提高天空分割閾值的適應性，使其能夠滿足不同戶外場景下天空區域的分割需求；其次，引入圖像的下采樣技術提高引導濾波優化透射率的速度，在保證復原圖像質量的基礎上，進一步降低處理時間。

1" 暗通道先驗去霧原理

1.1" 大氣散射模型

大氣散射模型公式如下：

[Ix=Jxtx+1-txA] （1）

式中：[Ix]為采集設備采集到的有霧圖像；[tx]為圖像的透射率圖；[A]表示全局大氣光值；[Jx]為所要求取的無霧圖像。估算出[A]和[tx]后可以復原無霧圖像。

1.2" 暗通道先驗算法

根據暗通道先驗原理，圖像中非天空區域的像素在RGB通道中至少有一個顏色通道的值極低，接近于0，其表達式為：

[Jdark=miny∈Ωxminc∈r，g，bJcy] （2）

式中：[Jdark]表示無霧圖像[J]的暗通道；[Jc]表示彩色圖像的某一個通道，[c∈r，g，b]；[Ωx]表示以像素[x]為中心的一個窗口。

根據公式暗通道求解的需要求出每個像素點RGB顏色分量中的最小值，再對這幅圖像進行最小值濾波，其中濾波半徑由窗口大小決定。暗通道先驗（DCP）理論指出非天空區域的暗通道值接近于0。

[Jdarkx=miny∈ΩxmincJcy→0] （3）

公式（1）兩邊除以大氣光值，并且假設透射率[tx]為常數，大氣光值[A]給定，將等式兩邊進行兩次最小值運算，變形結果如下：

[miny∈ΩxmincIcyAc=txminy∈ΩxmincJcyAc+1] （4）

式中[J]為要求的無霧圖像，根據暗通道先驗理論，將式（3）代入到式（4）可得到透射率[tx]的值，同時為了保證去霧后的視覺效果，需要保留一定程度的霧，因此這里引入一個補償因數[ω]，經過實驗驗證[ω]=0.95。[tx]的表達式如下：

[tx=1-ωminy∈ΩxmincIcyAc] （5）

以上推論都是將全局大氣光值[A]當作已知量求得，在實驗中通常根據有霧圖像求取[A]值，步驟如下。首先從暗通道圖中按照亮度的大小取前0.1%的像素；再根據暗通道圖中像素點的位置找到原圖所對應的像素點，取像素點RGB通道中的最大值點作為大氣光值[A]，經過上述步驟求得透射率[tx]和大氣光值[A]；接下來對無霧圖像[J]進行恢復。當透射率[tx]的值較小時，會導致[J]的值偏大，從而使得圖像整體發白，因此設置下限閾值[t0]，當[tx]值小于[t0]時，令[tx=t0]，[t0]取值為0.1，最終求解無霧圖像。[Jx]的表達式如下：

[Jx=Ix-Amaxtx，t0+A] （6）

在實際應用中，有霧圖像含有大面積天空區域時，由于天空區域和非天空區域透射率相差比較大，處理過后會有大面積的失真，影響觀感。當有霧圖像含有過多白色或者高亮物體時會導致全局大氣光值[A]求解不準確，從而影響去霧效果。

2" 可自適應識別天空區域的快速去霧算法

經典的暗通道去霧算法存在處理含有天空區域的有霧圖像效果差、計算量大、耗時長等方面的缺陷。針對這些問題，本文提出了一種自適應天空分割的快速去霧算法。首先，使用自適應閾值分割方法分割含霧圖像的天空區域和非天空區域，并根據天空區域計算大氣光值[A]；其次，基于圖像中兩部分的分割結果，將天空區域透射率設置為定值，非天空區域保留當前計算值；然后，在引導濾波中引入圖像下采樣算法對透射率重新映射；最后，基于大氣散射模型復原圖像，同時進行亮度調整。算法的整體框架如圖2所示。

2.1" 自適應的天空區域分割算法

通常情況下，戶外的霧天圖像中天空區域顏色單一，亮度和平滑度高。同時，HSV[15]顏色空間與人的視覺特性相似，與RGB顏色空間相比能夠體現出顏色和亮度的差別，其亮度分量和圖像的色彩分析無關。圖3展示了部分有霧圖像在HSV不同顏色空間下的表現，圖3b）和圖3c）分別為色調分量[H]和飽和度分量[S]，圖3d）為亮度分量[V]。通過觀察圖3的三個色彩空間分量得出，有霧圖像的亮度分量相較于其他兩個分量，目標物輪廓更清晰，天空區域和非天空區域的邊界更明顯，更適合圖像分割。因此，本文選擇在有霧圖像的HSV顏色空間上進行去霧處理。

為了使天空分割算法能夠適應道路監控、街景、森林等多種不同場景下的分割需求，本文選用OTSU算法[16]在有霧圖像的亮度空間上求出閾值[T0]。OTSU算法是一種自適應閾值確定算法，具有計算簡單且效率高的優點，其將像素中類間方差最大的閾值作為最佳閾值，并將圖像劃分為背景區域[Isky]和目標區域[Insky]。

OTSU算法計算公式如下：

[Ix=Isky，" " " " pi≥T0Insky，" " " "pilt;T0] （7）

式中：[pi]為HSV色彩空間中的V亮度空間的像素值；[T0]表示OTSU算法的最佳閾值。在實際測試過程中該算法能夠有效地分割出天空區域和非天空區域，對于某些背景區域和目標區域的像素值相差較小的有霧圖像來說，使用OTSU算法會將部分背景區域誤判為前景區域。如圖4b）第2張圖片，一些遠處的高樓被誤判為天空區域，其產生原因是有霧圖像中的天空區域占比和霧氣濃度影響了OTSU算法得出的閾值。

經研究發現，有霧圖像的暗通道最大亮度均值[L]和有霧圖像中天空區域占比及霧氣濃度是線性變化的關系，其隨著圖像中天空占比和霧氣濃度的增加而增加。根據暗通道最大亮度均值的這個特點，本文結合文獻[17]設計了一個自適應分割算法模型，用來解決天空區域分割中目標區域誤判的問題。算法模型中將暗通道的最大亮度均值作為一個動態修正參數，與OTSU預分割亮度閾值[T0]進行加權處理，重新計算出最優的分割閾值[T]，公式如下：

[T=T0+KLL1+KL] （8）

式中：[L]為輸入圖像暗通道圖中最亮1%的平均像素值；[KL]為閾值的校正度，[KL]越大，[L]所占的權重越大，對閾值[T0]校正越深，經實驗測試，取[KL]的值為2；[T]為優化后的閾值。

同時，為了保持圖像邊緣信息和消除噪聲的影響，使用形態學濾波對分割后圖像進行精細化操作。改進后的天空區域分割效果如圖4c）所示，與圖4b）相比，能夠明顯觀察到優化后的分割圖像消除了高亮噪聲的影響，也將之前誤判為天空區域的目標區域復原。

2.2" 大氣光值求解

大氣光值一般為無窮遠處的大氣光照參數，可根據2.1節中分割出的天空區域計算大氣光值。首先提取出天空區域像素，然后將像素值按大小排序，最后取像素前1%最大亮度平均值為大氣光值[A]。[A]的計算公式如下：

[A=maxmeanmax0.01Rx， At] （9）

式中：[Rx]為圖像的天空區域；[At]為上限閾值。當圖像中高亮物體過多時，會導致大氣光值偏大，使復原后圖像的亮度變低，所以為了防止大氣光值過大帶來的影響，設置上限閾值[At]，當[A]gt;[At]時，令[A]=[At]作為最終大氣光值，經過實驗測試[At]取值為0.996。

2.3" 透射率優化

在計算得出大氣光值[A]后，結合有霧圖像天空區域的分割結果和暗通道先驗原理，使用式（5）可以估算出透射率[tx]。經典的暗通道去霧算法求解得到的透射率圖，其天空區域的值偏小且不均勻。本文為了保證天空區域的平滑性，將天空區域的透射率設置為定值[tsky]。在圖像的非天空區域保留當前的計算值，得到有霧圖像的粗透射率圖，處理后的透射率公式如下：

[tx=tsky，" " " " " Isky=1tx，" " " Isky=0] （10）

經過上述操作可以有效解決天空區域失真的問題，如圖5d）中的天空區域處理后圖像效果更加真實。由于使用最小值濾波來求解暗通道圖，導致粗透射率圖模糊，缺少目標物體細節信息，如圖5c）所示，間接導致了復原后圖像出現“halo”效應塊，如圖5d）中的方框所示。

為了解決上述問題，需要對透射率進行優化以顯示出目標物體的細節。目前主流的透射率細化算法有加權最小二乘濾波、雙邊濾波和引導濾波。但是前兩種濾波算法計算復雜度高、運算耗時長，不符合本文快速性的需求，故選擇計算速度比較快的引導濾波[11]進行透射率的優化。引導濾波通過引導圖對輸入的圖像進行處理，使輸出圖像的紋理細節與引導圖像相似。其中引導圖可以是其他圖像也可以是輸入圖像本身，當選用輸入圖像為引導圖時，能夠有效地保持圖像中的邊緣信息，公式如下：

[Oi=akGi+bk，" " i∈wk] （11）

式中：[wk]是以[r]為半徑的濾波窗口；[ak]和[bk]為窗口內的恒定系數。引導濾波算法使輸出圖像和引導圖像[Gi]的邊緣相匹配，消除了圖像中的噪聲突變，平滑了圖像。本文使用粗透射率圖作為引導濾波的輸入圖，為了獲得更好的邊緣效果，以原圖的亮度分量圖為引導圖。經過引導濾波后，輸出透射率圖的邊緣清晰度明顯提高，并且天空區域和非天空區域的銜接變得更加自然。

為了進一步提高透射率優化的速度，首先用平均濾波器對原始圖像和引導圖像進行下采樣處理，采樣大小為原來的[14]，再根據采樣圖求解出引導參數[ak]和[bk]，最后使用雙線性插值的圖像上采樣方法將透射圖恢復至原尺寸。結果如圖6所示，第一行為粗透射率圖，第二行為經過優化后的透射率圖。通過對比上下兩行圖像，能看出優化后的透射率有了明顯的提高。

如圖6a）～圖6c）所示，在第一行的粗透射率圖中遠處的樓房模糊，細節缺失嚴重，第二行圖像經過濾波處理后，遠處樓房的細節更加清晰。綜上所述，引入圖像下采樣的引導濾波保證了物體的邊緣清晰度，同時提高了算法的處理速度。

3" 實驗結果分析

本節搭建實驗平臺驗證本文算法效果并與暗通道先驗算法[12]、Retinex算法[18]和Tarel算法[9]進行對比實驗。實驗平臺的處理器CPU為Gen Intel[?] CoreTM i7?12650H，內存為12 GB，測試軟件為Matlab 2022a。測試數據集為OTS數據集和自建的在自然條件下拍攝圖像的合集，其中包含了城市街景、自然風景等。關于對比實驗的結果，從主觀評價、客觀評價和處理速度三個方面進行。

不同算法去霧效果對比如圖7所示，圖7a）～圖7d）分別為原始圖像和利用DCP算法、Retinex算法、Tarel算法、本文算法的處理結果。前兩行為數據集OTS的照片，后兩行為拍攝的自然照片。

3.1" 主觀評價

根據圖7可以看出，以上各種方法均有一定的去霧效果。DCP算法天空區域出現了明顯的顏色失真問題，產生的原因是天空區域和非天空區域透視率值不同，如圖7b）所示。Retinex算法處理后圖像的對比度明顯升高，整體畫面的亮度較高，但是色彩和色調發生了顯著的變化，視覺效果較差，如圖7c）所示。Tarel算法處理后，天空區域光滑，非天空區域細節明顯，但是在兩者交界處有不同程度的光暈產生，如圖7d）第一張圖和第四張圖。

本文方案首先將天空區域和非天空區域進行分割，并使用融合的方法對透射率進行細節優化，去霧后的圖像對比度較高，并且天空區域和非天空區域的過渡比較自然，圖像處理效果較好，如圖7e）所示。

3.2" 客觀評價

主觀評價在一定程度上會有片面性，所以使用客觀評價的方法進一步衡量不同方法的處理效果。本文使用三個客觀指標[19]來進行評定，這三個指標分別為均方差（Mean Squared Error， MSE）、峰值信噪比（Peak Signal?to?Noise Ratio， PSNR）和結構相似性（Structure Similarity Index Measure， SSIM）。在這三個指標中MSE越小、PSNR和SSIM越大表示圖像恢復的效果越好?？陀^評價指標數值如表1所示。

由表1中的數據可以看出，本文所用算法的MSE和PSNR指標大部分都超過了DCP算法、Retinex算法和Tarel算法。因此本文提出的去霧算法達到了比較好的去霧效果。

3.3" 運算速度

為了驗證本文算法在處理速度上的表現，將使用不同分辨率的圖像進行實驗，實驗結果如表2所示。

由表2可知，本文方法處理速度更快。

4" 結" 語

有霧圖像的快速去霧是視頻研究的一個熱點。本文提出的自適應天空區域識別的快速圖像去霧算法是基于暗通道先驗去霧算法進行改進的。改進后的算法能夠改善原先算法在天空區域失真和圖像處理速度慢的不足，有效地完成了多種不同場景下戶外有霧圖像的去霧任務，最后在細化透射率過程中引入了圖像下采樣技術，顯著地減少了計算所用的時間。通過對比實驗結果表明，本文所提算法處理后的去霧圖像對比度高，細節信息保留完好，在保證視覺觀感的同時，處理速度快于其他算法。本文算法在后續工作中可以部署到小型嵌入式設備中，提高霧天條件下無人機和車載設備的視頻捕獲質量。

注：本文通訊作者為楊萍。

參考文獻

[1] 付春豹.低照度彩色圖像增強算法的研究[D].長春：長春工業大學，2023.

[2] KIM S， PARK S， CHOI K. A system architecture for real time traffic monitoring in foggy video [C]// 2015 21st Korea?Japan Joint Workshop on Frontiers of Computer Vision （FCV）. New York： IEEE， 2015： 221?224.

[3] SHAO Y J， LI L， REN W Q， et al. Domain adaptation for image dehazing [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 2805?2814.

[4] GUO J X， REN H Z， ZHENG Y T， et al. Identify urban area from remote sensing image using deep learning method [C]// 2019 IEEE International Geoscience and Remote Sensing Symposium. New York： IEEE， 2019： 7407?7410.

[5] BERMAN D， TREIBITZ T， AVIDAN S. Single image dehazing using haze?lines [J]. IEEE transactions on pattern analysis and machine intelligence， 2018， 42（3）： 720?734.

[6] YU L， LIU X B， LIU G Z. A new dehazing algorithm based on overlapped sub?block homomorphic filtering [C]// Eighth International Conference on Machine Vision. [S.l.]： SPIE， 2015： 987502.

[7] 馬群，趙美蓉，鄭葉龍，等.基于自適應條件直方圖均衡的紅外圖像細節增強算法[J].紅外技術，2024，46（1）：52?60.

[8] 張珂，廖育榮，羅亞倫，等.基于改進同態濾波的紅外圖像增強算法[J].激光與光電子學進展，2023，60（10）：63?69.

[9] 張振華，陸金桂.基于小波變換和改進的Retinex霧天圖像增強[J].計算機應用與軟件，2021，38（1）：227?231.

[10] ZHENG M Y， QI G Q， ZHU Z Q， et al. Image dehazing by an artificial image fusion method based on adaptive structure decomposition [J]. IEEE sensors journal， 2020， 20（14）： 8062?8072.

[11] HE K M， SUN J， TANG X O. Single image haze removal using dark channel prior [J]. IEEE transactions on pattern analysis and machine intelligence， 2011， 33（12）： 2341?2353.

[12] HE K M， SUN J， TANG X O. Guided image filtering [J]. IEEE transactions on pattern analysis and machine intelligence， 2012， 35（6）： 1397?1409.

[13] SALAZAR?COLORES S， MOYA?SANCHEZ E U， RAMOS?ARREGUIN J M， et al. Fast single image defogging with robust sky detection [J]. IEEE access， 2020， 8： 149176?149189.

[14] ANAN S， KHAN M I， KOWSAR M M S， et al. Image defogging framework using segmentation and the dark channel prior [J]. Entropy， 2021， 23（3）： 285.

[15] 王嬌，韓加蓬，馬駿，等.一種改進的基于暗通道先驗的快速去霧算法[J].現代電子技術，2019，42（22）：63?68.

[16] 梁肇峻，鐘俊.基于Otsu算法與直方圖分析的自適應Canny算法的改進[J].現代電子技術，2019，42（11）：54?58.

[17] XU S F， FU Y W， SUN X Y. Single image defogging algorithm based on sky region segmentation [C]// Journal of physics： Conference series， 2021， 1971（1）： 012068.

[18] 王宇勃，甄榮.基于改進多尺度Retinex理論的海上圖像去霧算法[J].中國航海，2024，47（1）：155?161.

[19] LIANG W， LONG J， LI K C， et al. A fast defogging image recognition algorithm based on bilateral hybrid filtering [J]. ACM transactions on multimedia computing， communications， and applications， 2021， 17（2）： 1?16.

作者簡介：李秦君（1977—），男，陜西寶雞人，碩士研究生，副教授，碩士生導師，主要從事人工智能與機器學習、物聯網體系研究和嵌入式系統開發方面的研究。

肖德超（1999—），男，山東濰坊人，碩士研究生，主要從事嵌入式系統開發、數字圖像處理方面的研究。

韓劉彧（1998—），男，陜西西安人，碩士研究生，主要從事人工智能圖像分割領域的研究。

張國鈺（1999—），男，河南三門峽人，碩士研究生，主要從事人工智能圖像識別領域的研究。

楊" 萍（1979—），女，陜西西安人，碩士研究生，副教授，碩士生導師，主要從事人工智能與機器學習以及物聯網體系領域的研究。