基于高低頻特征增強和透射率修正的復雜圖像去霧方法

摘要：針對復雜圖像中存在非均勻散射介質（如大氣湍流、煙霧、霧霾等），導致光線在不同區域的傳播和散射特性不同，較難準確恢復圖像能見度的問題，提出一種基于高低頻特征增強和透射率修正的復雜圖像去霧方法.首先，基于奇異值分解和Gamma拐點校正，設計低頻特征增強方法；其次，基于Shearlet變換分解和非線性變換，得到高頻特征增強方法；再次，利用軟摳圖精化所估計的透射率，構建透射率修正策略；最后，融合上述3種方法，根據大氣光值和精化透射率，完成圖像去霧，分別增強高、低頻特征后，將兩者疊加，獲得增強的去霧圖像，經去霧圖像的視覺感觀和客觀評價指標結果驗證表明，該方法的去霧效果較好，能有效恢復復雜圖像的細節信息，改善圖像的整體視覺質量.

關鍵詞：低頻特征增強；高頻特征增強；透射率估計；透射率精化；復雜圖像去霧中圖分類號：TP391文獻標志碼：A文章編號：1671-5489（2024）05-1138-07

Defogging Method of Complex Images Based on High and Low Frequency Feature Enhancement and Transmittance Correction

WANG Shibin，GUO Jiayi

（College of Computer and Information Engineering，Henan Normal University，Xinxiang 453000，Henan Prouince，China）

Abstract：Aiming at the problem that there were non-uniform scattering media（such as atmospheric turbulence，smoke，haze，etc.in complex images，which led to different propagation and scattering characteristics of light in different regions，making it difficult to accurately restore the visibility of the image，we proposed a defogging method of complex image based on high and low frequency feature enhancement and transmittance correction.Firstly，we designed low frequency feature enhancement methods based on singular value decomposition and Gamma inflection point correction.Secondly，based on Shearlet transformation decomposition and nonlinear transformation，we obtained a high frequency feature enhancement method.Thirdly，we used soft cutout to refine the estimated transmittance and constructed a transmittance correction strategy.Finally，by integrating the above three methods，based on atmospheric light values and refined transmittance，image dehazing was completed.After enhancing high and low frequency features respectively，we superimposed the two to obtain an enhanced dehazing image.The visual perception and objective evaluation indicators of dehazing images have been verified that the proposed method has good dehazing effect and caneffectively restore the detailed information of complex images，improving the overall visual quality of the images.

Keywords：low frequency feature enhancement;high frequency feature enhancement;estimation of transmittance;refinement of transmittance;defogging of complex image

復雜圖像去霧旨在從受霧或受污染的圖像中恢復出清晰的場景信息，以提高圖像質量和可視化效果[1]，但復雜圖像中常存在非均勻的散射介質，如大氣湍流、煙霧等，導致光線的傳播和散射特性不同，使去霧過程更復雜[23]，此外，復雜背景元素的圖像紋理和特征受霧氣影響，增加了準確去除霧霾難度，因此，解決復雜圖像去霧問題對改善圖像質量、提升可視化效果及實現計算機視覺的應用具有重要意義.

圖像去霧技術目前已得到廣泛關注，并已取得了許多研究成果，如王可錚等[1]將對比感知損失和融合注意力機制融入Dehaze Former-T模型，構建了基于Transformer的端到端時序模型，分別利用L，損失函數和對比感知損失函數，度量重建損失，提取網絡權重，完成圖像去霧，但該方法基于Transformer的模型，在處理少見或特殊情況的圖像時，無法達到理想的去霧效果，其泛化能力有限.吳正平等5]基于輕量級的編碼器-解碼器架構，利用并行多尺度卷積網絡提取特征，并在特征注意力機制的作用下，快速實現霧度分布不均的單幅圖像去霧，該方法采用輕量級的編碼器-解碼器架構，對實現快速去霧效果較好，但由于模型的結構限制，無法捕捉到圖像的復雜特征和細微差異，導致去霧結果損失細節或產生偽影.Hu等6]利用亮度分量估計全局大氣光以降低發光物體的影響，推導了基于大氣散射模型的場景輻射度飽和度估計模型，采用拉伸函數快速估計傳輸速度，并利用迭代方法解決模型參數，通過估計每個像素點的不同介質透射率，實現了更好的去霧效果，但該方法對數據進行了估計和調整，存在一定的風險導致圖像細節過度處理，從而產生圖像失真或偽影.Sun等提出了基于非局部特征結構張量的三通道RGB無人機圖像去霧方法，針對傳統暗通道去霧導致的圖像邊緣光暈現象，提出了使用非局部結構張量優化圖像邊緣細節并降噪，以此實現圖像去霧，但該方法處理的圖像較復雜或者存在大面積不均勻分布的霧氣時，會導致過度平滑的問題，使圖像細節丟失較多.

針對上述方法存在的不足，為解決實際霧天場景的復雜圖像去霧問題，本文結合高頻特征增強方法和透射率修正策略，提出一種復雜圖像的兩步去霧方法.先用高低頻特征增強方法提升圖像的整體亮度和飽和度，突出圖像邊緣、細節等信息；再與透射率修正相結合，以獲取高清晰度、細節豐富的去霧圖像.

1圖像高低頻特征增強方法

圖像由像素值變化較大的高頻特征和變化緩慢的低頻特征組成，為提高圖像的視覺質量，可分別增強處理兩種特征分量，使兩者通過互補增強圖像內容的豐富性和細節的可見性.通過互補的方法，高頻特征增強使圖像細節更清晰可見，低頻特征增強使圖像光照和顏色恢復更真實自然.因此，高低頻特征增強方法對圖像去霧至關重要，可提高圖像視覺質量，增強圖像內容的豐富性和細節的可見性.

1.1低頻特征增強

基于奇異值分解（singular value decomposition，SVD）和Gamma拐點校正方法，增強圖像中的低頻特征分量，可增強圖像的對比度，修正色彩，提升圖像亮度、飽和度，改善整體視覺效果[5]，通過增強低頻特征，可使圖像的光照分布更均勻，恢復出真實場景中的自然光照效果，圖像低頻特征增強流程如下.

1）通過奇異值分解將矩陣分解為三部分：左奇異向量矩陣、奇異值矩陣和右奇異向量矩陣.在低頻特征分量的奇異值分解過程中，若已知兩個正交矩陣U，，VA，則可利用下列奇異值矩陣完成圖像的奇異值分解：

其中U，V的列分量及∑中的對角分量分別為矩陣A的左、右奇異值分量和奇異值.

2）分解后分量的Gamma拐點校正.假設圖像的低頻特征分量是f（x，y），則利用拐點曲線傳遞函數，描述圖像的輸出f[f（x，y）]為

其中：t表示同區域內線性與非線性的轉換閾值；a，b，c，d均為項系數.a，b，c，d分別由下式解得：

其中m，s分別為輸入的亮度極值及其拐點曲線微分因子.s通過下式計算得出：

其中k為拐點位置的亮度值.結合式（3）和低頻特征分量均值M，可推導出k的計算公式：

為提高拐點曲線中間部分的低亮度，可采用Gamma校正改進函數式（2），以達到低頻特征分量增強效果.若閾值的對應亮度是，則低頻特征增強后的圖像為

3）分量增強.對Gamma明確的拐點曲線，利用小波分解增強低頻特征分量，提高對比度和亮度，獲取更高的圖像質量[10]

1.2高頻特征增強

圖像去霧需改善圖像在受霧或受污染條件下的能見度，使場景中的細節更清晰可見.低頻分量增強了圖像中的全局信息，而高頻特征主要包含圖像的紋理和邊緣等細節信息，通過增強高頻特征，可提高圖像的紋理細節和邊緣的銳利度，使被霧霾遮擋的細節更清晰可見.高頻特征增強方法利用Shearlet變換分解和非線性變換，提升圖像細節和邊緣信息的清晰度.

利用非采樣金字塔逐層多尺度分解圖像，每分解一次即得一個高頻特征分量[11].經改進剪切波、逆 Fourier變換和二維卷積的處理，逐層細分高頻特征分量方向，實現方向分解.基于Shearlet變換的高頻特征分量分解流程如圖1所示.

假設非線性變換增益的范圍調節系數和強度控制系數分別是e1 和e2，則非線性變換分解后的高頻特征分量fh（x，y）為

2透射率修正

當入射光在折射作用下穿過透明介質時會導致出射，穿過后的光通量與入射光通量的比值即為透射率，是導致有霧圖像模糊、對比度低的主要因素.只有準確估計、調整透射率，才能獲取高清晰度、細節豐富的去霧圖像.在圖像去霧過程中，透射率是一個關鍵參數，它決定了光線通過大氣層時的散射程度.準確估計和調整透射率可獲得高清晰度和細節豐富的去霧圖像.高頻特征增強可幫助提升圖像的細節和邊緣信息的清晰度，而透射率的估計和修正則能更準確地恢復圖像中的透射光分量.

透射率與大氣光值存在密切關系.大氣光是指自由空間中的天空亮度，它反映了光線在攝影場景中遇到的環境散射和反射.在有霧場景中，霧滴會散射和吸收光線，導致入射光線中的一部分被散射成為背景中的大氣光.因此，透射率與大氣光值之間存在反相關關系.當透射率較低時，霧滴對光線的吸收和散射作用較強，入射光線中的大氣光成分也較高；當透射率較高時，霧滴對光線的影響較小，背景中的大氣光成分較低.設透射率為λ（x，y），紅、綠、藍中任意色彩通道的物體原有信息、初始有霧圖像和大氣光值分別為R.G.B（x，y），fR.G.B（x，y），ER.G.B，則4個參數的關系為

已知以像素點（x，y）為中心的區域0（x，y）內，設透射率為λ（x，y），則最小色彩通道中的大氣光值由下式解得：

其中（x，y）為區域0（x，y）內不同于（x，y）的另一像素點.取方程最小值，得

根據暗通道先驗原理[1]，合并式（9）和式（10），可利用下式估計透射率：

因為估計所得的透射率為定值，所以圖中存在明顯的斑塊效應，且邊界處連貫度欠佳.故利用軟摳圖，精化透射率，可提高圖像去霧效果.已知與摳圖Laplace矩陣L同尺寸的單位矩陣U和權重K，則透射率精化值（x，y）為

3復雜圖像去霧方法

本文結合高低頻特征分量增強和透射率修正，提出一種用于復雜圖像的去霧方法，以有效恢復圖像的細節信息，優化圖像視覺觀感.復雜圖像的去霧方法流程如圖2所示.

復雜圖像去霧方法實現步驟如下：

1）大氣光值估計.輸入有霧圖像f（x，y），利用下式獲取暗通道圖像：

根據圖fdark（x，y）內的高亮度像素，取圖像f（x，y）中的高強度像素值作為大氣光值E.

2）透射率估計與精化.利用式（8）～（12）估計并精化透射率，得到平滑的透射率圖.

3）圖像去霧.將大氣光值與精化透射率代入下列大氣散射模型中，完成圖像去霧：

其中a為透射率調控因子，避免去霧后圖像整體偏白.

4）高低頻特征分解.將去霧后圖像的RGB顏色模型轉換至YUV顏色模型，非下采樣輪廓波變換Y分量，取得低頻特征3.利用下式對全部像素與低頻特征做差，取得高頻特征：

5）高低頻特征增強.利用1.1節和1.2節方法，分別增強高低頻特征分量.

6）增強特征疊加.將高低頻特征分量增強后的兩幅圖像求和，得到最終的去霧圖像.

4復雜圖像去霧實驗分析

為驗證高低頻特征增強和透射率修正下復雜圖像去霧方法的應用性能，采用基于Internetprotocol的網絡攝像機拍攝濃霧環境中的城市居住區，得到640×480尺寸圖像.采集到的原始有霧圖像如圖3所示.

實驗中，將奇異值閾值設為0.2，Shearlet變換參數設為5個尺度和16個方向，采用20×20大小的滑動窗口進行透射率估計.通過上述參數設置， 在復雜的霧霾環境中測試本文方法的性能，以驗證其對復雜圖像去霧的應用效果.分別采用文獻[4] 方法、文獻[5]方法、文獻[6]方法和本文方法進行圖像去霧，對比不同方法去霧后圖像的視覺觀感和客觀評價指標，并利用仿真軟件 MATLAB輸出實驗結果.

4.1視覺觀感

分別利用文獻[4]方法、文獻[5]方法、文獻[6]方法和本文方法進行圖像去霧，復雜圖像去霧后的視覺觀感對比結果如圖4所示.由圖4可見：盡管各方法均不同程度地去除了圖像中的霧氣，但3種對比方法留存的霧氣均明顯更多，幾乎遮蓋了霧中的所有景物，且整體偏暗，過度曝光，進而導致顏色失真，濃霧邊緣也因分布不均及結構過于豐富的問題而出現了斑塊現象，且隨著去霧程度的增加而越顯著；而本文方法通過增強高低頻特征分量，修正透射率，不僅成功去除了圖像中的大部分霧氣，幾乎展現了景物的所有信息，而且有效恢復了復雜圖像的細節信息，邊緣過渡較好，亮度適中，景物顏色更接近實際場景，無明顯斑塊、光暈現象，改善了圖像的整體視覺質量，這是因為本文方法通過增強高低頻特征分量和修正透射率，在去除霧氣的同時有效恢復了復雜圖像的細節信息，改善了圖像的整體視覺質量.

4.2客觀評價指標

在視覺感觀上，本文方法在處理復雜圖像時有一定優勢。為避免主觀臆斷去霧效果，下面選取3個指標自然圖像質量（負向性）、結構相似性（正向性）、峰值信噪比（正向性）客觀、綜合地評估不同方法對復雜圖像的去霧質量.采集10幅不同程度霧氣濃度的居住區圖像，降序排列各圖像，不同方法對復雜圖像的去霧效果評價指標結果如圖5所示，

由圖5可見，本文方法的自然圖像質量、結構相似性和峰值信噪比數值均比對比方法更優，且與霧氣濃度的關聯度相對較弱，各目標圖像的指標均值分別為1.11，0.9，29.2dB.這是因為本文方法基于高低頻特征增強策略中奇異值分解、Gamma拐點校正和Shearlet變換、非線性變換的優勢，在復雜圖像去霧方面表現了較強的結構、細節保留能力和亮度、對比度調節能力，通過高清晰度、高色彩還原度、低噪聲等優勢，充分展現了圖像內容的表現力，并在透射率修正方法和透射率調控因子的共同作用下，不但取得了高質量的去霧圖像，而且大幅度降低了霧氣濃度對去霧效果的干擾，達到了復雜圖像去霧的預期效果.

綜上所述，針對復雜圖像因結構豐富、霧氣分布不均等，極易在去霧過程中出現顏色失真、細節丟失甚至無法真正實現去霧等問題，本文提出了一種基于高低頻特征增強和透射率修正的構建復雜圖像去霧方法.實驗結果表明，本文方法通過增強高低頻特征分量、修正透射率，在去除霧氣的同時成功恢復了圖像的細節信息和邊緣過渡，顯著改善了圖像整體視覺質量.同時，在透射率修正和調控因子的共同作用下，該方法能顯著降低霧氣濃度對去霧效果的干擾.

參考文獻

[1]孟紅記，劉沛諺，胡振偉.基于注意力特征融合稠密網絡的圖像去霧算法[J].東北大學學報（自然科學版），2022，43（12）：1717-1723.（MENG H J，LIU P Y，HU Z W.Image Dehazing Algorithm Based on Attentional Feature Fusion and Dense Network[J].Journal of Northeastern University（Natural Science），2022，43（12）：1717-1723.）

[2]陳凌波，朱樹先，祝勇俊，等.基于5G通信和圖像增強算法的交通監控系統設計[J].科學技術與工程，2022，22（4）：1510-1516.（CHEN L B，ZHU SX，ZHU YJ，etal.Design of Traffic Monitoring System Based on 5G Communication and Image Enhancement Algorithm[J].Science Technology and Engineering，2022，22（4）：1510-1516.）

[3]鄔開俊，丁元.寬型自注意力融合密集型殘差網絡的圖像去霧[J].湖南大學學報（自然科學版），2023，50（8）：13-22.（WU K J，DING Y.Wide Self-attention Mechanism Fusion Dense Residual Network Image Dehazing[J].Journal of Hunan University（Natural Sciences），2023，50（8）：13-22.）

[4]王可錚，徐玉芬，周尚波。結合對比感知損失和融合注意力的圖像去霧模型[J].計算機工程，2023，49（8）：207-214.（WANG K Z，XU Y F，ZHOU S B.Image Dehazing Model Combined with Contrastive Perceptual Loss and Fusion Attention[J].Computer Engineering，2023，49（8）：207-214.）

[5]吳正平，程潔瑩，雷幫軍，等。基于特征注意力的快速非均勻霧圖像去霧算法[J].國外電子測量技術，2023，42（9）：9-18.（WUZP，CHENG J Y，LEI B J，et al.Fast Nonhomogeneous Image Dehazing Algorithm Based on Feature Attention[J].Foreign Electronic Measurement Technology，2023，42（9）：9-18.）

[6]HU DS，YANG Y，LI B，etal.Fast Outdoor Hazy Image Dehazing Based on Saturation and Brightness[J].IET Image Processing，2022，16（3）：900-912.

[7]SUN X M，HAN Y，CHEN Y，etal.Aerial Image Defogging Method Based on Nonlocal Feature Structure Tensor by UAV Cameras with Three-Channel RGB Cameras[J].Journal of Applied Remote Sensing，2022，16（4）：046515-1-046515-17.

[8]譚曉東，趙奇，文明珠，等.基于BEMD、DCT和SVD的混合圖像水印算法[J].浙江大學學報（理學版），2023，50（4）：442-454.（TAN X D，ZHAO Q，WEN M Z，etal.A Hybrid Image Watermarking Algorithm Based on BEMD，DCT and SVD[J].Journal of Zhejiang University（Science Edition），2023，50（4）：442-454.）

[9]李燦林，朱金娟，劉金華，等.一種自適應SSR的霧天低照度圖像增強方法[J].計算機應用與軟件，2022，39（9）：233-239.（LI CL，ZHUJJ，LIU J H，etal.An Adaptive SSR Method for Foggy Low Illumination Image Enhancement[J].Computer Applications and Software，2022，39（9）：233-239.）

[10]阿卜杜如蘇力·奧斯曼，艾力米努·阿布力江，祖麗哈也提·艾合買提.小波域內循環平移操作的圖像高分辨率重建算法[J].應用科學學報，2022，40（2）：279-287.（AOSMANA，ABULIJIANG A，AIHEMAITIZ.Image High Resolution Reconstruction Algorithm Using Directional Cycle Spinning Operations in Wavelet Domain[J].Journal of Applied Sciences，2022，40（2）：279-287.）

[11]李云紅，李嘉鵬，蘇雪平，等.基于LatLRR與NSP分解的紅外與可見光圖像融合[J].激光與紅外，2023，53（9）：1441-1448.（LIY H，LI J P，SU X P，etal.Infrared and Visible Image Fusion Based on LatLRR and NSP Decomposition[J].Laseramp;.Infrared，2023，53（9）：1441-1448.）

[12]馬悅，金正猛，馮燦.基于邊緣檢測暗通道先驗的全變差圖像去霧算法[J].南京郵電大學學報（自然科學版），2023，43（4）：47-57.（MA Y，JIN Z M，FENG C.A Total Variation Image Dehazing Algorithm Based on Dark Channel Prior with Edge Indicator[J].Journal of Nanjing University of Posts and Telecommunications（Natural Science），2023，43（4）：47-57.）

[13]宋野.數字圖像低頻成分輪廓丟失邊緣保留仿真[J].計算機仿真，2021，38（5）：384-387.（SONGY.Simulation of Lost Edge Preservation of Low Frequency Component Contour in Digital Image[J].Computer Simulation，2021，38（5）：384-387.）

（責任編輯：韓嘯）