復雜環境下的圖像處理綜述

陳飛 劉云鵬

摘要：隨著無人駕駛的快速發展，解決復雜環境下的交通標志、交通燈以及車道線的識別問題成為研究熱點。為了保證后期檢測和識別的準確與快速，較好地處理復雜環境下拍攝的視頻圖像極為關鍵。文章綜述了霧霾、雨、雪等惡劣天氣和復雜光線條件下圖像處理方法，并且對其各種方法的優缺點進行了簡單闡述。最后，總結了本次工作，展望了未來這一方向的發展。

關鍵詞：復雜環境;惡劣天氣;復雜光線;圖像處理

中圖分類號：TP391? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）36-0005-05

開放科學（資源服務）標識碼（OSID）：

Overview of Image Processing in Complex Environment

CHEN Fei，LIU Yun-peng

（Zhejiang Wanli University， Ningbo 315100， China）

Abstract： With the rapid development of unmanned driving， solving the problem of recognizing traffic signs， traffic lights and lane lines in complex environment has become a research hotspot. In order to ensure the accuracy and rapidity of post-detection and recognition， it is crucial to deal with the video images captured in complex environment. In this paper， the image processing methods under severe weather and complex light conditions such as smog， rain and snow are summarized， and the advantages and disadvantages of various methods are briefly described. Finally， this work is summarized and the future development in this direction is prospected.

Key words： complex environment; bad weather; complex light; image processing

圖像處理是對圖像進行某些操作，以獲得增強圖像或從中提取有用信息的信號處理方法。它輸入的是圖像，輸出的是圖像或與該圖像相關聯的特征。其方法有兩種，即模擬圖像處理和數字圖像處理。前者是通過模擬方式對二維模擬信號執行圖像處理任務，但在處理過程中容易產生噪聲或失真之類的問題。后者是一種利用數字計算機來處理數字圖像的算法，較好地避免了失真問題。隨著計算機的迅猛發展，數字圖像處理越來越受人們青睞。當下，圖像處理一般指數字圖像處理。常見的數字圖像處理方法詳見圖1。

數字圖像在拍攝過程中易受到諸多不可抗拒的環境因素，如：霧、雨、雪等惡劣天氣和強光、昏暗等復雜光線。這些都會導致拍攝的圖像質量變差，后期無法使用。因此，采用各種圖像處理方法，復原出我們需要的、理想的、高質量的圖像，具有重要實用意義。

1 惡劣天氣的圖像處理方法

惡劣天氣時拍攝的圖像往往伴有大量噪音，同時圖像中也會出現遮擋其局部信息的雨線、雪花、霧層。因此需要利用各種方法進行處理，恢復出圖像原貌。本小節主要對霧和雨、雪兩類天氣的圖像處理方法進行簡要闡述。

1.1霧霾天的圖像處理方法

圖像去霧的傳統方法主要有兩大類：基于圖像增強方法和基于圖像恢復方法。前者的主要方法包括直方圖均衡化法、同態濾波法、小波變換法和Retinex系列法。它是通過對原圖的對比度、灰度分布和色調等特征進行改善、提高圖像的整體質量和清晰度，但此類方法忽略了圖像退化和降質的問題。后者的主要方法包括基于大氣光偏振特性法、基于先驗信息法和基于深度信息法。該類方法則是從導致圖像退化和降質的本源入手，利用物理中的大氣散射模型，反解出原圖像或光線反射率，從而達到改善圖像質量的目的。隨著深度學習的發展，基于深度學習的圖像去霧方法也不斷涌現。近年來每屆國際知名會議[例如ICCV（國際計算機視覺大會）、ECCV（歐洲計算機視覺國際會議）、CVPR（國際計算機視覺與模式識別會議）]都有提到各種基于深度學習去霧方法（除此之外還有圖像去雨、光線增強等方法），由于類別眾多，故基于深度學習的方法不再進行細分。針對去霧方法的歸納總結詳見表1。

1.2 雨、雪天氣下的圖像處理方法

雨、雪圖像處理的目的旨在不影響圖像原背景的前提下，對圖像中的雨線、雪花進行去除。現有方法主要是基于優化方式的去雨和基于深度學習方式去雨。基于優化方式又分為三類：基于物理和數學推導的去雨模型法、基于圖像處理知識法和基于稀疏編碼、字典學習的方式。歸納總結見表2。

2 復雜光線的圖像處理方法

在圖像拍攝過程中，不可避免遇見各種各樣的復雜光線環境。光線的強弱對其具有十分重要的影響，它會帶給圖像本質上的變化。光線強烈時，圖像會局部出現亮光點;光線昏暗時，圖像會大面積出現黑影;這都會使圖像丟失局部信息，且在進行識別時因與之前的訓練模板不一致，從而影響圖像的特征提取，無法進行檢測。復雜光線有多種，本文只針對處理高光和昏暗兩種光線。

2.1高光下圖像處理方法

高光圖像處理的思路主要分為兩種：一種是在拍攝前將極化濾波器放在攝像機鏡頭前，從而減輕高光對拍攝過程的影響;另一種是對拍攝出的圖像進行去高光處理。本文只針對后者，后者的處理方法主要分為五大類，即傳統高光去除算法、光照模型法、最大漫反射色度估計法、雙邊濾波器法和基于深度學習的方法。本小節對此進行了簡單的歸納總結，詳見表3。

2.2昏暗環境下圖像處理方法

昏暗圖像具有亮度和對比度低、整體細節辨識差等特點，使得得到的信息太少，進而無法進行特征提取與檢測、識別。針對此類圖像進行處理的方法主要有基于傳統方式的非線性單調映射函數法、基于直方圖法、Retinex系列模型和圖像融合的方法。隨著深度學習的發展，基于深度學習的昏暗圖像增強研究也備受人們關注。以下是本文對其進行的簡單歸納總結，詳見表4。

3 結論與展望

復雜環境下的圖像處理技術在提高目標檢測準確率和實時性方面具有很大的促進作用。近年來大量學者關注復雜環境下拍攝圖像的處理工作，而且隨著計算機視覺的高速發展以及5G的快速普及，使用深度學習方法來處理這類問題已取得較好的成績。未來如何使用較少的網絡層數就能達到最佳的處理效果將會是一個新的研究熱點。

參考文獻：

[1] Yousuf M A，Rakib M R H.An effective image contrast enhancement method using global histogram equalization[J].Journal of Scientific Research，2010，3（1）：43.

[2] Lee J W，Hong S H. Brightness based on atmospheric scattering coefficient ratio Real time fog conversion and area translation Elimination method[J]. Journal of Korean multimedia Society papers，2016，19（1）：10-21.

[3] Yu L，Liu X B，Liu G Z.A new dehazing algorithm based on overlapped sub-block homomorphic filtering[C]//Proc SPIE 9875，Eighth International Conference on Machine Vision （ICMV 2015），2015，9875：987502.

[4] He J X，Xing F Z，Yang R，et al.Fast single image dehazing via multilevel wavelet transform based optimization[EB/OL].2019.

[5] Alharbi E M，Wang H，Ge P.A novel dark-channel dehazing algorithm based on adaptive-filter enhanced SSR theory[J].Journal of Computer and Communications，2017，5（11）：60-71.

[6] Liu M，Xu C.An ameliorative defogging algorithm based on the MSR[J].Applied Mechanics and Materials，2014，556/557/558/559/560/561/562：3483-3486.

[7] Zhang W D，Dong L L，Pan X P，et al.Single image defogging based on multi-channel convolutional MSRCR[J].IEEE Access，2019，7：72492-72504.

[8] 高雋，畢冉，趙錄建，等.利用偏振信息的霧天圖像全局最優重構[J].光學 精密工程，2017，25（8）：2212-2220.

[9] Tan R T.Visibility in bad weather from a single image[C]//2008 IEEE Conference on Computer Vision and Pattern Recognition.June 23-28，2008，Anchorage，AK，USA.IEEE，2008：1-8.

[10] Sulami M，Glatzer I，Fattal R，et al.Automatic recovery of the atmospheric light in hazy images[C]//2014 IEEE International Conference on Computational Photography （ICCP）.May 2-4，2014，Santa Clara，CA，USA.IEEE，2014：1-11.

[11] Tarel J P，Hautière N.Fast visibility restoration from a single color or gray level image[C]//2009 IEEE 12th International Conference on Computer Vision.September 29 - October 2，2009，Kyoto，Japan.IEEE，2009：2201-2208.

[12] He K M，Sun J，Tang X O.Single image haze removal using dark channel prior[C]//2009 IEEE Conference on Computer Vision and Pattern Recognition.June 20-25，2009，Miami，FL，USA.IEEE，2009：1956-1963.

[13] Li C L，Jia Q.Foggy day image sharpening algorithm based on depth of field estimation[C]//Proceedings of the 2018 International Conference on Advanced Control，Automation and Artificial Intelligence （ACAAI 2018）.January 21-22，2018.Beijing，China.Paris，France：Atlantis Press，2018.

[14] Qin X，Wang Z L，Bai Y C，et al.FFA-net：feature fusion attention network for single image dehazing[J].Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（7）：11908-11915.

[15] Yu S J，Ou W H，You X G，et al.Single image rain streaks removal based on self-learning and structured sparse representation[C]//2015 IEEE China Summit and International Conference on Signal and Information Processing （ChinaSIP）.July 12-15，2015，Chengdu，China.IEEE，2015：215-219.

[16] Kim J H，Lee C，Sim J Y，et al.Single-image deraining using an adaptive nonlocal means filter[C]//2013 IEEE International Conference on Image Processing.September 15-18，2013，Melbourne，VIC，Australia.IEEE，2013：914-917.

[17] Kim J H，Sim J Y，Kim C S.Video deraining and desnowing using temporal correlation and low-rank matrix completion[J].IEEE Transactions on Image Processing，2015，24（9）：2658-2670.

[18] Li Y，Tan R T，Guo X J，et al.Rain streak removal using layer priors[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：2736-2744.

[19] Zhang Z， Wu L， Ma H D ， et al.Going Clear from Misty Rain in Dark Channel Guided Network[C].IJCAI Workshop on AI for Internet of Things，2017.

[20] Shi Z H，Li Y W，Zhang C Q，et al.Weighted Median guided filtering method for single image rain removal[J].EURASIP Journal on Image and Video Processing，2018，2018（1）：1-8.

[21] Son C H，Zhang X P.Rain removal via shrinkage-based sparse coding and learned rain dictionary[EB/OL].2016：arXiv：1610.00386[cs.CV].https：//arxiv.org/abs/1610.00386

[22] Deng S，Wei M Q，Wang J，et al.Detail-recovery image deraining via context aggregation networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.June 13-19，2020，Seattle，WA，USA.IEEE，2020：14548-14557.

[23] Shao F，Jiang G Y，Yu M，et al.Highlight-detection-based color correction method for multiview images[J].ETRI Journal，2009，31（4）：448-450.

[24] PingTan，Lin，Quan L，et al.Highlight removal by illumination-constrained inpainting[C]//Proceedings Ninth IEEE International Conference on Computer Vision.October 13-16，2003，Nice，France.IEEE，2003：164-169.

[25] Xu S C，Ye X Z，Wu Y，et al.Highlight detection and removal based on chromaticity[C]//Image Analysis and Recognition，2005：199-206.

[26] Tong K J. Research on Application of non Lambert surface imaging theory of machine vision in surface detection，2017.

[27] Tang Y P，Wu L J，Zong M L，et al.Research on identification of color structured light based on dichromatic reflection model[J].Advanced Materials Research，2011，403/404/405/406/407/408（9）：2780-2786.

[28] Yang Q X，Tang J H，Ahuja N.Efficient and robust specular highlight removal[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（6）：1304-1311.

[29] 高如新，李雪穎.雙邊濾波的改進高光去除[J].中國圖象圖形學報，2018，23（1）：9-17.

[30] LU G R， TANG J F ，JIANG M. Research on image highlight removal based on fast bilateral filter[J].Computer Engineering and Applications，2014，50（10）：176-179.

[31] Madessa A H，Dong J Y，Gan Y H，et al.A deep learning approach for specular highlight removal from transmissive materials[J].Expert Systems，2020：e12598.

[32] Beghdadi A，Le Negrate A.Contrast enhancement technique based on local detection of edges[J].Computer Vision，Graphics，and Image Processing，1989，46（2）：162-174.

[33] Peli E.Contrast in complex images[J].Journal of the Optical Society of America A，Optics and Image Science，1990，7（10）：2032-2040.

[34] Rahman S，Rahman M M，Abdullah-Al-wadud M，et al.An adaptive gamma correction for image enhancement[J].EURASIP Journal on Image and Video Processing，2016，2016（1）：1-13.

[35] Yeganeh H，Ziaei A，Rezaie A.A novel approach for contrast enhancement based on Histogram Equalization[C]//2008 International Conference on Computer and Communication Engineering.May 13-15，2008，Kuala Lumpur，Malaysia.IEEE，2008：256-260.

[36] Pizer S M，Amburn E P，Austin J D，et al.Adaptive histogram equalization and its variations[J].Computer Vision，Graphics，and Image Processing，1987，39（3）：355-368.

[37] Muniyappan S，Allirani A，Saraswathi S.A novel approach for image enhancement by using contrast limited adaptive histogram equalization method[C]//2013 Fourth International Conference on Computing，Communications and Networking Technologies （ICCCNT）.July 4-6，2013，Tiruchengode，India.IEEE，2013：1-6.

[38] Jobson D J， Rahman Z U and Woodell G A. Retinex Image Processing： Improved Fidelity To Direct Visual Observation. NASA Langley Technical Report Server，1996.

[39] Zhu M Y，Su F，Li W J.Improved multi-scale retinex approaches for color image enhancement[J].Applied Mechanics and Materials，2010，39：32-37.

[40] Gao Y，Yun L J，Shi J S，et al.Enhancement MSRCR algorithm of color fog image based on the adaptive scale[C]//Proc SPIE 9159，Sixth International Conference on Digital Image Processing （ICDIP 2014），2014，9159：253-259.

[41] Ying Z Q，Li G，Ren Y R，et al.A new low-light image enhancement algorithm using camera response model[C]//2017 IEEE International Conference on Computer Vision Workshops （ICCVW）.October 22-29，2017，Venice，Italy.IEEE，2017：3015-3022.

[42] Xing L，Cai L，Zeng H Q，et al.A multi-scale contrast-based image quality assessment model for multi-exposure image fusion[J].Signal Processing，2018，145：233-240.

[43] Zhang Y H，Zhang J W，Guo X J.Kindling the darkness：a practical low-light image enhancer[C]//Proceedings of the 27th ACM International Conference on Multimedia.Nice France.New York，NY，USA：ACM，2019： 1632-1640.

【通聯編輯：唐一東】