水下圖像復原中背景光求解方法研究最新進展

摘 要： 水下特殊的成像環境，使得圖像存在模糊、色偏等問題，給水下圖像復原帶來了新的挑戰。基于成像模型的圖像復原是提高水下圖像質量的典型方法之一。背景光作為逆向復原的重要參數直接影響到水下圖像復原的效果。目前對水下圖像復原中背景光求解方法的綜述文獻較少，為了深入了解水下圖像復原的研究現狀和發展趨勢，對水下圖像復原中背景光求解方法進行綜述。首先簡述了水下模型，歸納了背景光的特征及背景光求解方法分類，通過詳細分析各種典型的背景光求解方法的原理和特點，總結歸納了各種典型方法的優缺點，并提出了研究展望。

關鍵詞： 水下圖像； 圖像復原； 水下成像模型； 背景光

中圖分類號： TP391"" 文獻標志碼： A

文章編號： 1001-3695（2022）05-001-1281-08

doi：10.19734/j.issn.1001-3695.2021.10.0468

Recent advances in background light solution methods for underwater image restoration

Xiong Jing， Cao Jianqiu， Zhang Tianchi

（School of Information Science amp; Engineering， Chongqing Jiaotong University， Chongqing 400074， China）

Abstract： The special underwater imaging environment makes the image have problems such as blur and color deviation，which brings new challenges to underwater image restoration.Image restoration based on imaging model is one of the typical methods to improve the quality of underwater image.As an important parameter of reverse restoration，background light directly affects the effect of underwater image restoration.At present，there is little literature on the background light solution methods in underwater image restoration.In order to deeply understand the research status and development trend of underwater image restoration，this paper summarized the background light solution methods in underwater image restoration.Firstly，it briefly described the underwater model，then summarized the characteristics of background light and the classification of background light solution methods.With analyzing the principles and characteristics of various typical background light solution methods in detail，it summarized the advantages and disadvantages of various typical methods，and put forward the research prospect.

Key words： underwater image； image restoration； underwater imaging model； background light

隨著陸地上不可再生資源的加速消耗，對海洋資源的開發愈顯迫切［1］。開發海洋資源需要先進的技術和裝備，水下機器人（autonomous underwater vehicle，AUV）在海洋資源開發中發揮著不可替代的作用［2］。視覺圖像是目前水下近距離作業信息獲取的主要手段，AUV在進行水下目標探測與作業時需要明晰的水下環境與目標信息［3～5］。水下環境中，由于水介質及水中雜質對光線的散射和折射效應等因素影響，水下視覺圖像退化嚴重，存在背景噪聲強、圖像模糊、色偏等問題［4］。因此，需要對退化嚴重的水下視覺圖像進行處理，提高成像清晰度，為后續的目標提取等圖像處理奠定基礎［6］。

目前，提高成像清晰度的方法主要有基于圖像處理和光學復原兩大類［7～9］。光學復原方法側重于光學成像系統及光學信息的獲取和處理，典型方法有偏振光學成像復原［10］、多光譜融合復原［11］等，這些方法需要額外的光學裝置使其應用受到限制。圖像處理方法分為基于非物理模型的圖像增強方法和基于物理模型的圖像復原方法［8］。非物理模型的方法不依賴水下光學成像數學模型，通過調整像素值等參數改善圖像質量，典型方法有直方圖均衡等基于空域增強的方法、小波變換等基于頻域增強的方法等［7，12］。非物理模型的圖像增強方法不考慮圖像退化機理，重點研究圖像降噪及強化目標特征，圖像增強結果不能正確反映場景的真實色彩特征。基于物理模型的圖像復原方法對圖像退化過程進行物理建模，通過反演退化過程獲得清晰的圖像［13］，使復原后圖像更接近真實場景。整體上看，基于物理模型的水下圖像復原方法是目前研究的熱點問題［14，15］。實現水下圖像復原的技術基礎是水下成像光學模型。1980年，美國加州大學伯克利分校McGlamery教授提出了經典的水下成像模型［16］。1990，美國加州大學圣地亞哥分校Jaffe教授在McGlamery模型基礎上，將水體光學參數等考慮在內，提出了改進的水下成像模型（又稱Jaffe-McGlamery模型或J-M模型）［17，18］。現有的大多數水下圖像復原算法都是建立在J-M模型的基礎上［19］。基于J-M模型進行水下圖像復原的重點在于準確求解模型參數，主要參數為背景光和透射率。目前，常用的模型參數估計方法主要有基于暗通道先驗（dark channel prior，DCP）的方法和基于深度學習的方法等［3］。本文以J-M模型為基礎，闡述水下圖像復原中背景光求解方法的研究現狀及發展動態。

1 水下成像模型

J-M水下成像模型原理圖如圖1所示。

5 結束語

本文闡述了水下圖像復原中背景光求解方法研究最新進展，總結了水下圖像背景光特征，對近年來的熱點研究方法以及改進的傳統方法進行了分類討論，并分析歸納了各種方法的優缺點。通過對典型方法的研究，總結出在以下幾個方面還有待于深入研究：

a）提高方法的魯棒性和適應能力。現有方法的魯棒性和自適應能力不足，無法滿足實際應用的需求。理想的方法應該能夠針對不同的水下應用場景和不同類型的退化圖像作出自適應的調整，不受到應用場景和外界條件的限制，具有較好的魯棒性。

b）提高方法的實時性。現有方法大多不關注算法的實時性，多數算法的處理時間較長。為了滿足水下機器人基于視覺作業的實時性要求，甚至應該將算法耗時作為控制性指標。

c）關注基于深度學習的圖像復原方法。深度學習的動機在于建立模擬人腦的機制進行學習和處理問題，具有良好的發展潛力。但應用于水下圖像復原及其背景光求解目前還存在一些問題，監督式學習的樣本數據庫難以精準建立，非監督式學習的機制在水下圖像復原中尚不成熟。

d）關注水下人工光源。對人工光源的建模、檢測和補償問題相對于水下圖像處理而言是比較新的問題［16］，目前大多數研究關注自然光源下的水中圖像復原，而深海AUV中人工光源是唯一光源，其圖像復原及其背景光求解思路與自然光也多有不同，但目前相關文獻很少。

e）關注水下多幀連續圖像處理。目前研究大多集中在單幅水下圖像，對水下多幀連續圖像處理文獻很少。而水下機器人對目標作業是個有由遠及近的過程，在此過程中可以對同一個目標采集多幀圖像，基于多幀圖像進行復原將是很有意義的研究方向。

參考文獻：

［1］Ridao P，Carreras M，Ribas D，et al.Intervention AUVs：the next challenge［J］.Annual Reviews in Control，2015，40（1）：227-241.

［2］Londhe P S，Santhakumar M，Patre B M，et al.Task space control of an autonomous underwater vehicle manipulator system by robust single-input fuzzy logic control scheme［J］.IEEE Journal of Ocea-nic Engineering，2017，42（1）：13-28.

［3］林森，趙潁.水下光學圖像中目標探測關鍵技術研究綜述［J］.激光與光電子學進展，2020，57（6）：26-37. （Lin Sen，Zhao Ying.Review on key technologies of target exploration in underwater optical images［J］.Laser amp; Optoelectronics Progress，2020，57（6）：26-37.）

［4］Peng Y T，Cosman P C.Underwater image restoration based on image blurriness and light absorption［J］.IEEE Trans on Image Proces-sing，2017，26（4）：1579-1594.

［5］Chiang J Y，Chen Y C.Underwater image enhancement by wavelength compensation and dehazing［J］.IEEE Trans on Image Proces-sing，2012，21（4）：1756-1769.

［6］Mehrnejad M，Albu A B，Capson D，et al.Towards robust identification of slow moving animals in deep-sea imagery by integrating shape and appearance cues［C］//Proc of ICPR Workshop on Computer Vision for Analysis of Underwater Imagery.2014：25-32.

［7］Li Xiaobo，Hu Haofeng，Zhao Lin，et al.Polarimetric image recovery method combining histogram stretching for underwater imaging［J］.Scientific Reports，2018，8（1）：12430.

［8］Emberton S，Chittka L，Cavallaro A.Underwater image and video dehazing with pure haze region segmentation［J］.Computer Vision and Image Understanding，2018，168：145-156.

［9］Xu Yong，Wen Jie，Fei Lunke，et al.Review of video and image defogging algorithms and related studies on image restoration and enhancement［J］.IEEE Access，2016，4：165-188.

［10］梁健，巨海娟，張文飛，等.偏振光學成像去霧技術綜述［J］.光學學報，2017，37（4）：9-21. （Liang Jian，Ju Haijuan，Zhang Wenfei，et al.Review of optical polarimetric dehazing technique［J］.Acta Optica Sinica，2017，37（4）：9-21.）

［11］Liang Jian，Zhang Wenfei，Ren Liyong，et al.Polarimetric dehazing method for visibility improvement based on visible and infrared image fusion［J］.Applied Optics，2016，55（29）：8221-8226.

［12］Serikawa S，Lu Huimin.Underwater image dehazing using joint trila-teral filter［J］.Computers amp; Electrical Engineering，2014，40（1）：41-50.

［13］Sathya R，Bharathi M，Dhivyasri G.Underwater image enhancement by dark channel prior［C］//Proc of IEEE International Conference on Electronics and Communication Systems.2015：1119-1123.

［14］Lu Huimin，Li Yujie，Nakashima S，et al.Underwater image super-resolution by descattering and fusion［J］.IEEE Access，2017，5：670-679.

［15］Zhang Wenfei，Liang Jian，Ren Liyong，et al.Real-time image haze removal using an aperture-division polarimetric camera［J］.Applied Optics，2017，56（4）：942-947.

［16］McGlamery B L.A computer model for underwater camera systems［C］//Proc of Ocean Optics VI.Washington：International Society for Optics and Photonics，1980：221-231.

［17］Palowitch A W，Jaffe J S.Computer mode for predicting underwater color images［M］//Spinrad R W.Underwater Imaging，Photography，and Visibility.San Diego，CA：International Society fer Optics and Photonics，1991：151-160.

［18］Jaffe J S.Computer modeling and the design of optimal underwater imaging systems［J］.IEEE Journal of Oceanic Engineering，1990，15（2）：101-111.

［19］張莉云.水下圖像清晰化算法研究［D］.天津：天津大學，2017. （Zhang Liyun.Research on underwater image clarity algorithm［D］.Tianjin：Tianjin University，2017.）

［20］謝昊伶，彭國華，王凡，等.基于背景光估計與暗通道先驗的水下圖像復原［J］.光學學報，2018，38（1）：18-27. （Xie Haoling，Peng Guohua，Wang Fan，et al.Underwater image restoration based on background light estimation and dark channel priori［J］.Acta Optica Sinica，2018，38（1）：18-27.）

［21］Lee Z，Carder K L，Arnone R A.Deriving inherent optical properties from water color：a multiband quasi-analytical algorithm for optically deep waters［J］.Applied Optics，2002，41（27）：5755-5772.

［22］Li Chongyi，Guo Jichang，Cong Runmin，et al.Underwater image enhancement by dehazing with minimum information loss and histogram distribution prior［J］.IEEE Trans on Image Processing，2016，25（12）：5664-5677.

［23］Tan R T.Visibility in bad weather from a single image［C］//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2008：24-26.

［24］Li Chongyi，Guo Jichang，Guo Chunle，et al.A hybrid method for underwater image correction［J］.Pattern Recognition Letters，2017，94（15）：62-67.

［25］Zhao Xinwei，Jin Tao，Qu Song.Deriving inherent optical properties from background color and underwater image enhancement［J］.Ocean Engineering，2015，94（15）：163-172.

［26］程艷芬，姚麗娟，袁巧，等.水下視頻圖像清晰化方法［J］.吉林大學學報：工學版，2020，50（2）：668-677. （Cheng Yanfen，Yao Lijuan，Yuan Qiao，et al.Clearing strategy of underwater video image［J］.Journal of Jilin University：Engineering and Technology Edition，2020，50（2）：668-677.）

［27］He Kaiming，Sun Jian，Tang Xiaoou.Single image haze removal using dark channel prior［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-2353.

［28］Nair D，Sankaran P.Color image dehazing using surround filter and dark channel prior［J］.Journal of Visual Communication and Image Representation，2017，50：9-15.

［29］張晨，楊燕.基于融合與高斯加權暗通道的單幅圖像去霧算法［J］.光子學報，2019，48（1）：146-154. （Zhang Chen，Yang Yan.Single image dehazing algorithm based on fusion and Gaussian weighted dark channel［J］.Acta Photonica Sinica，2019，48（1）：146-154.）

［30］Anwar M I，Khosla A.Vision enhancement through single image fog removal［J］.Engineering Science amp; Technology An International Journal，2017，20（3）：1075-1083.

［31］Singh D，Kumar V.Defogging of road images using gain coefficient-based trilateral filter［J］.Journal of Electronic Imaging，2018，27（1）：013004 .

［32］Amer K O，Elbouz M，Alfalou A，et al.Enhancing underwater optical imaging by using a low-pass polarization filter［J］.Optics Express，2019，27（2）：621.

［33］趙欣慰.水下成像與圖像增強及相關應用研究［D］.杭州：浙江大學，2015. （Zhao Xinwei.Research on underwater imaging，image enhancement and related applications［D］.Hangzhou：Zhejiang University，2015.）

［34］Yang H，Chen Peiyin，Huang C，et al.Low complexity underwater image enhancement based on dark channel prior［C］//Proc of the 2nd International Conference on Innovations in Bio-inspired Computing and Applications.Washington DC：IEEE Computer Society，2011：17-20.

［35］Liu Chao，Wang Meng.Removal of water scattering［C］//Proc of International Conference on Computer Engineering amp; Technology.Piscataway，NJ：IEEE Press，2010：35-39.

［36］李黎，王惠剛，劉星.基于改進暗原色先驗和顏色校正的水下圖像增強［J］.光學學報，2017，37（12）：176-184. （Li Li，Wang Huigang，Liu Xing.Underwater image enhancement based on improved dark channel prior and color correction［J］.Acta Optica Sinica，2017，37（12）：176-184.）

［37］Chen Zhe，Wang Huibin，Shen Jie，et al.Region-specialized underwater image restoration in inhomogeneous optical environments［J］.Optik-International Journal for Light and Electron Optics，2014，125（9）：2090-2098.

［38］湯忠強，周波，戴先中，等.基于改進DCP算法的水下機器人視覺增強［J］.機器人，2018，40（2）：222-230. （Tang Zhongqiang，Zhou Bo，Dai Xianzhong，et al.Underwater robot visual enhancements based on the improved DCP algorithm［J］.Robot，2018，40（2）：222-230.）

［39］Yu Haifeng，Li Xinbin，Lou Qian，et al.Underwater image enhancement based on DCP and depth transmission map［J］.Multimedia Tools and Applications，2020，79（27-28）：20373-20390.

［40］Wang Yan，Song Wei，Fortino G，et al.An experimental-based review of image enhancement and image restoration methods for underwater imaging［J］.IEEE Access，2019，7：140233-140251.

［41］Drews J P，Nascimento E，Moraes F，et al.Transmission estimation in underwater single images［C］//Proc of International Conference on Computer Vision Workshop on Underwater Vision.2013：825-830.

［42］Wen Haocheng，Tian Yonghong，Huang Tiejun，et al.Single underwater image enhancement with a new optical model［C］//Proc of IEEE International Symposium on Circuits and Systems.Piscataway，NJ：IEEE Press，2013：753-756.

［43］Galdran A，Pardo D，Picón A，et al.Automatic red-channel underwater image restoration［J］.Journal of Visual Communication and Image Representation，2015，26：132-145.

［44］鄧翔宇，王惠剛，張永慶.基于主動光照的深海圖像增強算法［J］.光子學報，2020，49（3）：187-198. （Deng Xiangyu，Wang Huigang，Zhang Yongqing.Deep sea image enhancement method based on the active illumination［J］.Acta Photonica Sinica，2020，49（3）：187-198.）

［45］Muniraj M，Dhandapani V.Underwater image enhancement by combining color constancy and dehazing based on depth estimation［J］.Neurocomputing，2021，460：211-230.

［46］LeCun Y，Bottou L.Gradient-based learning applied to document re-cognition［J］.Proceedings of IEEE，1998，86（11）：2278-2324.

［47］Cao Keming，Peng Yantsung，Cosman P C.Underwater image restoration using deep networks to estimate background light and scene depth［C］//Proc of IEEE Southwest Symposium on Image Analysis and Interpretation.Piscataway，NJ：IEEE Press，2018：1-4.

［48］Shin Y S，Cho Y，Pandey G，et al.Estimation of ambient light and transmission map with common convolutional architecture［C］//Proc of Oceans.Piscataway，NJ：IEEE Press，2016：1-7.

［49］Hou Minjun，Liu Risheng，Fan Xin，et al.Joint residual learning for underwater image enhancement［C］//Proc of the 25th IEEE International Conference on Image Processing.Piscataway，NJ：IEEE Press，2018：4043-4047.

［50］Yang Shudi，Chen Zhehan，Feng Zhipeng，et al.Underwater image enhancement using scene depth-based adaptive background light estimation and dark channel prior algorithms［J］.IEEE Access，2019，7：165318-165327.

［51］Wu Shengcong，Luo Ting，Jiang Gangyi，et al.A two-stage underwater enhancement network based on structure decomposition and characte-ristics of underwater imaging［J］.IEEE Journal of Oceanic Engineering，2021，46（4）：1213-1227.

［52］Kim J H，Jang W D，Sim J Y，et al.Optimized contrast enhancement for real-time image and video dehazing［J］.Journal of Visual Communication and Image Representation，2013，24（3）：410-425.

［53］Chen Hsinhui，Ding Jianjiun，Sheu H T.Image retrieval based on quadtree classified vector quantization［J］.Multimedia Tools and Applications，2014，72（2）：1961-1984.

［54］林森，白瑩，李文濤，等.基于修正模型與暗通道先驗信息的水下圖像復原［J］.機器人，2020，42（4）：427-435，447. （Lin Sen，Bai Ying，Li Wentao，et al.Underwater image restoration based on the modified model and dark channel prior［J］.Robot，2020，42（4）：427-435，447.）

［55］王國霖，田建東，李鵬越.基于雙透射率水下成像模型的圖像顏色校正［J］.光學學報，2019，39（9）：16-25. （Wang Guolin，Tian Jiandong，Li Pengyue.Image color correction based on double transmission underwater imaging model［J］.Acta Optica Sinica，2019，39（9）：16-25.）

［56］Liu Hui，Chau L P.Underwater image restoration based on contrast enhancement［C］//Proc of IEEE International Conference on Digital Signal Processing.Piscataway，NJ：IEEE Press，2016：584-588.

［57］楊愛萍，鄭佳，王建，等.基于顏色失真去除與暗通道先驗的水下圖像復原［J］.電子與信息學報，2015，37（11）：2541-2547. （Yang Aiping，Zheng Jia，Wang Jian，et al.Underwater image restoration based on color cast removal and dark channel prior［J］.Journal of Electro-nics amp; Information Technology，2015，37（11）：2541-2547.）

［58］Dai Chenggang，Lin Mingxing，Wu Xiaojian，et al.Single underwater image restoration by decomposing curves of attenuating color［J］.Optics amp; Laser Technology，2019，123（5）：105947.

［59］Liu Yongbin，Rong Shenghui，Cao Xueting，et al.Underwater single image dehazing using the color space dimensionality reduction prior［J］.IEEE Access，2020，8：91116-91128.

［60］Yu Haifeng，Li Xinbin，Lou Qian，et al.Underwater image enhancement based on color-line model and homomorphic filtering［J］.Signal Image and Video Processing，2022，16：83-91.

［61］林繼強，郁梅，徐海勇，等.基于光衰減先驗和背景光融合的水下圖像復原［J］.激光與光電子學進展，2021，58（8）：160-169. （Lin Jiqiang，Yu Mei，Xu Haiyong，et al.Underwater image restoration based on light attenuation priori and background light fusion［J］.Laser amp; Optoelectronics Progress，2021，58（8）：160-169.）

［62］Wang Nan，Zheng Haiyong，Zheng Bing.Underwater image restoration via maximum attenuation identification［J］.IEEE Access，2017，5（99）：18941-18952.

［63］Deng Xiangyu，Wang Huigang，Liu Xing.Underwater image enhancement based on removing light source color and dehazing［J］.IEEE Access，2019，7：114297-114309.

［64］王一斌，尹詩白，呂卓紋.自適應背景光估計與非局部先驗的水下圖像復原［J］.光學精密工程，2019，27（2）：499-510. （Wang Yi-bin，Yin Shibai，Lyu Zhuowen.Underwater image restoration with adaptive background light estimation and non-local prior［J］.Optical and Precision Engineering，2019，27（2）：499-510.）

［65］林森，遲凱晨，李文濤，等.基于優勢特征圖像融合的水下光學圖像增強［J］.光子學報，2020，49（3）：209-221. （Lin Sen，Chi Kaichen，Li Wentao，et al.Underwater optical image enhancement based on dominant feature image fusion［J］.Acta Photonica Sinica，2020，49（3）：209-221.）

［66］郭繼昌，茹麗，郭春樂.基于梯度通道和優化透射率的水下圖像復原［J］.吉林大學學報：工學版，2020，50（4）：1435-1442. （Guo Jichang，Ru Li，Guo Chunle.Underwater image restoration based on gradient channel and optimized transmission［J］.Journal of Jilin University：Engineering and Technology Edition，2020，50（4）：1435-1442.）

［67］朱佳琦，周麗麗，閆晶晶，等.結合改進紅通道先驗與冪律校正CLAHE的水下圖像復原方法［J］.紅外技術，2021，43（7）：696-701. （Zhu Jiaqi，Zhou Lili，Yan Jingjing，et al.Underwater image restoration method combining improved red channel priori and power-law correction based CLAHE algorithm［J］.Infrared Technology，2021，43（7）：696-701.）

［68］張偉，高賽博，李子軒，等.基于散射模型的水下渾濁圖像增強方法［J］.哈爾濱工程大學學報，2021，42（8）：1209-1216. （Zhang Wei，Gao Saibo，Li Zixuan，et al.Underwater turbidity image enhancement method based on scattering model［J］ Journal of Harbin Engineering University，2021，42（8）：1209-1216.）

［69］Zhou Jingchun，Wang Yanyun，Zhang Weishi，et al.Underwater image restoration via feature priors to estimate background light and optimized transmission map［J］.Optics Express，2021，29（18）：28228-28245.