單幅圖像去雨算法研究的最新進(jìn)展

閆碧玉　殷雅茹　于匯欣

摘? 要：在雨天所拍攝的圖像不僅影響人類視覺(jué)輸入和判斷，還使許多計(jì)算機(jī)視覺(jué)算法的有效性和穩(wěn)定性降低，如檢測(cè)、識(shí)別、跟蹤等等。國(guó)內(nèi)外對(duì)處理視頻上的雨滴的干擾已經(jīng)有了廣泛而深入的研究，取得了很好的去除效果。然而在單幅圖像去雨雪中，由于不能利用視頻上的時(shí)域信息，單幅圖像去雨研究變得非常的困難，不但在起步晚，而且效果也差。本文針對(duì)單幅圖像去雨算法展開(kāi)研究，闡述了去雨算法的研究，重點(diǎn)講述了三種不同類型的去雨算法，分別為深度學(xué)習(xí)去雨算法、RESCAN去雨算法、深度細(xì)節(jié)網(wǎng)絡(luò)去雨等。

關(guān)鍵詞：圖像去雨;深度學(xué)習(xí);算法研究

1引言

在信息時(shí)代，計(jì)算機(jī)技術(shù)的發(fā)展越來(lái)越智能化。人類信息的主要來(lái)源是通過(guò)視覺(jué)和聽(tīng)覺(jué)，其中視覺(jué)獲取的信息遠(yuǎn)遠(yuǎn)大于聽(tīng)覺(jué)獲取的信息。通過(guò)視覺(jué)獲取的信息占80%以上，而人類通過(guò)聽(tīng)覺(jué)獲取的信息僅占10%左右。計(jì)算視覺(jué)是一種通過(guò)攝像機(jī)和計(jì)算機(jī)模擬人類視覺(jué)的計(jì)算機(jī)智能。計(jì)算機(jī)視覺(jué)廣泛應(yīng)用于智能交通、目標(biāo)跟蹤檢測(cè)、遠(yuǎn)程監(jiān)控、體育報(bào)道、公安、軍事防御等諸多領(lǐng)域。然而，計(jì)算機(jī)視覺(jué)系統(tǒng)容易受到室外惡劣天氣的影響。其主要性能是惡劣天氣下采集的圖像會(huì)產(chǎn)生干擾和降質(zhì)，降低計(jì)算機(jī)視覺(jué)處理算法的性能，如目標(biāo)跟蹤、目標(biāo)檢測(cè)、圖像檢索等。為了提高人類的視覺(jué)效果和計(jì)算機(jī)視覺(jué)系統(tǒng)的性能，本文將對(duì)雨天的圖像復(fù)原進(jìn)行系統(tǒng)的闡述，特別是針對(duì)單個(gè)圖像的去雨算法研究。

2圖像去雨算法

由于在一幅圖像中沒(méi)有可用的時(shí)域信息，因此更難去除雨雪。在某些情況下，我們只能使用單個(gè)圖像（例如，相機(jī)拍攝的雨水圖像、從網(wǎng)絡(luò)下載的雨水圖像）。此外，在某些情況下，有必要從單個(gè)圖像中刪除雨水。例如，為了提高圖像檢索的精度，需要對(duì)圖像進(jìn)行預(yù)處理以去除雨水。此外，單個(gè)圖像可以消除動(dòng)態(tài)背景和運(yùn)動(dòng)對(duì)象的影響。由于雨水在空間的隨機(jī)分布，使得單個(gè)圖像中沒(méi)有時(shí)間域的信息，這使得國(guó)內(nèi)外單個(gè)圖像中雨水去除的開(kāi)始速度太慢，方法也很少，去除效果也比較差。

2.1深度學(xué)習(xí)去雨算法

Fu等人（2016）基于深度學(xué)習(xí)技術(shù)，提出了圖像去雨算法。聯(lián)合雨條檢測(cè)和去除的卷積神經(jīng)網(wǎng)絡(luò)。文中首先根據(jù)雨條堆積形成的霧和不同的雨條形狀和方向建模。為了解決難以區(qū)分圖像的紋理和雨條，導(dǎo)致平滑解的問(wèn)題，網(wǎng)絡(luò)設(shè)計(jì)檢測(cè)雨條的部分，用于抑制無(wú)雨區(qū)域的圖像紋理被去除的問(wèn)題。為了增大圖像的感受野，獲得圖像的全局信息，網(wǎng)絡(luò)設(shè)計(jì)了一個(gè)上下文空洞卷積網(wǎng)絡(luò)來(lái)增大感受野，獲取圖像的全局信息。由于雨條的堆積，網(wǎng)絡(luò)設(shè)計(jì)循環(huán)復(fù)原的方式，通過(guò)多次的復(fù)原，從而解決了雨條去除不徹底的問(wèn)題。

2.2深度細(xì)節(jié)網(wǎng)絡(luò)去雨算法

Yang等人（2016）提出了基于深度學(xué)習(xí)的單幅圖像去雨算法，建立卷積神經(jīng)網(wǎng)絡(luò)從雨條的退化圖像中復(fù)原清晰圖像。文章在去除雨條時(shí)創(chuàng)新點(diǎn)主要體現(xiàn)在兩個(gè)方面：1）提出Negative Residual Mapping（Neg-mapping），用于刻畫(huà)清晰圖像和退化圖像間的區(qū)別，使得網(wǎng)絡(luò)學(xué)習(xí)的過(guò)程更為簡(jiǎn)單2）將輸入圖像進(jìn)行分解為高頻成分用于圖像復(fù)原。

普通的卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)時(shí)最小化損失函數(shù)

加入Neg-mapping后，修訂的損失函數(shù)為

文中進(jìn)而分別對(duì)比了普通的卷積神經(jīng)網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)、加入Neg-mapping的卷積神經(jīng)網(wǎng)絡(luò)、加入Neg-mapping的殘差網(wǎng)絡(luò)和文中最終的方法在圖像去雨上的實(shí)現(xiàn)結(jié)果。文中通過(guò)實(shí)驗(yàn)結(jié)果圖1，經(jīng)驗(yàn)式的給出加入Neg-map 可以有效的降低解空間，實(shí)現(xiàn)更好的復(fù)原效果。

2.3 RESCAN單圖去雨

通過(guò)卷積神經(jīng)網(wǎng)絡(luò)以及循環(huán)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，提出了一種新的神經(jīng)網(wǎng)絡(luò)架構(gòu)RESCSN來(lái)處理單圖雨滴。去雨問(wèn)題的建模也是將問(wèn)題進(jìn)行分解，稍有不同的是將雨的影響進(jìn)行了細(xì)分，認(rèn)為R是由多種雨的紋路組成的。

文章提出了一種稱REcurrentSE Context Aggregation Net（RESCAN）的框架，整個(gè)過(guò)程是多階段的，逐步得到R。每個(gè)階段使用一種稱為SCAN的結(jié)構(gòu)，這個(gè)結(jié)構(gòu)主要有以下幾個(gè)特點(diǎn)：第一是使用空洞卷積快速擴(kuò)大感知野，因?yàn)樵谌ビ曛懈嗟纳舷挛男畔⑹潜容^關(guān)鍵的。第二個(gè)特點(diǎn)是使用SE模塊，作者認(rèn)為特征圖的每個(gè)頻道都可以看為某種Ri的表示（embedding），每個(gè)Ri都有一個(gè)對(duì)應(yīng)的系數(shù)αi，通過(guò)引入SE模塊，可以顯式地為不同Ri賦值不同的系數(shù)。這樣每個(gè)階段都能得到某些雨的條紋，也就是說(shuō)每個(gè)階段都能去除某些雨的條紋由于一個(gè)階段不可能將所有的雨的條紋都去除，因此需要多階段逐步地進(jìn)行，這個(gè)過(guò)程通過(guò)RNN的結(jié)構(gòu)來(lái)建模。

3.結(jié)論

通過(guò)對(duì)三種去雨算法的具體綜述，本文對(duì)圖像去雨算法有了深入的介紹。由于篇幅有限，對(duì)于不同算法的效果還需要更進(jìn)一步的驗(yàn)證。

參考文獻(xiàn)

[1]? Fu X，Huang J，Zeng D，et al. Removing Rain from Single Images via a Deep Detail Network[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. IEEE Computer Society，2017.

[2]? Cai B，Xu X，Jia K，et al. DehazeNet：An End-to-End System for Single Image Haze Removal[J]. IEEE Transactions on Image Processing，2016，25（11）：5187-5198.