結合相似塊匹配與最小值濾波的圖像去雨

朱 鑒，劉培鈺，陳炳豐，蔡瑞初

廣東工業大學 計算機學院，廣州510006

室外鏡頭拍攝的圖像容易受到雨天氣的影響，雨線的遮擋導致圖像細節丟失或難以辨認，從而干擾室外視覺智能系統的判斷力，因此從被雨破壞的圖像中恢復出清晰圖像至關重要。

早在2012年，Kang等[1]利用雙邊濾波獲得圖像的低頻和高頻成分，并通過對高頻成分的字典學習及稀疏編碼提取圖像的結構信息，最后與低頻成分結合得到去雨的圖像，但該方法在復雜結構的圖像上處理效果不佳。2013 年Kim 等[2]提出了一種兩階段的圖像去雨方法。第一階段通過核回歸方法檢測雨，第二階段通過非局部均值濾波恢復被雨像素破壞的區域。然而，由于該方法中的雨檢測僅取決于區域的梯度方向，會錯誤地檢測到與雨方向一致的圖像邊界。此外，由于雨的存在，用于圖像修復的非局部均值濾波可能利用并不相似的塊來提供修復信息，所以通過非局部均值濾波去除雨線在視覺質量方面仍有較大的改善空間。在文獻[3]中提出了與文獻[2]類似的方法，但同樣存在由于檢測模型的不準確產生檢測不足或者過檢測，造成修補后的圖像出現雨痕殘留或圖像背景被模糊等問題，這也是本文改進與完善的重點。

2015 年Luo 等[4]采用一種非線性雨模型，通過約束雨分量和無雨圖像之間的稀疏表示系數的相關性達到去雨的目的，但該算法去雨不徹底且處理后的圖像出現不自然偽影。2016年，Li等[5]基于圖像先驗提出高斯混合模型（Gaussian Mixture Model，GMM），但該方法處理后的圖像由于過分平滑導致圖像細節的丟失，且對于大雨圖像處理并不理想。

近幾年，深度學習的快速發展延伸到圖像去雨領域。2017 年，Fu 等[6]引入深度檢測網絡，提出了一種基于圖像域先驗的深度網絡架構，用于消除雨線。2018年，Zhang 等[7]提出了一種密度感知的多數據流稠密去雨網絡（Density-aware Image De-raining method using a Multi-stream Dense Network，DID-MDN），該網絡實現雨密度估算進一步達到去雨目的。2019 年，文獻[8]提出了一種特征監督的生成對抗網絡（Feature-Supervised Generative Adversarial Network，FS-GAN），用于單幅圖像去雨?；谏疃葘W習的去雨算法利用復雜的神經網絡通常能有效修復雨像素，但經常面臨神經網絡訓練耗時以及繁雜的手動調參等問題。

基于上述分析，本文提出一種快速高效的兩步去雨算法，采用檢測加修補的策略，基于最小值濾波有效去除單幅圖像中的雨線，避免了非深度學習算法檢測不準確或去雨不徹底問題和深度學習方法的繁瑣預訓練和調參問題。檢測階段充分利用雨像素和非雨像素的特性，根據雨像素的亮度和方向信息建立雨檢測模型。修補階段先利用自然圖像塊的自相似性在全局匹配相似塊，再以相似塊的位置信息為先驗設計最小值濾波修補模型，最終通過修正策略進一步優化去雨效果，達到高質量去雨目的。

本文貢獻點主要包括：

（1）結合雨亮度和方向信息提出雨檢測模型，過濾被誤檢測的非雨像素，精確地標記雨像素位置。

（2）提出粗細粒度相結合的相似塊匹配算法，提高匹配精度。

（3）利用相似塊建立基于最小值濾波的修補模型，并提出有效的修正策略優化去雨效果。

1 本文算法

首先介紹如何利用雨的強度信息和方向信息檢測標記雨線位置。然后討論在已知雨線位置時如何利用相似塊設計最小值濾波進行雨像素的修復，再通過修正策略進一步優化去雨效果，最終將去雨后的圖像塊重構為去雨的完整圖像。

1.1 雨檢測模型

雨檢測的準確性影響下一步的修補模型，為盡可能準確地標記雨像素，本文利用雨的兩個先驗信息。首先利用雨的亮度信息得到雨的標記位圖ΩI，其次利用雨的方向性信息得到標記位圖ΩO，而最終的標記位圖Ω=ΩI·*ΩO，其中·*代表點積運算，即取同時滿足亮度條件和方向條件的像素，從而實現雨像素精確檢測。

關于雨像素的一個常見假設是雨圖像由雨層和干凈背景層疊加組成[9-10]，因此雨像素的亮度值通常大于其鄰居像素的亮度值。在本文中，首先將RGB 三通道轉化為YCBCR 的Y 通道檢測（即luma 通道），分別定義5 個大小為7×7 的窗口Wk(k=1,2,3,4,5) 用于卷積計算，使得被檢測像素(i,j) 分別位于窗口的中心、左上角、右上角、左下角、右下角位置。若被測像素的亮度值I( i,j )大于預定義的任意3 個窗口覆蓋的鄰域像素的平均值，則將其標記為雨像素候選者，對應標記位圖的值為1。根據雨的亮度信息得到的雨標記位圖ΩI定義如下：

亮度信息幾乎能檢測到所有的雨像素，但亮度與雨像素接近的背景像素可能會被誤標記為雨像素，因此會產生過度檢測的現象。如圖1（b）中箭頭所示，一些背景像素被誤檢測標記為雨像素，若多余的背景像素被當作雨像素處理，處理后的結果因為過度去雨而導致細節模糊并降低客觀度量值。因此，第二步檢測利用雨線的方向信息過濾第一步誤檢測的非雨像素，進一步提高修補的精度。

對于大多數的靜止雨圖，雨線的分布并非雜亂無章，通常存在明顯的方向性，因此在雨像素處沿雨方向的梯度應為零或接近零[11-13]。受Luo 等[13]的啟發，本文通過計算圖像中每個像素點沿雨方向的梯度提升雨檢測精度。對于每個像素(i,j)，沿水平和垂直方向應用一維濾波器進行卷積計算，得到其方向梯度值[dy,dx] 。每個像素的梯度方向θi,j定義為arctan(dy dx)，而整幅圖雨線的主方向θ則由圖像中所有像素局部方向的θi,j平均值決定。定義雨線方向差分算子?θ如下：

圖1 雨檢測模型的中間結果

利用上述差分算子，計算圖像沿雨線方向梯度：

其中*表示卷積運算。基于上述分析，雨像素處沿雨方向的梯度值應該為零或接近為零。因此，本文設定以下判斷條件：若像素(i,j)處e|gθ(i,j)|小于給定閾值β，即雨線方向梯度足夠小，則該像素被選為候選雨像素。根據雨線的方向信息得到的雨標記位圖ΩO定義為：

其中·*為點積運算。Ω表示只有當亮度條件和方向條件均滿足時，該像素才被視為雨像素。圖1（b）為僅利用亮度先驗檢測出的雨標記位圖，可以看出部分非雨的背景輪廓被誤標記為雨像素。經過方向信息的過濾后，圖1（c）中許多誤檢測的像素被重新設置為非雨像素（見圖中用箭頭標記的位置）。圖1（d）則展示了ΩI和最終檢測標記矩陣Ω之間的差異。顯然，亮度和方向結合的兩步檢測方案保證了雨線檢測的準確性。

1.2 雨修補模型

本文雨修補模型分為相似塊匹配和最小值濾波處理兩部分。該修補模型基于以下事實：自然圖像大部分是相似的，劃分為重疊的圖像塊后通常存在許多自相似塊，對任一圖像塊pi來說，利用精確的相似塊匹配算法可以在全局搜索得到最佳相似塊集合B。匹配得到的相似塊處于圖像中不同位置，因此對于圖像塊pi中被雨線遮擋的像素點，存在其相似塊中對應像素點不含雨線或受雨影響較弱的情況，因而雨像素可用相似塊中對應位置的像素近似替換。

如圖2 所示，圖像塊pi匹配后對應的相似塊集為Bi(i=1,2,…,m)。假設p1,1是被雨線影響的像素點，則其對應的每個相似塊Bi中對應像素點b1,1極有可能沒有被雨線影響或影響較弱，影響越弱其亮度值相對越低。因此，可采用最小值濾波的方法對雨像素值進行修復，即將當前圖像塊pi中檢測到的雨像素點p1,1的值用這m個對應像素點b1,1中的最小值代替。對特殊情況（見1.2.2 小節分析），本文將進一步提出修正策略優化去雨結果，得到最終的干凈圖像塊。最后，將去雨后的圖像塊重構為完整的去雨圖像。算法1 總結了整個修補過程。

圖2 修補模型示意圖

算法1基于相似塊匹配與最小值濾波的去雨修補算法

1.2.1 相似塊匹配

匹配相似圖像塊是運動估計、跟蹤和視頻壓縮等視頻處理技術中的重要問題。目前相似塊匹配算法已有大量研究工作[14-16]。相似塊匹配的精準度影響下一步最小值濾波修補方法的效果，因此本文致力于建立精確的相似塊匹配算法。

對雨圖像而言，雨線的存在會大大影響相似塊匹配算法的精確度，因此將相似塊匹配算法直接應用于雨圖像數據是不合適的[17]。本文先采用以下預處理操作：利用高斯濾波處理后的結果替換被標記的雨像素，同時確保非雨像素保持不變。

預處理后，對于任意圖像塊pi首先構造基于直方圖的粗粒度塊匹配算法，利用余弦相似度初步選出一定數量的相似塊候選集合。在相似塊候選集中，再構造基于距離的細粒度像素匹配算法，進一步選出最佳相似塊集合。具體地，粗細粒度結合的匹配算法包含以下步驟：

假設輸入的雨圖像為J ，預處理后將其劃分為步長為s 的重疊的n×n 圖像塊。對于待比較的兩個圖像塊pi和pj，第一步基于直方圖初步獲取相似塊候選集。首先，分別獲得圖像塊pi和pj各自歸一化的直方圖分布，將直方圖劃分為64個區，其中每個區為連續的4 個灰度等級。然后對每個區的4 個灰度值求和，將得到的64 個數據定義為pi和pj對應的指紋向量X 和Y。其次，二者的相似度可利用指紋向量的余弦相似度計算：

其中，Xi和Yi分別代表向量X 和Y 的各分量。計算的余弦值越接近1，表明兩個向量的夾角越接近0°，即二者方向越一致，圖像塊在粗粒度上越相似。根據式（7）和預設的閾值λ，滿足cos θ ＞λ 的圖像塊pi和pj被視同互為相似塊。

第二步，利用基于距離的細粒度像素匹配算法，獲取最佳相似塊樣本集合。首先，定義圖像塊pi和pj之間的距離：

1.2.2 最小值濾波處理

其中，Ωpi表示pi對應的雨像素索引集，pi,j和qi,j分別代表pi和qi中第j 個像素。

處理6、龍粳40，株行距為10cm*30cm。水整地時施入二胺6公斤、50%硫酸鉀3公斤、尿素2公斤。插秧時無側深施肥時加入。

圖3列出了8幅合成雨圖像和4幅真實雨圖像的測試原圖，相應的去雨結果分別在圖4 和圖5 展示。如處理圖4（d）和圖5（d）所示，對所有圖像塊依照算法A 處理后，可取得較好去雨效果。然而，考慮到極端情況下，雨像素pi,j與其代替像素的值相等（即相似矩陣對應行最小值為pi,j本身），造成該雨像素并未被處理，因此會有殘留雨痕?；诖藛栴}，提出針對算法A的修正策略（此處用算法A+代指）：沿著雨線的垂直方向設置高斯濾波器，將未處理的零星雨像素用該濾波器模糊后的值代替，得到最終的去雨圖像塊qfinal。具體實現中，通過判斷雨像素本身的值與其代替像素值是否相等得到未處理雨像素的索引集，然后僅對該索引集中的雨像素進行上述修正處理，最終得到優化后的去雨圖像塊。

圖3 部分實驗數據

圖4 圖3中8幅合成雨圖的去雨結果對比

圖5 圖3中4幅真實雨圖的去雨結果對比

經上述處理，通過修正殘留的零星點狀雨像素（如圖4（d）第一行中橢圓標記的點狀雨像素），能夠獲得更優的去雨效果（如圖4（e）第一行），同時也可提升部分客觀度量指標值。

1.2.3 重構去雨圖像塊

完成所有圖像塊的去雨操作后，最后將得到的去雨圖像塊重構為去雨后的整幅干凈圖像。本文采用的重構方法，與大多數基于圖像塊處理的方法類似[18-19]，每個像素的強度值由所有覆蓋的像素塊的平均值決定。

2 實驗

本章介紹算法中涉及到的參數設置，并在合成雨圖和真實雨圖上測試本文的方法，分別與非深度學習的傳統經典算法包括Li等[5]的高斯混合模型（GMM）方法和Luo 等[4]的判別性稀疏編碼（Discriminative Sparse Coding，DSC）方法，以及基于深度學習的多數據流稠密去雨網絡（DID-MDN）方法[7]對比。

2.1 參數設置

實驗中圖像塊大小n=10，取樣步長s=3 像素。λ取值介于0 和1 之間，λ值越大對相似性塊的判斷要求越高，越小則要求越低。本文考慮粗粒度條件下盡量保留較多候選相似塊以便細粒度篩選出最佳相似塊集，實驗中取值λ=0.65。此外，由于修補模型基于最佳相似塊集因此盡可能選取最相似的圖像塊，取值m=12。

值得一提的是部分參數的取值依賴于具體待處理的圖像，并非取固定值。如公式（5）中的β，較大的β值適用于大雨圖像，此時會有較多的像素檢測為雨像素。反之，較小的β值則適用于小雨或細雨圖像，此時僅有少量被檢測為雨像素。采用固定的β值處理所有圖像并不合適，因此文中定義了根據圖像特征自適應取值。經實驗結果驗證，固定參數與自適應參數結合的方案能夠取得良好的去雨效果，并保持算法穩定。

2.2 合成圖實驗

本實驗測試的合成圖數據選自Li 等[5]和Yang 等[20]的提供的數據集。實驗結果由2 個常用的圖像指標評估：峰值信噪比[21]（Peak Signal to Noise Ratio，PSNR）和結構相似性指標[22]（Structrual Similarity Index Metric，SSIM）。其中，PSNR衡量圖像整體相似性指標，重點評估圖像顏色和平滑區域的失真，其值越大，代表去雨后的圖像失真越??；SSIM 則用于評價兩幅圖像的結構和細節相似度，其范圍是[0，1]，值越接近1，則表示去雨前后的圖像在結構和細節上相似度越高。表1、表2 分別列出了各對比算法應用在圖3中8幅合成雨圖像后對應的PSNR 和SSIM 指標值，各算法運行結果的最優值以加粗黑體突出顯示，且最后一行展示了對應列指標值的平均值。

相比其他方法，本文方法和GMM 方法的PSNR 值顯然占優，且本文方法的整體平均PSNR 值最高（見表1 最后一行）。前4 幅合成圖選自GMM 方法提供的數據集，GMM 方法的PSNR 值比本文方法略高，后四幅圖本文算法的PSNR 值更占優勢。由于去雨結果中出現偽影和變暗現象，DSC 方法和DID-MDN 方法的PSNR 值通常最低。從表2 看出，多數情況下本文方法在SSIM 指標上表現最優，且整體平均值也是最優的，主要原因是本文方法在檢測雨階段能夠篩選保留更多背景圖像的輪廓結構細節。DSC 方法在SSIM 指標上表現適中，DID-MND 方法由于整體圖像的變暗而表現得最不理想。

圖4 展示了8 幅合成雨圖去雨后的效果，并突顯部分區域以進行詳細比較（參見每張圖右下角）。針對前4幅來自文獻[5]的合成雨圖，GMM方法的整體去雨效果與本文方法不相上下，但部分區域仍有殘留雨痕，而本文算法能表現出良好的效果。針對后4 幅來自Yang等[20]數據集的雨圖，明顯可以看出GMM方法表現欠佳，不少明顯的雨線并未去除，而本文算法的去雨效果良好。此外，DSC 方法會出現一些不自然的偽影，且在某些區域雨痕殘留明顯。盡管DID-MDN 表現出一定的去雨效果，但去雨后整體圖像色調變暗。綜上所述，與相關方法對比本文方法的去雨效果更有競爭力。

表1 各算法在合成圖的PSNR值對比 dB

表2 各算法在合成圖的SSIM值對比

2.3 真實雨圖實驗

本文也采用了真實雨圖進行評估，圖5 展示了圖3中的4幅真實雨圖的去雨效果。如圖，右下角突出放大區域以便更好觀察（第一幅圖因特殊取樣位置，將放大區域放在左下角）。對于較亮較明顯的雨線，四種方法均有一定的去雨效果，但在GMM的結果中很容易發現一些殘留雨線，DSC由于過度去雨而導致結果中存在明顯的偽影，DID-MDN消除了大部分雨線，但如合成圖中一樣，整體圖像顯然變暗。對于雨線細小且顏色深的地方，本文方法的去雨效果相比其他三種方法表現更佳（參看藍框區域）。綜合對比，本文方法能在消除雨線的同時保持圖像細節，在主觀視覺效果和客觀度量指標上均展現出一定的優勢。

3 結束語

本文提出了一種新穎的兩階段模型用于單幅圖像去雨。在雨檢測階段，先結合雨線的亮度和方向信息檢測雨線的位置，獲取精確的雨標記位圖。在修復階段，利用精確的相似塊匹配算法在全局搜索得到最佳相似塊集合，再建立起相似塊矩陣，并通過最小值濾波將雨像素用相似塊中對應位置的最小值代替，從而達到去雨的目的。最后，針對少部分散點雨像素，利用高斯濾波修補策略，進一步優化去雨效果。本方法解決了當前非深度學習算法檢測不準確或去雨不徹底問題，避免了深度學習方法的大量預訓練和調參耗時問題。

本文在相似塊匹配算法中，為提高匹配精度選擇全局范圍匹配，因此耗時較高。未來將致力于優化處理模型，提升計算效率。此外，算法對大雨如暴雨等情況下的雨圖處理效果不太理想，原因在于暴雨天氣獲取的圖像需要額外考慮霧的存在，未來將進一步改進以適用于此類圖像。