基于FCM的雨天視頻圖像復原

胡 巍，何小海，崔 煜

(①四川大學 電子信息學院圖像信息研究所，四川 成都 610064；②西南電子電信技術研究所，四川 成都 610041；③中國人民解放軍61920部隊，四川 成都 610505）

0 引言

隨著計算機和圖像處理技術的快速發展，計算機視覺系統得以廣泛應用于軍事國防、醫療技術、智能交通、工業控制等眾多的科學和工程領域[1]，但霧、霾、雨、雪等惡劣天氣嚴重影響了戶外圖像或視頻進行可靠目標檢測、物體識別和跟蹤、特征提取等基本操作，極易造成處理偏差。因此，開展惡劣天氣條件下圖像的成像過程研究，建立完善的理論體系，進而提出針對惡劣天氣下圖像退化的復原方法，對提高戶外視覺系統的穩定性和實用性顯得尤為重要。本文主要對視頻圖像中雨的檢測與去除做分析，以解決受降雨影響的圖像質量問題。

根據組成微粒的物理特性和對視覺影響效果，惡劣天氣被分成靜態天氣 (霾、霧、薄雪、藹)和動態天氣 (雨、雪、冰雹)[2]2種類型。在靜態天氣條件下，其組成微粒大小一般在1～10 um之間，單個微粒不足以被相機檢測到，影響相對較小。而在動態天氣條件下，其組成微粒較大，如雨的典型尺寸一般在0.1～0.35 mm[3]，單個顆粒可以被相機檢測到，同時由于微粒通常具有運動快速、空間分布隨機等諸多的視覺不確定性，影響要復雜得多。

目前國內外研究雨天視頻圖像復原的方法主要有2類：一類是基于非物理模型（基于硬件），主要通過改變曝光時間和景深[4]來實現，當場景中存在較強光源（如車燈、路燈）時，該方法會造成圖像曝光過度或目標模糊，處理效果不理想；另一類是基于物理模型（基于軟件方法），主要以基于時域與基于頻域為代表，其中Brewer[5]、Barnum[6]、Starik[7]等都提出了新穎的雨場去除算法，在特定情況下也都達到了去雨效果，但都存在一定的局限性。本文主要采用 FCM 聚類的方法檢測與去除視頻中的雨滴。

1 雨滴的特性

1.1 雨滴的時域特性

雨是許多球形小水滴的集合體，空間分布具有隨機性。為了提供更好的雨測量方法以便進行天氣預報，大氣科學對雨的物理特性如尺寸分布、形狀及速度等進行了深入研究。雨的主要特性有：

1）大部分雨滴都可以看成球體。在文獻[3]中，Marshall-Palmer給出了雨的尺寸分布和雨滴形狀。從圖1(a)雨滴尺寸分布圖可以看出，雨滴半徑大小主要分布在0.1～0.35 mm之間，94%以上的雨滴是小于1 mm的[8]，由圖1(b)雨滴形狀中可知，半徑小于1 mm的雨滴形狀可近似為球體，半徑大于1 mm的雨滴近似橢球體。

圖1 雨滴典型尺寸與形狀分布

2）雨滴覆蓋背景會令光強增加。球形的雨滴會對大氣光進行折射、鏡面反射和內部全反射，光強屬性如圖2(a)示[2]，雨滴看起來亮度比其本身的亮度要大的多。圖2(b)的實驗結果證明，5個具有不同光強的像素點，未被雨帶覆蓋時，每個像素點的強度是基本不變的；但當它們被同一雨帶覆蓋時，強度卻基本相同，并且都大于未被覆蓋時的光強。

圖2 雨滴光強屬性及變化圖

1.2 像素光強直方圖的特性

依據雨滴的時域特性，被雨帶覆蓋的背景光強，遠大于背景本身的光強。因此，在靜止攝像機攝取的靜態場景中，如果某個像素被雨覆蓋過，其光強直方圖就具有兩個峰，一個代表背景的光強分布（虛線左邊），一個代表雨滴的光強分布（虛線右邊）。而如果某一像素在整個視頻中未被雨滴覆蓋，它的光強直方圖只有一個代表背景光強分布的峰[9]。對于某一像素點而言，依據光強直方圖特性，就能將整個視頻中圖像序列的像素分為兩類：背景類和雨區類。

圖3 光強直方

2 FCM算法

FCM（Fuzzy C-Means）模糊C均值算法是基于目標函數的模糊聚類方法，即將聚類歸結為一個帶約束的非線性規劃問題，通過優化求解獲得數據集的模糊劃分[10-11]。該算法最先由Dunn提出，Bezdek對其進行了改進，給出了基于最小二乘法原理的迭代優化算法，并驗證了算法的收斂性[12]。

Dunn依據Ruspini定義的集合的模糊劃分概念，將隸屬度平方進行加權，從而把類內誤差平方和目標函數推廣到類內加權誤差平方和的形式。之后，Bezdek將其推廣為更加普遍的形式，給出了基于目標函數的模糊C均值的一般描述：

其中，平滑因子m控制著模式在模糊類間的分享程度。Bezdekg給出了m的經驗范圍[1 . 1,5]；而后又從物理上解釋m=2最有意義。

聚類的準則一般取 J （U, V ）的極小值，由于矩陣中各列獨立并且約束條件，用拉格朗日乘數法進行求解如下：

最優化的一階必要條件為：

最終可得如下的迭代優化公式：

FCM 算法的整個計算過程就是反復修改聚類中心和隸屬度矩陣，并最終歸結為求解一個非線性最優化的問題。

3 基于FCM的視頻中雨滴檢測及去除

3.1 雨滴檢測

對于圖像中的任一位置 i(x ,y)，設其在視頻中的強度序列為 I (t) = I ( 1 ),I( 2),… ,I(k ), t=1,2,…,k，通過聚類，將強度小的歸入到背景類 B，同時得到聚類中心 B c enter，同樣將強度大的歸入到雨區類R，得到聚類中心 R c enter，從而成功將雨區檢測出來。本文采用FCM聚類方法來區分背景和雨區，并與常用的K-means（K均值）聚類方法的處理效果對比。FCM聚類流程為：①設置聚類數k=2，即背景類B和雨區類R 2類；②初始化隸屬度矩陣U，使U滿足隸屬度的和總為 1；③初始化聚類中心，令Bcenter=Min(I)，Rcenter=Max(I)；④分別計算 I(t)至 B c enter的距離 JB=| I(t)- Bc enter|以及 I (t)至Rc enter 的距離 JR=| I(t)- Rc enter|，如果 JB≤JR，則 I(t)歸入背景類B，否則歸入雨區類R；⑤分類完成后，將背景類B和雨區類R分別進行算術平均，得到新的聚類中心 C e nter=[Bc enter, Rc enter]；④計算價值函數，如果其小于某個確定闕值（如10-3），則算法停止，背景類B和雨區類R分類完成；否則，計算新的U矩陣，返回步驟②。

3.2 雨滴去除

當成功檢測出雨區后，可以通過用雨滴與背景色之間的混合值取代檢測到的雨滴的像素來達到去除效果。依據統計特性，將替代雨滴的像素設為Cmix，令 C m ix= α Bc enter + (1-α)Rc enter ，其中α是背景類B中數目占總數目k的權重。因為在保留背景強度值 B c enter的基礎上，混合了雨滴的平均強度值 R c enter，保證了雨滴去除后不會留下尖銳的邊緣，起到了平滑的效果[13]。

4 實驗結果分析及比較

根據FCM聚類和K-means聚類2種方法，分別就不同的降雨情況進行實驗，以驗證2種方法的處理效果。實驗是在CPU AMD4400 2.0G處理器和1G內存的硬件環境下Matlab編程實現的。在4種不同場景下分別抽取視頻中連續圖像序列，總共抽取幀數f=25。實驗結果和分析如下所示。

1）與K-means算法相比，FCM算法在靜態場景（如圖4）、非雨的運動物體（如圖5）、攝像器材抖動（如圖6）和夜晚光亮對比度強（如圖7）的4種場景下都能達到更好的去雨效果。

圖4 靜態場景下2種算法復原結果

2）K-means算法在處理背景中有非雨的運動物體（如圖5中人緩慢移動）和攝像器材抖動（如圖6）和夜晚光亮對比度強（如圖7中燈）時會給處理后的圖像留下黑點，同時對某些區域（如圖4，圖6，圖7）雨線去除不夠理想。究其原因，FCM算法替代雨滴像素顏色時采用背景值與雨區值的混合值，而K-means算法中，每類的聚類中心為該類的算術平均值，導致混合值實際上為所有元素的算術平均值，與分類無關。在這一點上，FCM聚類算法則表現出了更強的自適應性。

圖5 行人移動時2種算法復原結果

圖6 攝像機抖動時2種算法復原結果

圖7 夜晚場景中2種算法復原結果

5 結語

借助于FCM算法的聚類功能，實現了視頻中雨滴的去除，達到了圖像復原的目的。以處理效果為依據，比較了2種算法處理結果的優劣性，分析了造成處理結果差異的原因。該方法對去雨具有一定的效果，但是處理效果主要是以視覺效果作為評判依據，暫未形成系統科學的判別公式，有待進一步完善。

[1] 章毓晉.圖像工程(上冊)--圖像處理[M]. 第2版,北京:清華大學出版社,2005.

[2] GARG K, NAYAR S K. Vision and Rain[J].International Journal of Computer Vision,2007,75(01):3-27.

[3] MARSHALL J S, PALMER W M K. The Distribution of Raindrops with Sizes[J]. Journal of Meterology,1984(05):165-166.

[4] GARG K, NAYAR S K. When does a Camera See Rain? [C].USA:IEEE International Conference on Computer Vision, 2005:1067-1074.

[5] BREWER N, LIU N J. Using the Shape Characteristics of Rain to Identify and Remove Rain from Video[J].Lecture Notes in Computer Science,2008(5342):451-458.

[6] BARNUM P, KANADE T, NARASIMHAN S. Analysis of Rain and Snow in Frequency Space[J].Internal Journal of Computer Vision,2009,86(02):256-274.

[7] STARIK K, WERMAN M. Simulation of Rain in Videos[C].[s.l.]:Texture Workshop, 2002.

[8] GARG K, NAYAR S K. Detection and Removal of Rain from Videos[C]. USA:IEEE. Conference on Computer Vision and Pattern Recognition,2004:528-535.

[9] ZHANG X, LI H, QI Y,et al. Rain Removal in Video by Combining Temporal and Chromatic Properties[C].Canada: IEEE International Conference on Multimedia and Expo,2006:461-464.

[10] 顧英杰,賈振紅,覃錫忠,等.蛙跳結合模糊C-均值的圖像分割算法[J].通信技術,2011,44(02):118-119.

[11] 蔣欣欣,錢盛友.基于FCM的彩色車牌圖像快速分割方法[J].通信技術,2011,44(03):66-67.

[12] BEZDEK J C. A Convergence Theorem for the Fuzzy ISODATA Clustering Algorithm[C]. USA:IEEE, 1980,1(2):1-8.

[13] 朱志超,李斌,方帥.一種雨景視頻圖像的復原方法[J].合肥工業大學學報:自然科學版,2011,34(07):1011-1014.