基于多特征融合的運動陰影去除算法

趙林林， 陳一民， 鄒一波

(上海大學 計算機工程與科學學院,上海 200444)

基于多特征融合的運動陰影去除算法

趙林林， 陳一民， 鄒一波

(上海大學 計算機工程與科學學院,上海 200444)

在運動目標檢測中，由于運動陰影與前景物體具有相似的運動特征，傳統的方法很難區分運動對象及其陰影。為了解決這一問題，提出了一種基于多特征融合的陰影去除算法。在HSV顏色空間下利用陰影所具有的色度不變性特征對前景圖像進行預處理并得到陰影的候選區域；利用小波變換分析候選區域和與之對應背景區域紋理特征的相似程度，去除其中的相似成分得到最終的檢測結果。實驗結果表明，提出的方法在不同場景下能夠有效地去除運動陰影區域。

運動陰影去除； 色度不變性； 紋理相似性； 小波變換

0 引言

運動目標檢測是計算機視覺研究領域的熱點和難點問題之一，而存在于檢測結果中的運動陰影給后續相關處理與分析帶來諸多不利影響。因此，目標檢測中的陰影去除具有重要的研究價值。陰影是不透明或半透明物體全部或部分遮擋了來自光源的光線而在地面上投射出的比較黑暗的區域。近來，隨著對陰影性質研究的不斷深入，國內外學者提出了許多不同類型的陰影去除方法。根據所利用信息不同，可以分為兩類：基于顏色的方法和基于紋理的方法。

基于顏色信息的方法是利用陰影具有色度不變性的特征來去除目標檢測結果中的陰影區域。Cucchiara等人[1]提出了一種確定性非模型方法(Deterministic non-model based approach)，并指出由于陰影區域具有亮度和飽和度降低，但是色調基本保持不變的特點，所以可通過分離圖像中的亮度和色度分量來去除陰影。Sun和Li提出了一種結合HSI和c1c2c3兩種色彩模型的陰影檢測方法[2]，通過將HSI顏色空間中色度與亮度的比值以及c1c2c3顏色空間下對光照不變性的特征相結合的方式來實現對運動車輛陰影的檢測和去除。然而，基于顏色信息的方法在處理目標與背景顏色相近的問題上存在較高的陰影誤檢率。

基于紋理的方法是利用陰影具有紋理相似性的特征來去除陰影區域。Leone等人在文獻[3]中提出使用Gabor函數提取和匹配圖像的紋理特征來判斷陰影；文獻[4]使用結合顏色空間與LBP紋理特征的方式來檢測陰影區域；上述方法取得了一定效果，但是在處理平坦區域以及前景與背景紋理相似的問題上存在一定的缺陷。

由于，依靠單一的顏色或紋理特征均不能很好的解決運動陰影問題，本文提出了一種基于多特征融合的運動陰影去除方法。針對DNM算法在判別陰影的過程中只考慮單個像素點在HSV顏色空間下的色度差異，缺少像素的空間位置信息，會導致該方法容易受到噪聲等因素的干擾。通過加入背景隨機樣本模型和基于滑動窗口的陰影判別方式，提高算法的抗噪性；同時，通過加入陰影的紋理信息，彌補算法在處理顏色相似性問題上的不足。

1 基于多特征融合的陰影去除算法

陰影可以從顏色層面或紋理層面分別進行處理，本文采用兩者相結合的方式去除目標檢測中的陰影區域。首先，在HSV顏色空間下，對DNM算法進行改進；然后，用改進后的DNM方法對前景圖像進行預處理，得到感興趣的陰影候選區域。接著，通過小波變換對候選圖像與背景圖像的紋理特征進行相似性分析，實現對候選區域中陰影成分的去除。

1.1 基于改進DNM算法的陰影去除算法

DNM算法是一種快速且有效的基于顏色空間的陰影去除方法，其陰影判別,如式(1)。

SHt(x,y)=

(1)

本文對DNM做出如下改進：建立背景隨機樣本模型和采用基于滑動窗口的陰影特征判別方式。首先分別對背景的H通道、S通道和V通道圖像中的每個像素點建立其對應的樣本空間，使用周圍鄰域的樣本像素值來描述該像素點所對應的顏色特征；然后，采用窗口鄰域替代單像素點的顏色特征判斷方式。

假設t時刻位置為(x,y)上的前景像素點為It(x,y)，背景像素點為Bt(x,y)；當前的背景圖像為BGImg。

(2)

(3)

(4)

(5)

圖1 隨機樣本選取圖

背景隨機模型的核心思想是通過隨機算子來構建模型的樣本空間，即從當前子通道圖像中以(x,y)為中心，3×3為半徑的鄰域內，隨機選取像素點作為樣本空間中的樣本。

在陰影分類階段，采用滑動窗口的方式進行陰影判別。構建以(x,y)為中心，大小為(2M+1)(2N+1)的顏色檢測窗口。對公式(1)進行改進，得到檢測窗口中任一像素點It(x+i,y+j)(-M≤i≤M,-N≤j≤N)在HSV顏色空間下的隨機模型匹配,如式(6)-(8)。

(6)

(7)

(8)

其中，sh(i,j)表示窗口中的像素點It(x+i,y+j)與背景模型的匹配結果；若sh(i,j)=1表示模型匹配成功，否則為匹配失敗；εS和εH含義與式(7)相似；φS(k)和φH(k)含義與公式(8)相似。α、β、τS和τH為相應的閾值，在本文中，取值與DNM算法相同。

基于式(6)，遍歷檢測窗口中所有像素點，并統計該窗口下總匹配數，然后利用式(9)將總匹配數與門限閾值?th進行比較，最后得到It(x,y)在HSV顏色空間下的陰影判別結果HSVt(x,y)。其中，?th表示檢測窗口的像素點匹配門限閾值,如式(9)。

(9)

式(9)中，參數M=1,N=1；當HSVt(x,y)=1表示像素點It(x,y)為陰影點，否則作為候選前景點，需要利用紋理信息進行進一步判斷。

1.2 基于小波變換的陰影去除算法

近年來，基于多通道(multi-channel)分析的離散小波變換方法[5、6]引起了研究人員的廣泛關注。小波變換為分析圖像紋理信息提供了新的方式和手段。小波變換既能精確定位信號的突發跳變，又能把握信號的整體變化，是一種較為理想的圖像處理工具。

首先，對上一節得到的陰影候選區域使用離散小波變換分析其與背景區域的紋理相似程度，并剔除其中紋理相似的成分，然后將處理后的前景小波圖像進行逆變換得到最終的目標圖像。假設在t時刻當前候選圖像區域為Ft(x,y)，對Ft(x,y)使用一層離散小波變換后產生的子頻帶圖像分別記為LL1,HL1,LH1,HH1。然后，繼續對LL1進行離散小波變換，產生的子頻帶圖像分別記為LL2、HL2、LH2和HH2，如圖2所示。

其中，LL為圖像數據能量集中的頻帶，其內容可視為原始圖像的縮略圖。HL為原始圖像水平方向的高頻信息存放頻帶，主要反映圖像水平方向上的變化信息和邊緣信息；LH為原始圖像豎直方向的高頻信息存放頻帶，主要反映圖像在豎直方向上的灰度變化信息和邊緣信息；HH為原始圖像在對角線方向的高頻信息存放頻帶，主要反映圖像在水平方向和豎直方向上灰度的綜合變化信息，以及少量邊緣信息。

(a) 原始圖像

(b) 小波圖像

從小波多分辨率的角度對前景和背景圖像進行不同尺度空間下的紋理相似性分析，步驟如下：

步驟一：對1.1節中得到的陰影候選區域Ft(x,y)與背景圖像BGImg分別使用兩層離散小波變換，則陰影候選圖像可以分解為7個前景小波子圖，分別記為FLL1、FHL1、FLH1、FHH1、FHL2、FLH2、FHH2,如圖3所示。

(a)候選前景(b)FLL1子帶(c)FHL1子帶(d)FLH1子帶(e)FHH1子帶

(f)FHL2子帶(g)FLH2子帶(h)FHH2子帶

圖3 陰影候選區域及小波變換分解圖

BGImg可以分解為7個背景小波子圖，分別記為BLL1、BHL1、BLH1、BHH1、BHL2、BLH2、BHH2；

步驟二：為了去除存在于前景高頻圖像中的噪聲信息，采用子頻帶窗口均值去除高頻噪聲。假設當前處理的高頻子帶為FHL1，該子帶圖像的(x,y)上小波系數為fHL1(x,y)。首先，利用式(10)求解該子頻帶上所有小波系數的均值meanHL1,如式(10)。

(10)

然后，計算以(x,y)為中心大小為(2M+1)(2N+1)的窗口鄰域的小波系數均值mean(x,y)，如式(11)：

(11)

若mean(x,y)

采用上述方式對前景圖像中的FLH1、FHH1、FHL2、FLH2和FHH2高頻子帶上的小波系數進行處理，實現對前景高頻子圖像噪聲去除。

步驟三：采用統計學中的均值、標準差以及平滑度描述窗口紋理特征。建立以(x,y)為中心，大小為(2M+1)(2N+1)的矩形特征檢測窗口，則該窗口下的均值μt(x,y)、標準差σt(x,y)、以及平滑度Rt(x,y)的計算式,為式(12)-(14)。

(12)

(13)

(14)

這里，取參數M=1,N=1。則像素點It(x,y)在HL1頻帶圖像上所對應的紋理特征TexFt(x,y)可以描述,為式(15)。

(15)

同理，背景像素點Bt(x,y)的紋理特征TexBt(x,y)可以描述,為式(16)。

(16)

對陰影區域的紋理特征的分析可知，相同位置上的紋理特征檢測窗口，目標區域與背景區域特征向量的相似性程度較低，而真實陰影區域與背景區域特征向量的相似性程度較高。同時，陰影區域的小波系數集中在幅值較小的范圍，而非陰影區域的小波系數集中在幅值較大的范圍。基于上述理論，本文通過計算陰影候選區域與背景區域的紋理特征向量相關比例系數和小波系數的幅值范圍來判斷兩者的相似性程度，以當前的子頻帶圖像為例，其判斷式如(17)-(20)。

(17)

(18)

(19)

(20)

(21)

步驟四：基于式(17)和(21)，依次對前景候選圖像在不同分辨率下的子頻帶圖像(FLL1、FHL1、FLH1、FHH1、FHL2、FLH2、FHH2)進行小波系數篩選處理。

步驟五：對處理之后的小波子頻帶圖像進行小波圖像逆變換，得到最終結果。

算法的流程圖,如圖4所示。

圖4 陰影去除算法流程圖

2 實驗結果

為了驗證本文算法的有效性，我們選取了3個具有代表性的視頻監控場景進行試驗，包括：Highway，Bungalows以及PETS2006。

實驗的軟硬件環境為：Visual C++ 2010和 OpenCV輔助視覺庫，Intel CPU酷睿5處理器，主頻2.1GHz，內存4GB。

采用Visual Background Extractor (ViBe)[7]作為目標檢測算法,如圖5所示。

圖5 陰影去除效果圖

圖5(a)中的第一行、第二行和第三行的測試場景分別為Highway、Bungalows和PETS2006，圖5(b)為使用ViBe算法進行目標檢測后得到的二值化前景圖像，圖5(c)為應用本文提出的基于多特征融合的陰影去除方法之后得到的前景圖。

從圖5(b)中可以看出結果中含有大量的運動陰影區域，并且這些區域與前景目標相連，導致目標形狀的變形和扭曲。由圖5(c)可以看出與目標相連的陰影區域得到了較好的去除，大部分運動陰影都被剔除出前景檢測結果中。

本文采用前景檢測正確率ρf來評判目標檢測算法在加入陰影去除后性能的改進情況,如式(22)。

(22)

其中，TP表示正確分類的前景像素點數；FN表示錯誤分類的背景像素點數。

ViBe目標檢測算法和加入陰影去除之后的ViBe算法在不同測試場景下的前景檢測正確率對比圖,如圖6所示。

圖6 前景檢測正確率圖

結合圖5和圖6可知，由于監控場景中存在大塊運動陰影區域，若僅僅采用ViBe算法進行目標檢測，由于大塊陰影的存在其結果的正確率較低；而在ViBe算法的基礎上加入了本文提出的陰影去除過程后，算法對運動陰影區域能達到較好的抑制效果，從而提高了前景檢測的正確率。

3 結論

本文利用陰影不會改變背景區域的色度和紋理這一特性來去除存在于目標檢測結果中的運動陰影區域。在陰影去除模塊中，提出了基于隨機背景模型與滑動窗口相結合的陰影判別方法；同時，利用小波變換分析陰影候選區域和背景區域的紋理特征相似度，然后對相似度較高的小波系數進行篩選，以實現對運動陰影的去除。實驗證明，本文的算法在不同的陰影監控環境下可達到比較理想的陰影去除效果。然而，該算法在陰影邊緣處理方面仍存在不足，在后續的研究過程中，我們將對陰影邊緣處理問題進行深入研究。

[1] Cucchiara R, Grana C, Piccardi M, et al. Improving shadow suppression in moving object detection with HSV color information[C]∥Proceedings of 2001 IEEE Intelligent Transportation Systems. IEEE, 2001: 334-339.

[2] Sun B, Li S. Moving cast shadow detection of vehicle using combined color models[C]∥2010 Chinese Conference on Pattern Recognition (CCPR). IEEE, 2010: 1-5.

[3] Leone A, Distante C, Buccolieri F. Shadow Detection for moving objects based on texture analysis[J]∥Pattern Recognition, IEEE, 2007:1222-1233.

[4] 曹健，陳紅倩，張凱. 結合區域顏色與紋理的運動陰影檢測方法[J]. 機器人，2011，33(5)：628-633.

[5] Mallat S. A Theory for Multi-resolution Signal Decomposition: The Wavelet Representation[C]∥Transctions on Partern Analysis and Machine Intelligence. 1989: 674-693.

[6] William R Zetrier, John Huffman and David C P Linden. Application of Compactly Supported Wavelets to Image Compression[C]∥SPIE Image Processing Algorithms and Techniques. 1990:150-161.

[7] Olivier Barnich and M Van Droogenbroeck. ViBe: A universal background subtraction algorithm for video sequences[C]∥Transactions on Image Processing. IEEE, 2011,20(6): 1709-1724.

Moving Shadow Removal Algorithm Based on Multi-feature Fusion

Zhao Linlin,Chen Yimin,Zou Yibo

(School of Computer Engineering and Science,Shanghai University,Shanghai 200444,China)

In the field of motion detection, the traditional method is difficult to distinguish the moving object and its shadow due to the similar motion features between the moving shadow and the foreground object. In order to solve this problem, a novel shadow removal algorithm based on multi-feature fusion is proposed in this paper. Firstly, in the HSV color space, we use chromaticity invariance feature of shadow to obtain the candidate region of shadow. Then, we use the wavelet transform to analyze the texture similarity between the candidate region and background region, and remove the similar wavelet components to obtain the final detection result. The experimental results show that our method can effectively remove moving shadow in different scenes.

Moving shadow removal; Chromaticity invariance; Texture similarity; Wavelet transform

趙林林(1992-),男，碩士研究生，研究方向:視頻監控 陳一民(1961-)，男,教授，研究方向:圖像處理和增強現實技術 鄒一波(1983-)，男,博士研究生，研究方向:視頻監控和圖像處理

1007-757X(2017)03-0071-04

TP311

A

2017.01.10)