基于多特征融合GMM的陰影檢測策略研究

李 鵬

（中國石油大學（華東）計算機與通信工程學院，山東青島 266580）

運動目標的陰影檢測和消除是計算機視覺領域一個重要研究內容。移動的陰影經常錯誤檢測為前景，這主要是因為移動物體和陰影有著相同的運動特征，并且陰影的顏色屬性不同于場景的背景，其形狀和目標有相似的外觀特征。如果移動目標和陰影黏合在一起不能分離，則將導致真實目標的特性信息失真，也將影響隨后的目標跟蹤、現場分析和其他許多計算機視覺應用。

作為一個熱點領域，關于陰影檢測的許多算法被人們提出。主要分為3類：1）基于光照屬性的陰影檢測算法；2）基于顏色不變性建模的陰影檢測算法；3）基于陰影特征的陰影檢測算法。基于光照和顏色不變性模型的方法需要場景、目標和光照的先驗知識，它只適用于一些特定的場景。基于陰影特征的檢測方法則更加兼容，具有較強的適應性和魯棒性。JUNG 提出一種將單高斯模型和目標幾何特征相融合的算法，取得了較好的效果［1］。馮文剛等提出了一種基于多顏色空間的車輛陰影消除方法［2］；余孟澤等提出了一個融合紋理和陰影屬性的陰影檢測和消除方法［3］。這些方法基于像素色相、亮度和梯度等特征建立概率分布模型，實現了陰影檢測和消除，具有較好的通用性，但在具體實現中需要人為設定相關目標和陰影分割閾值，降低了方法的自適用性，較難在實時系統中很好的工作。本文通過將陰影顏色特征不變性和陰影紋理特征進行融合并且進行背景的混合高斯背景模型（GMM）建模，從而克服先前的陰影檢測算法的一些不足，算法自動進行且不需要任何先驗信息，提高了檢測的準確性和魯棒性。

1 混合高斯模型原則

GMM 是把一幀圖像中的每一個坐標處像素的顏色值用M個單高斯模型來表征［4］，分別對應于該像素M個不同的狀態。其中M一般在3～5個之間，那么，像素xj在第i幀的概率分布為

式（1）即GMM 表達式，式中πk，t是t時刻第k個單高斯模型的權重，符合。pk是n維 高斯分布，即：

式中：μk，i和Σk，i分別表示第k個高斯成分在第i幀的期望和協方差矩陣；n是維數。

若滿足：｜xj－μk，i｜＜λσk，則該像素與該模型匹配，更新模型參數。其中λ是一個常量，取值范圍在2～3之間，本文取2.5；σk是均方差。

將K個高斯模型按π／σ值從大到小排序，并選擇符合式（3）的前C個高斯模型當作背景模型：

式中T是閾值，是一個全局性的先驗概率。

2 傳統陰影檢測方法

基于RGB色彩模型變換的陰影消除算法。該算法首先要對RGB模型進行歸一化，歸一化后再基于閾值消除陰影，最終結合局域或邊緣信息進一步處理［5］。但是當像素亮度值較低時，在RGB 模型的歸一化過程中的R值和G值不規律，且表現出隨機性。在這種狀況下，對陰影進行檢測時就會發生大量的誤檢。

基于HSV色彩模型變換的陰影消除算法，是由于HSV 顏色空間能夠較好地模擬人類視覺系統感知顏色的模式，能夠更準確地檢測陰影。但在這種算法里，關鍵參數α，β，τS，τH的取值要根據具體視頻場景的變化而調整，在這方面難以做到自適應。

基于色彩特征不變性的陰影消除算法中，色彩特征能夠較好地在本質上描述像素顏色的配置，其基本不受視覺角度、陰影覆蓋及光照條件等因素的限制。但是本算法在對場景光照較強而導致目標強陰影的檢測和消除方面準確率不高。

3 基于多特征融合的GMM 陰影消除策略

本文提出的陰影消除策略在融合顏色和紋理特征的基礎上進行GMM 背景建模，利用兩重陰影檢測消除陰影，整體流程如圖1所示。

圖1 運動目標檢測與陰影消除的順序框圖Fig.1 Sequence diagram of moving target detection and shadow elimination

3.1 顏色和紋理特征的提取

目標的顏色特征為計算機視覺提供了感知外界場景的重要信息，它是描述物體特征的一個重要的表達方式。因此，使用一個能夠在不同光照條件下準確描述和辨別目標顏色的空間模型是很重要的。

RGB顏色空間的顏色由R（紅）、G（綠）、B（藍）三基色以一定的比例相加而成，空間可以用一個立方 體模型來表示［6］。相較RGB顏色空間，HSV 或HVC顏色空間更接近于人類對于色彩的感知，而這對于在陰影、高光和強對比等不同光照條件下的圖像處理是極其重要的，在本文中采用了HSV顏色空間，因為它的計算比HVC效率更高。HSV顏色模型主要是通過色相（Hue）、飽和度（Saturation）、亮度（Value）3種顏色特征實現對色彩空間的描述［7］。

紋理特征在圖像檢測中具有重要意義，且可以形成不同的模型［8］。局部二值模式（local binary pattern，LBP）紋理模型是一種描述圖像信息的基本依據，它能夠對灰度圖像相鄰區域的紋理信息進行提取，通過將信息提取值與中心像素值進行對比獲得目標的紋理值，該方法對灰度變化不敏感，并且具有較高的計算速度。本文采用圓形LBP 算子，利用（P，R）來表示半徑為R的圓周區域上的P個相鄰點，例如3種不同算子模型示意圖如圖2所示［9］。

圖2 圓形LBP算子模型示意圖Fig.2 Circular LBP model illustrations

將一個閾值化的二值矩陣轉變成周邊區域與中心點像素點的亮度差值進行閾值判決，就可以獲得一串二進制數值，然后將這二進制數轉換成為十進制數就最終獲得該點的LBP碼（以P＝8為例）：

式中：（xc，yc）是中心點坐標；Ip和Ic分別是外圍點和中心點的像素值。

3.2 運動目標的陰影檢測

陰影與運動目標緊密相連，會經常誤認為前景，這會影響目標分割和跟蹤的準確性。因此，如何準確地檢測和有效地消除目標陰影是個困難而具有挑戰性的任務。

首先進行疑似陰影判定。通過分析發現，在陰影區域只是背景亮度減弱，顏色變化很小從而其顏色夾角也會很小，因此可以通過顏色夾角的大小來判斷是否為疑似陰影。假設運動目標前景圖像和背景區域中第j個像素位置處像素的顏色向量分別為Xd＝［IH（x，y），IS（x，y），IV（x，y）］ 和Xb＝［BH（x，y），BS（x，y），BV（x，y）］， 其 中IH（x，y），IS（x，y），IV（x，y）與BH（x，y），BS（x，y），BV（x，y）分別表示坐標點（x，y）處像素當前值I（x，y）與背景像素值H，S和V的分量。則疑似陰影判決公式：

式中τ為根據實際環境自行選擇的較小的角度值。

為了增加目標跟蹤的穩定性和準確性，本文將觀測目標模型狀態向量擴展為

式中x，y，g，l分別表示為目標的長、寬、H－S平面的二維顏色直方圖和LBP紋理值。

進一步將第i幀中屬于第m個目標的像素j的概率函數定義為

式中：β為控制參數，實驗驗證取值范圍為10～30；xm，j為第m個目標中像素j的觀測值，ui表示第m個目標在第i幀圖像的均值向量；而背景模型則由混合高斯背景建模得到，并且第i幀圖像中第k個的高斯概率函數簡記為

式中：n為狀態空間的維數；yj代表像素點j在第i幀圖像中的像素值，本文設置為（LBP，H，S，V）四元向量；μk，i表示第k個高斯模型的均值向量。

用S（i）表示相似度函數，則pm和qk的相似度按下式計算：

式中δ是一個很小的數值，本文中設置σ＝0.01，而上述特征相似函數反映了運動目標前景與背景的狀態特征相似度。

那么陰影按下式判決：

式中IH（x，y），IS（x，y），IV（x，y）與BH（x，y），BS（x，y），BV（x，y）分別表示坐標點（x，y）處像素輸入值I（x，y）與背景像素值H，S，V的分量，τS和τH的取值要根據具體場景進行設置。若同時滿足式（5）和式（10），則可以確定該像素為陰影。

4 實驗與分析

4.1 實驗條件

1）在VS2008開發環境下；

2）用分辨率為320×240像素的AVI視頻序列進行目標檢測分割；

3）實驗中使用4個高斯成分，并以第1幀圖像對高斯模型中的參數進行初始化，其中初始化方差σ＝32，學習速率θ＝0.003，T＝0.7，ωk，1＝0.005；

4）用到的開源庫：Opencv2.2（open source computer vision library intel，開源計算機視覺庫）［10］。

4.2 結果與分析

圖3為室內環境下采集的視頻序列原圖像多運動目標分割的結果。

圖3 無陰影的非剛性多目標分割結果Fig.3 Non－rigid multi target segmentation result without shadow

圖3中第1行是5幅原始的視頻幀，第2行是分割結果。從圖3中可以看到，在多目標的情況下，利用GMM 背景建模，可以較好地將運動目標從復雜背景中分離出來。

圖4為本文提出的陰影條件下的非剛性多目標分割結果。

圖4 陰影條件下的非剛性目標分割結果Fig.4 Segmentation result of non－rigid and shadowed target

圖4a）代表的是取自原始視頻的兩幀圖像。圖4b）是基于混合高斯模型GMM 檢測后的結果，可以看出，GMM 背景建模雖然可以將前景目標從背景中分割出來，但是尚不能將陰影消除；圖4c）是基于色彩特征不變量的陰影消除，這種算法會將運動目標中亮度比背景小的像素誤檢作陰影區域，尤其在光照較強時的陰影處理能力不佳，有時會將目標中的局域像素塊全部檢測成陰影，形成“空洞”。圖4d）是基于RGB色彩模型的陰影檢測效果，整體效果較好，但依然有少數的目標像素被錯誤地檢測成為陰影。圖4e）是基于HSV 色彩模型的陰影消除結果，整體效果與RGB 模型近似，但是在陰影的識別率和運算的復雜度上要優于RGB 模型。以上算法都是基于單特征信息的陰影檢測，圖4f）是文中提出的基于多特征融合的兩重陰影檢測消除策略效果，在多次實驗中，都具有較好的陰影檢測和消除效果，誤檢率較低。

5 結 語

首先對GMM 進行簡述，分析目標特征提取中的顏色空間特征提取和紋理特征提取，其次對目標檢測的一些基本方法進行總結。針對運動目標存在陰影易出現誤檢的問題，提出一種基于多特征融合的混合高斯背景建模（GMM）的陰影消除方法，在完成背景建模后，通過陰影夾角初步判斷疑似陰影，然后與相似度函數結合起來，通過兩重陰影判決得到真實陰影區域。實驗證明，該方法對室內和室外的多目標檢測和陰影消除都具有較高的精準度。

／References：

［1］ JUNG C R.Efficient background subtraction and shadow removal for monochromatic video sequences［J］.IEEE Transactions on Multimedia，2009，11（3）：571－577.

［2］ 馮文剛，高 雋，BUCKLES B，等.多顏色空間中目標約束的車輛陰影分割研究［J］.中國圖象圖形學報，2011，16（9）：1599－1606.FENG Wengang，GAO Jun，BUCKLES B，et al.Research on vehicle shadow segmentation with object knowledge constraint based on multi－colors spaces［J］.Journal of Image and Graphics，2011，16（9）：1599－1606.

［3］ 余孟澤，劉正熙，駱 鍵，等.融合紋理特征和陰影屬性的陰影檢測方法［J］.計算機工程與設計，2011，32（10）：3431－3434.YU Mengze，LIU Zhengxi，LUO Jian，et al.Moving cast shadow detection based on texture and shadow property［J］.Computer Engineering and Design，2011，32（10）：3431－3434.

［4］ YANG Xin，LIU Jia，FEI Shumin，et al.Adaptive moving target detection algorithm based on Gaussian mixture model［J］.Journal of Southeast University （English Edition），2013，29（4）：379－383.

［5］ DONG Xia，WANG Kedian，JIA Guohua.Moving object and shadow detection based on RGB color space and edge ratio［A］.Proceedings of the 2009 2nd International Congress on Image and Signal［C］.NJ：IEEE，2009.17－19.

［6］ 吳學禮，趙 萌，孟凡華，等.基于綜合特征的Bp＿adaboost工業儀表圖像分類方法［J］.河北科技大學學報，2013，34（5）：451－456.WU Xueli，ZHAO Meng，MENG Fanhua，et al.Industrial instrument image classification based on comprehensive characteristic and Bp＿adaboost［J］.Journal of Hebei University of Science and Technology，2013，34（5）：451－456.

［7］ 高 嵐，董慧穎，蘭利寶.自適應背景下運動目標陰影檢測算法研究［J］.現代電子技術，2007（6）：59－61.GAO Lan，DONG Huiying，LAN Libao.Shadow detecting for moving objects based on self－adaptive background［J］.Modern Electronics Technique，2007（6）：59－61.

［8］ 郭曉欣，李 穎，王震洲，等.基于紋理分割的視頻人體檢測［J］.河北工業科技，2012，33（3）：270－273.GUO Xiaoxin，LI Ying，WANG Zhenzhou，et al.Video detection of body based on texture segmentation analysis［J］.Hebei Journal of Industrial Science and Technology，2012，33（3）：270－273.

［9］ OJALA T，PIETIKAINEN M，MAENPAA T.Multiresolution gray－scale and rotation invariant texture classification with local binary patterns［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（7）：971－975.

［10］ 劉瑞禎，于仕琪.OpenCV 教程——基礎篇［M］.北京：北京航空航天大學出版社，2007.LIU Ruizhen，YU Shiqi.OpenCV Tutorial：Base Paper［M］.Beijing：Beihang University Press，2007.