基于陰影向量擴展的陰影檢測方法

關 琦，聞 江，孫麗婷，龐鳳蘭，劉瑞芝，王菽裕，宋煥生,2

(1.長安大學 信息工程學院，陜西 西安 710064；2. 陜西省道路交通智能檢測與裝備工程技術研究中心，陜西 西安 710064)

基于陰影向量擴展的陰影檢測方法

關 琦1，聞 江1，孫麗婷1，龐鳳蘭1，劉瑞芝1，王菽裕1，宋煥生1,2

(1.長安大學 信息工程學院，陜西 西安 710064；2. 陜西省道路交通智能檢測與裝備工程技術研究中心，陜西 西安 710064)

提出了一種基于陰影向量擴展的陰影檢測新方法。該方法依據陰影區域的光學特性，先找出前景中能夠表達陰影區域主要特征的陰影向量，再根據陰影向量擴展出整個陰影區域。測試圖庫的實驗結果表明該方法能有效的檢測出前景中的陰影，并且改善了傳統方法在強陰影識別方面的缺陷，以及常常把目標局部誤識別為陰影的問題。

圖像處理；陰影檢測；陰影向量擴展

現在大多數視頻監控系統都采用固定的攝像機，實時對采集到的圖像進行處理，進而實現對運動目標的檢測和分割。在實際應用中，目標總是伴有陰影，大多數的目標必須在去除陰影后才能正確檢測與分割。目前的陰影檢測方法有很多，Andres Sanin詳細總結了近10年的陰影檢測方法，并給出了實驗結果及分析[1]。這些方法主要有：基于色度的方法、物理方法、基于幾何的方法、基于紋理特征的方法。其中，基于色度的方法依據陰影下的區域變得更暗，但保持原來色度的原理。這類算法容易執行且運算量小。但是這類方法都是在像素級上的操作，所以易受噪聲的干擾。此外，這種方法對于強光照的變化敏感，而且無法檢測出強陰影。物理方法借助線性衰減模型假設照明光源生產純白色的光，嘗試構造陰影像素的模型或學習陰影的外觀。這類方法的優點是比基于色度的方法更精確，缺陷是受到光譜特性的限制，無法識別與背景有相似色度的目標。基于幾何的方法認為理論上陰影的方向、大小，甚至方向可以由光源、目標的形狀和地面的先驗之勢預測出來。這類方法能夠對輸入幀圖像直接處理，而不依賴背景參照的精確評估。但是，用幾何特征的方法有場景限制，例如特定的目標類型，典型的行人或車輛，要求目標和陰影有不同的方向，并且假定為單一光源或平坦的背景表面。此外，當前基于幾何的方法并不適用于處理有多陰影的目標或多目標的圖像。基于紋理特征的方法利用陰影下的區域保留背景區域大部分紋理的原理，具有很強的分辨特性，不依賴色彩，且對關照變化的魯棒性好，所以利用紋理相關的方法很有潛力。然而，因為基于紋理的陰影檢測不得不為每個像素計算一個或多個的領域比較值，所以該方法效率較低。

除此之外，還有運用Retinex理論[2]、基于陰影位置和邊緣特性[3]，以及單像素分解為色彩光照不變圖像和無暗影圖像[4]的陰影檢測方法，這些方法在很多應用場合中是有效的，它們能夠檢測出前景中的大部分陰影，但是，這些方法對于目標底部強陰影部分的檢測仍有待改善，而且，這些方法常常會把目標部分識別成陰影。依據陰影區域的光學特征，先在前景中找出能夠表達陰影區域主要特征的陰影向量，再通過陰影向量擴展出整個陰影區域。

1 算法的原理與實現

1.1 陰影區域內像素灰度的梯度下降與平坦性

光線受到物體的遮擋產生陰影，而受到陰影周圍光的擴散影響，距離陰影外邊緣近的陰影區域相對較亮，而隨著到陰影外邊緣距離的增大，像素灰度逐漸減小，如圖1所示，陰影區域內的像素灰度沿梯度方向下降(原圖為彩圖)。

圖1 陰影區域內像素灰度的梯度下降及平坦性

此外，光的擴散對陰影區域的影響近似是線性的，從細節上看，相鄰陰影區域的像素灰度值近似相等，如式(1)所示，從宏觀上看，陰影區域是平坦的。當陰影區域對應的背景圖像也平坦時，背景差圖像或原幀圖像都滿足這些陰影區域特征。

I(x±1,y±1)≈I(x,y)，Shd(x,y)=1和

Shd(x±1,y±1)=1

(1)

式中：I(x,y)表示背景差圖像或原幀圖像，Shd(x,y)表示陰影標識圖像。

1.2 圖像預處理

首先，需要提取出視頻圖像的背景，然后從背景中分割出前景。Chris Stauer提出的改進的自適應混合高斯模型[5]對提取背景及分割前景有良好的效果。

得到前景后，需要提取前景圖像的外邊緣，結果如圖2所示。

圖2 前景外邊緣提取

1.3 陰影向量的檢測與篩選

前景外邊緣包括目標邊緣和陰影邊緣，陰影邊緣上明顯的特征是像素灰度比背景圖像更暗。根據不同場景的光照強度，設置一個檢測陰影灰度下降向量的低閾值，宏定義為SHDGDLTH，例如：#define SHDGDLTH 5。然后把前景邊緣上灰度低于該點背景灰度減去陰影灰度下降低閾值的像素點作為起點，然后在一個以該點為中心、大小為2M×2N的塊內尋找像素灰度的最小點，如果這個最小點是該點本身，則這個像素灰度最小點作為灰度梯度下降的終點，因為灰度最小點總是存在于目標與陰影的銜接處，或是兩條陰影外邊緣的中央位置。如果檢測到的灰度最小點是個新點，則以這個新點作為中心，繼續在大小為2M×2N的塊內尋找新的灰度最小點，直到找到的新點是中心點本身為止。定義這個由起點指向終點的向量為候選陰影向量，如圖3b所示，紅色線段表示候選陰影向量(原圖為彩圖)。根據圖像分辨率及陰影區域的面積特征適當確定M和N的值，本例中設置M=5，N=5。

圖3 陰影向量檢測

如圖3b所示，陰影區域內的候選陰影向量聚集在一起，而且起點相鄰的大多終點相同。相反，目標區域內的候選陰影向量則大多表現為離散或稀疏的分布。所以刪除那些分布稀疏的候選陰影向量能夠有效排除誤檢的候選陰影向量，同時也減小了計算機的運算負擔。用大小為2M×2N的圖像塊內包含的候選陰影向量的個數表示密集程度。在本例中，把聚集度小于(M+N)/3看作是稀疏的。

更為重要的是，陰影區域內相鄰像素間的灰度近似相等，從而使陰影區域整體看上去是平坦的。相反，前景目標大多具有一定的紋理特性，如輪廓、花紋等，這使得目標區域內的像素灰度呈現出高低起伏的特性，即目標區域不平坦。選擇一個大小為3×3的像素模板，用這個模板的像素灰度方差度量這個模板中心的平坦度，值越小表示越平坦。顯然，同一終點的候選陰影向量可以唯一確定一個矩形區域，把這個矩形區域內前景點的平坦度的平均值作為這一組候選陰影向量的平坦度。如圖3c所示，刪除那些不平坦的候選陰影向量后所剩下的為最終要得到的陰影向量。在本例中，把平坦度大于3的候選陰影向量看作是不平坦的。

1.4 根據陰影向量擴展陰影區域

為了能通過陰影向量擴展陰影區域，采用像素灰度分級的方法關聯陰影向量和陰影區域。灰度分級間隔視圖像而定，本例中定義的像素灰度分級間隔為10，計算公式為

GR(x,y)=int(FG(x,y)/10)×10

(2)

式中：FG(x,y)表示背景差圖像或原幀圖像的前景，GR(x,y)表示前景的灰度分級圖。

此外，先對前景圖像進行形態學開運算，再進行像素灰度分級，能夠有效抑制噪聲和雜點干擾，改善分級的效果。分級結果如圖4b所示。

圖4 由陰影向量擴展陰影區域的實現過程

由圖4b可以看出，同一灰度級的像素點聯結成一個較大的閉區域，把陰影向量穿過的灰度區作為是陰影區域，如圖4c所示。

由處理結果看出，很多小的灰度區屬于陰影區域，但是沒有被陰影向量穿過，然而這些區域卻被已經檢測出的陰影區域包圍著。因此，需要檢測出這些小的灰度作為陰影區域的補充。此外，在檢測出陰影區域與目標區域連接的地方，存在著陰影區域擴展過多的問題，因此，需要識別出陰影與目標區域的真實邊界，濾除多余的陰影。在處理中，只需要把和目標區域相接的那個灰度級陰影從交界點濾除到陰影向量終點附近或灰度級邊緣即可。處理結果如圖4d所示。

2 結果分析與比較

圖5所示為傳統的陰影檢測方法用在測試視頻中的陰影檢測效果。

圖5 傳統的陰影檢測方法在測試視頻中的檢測效果

由圖可知，傳統的陰影檢測方法對于目標底部強陰影部分的檢測仍有待改善，而且，這些方法常常會把目標部分識別成陰影。為了測試陰影陰影檢測算法的性能，Prati提出了兩個檢測指標[6]：陰影檢測率和陰影辨別率，分別用符號η和ξ表示。陰影檢測率和陰影識別率的定義如下

(3)

(4)

式中：S和F分別代表陰影和前景目標，TP表示屬于S或F區域并識別正確的像素總數，FN表示不屬于S或F區域并識別正確的像素總數。

陰影檢測方法在測試圖片庫的結果如圖6所示。測試圖片庫的鏈接為http://arma.sourceforge.net/shadows/。

圖6 陰影檢測結果對比

根據測試圖片庫中各場景所有測試圖片的檢測結果可以得到陰影檢測率η和陰影識別率ξ的平均值，本文提出的方法與傳統方法的檢測結果如圖7所示。

圖7 各種陰影檢測方法在不同場景中的檢測性能比較

從實驗結果可以看出，本文方法對陰影檢測是有效而穩定的，尤其是對陰影區域較大的圖像，該方法同時擁有很高的陰影檢測率和陰影識別率。然而，本文的方法在圖像噪聲嚴重的情況下，需要先對圖像去噪，否則該方法將出現較大誤差。

3 結論

在本文中，提出依據陰影區域的光學特征，先找出表征陰影區域的陰影向量，再通過陰影向量擴展出陰影區域的新方法。實驗結果顯示出本文方法能夠有效地檢測出前景中的陰影，和傳統的基于陰影紋理、物理、純度、幾何特征的方法相比，本文方法簡單有效，而且在陰影區域相對較大的場合，本文方法有更高的陰影檢測率和陰影識別率。同時，本文方法還改善了傳統方法在強陰影識別方面的缺陷，以及經常把前景目標誤識別為陰影的問題。

[1] SANIN A,SANDERSON C,LOVELL B C. Shadow detection: a survey and comparative evaluation of recent methods[J].Pattern Recognition,2012,45(4):1684-1695.

[2] MA Guowen,YANG Jinfeng. Shadow removal using retinex theory[C]//Proc.Conference on Intelligent Visual Surveillance.Beijing:IEEE Press,2011:25-28.

[3] ZHU Shiping,GUO Zhichao,MA Li. Shadow removal with background difference method based on shadow position and edges attributes[EB/OL].[2014-10-20].http://link.springer.com/article/10.1186/1687-5281-2012-22.

[4] QU Liangqiong,TIAN Jiandong,HAN Zhi,et al. Pixel-wise orthogonal decomposition for color illumination invariant and shadow-free image[J].Optics Express,2015,23(3):2220-2239.

[5] ZIVKOVIC Z. Improved adaptive gaussian mixture model for background subtraction[C]//Proc. the Intl. Conf. on Pattern Recognition(ICPR).[S.l.]:IEEE Press,2004:28-31.

[6] PRATI A,MIKIC I,TRIVEDJ M,et al. Detecting moving shadows: algorithms and evaluation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(7):918-923.

關 琦(1991— )，女，碩士生，主研視頻檢測技術、圖像處理；

聞 江(1992— )，碩士生，主研視頻檢測技術；

孫麗婷(1991— )，女，碩士生，主研視頻檢測技術、圖像處理；

龐鳳蘭(1990— )，女，碩士生，主研視頻檢測技術、圖像處理；

劉瑞芝(1989— )，女，碩士生，主研視頻檢測技術、圖像處理；

王菽裕(1991— )，碩士生，主研視頻檢測技術、圖像處理；

宋煥生(1964— )，教授，博士生導師，主研智能交通、圖像處理及計算機視覺。

責任編輯：任健男

Shadow Detection Method Based on Shadow Vector Extension

GUAN Qi1, WEN Jiang1, SUN Liting1,PANG Fenglan1, LIU Ruizhi1,WANG Shuyu1,SONG Huansheng1,2

(1.DepartmentofInformationEngineering,Chang’anUniversity,Xi’an710064,China;2.ShanxiEngineeringandTechniqueResearchCenterforRoadandTrafficDetection,Xi’an710064,China)

A new method of Shadow detection method is proposed based on shadow vector extension.According to the optical properties of the shaded region, the method firstly finds out the shadow vectors which can express the main characteristics of the shaded region in the foreground, and then extend the entire shaded region with the shadow vectors. The experimental results from test galleries show that the method can effectively detect the shadow in the foreground, and improve the defect of traditional methods in strong shadow recognition and the problem that often mistakenly identifies the part of the object region into shadow.

image processing;shadow detection;shadow vector extension

國家“863”計劃項目(2014G3242005)

TP311.1

A

10.16280/j.videoe.2015.19.023

2015-01-29

【本文獻信息】關琦，聞江，孫麗婷，等.基于陰影向量擴展的陰影檢測方法[J].電視技術,2015，39(19).