多信息融合的視頻運動目標陰影去除算法

張　鵬，楊燕翔

(西華大學　電氣與電子信息學院，四川　成都　610039)

多信息融合的視頻運動目標陰影去除算法

張鵬，楊燕翔

(西華大學電氣與電子信息學院，四川成都610039)

摘要:針對傳統HSV空間陰影去除模型中閾值難以確定、計算復雜及檢測效率較低等問題，在對傳統運動目標陰影去除算法進行深入研究的基礎上，首先融入一階梯度信息對傳統HSV空間陰影去除模型的不足之處進行針對性改進，然后在此基礎上融入反射比不變量提出了一種多信息融合的視頻運動目標陰影去除算法。該算法在改進HSV空間陰影去除算法的基礎上，進一步引入陰影候選像素及其對應背景區域像素的反射比不變特性來實現陰影區域更為精確的檢測，從而有效區分并去除運動目標的陰影像素。實驗結果表明，該算法在實際應用中具有較高的有效性和通用性。

關鍵詞:陰影去除；一階梯度信息；反射比；陰影候選像素

隨著視頻運動目標檢測技術的飛速發展，實際應用過程中，對于檢測精度與實時性的要求也愈發嚴苛。由于物體遮擋光線從而產生陰影，在諸多實際場景中，視頻運動目標檢測方法會不可避免的同時將所檢測到的運動目標及其所產生的陰影區域一并提取出來，進而極易造成機器視覺系統后續處理過程中運動目標錯誤的分割、定位、跟蹤等。因此，近年來如何有效檢測并去除前景圖像中的陰影區域成為一個熱門的研究方向。運動目標所產生的陰影區域中包含了目標物體輪廓、紋理等有利信息，但與此同時目標的陰影區域對于 后續的圖像分析處理、目標行文理解等卻帶來了很多阻礙，從而一定程度上制約了機器視覺系統的進一步發展。 可以利用運動目標檢測策略有效區分視頻圖像序列中的背景區域與前景目標區域，然而，所提取出的前景目標區域中也不免混入部分目標陰影區域。這個問題對于提高前景目標物體的檢測效果帶來了極大的影響，當視頻序列中運動目標物體受到遮擋或與其他物體發生粘連時，還將引起運動目標的運動形狀、大小的改變或異常，這些影響將導致機器視覺系統后續的目標跟蹤、行為判定等環節出現較大偏差，甚至根本無法完成后續處理。所以運動目標陰影區域的有效檢測及去除在運動目標檢測部分也是不可或缺的重要內容。

目前，針對視頻運動目標陰影區域的檢測去除方法[1]，國內外大批研究人員提出了多種多樣的不同算法，其檢測去除效率也各有所長。總的來說，這些算法可以概括為基于模型以及基于顏色特征兩類方法，其中基于模型的算法簡而言之就是假設視頻圖像中運動目標的諸多屬性事先已知，可以針對性的構建這些屬性所對應的數學模型從而達到檢測去除陰影區域的目的，但是在實際復雜的應用過程中，這種事先運動目標屬性已知的假設往往是不成立的?；陬伾卣鞯乃惴櫭剂x就是利用視頻中運動目標及其所產生的陰影區域在當前應用場景中不同的顏色特性來實現運動目標及其所對應陰影區域的精確分離。

在研究對比了大量傳統陰影去除算法的基礎上，針對傳統HSV色彩空間陰影去除模型中判定閾值難以確定、計算復雜及檢測效率較低等問題，本文融入一階梯度信息對其不足之處進行針對性改進，并據此介紹一種多信息融合的視頻運動目標陰影檢測去除算法。針對不同應用場景下的仿真結果表明，本文所提算法無論是對于室內環境下人體目標的弱陰影檢測去除還是針對室外環境下高速運動的車輛目標的強陰影檢測去除，均具有較高的去除效率及準確率。

1HSV色彩空間陰影去除

HSV色彩空間模型[2-3]于1978年提出，是目前最能反映人眼視覺系統對色彩的感知方式的一種比較直觀的經典顏色模型。HSV色彩空間模型的顏色封裝較之其他顏色模型更加符合人類的視覺特性。此外，就戶外場景而言，在HSV色彩空間模型檢測運動目標亮度和色度的變化較之在RGB色彩空間模型中檢測更為簡單有效。綜上幾點，故而本文采用HSV顏色空間模型進行運動目標陰影區域的檢測并消除。

1.1傳統HSV色彩空間的陰影去除模型

根據運動陰影區域在HSV色彩空間的屬性，可根據式(1)進行陰影區域的檢測[4]

(1)

式中：IH(x,y)，IS(x,y)，IV(x,y)依次為當前幀圖像中任一像素I(x,y)的H，S，Y三個分量的值，相對應的BH(x,y)，BS(x,y)，BV(x,y)則分別表示所對應的背景區域像素的H，S，Y三個分量的值。當任一像素滿足式中判定條件即HSV(x,y)的值為1時，表示為檢測到的陰影；當任一像素不滿足式中判定條件即HSV(x,y)的值為0時則為非陰影區域。其中，判定閾值α及β滿足0<α<β<1，α的取值需要依照當前場景中的光照強度而定，通常情況下，場景中光照強度越小，運動目標所形成的陰影區域就會越淡，對應的α取值也就隨之越??；β則是用來增強算法對圖像序列中噪聲點的魯棒性，其取值應小于1，以避免過多的像素點被檢測為陰影區域。參數θs及θh的取值則主要憑經驗而定，需通過多次實驗方可確定。

1.2改進HSV色彩空間的陰影去除模型

通過式(1)所示的傳統經典HSV色彩空間陰影去除模型檢測后，一般情況下可以得到較為理想的陰影區域去除效果，但在實際應用過程中，其需要針對不同的視頻環境設置不同的參數閾值，且其判定參數閾值的確定往往需要根據經驗或者必須通過多次反復實驗方能確定，如此便導致了其在實際應用過程中存在諸多的局限性。針對此問題，文獻[5]所提方法可以在一定程度上有效改進，但文獻[5]中所設置的前景像素亮度與對應背景像素亮度比值這一主導因素的判定條件可以取值為0和1，此時無法判定陰影區域。此外，陰影區域的顏色信息與運動目標所處的地面顏色信息息息相關，某些情況下，運動目標及其所產生的陰影區域在顏色信息上并沒有顯著差別，此時如果僅僅依靠像素點的顏色信息并不能可靠地分辨出該像素點是否屬于陰影區域。針對上述不足，本文在研究對比了大量傳統陰影去除算法的基礎上，對其做出以下改進。

改進一：通過對傳統HSV色彩空間陰影去除模型中所有分量在算法執行過程中的變化趨勢進行深入的對比分析后可知，傳統經典模型中H分量與S分量對陰影區域的判別所起作用甚微，且正是H分量與S分量的判定條件閾值難以確定，限制了其實際應用；與此同時，V分量則對陰影區域的判定結果起著至關重要的主導作用。為此，本文沿用文獻[5]的思想直接去除傳統HSV色彩空間陰影去除模型中對陰影區域判定結果所起作用微乎其微的H分量與S分量的判別條件，取而代之的是加入視頻圖像序列當前時刻圖像與前一時刻圖像的亮度差值變化這一新的約束條件，同時對最終判定結果起主導因素的V通道判別條件閾值取固定值，從而避免了通過多次實驗方能確定檢測閾值的不足，與文獻[5]不同的是本文改進方法縮小了前景像素亮度與對應背景像素亮度比值這一主導因素判定條件的取值范圍，使其不能取值為0或1，參數取值范圍更加合理有效，避免了其取值為0或1時無法判定陰影區域的情況。

如果該像素點滿足

(2)

綜上，本文提出一種改進HSV色彩空間的陰影判別模型如下

(3)

本文通過在傳統HSV色彩空間陰影去除模型中加入視頻圖像序列當前時刻圖像與前一時刻圖像的亮度差值變化這一新的約束條件，并對最終判定結果起主導因素的V通道判別條件閾值取固定值且縮小判定條件的取值范圍以避免其取值為0或1時無法判定陰影區域的情況，同時去除原模型中對陰影區域判定結果所起作用微乎其微的H分量與S分量判定條件，進一步提高了算法效率；此外，融入一階梯度信息處理，可有效解決運動目標及其所產生的陰影在顏色信息上無顯著差別時僅依靠像素點的顏色信息無法可靠判別像素點是否為陰影像素的情況。改進模型無需在不同的視頻環境下通過多次實驗確定不同的閾值，從而擴展了其適用性，進一步提高了實時性能及檢測效率。仿真結果顯示，相比于傳統檢測模型，改進檢測模型的檢測結果更加完整。

2多信息融合視頻運動目標陰影去除算法

2.1陰影存在與否的判斷

在實際應用過程中，機器視覺系統并不需要在任何時刻都進行運動目標陰影的檢測及消除，例如陰天的時候，物體基本上不會產生陰影或者是所產生的陰影區域亮度很小并不會對目標檢測及后續處理產生影響；亦或場景中照射光源距離運動目標高度比較高時，所產生的陰影區域面積很小也不會對目標檢測及后續處理產生影響。諸如以上情況下，陰影區域對于運動目標的幾何特性影響很小，故而不需要進行陰影區域的檢測及去除。為了避免機器視覺系統在不必要進行陰影區域檢測及去除的情況下依然運行陰影檢測消除算法從而導致系統效率降低的情況，為此，本文首先采用如下的亮度估計方法[7]，以確定當前應用環境下是否需要進行陰影區域的檢測及消除。

對于某一運動目標區域，設其R，G，B三個通道的值分別為R(x,y),G(x,y),B(x,y)；對應的設其背景的R，G，B三個通道的值分別為Rb(x,y),Gb(x,y),Bb(x,y)。如果圖像序列中任一像素點同時滿足R(x,y)

PD=nD/(nB+nD)

(4)

式中：PD表示圖像序列中暗點在整個區域內所占的比例。

(5)

如果運動目標在當前應用場景中清晰可見，便可隨之認為當前應用場景是高亮度的，例如有光照的白天；反之，如果運動目標在當前應用場景中難以辨認，亦可隨之認為當前應用場景是低亮度的，諸如晚上、陰雨天或者大霧天等等。通常情況下只有在高亮度的白天運動目標才會遮擋光線從而產生陰影區域，基于此如何判斷當前應用場景下運動陰影是否存在的問題便可以利用運動目標的亮度能量值EB來度量解決，在此基礎上，同時引入參數PD=nD/(nB+nD)來表示圖像序列中暗點在整個區域內所占的比例。通過計算判斷，如果出現以下兩種情況之一：1)EB值較?。?)EB值較大但PD值較小，若計算出現以上兩種情況之一則都可以說明當前應用場景中的亮度級較低或者相較于場景而言運動陰影區域的面積較小，不會對運動目標檢測及后續處理產生影響，即此時不需要進行陰影區域的檢測及消除。

2.2圖像的顏色模型

圖像序列中物體表面上任一像素點的顏色值Im(m∈R,G,B)取決于該像素點對場景中光源光的光譜反射，機器視覺系統中攝像機測量物體的顏色值可表示如下

Im(p)=∫λe(λ,p)·ρ(λ,p)·fm(λ)dλ

(6)

式中：p是圖像中物體表面上的任一像素點；λ為可見光的波長；e(λ,p)是場景中照射光源的光譜強度；ρ(λ,p)是像素點p的光譜反射率；fm(λ)是采集系統傳感器的光譜靈敏度。ρ(λ,p)的取值決定于機器視覺系統中攝像機的角度及當前應用場景中光源的入射方向。

可以假定機器視覺系統中采集攝像機僅對當前應用場景中入射光源單一的波長λm敏感，如此便可以得到fm(λ)=fm×δ(λ-λm)。所以式(6)所示的圖像顏色模型[8]可進一步簡化為

Im=e(λm,p)ρ(λm,p)fm(λm)

(7)

2.3反射率比

Nayar和Bolle提出了圖像中相鄰兩像素點的反射比[7]的光度不變量，其是一個與物體表面的幾何性質及光照強度無關的量。由式(7)所給圖像的顏色模型可得，機器視覺系統中傳感器對物體表面上任意兩像素點p1和p2的響應值可表示如下

Im(p1)=e(λm,p1)ρ(λm,p1)fm(λm)

(8)

Im(p2)=e(λm,p2)ρ(λm,p2)fm(λm)

(9)

實際應用過程中， 可以從場景中運動目標平滑過渡表面上取得兩個相鄰的像素點p1和p2，如此一來p1和p2兩點便幾乎被場景中同一光源照明，也即e(p1)=e(p2)。同時，因為物體平滑過渡表面上的相鄰兩像素點其表面法向方向也勢必相同，故而此時采集攝像機的傳感器方向以及場景中光源的入射方向對于p1和p2兩點而言也是相同的。綜上，傳感器對p1和p2兩點的響應值又可以表示如下

Im(p1)=e(λm)ρ(λm,p1)fm

(10)

Im(p2)=e(λm)ρ(λm,p2)fm

(11)

據此，可以定義p1和p2兩點的反射比r為

(12)

由式(11)反射比的定義可見，圖像序列中運動物體平滑過渡表面上相鄰兩像素點的反射比r與場景中照射光源e無關，而只是與p1和p2兩點的反射屬性ρ有關。

此外，為了避免計算過程中當Im(p2)=0時，r→∞從而給計算帶來困難，重新定義p1和p2兩點的反射比r

(13)

如此處理后將p1和p2兩點的反射比r限制在[-1，+1]范圍之內。

2.4多信息融合的視頻運動目標陰影去除算法

本文算法在運動目標檢測部分得到運動目標前景及對應背景后，首先進行當前環境下陰影存在與否的判斷，從而確定當前幀是否需要進行陰影區域的檢測及去除，以免機器視覺系統在不必要進行陰影區域檢測及去除的情況下依然運行陰影檢測消除算法從而導致系統效率降低；經判定后如果當前幀需要進行陰影區域的檢測及去除則分別利用改進的HSV陰影去除模型及反射率比在上步所得到的暗區中進行陰影區域的檢測去除；最后將兩種方法所得到的檢測去除結果進行有效結合，經過后續處理后得到最終的陰影去除結果。本文算法整體流程如圖1所示。

圖1　本文陰影去除算法整體流程

通過改進HSV陰影去除模型進行運動目標陰影區域的初步去除后，為得到更為精確的陰影像素，本文進一步引入陰影候選像素及其對應背景區域像素的反射比不變特性來實現陰影區域更為精確的檢測。其核心思想為：假定某一像素隸屬于陰影區域，那么該像素在陰影遮擋前后與其所對應同一位置處背景像素的對比來看，該點與它相鄰像素點的反射比僅僅與其反射屬性相關而與光照是沒有關系的，基于此便可以通過對場景中陰影候選區域內每一個像素點的8-鄰域內所包含的所有像素的所有顏色分量的反射率逐一計算判斷來進行陰影像素的進一步區分。如若某一像素隸屬于陰影區域，那么通過上面的分析知道在陰影遮擋前后該像素點的反射屬性是固定不變的。另外，不可避免的受到系統噪聲等因素的影響，計算所得到的反射比應該會落在一個比較小的區間之內。綜上，可以定義Sm(x,y)為視頻圖像序列中(x,y)位置處的陰影候選像素，可根據式(14)來計算像素在RGB顏色空間內所有顏色通道上的反射比R。任一像素及其8-鄰域內所包含的所有像素Sm(x+i,y+j)(i=-1,0,1；j=-1,0,1)在RGB顏色空間內的各個顏色分量的反射比為

(14)

同理，可以計算圖像序列中位置為(x,y)處背景模型像素Bm(x,y)的8-鄰域內所有像素各個顏色分量的反射比為

(15)

本文的判定規則是，如若通過計算得到當前圖像幀中任一運動目標區域像素及其8-鄰域內所包含的所有像素在RGB顏色空間的各個顏色通道內的反射率的值與對應的背景區域相同位置處的像素及其8-鄰域內所包含的所有像素在RGB顏色空間的各個顏色通道內的反射率的值滿足

(16)

最后，本文將分別使用改進HSV陰影去除模型與反射率比陰影去除模型所得到的陰影去除結果進行邏輯或運算，將二者檢測去除結果進行有效結合，便可得到最終的陰影去除結果

(17)

3實驗對比

3.1實驗結果

針對本文提出的運動目標陰影去除算法，采用MatlabR2012a[9]進行仿真實驗。為驗證算法的有效性，分別采用傳統HSV陰影去除算法、改進HSV陰影去除算法、反射率不變量陰影去除以及本文所提算法對4段具有挑戰性的標準視頻圖像進行處理，部分處理結果如圖2～5所示。

a　當前圖像　　　b　前景二值圖像　　　c　傳統HSV陰影去除結果

d　反射率陰影　　　e　改進HSV陰影　　　f　本文算法陰影　 去除結果　　　 　　去除結果　 　 　　　　去除結果　　圖2　Highway視頻序列算法仿真結果

a　當前圖像　　　b　前景二值圖像　　　c　傳統HSV陰影去除結果

d　反射率陰影　　　e　改進HSV陰影　　　f　本文算法陰影　 去除結果　　　 　　去除結果　 　 　　　　去除結果　　圖3　Intelligent Room視頻序列算法仿真結果

a　當前圖像　　　b　前景二值圖像　　　c　傳統HSV陰影去除結果

d　反射率陰影　　　e　改進HSV陰影　　　f　本文算法陰影　 去除結果　　　 　　去除結果　 　 　　　　去除結果　　圖4　Laboratory視頻序列算法仿真結果

a　當前圖像　　　b　前景二值圖像　　　c　傳統HSV陰影去除結果

d　反射率陰影　　　e　改進HSV陰影　　　f　本文算法陰影　 去除結果　　　 　　去除結果　 　 　　　　去除結果　　圖5　Library視頻序列算法仿真結果

本文對傳統HSV陰影去除算法、改進HSV陰影去除算法、反射率不變量陰影去除以及本文所提陰影去除算法分別在4段具有挑戰性的標準視頻圖像環境下進行仿真測試。仿真結果可見本文所提陰影去除算法可以有效區分并去除運動目標的陰影像素，去除效率較傳統方法有明顯提升，改善并提高了目標檢測算法的性能。

3.2度量對比

本文采用文獻[10]中所提出的陰影檢測率η和陰影識別率ε兩個指標對所提算法的性能進行定量評估，其定義如下

(18)

圖6、圖7所示分別為傳統HSV陰影去除算法、改進HSV陰影去除算法以及本文所提陰影去除算法對四段視頻處理的陰影檢測率及識別率對比。

圖6　不同算法陰影檢測率對比

圖7　不同算法陰影識別率對比

通過對比可見，本文所提算法較之其他幾種方法檢測效率及檢測精度均有所提升。

4結語

本文針對傳統HSV空間陰影去除模型的不足之處進行了針對性改進，并據此介紹了一種多信息融合的視頻運動目標陰影去除算法。該算法在改進HSV空間陰影去除模型的基礎上，進一步引入陰影候選像素及其對應背景區域像素的反射比不變特性來實現陰影區域更為精確的檢測。針對不同應用場景下的仿真結果表明，較之其他類似算法，本文所提算法無論是對于室內環境下人體目標的弱陰影檢測去除還是針對室外環境下高速運動的車輛目標的強陰影檢測去除，均具有較高的去除效率及準確率，算法適用性較強，具有較高的工程應用價值。

參考文獻：

[1]杜友田，陳峰，徐文立．基于區域的運動陰影檢測方法[J]．清華大學學報(自然科學版)，2006，46(1)：141-144.

[2]譚家政，劉勇，邱芹軍．改進的HSV陰影去除算法研究[J]．物聯網技術，2014(1)：84-86.

[3]黃建強，曹騰飛，郭文靜，等．聯合兩種顏色空間的陰影檢測算法[J]．計算機技術與發展，2014，24(7)：96-97.

[4]李靜，車進，朱金艷．基于顏色空間轉換的運動目標檢測與陰影去除[J]．電視技術，2013，37(13)：172-175.

[5]高東旭，曹江濤，李平．基于HSV空間陰影去除方法研究與應用[J]．電子設計工程，2014，22(13)：65-68.

[6]KUMAR P，SENGUPTA K，LEE A，et al. A comparative study of different color spaces for foreground and shadow detection for traffic monitoring system[J]. IEEE international conference on intelligent transportation system，2002(9)： 3-6.

[7]辛慧杰，劉明才，牟連泳，等．基于陰影屬性的運動陰影檢測方法[J]．大連民族學院學報，2010，12(3)：255-256.

[8]李廣倫，殳偉群．運動目標的陰影實時檢測和消除[J]．小型微型計算機系統，2011，32(2)：361-364.

[9]張德豐．MATLAB數字圖像處理[M]．北京：機械工業出版社，2009.

[10]PRATI A，MIKIC C，TRIVEDI M，et al.Detecting moving shadows： algorithms and evaluation[J]. IEEE transactions on pattern analysis and machine intelligence，2003，25(7)：918-923．

責任編輯：時雯

Multiple information fusion of video moving target shadow removal algorithm

ZHANG Peng，YANG Yanxiang

(SchoolofElectricalEngineeringandElectronicInformation,XihuaUniversity，Chengdu610039，China)

Abstract:In view of the series of problems that it is difficult to determine the threshold value in the model of removing the traditional HSV space shadow， and complex to accomplish the computation as well as the improvement of low detection efficiency， which is based on the in-depth algorithmic study for the traditional shadow removing of a moving target， focuses on the purposeful improvement of the first-order gradient information deficiencies in the model of removing the traditional HSV space shadow. Thereafter， it puts forward a new shadow removal algorithm of multiple video information fusions by introducing the reflectance invariants into it. The experiment results have illustrated that this algorithm possesses a higher validity and universality in the practical applications. It can not only improve the algorithm of the traditional HSV space shadow removal， but also realize the more exact detections in the shadow area through the integration of reflectance invariants characteristics between the shadow candidate pixels and the background pixels. In the end， this algorithm is able to effectively distinguish and remove the shadow pixels of the moving object.

Key words:shadow removal； first order gradient information； reflectance； shadow candidate pixels

中圖分類號:TN911.73

文獻標志碼：A

DOI：10.16280/j.videoe.2016.02.011

收稿日期：2015-05-25

文獻引用格式：張鵬，楊燕翔.多信息融合的視頻運動目標陰影去除算法[J].電視技術,2016，40(2)：59-64.

ZHANG P，YANG Y X. Multiple information fusion of video moving target shadow removal algorithm[J].Video engineering,2016,40(2)：59-64.