移動視點視頻中的在線陰影檢測與跟蹤

陳祥祥，時宏偉

（1.四川大學計算機學院，成都 610065；2.四川大學視覺合成圖形圖像國防重點實驗室，成都 610065）

移動視點視頻中的在線陰影檢測與跟蹤

陳祥祥1，2，時宏偉1，2

（1.四川大學計算機學院，成都 610065；2.四川大學視覺合成圖形圖像國防重點實驗室，成都 610065）

在線地檢測和跟蹤視頻中的陰影有助于理解場景信息，在計算機視覺和虛擬現實等領域內具有重要的研究意義。針對現有視頻陰影檢測與跟蹤方法常常被限定于處理固定攝像機拍攝的視頻，提出一種從移動視點視頻中在線檢測和跟蹤陰影的算法。該算法首先將待檢測的當前幀分為可通過跟蹤前一幀得到的跟蹤區域和因視點移動造成的新進區域。在跟蹤區域中，算法在利用光流實現從前一幀到當前幀的陰影邊緣跟蹤，同時對光流算法產生的累積跟蹤誤差進行修正;在新進區域中，為了在線檢測新進入的陰影邊緣，根據室外光照成影模型構造用于描述陰影邊緣特征的特征向量，用以區分陰影邊緣和非陰影邊緣。實驗表明所提出的算法不僅可以實現視頻中陰影邊緣的穩定跟蹤，同時能準確地檢測到因相機移動造成的新進入的陰影邊緣。

陰影檢測；陰影跟蹤；移動視點

0 引言

在各種視頻處理中，陰影檢測往往是十分重要的一步，例如視頻中目標檢測和視頻跟蹤等。另外，在增強現實（AR）中，視頻中陰影的實時在線檢測也是不可或缺的重要一步，常常作為虛擬物體與真實物體間陰影交互的預處理。與單幅圖像上的陰影檢測不同，視頻中的陰影檢測必須保證相鄰各幀之間的陰影一致性，這就要求算法具有更好的準確性和魯棒性。為此，視頻處理領域已有大量的陰影檢測工作[1-4]。然而現有的算法大都將視頻限定于固定視點下拍攝的視頻。在固定視點的情況下，可以通過背景差分法快速獲得背景區域然后再對前景區域進行陰影和物體的檢測和識別，但這些算法并不適用于移動的設備拍攝的視頻，例如廣泛應用的智能手機拍攝的視頻。另外，由于陰影不具備形狀信息，為固定外形設計的傳統的目標跟蹤算法也并不適合在視頻中跟蹤陰影。因此，和固定視點下的情況相比，移動視點視頻中的陰影檢測與跟蹤更加困難和具有挑戰性。

基于視頻的陰影檢測算法又可以根據處理方式分為離線處理和在線處理兩大類:離線處理將整個視頻序列作為輸入，可以利用整個視頻的時空信息檢測陰影。相反，在線處理只將視頻的當前幀作為輸入，只能利用已輸入的視頻幀信息檢測陰影。所以在線視頻的陰影檢測對準確性和效率都提出了更高的要求。據筆者所知，目前還沒有公開的針對移動視點視頻下在線檢測陰影算法。

本文算法主要針對移動視點視頻中的室外場景陰影的在線檢測和跟蹤。因為攝像機的運動一般是連續的，在視頻場景靜止的情況下，我們提出了一種基于光流的陰影跟蹤和檢測算法。首先我們將每一幀圖像分成兩個部分:跟蹤區域（TR）和新進區域（NR），前者指相鄰兩幀的共同區域，后者指由于視點移動新進入場景的區域。然后我們在TR中根據光流實現陰影邊緣的跟蹤，并在NR中利用基于特征向量匹配的算法實現新進陰影邊緣的檢測。

1 相關工作

陰影檢測的算法主要可以分為兩大類：基于圖像的算法和基于視頻的算法。文獻[5-9]介紹最近的基于單幅圖像的陰影檢測算法。[6]提出了一種基于室外光照模型的軟影檢測算法。[9]是基于光照型，利用梯度信息實現的陰影檢測。和[6，9]不同，[5，7-8]提出了基于支持向量機（SVM）的陰影檢測方法，通過提取陰影的特征，并通過大量數據的訓練得到分類器用于陰影的檢測。這種方法的弊端在于訓練分類器需要大量的數據和時間，并且陰影檢測的速度慢。

文獻[1-4，10，11]介紹了視頻陰影檢測的算法。[1]利用每幀圖像亮度的信息將圖像分為不同的各個小區域，然后通過分析各個區域的本質特征將各個小區域標識為是否為陰影，[2]和[1]的算法類似，不同在于[2]介紹一種新的篩選陰影區域的方法[3]。在HSV顏色空間中分析了陰影的特征，將其用于視頻陰影的檢測。文獻[10-11]分別介紹了一種高效的、實時的視頻檢測算法。

上述視頻陰影檢測算法的局限在于處理的視頻被限制在固定視點下拍攝的視頻，而且視頻中相同場景的陰影在前后兩幀之間被重復檢測，容易出現前后兩幀檢測結果不一致等錯誤情況。

2 本文算法

本文算法主要分為兩步：相同場景的邊緣跟蹤和新進陰影邊緣的檢測。利用光流算法實現陰影邊緣跟蹤的難點在于消除光流算法在處理連續視頻序列時產生的累積誤差。對于新進的陰影邊緣，我們設計一種類似于支持向量機（SVM）的向量匹配檢測算法。該算法充分利用了已經跟蹤到和檢測到陰影邊緣信息，實現了較好的實驗效果。

算法流程如圖1所示：紅色字體標注了本文算法的關鍵步驟。算法避免了對相同場景中陰影邊緣的重復檢測，這不僅有利于保持相鄰兩幀之間的陰影邊緣的一致性，而且有利于提高陰影檢測的效率。

圖1首先用光流算法計算出TR和NR，然后根據前一幀的結果和光流信息實現TR內的陰影邊緣跟蹤，在NR內根據特征向量集實現陰影邊緣的跟蹤并更新向量集內的特征向量。

圖1

2.1 TR的陰影跟蹤

因為陰影自身的特點，實現對陰影的跟蹤并不容易。為此，我們使用了經典的光流算法[12]作為我們基本的跟蹤方法。不過，光流跟蹤往往存在誤差，這種誤差在相鄰兩幀之間不易被察覺。在連續的視頻幀之間，這種誤差會以累計誤差的方式逐漸顯現，影響跟蹤的準確性。圖2展示[12]光流算法連續跟蹤多幀后因累計誤差造成的陰影邊緣偏移情況。

為了消除光流算法的累計誤差，我們在每一幀都對光流跟蹤的結果進行了修正。首先，利用光流算法[12]從前一幀跟蹤到當前幀，得到當前幀跟蹤的陰影邊緣。然后，對當前幀使用均值漂移濾波并使用Canny算子邊緣檢測[13]得到包含當前幀所有邊緣的臨時結果。最后，利用光流跟蹤而來的結果對Canny算子邊緣置信:如果Canny邊緣上像素點的臨域內有光流跟蹤的邊緣點時，我們就認為它是我們需要跟蹤的邊緣；反之，就不是我們要跟蹤的邊緣點。具體來說，我們是用光流跟蹤已知的陰影邊緣得到了一個置信區域，用這個區域篩選當前幀的待選的邊緣。這樣，在每一幀我們都修正了光流算法的微小誤差，避免了連續多幀應用光流算法時如圖2中出現的偏移現象。

從圖2展示的結果可以看出該算法能夠實現陰影邊緣的穩定跟蹤。另外，也可以看出只利用光流算法[12，14]跟蹤陰影邊緣會出現邊緣點減少和分散的情況，我們的算法也避免了這種情況的出現。

圖2 累計誤差

2.2 NR的陰影檢測

為了避免陰影邊緣的重復檢測，我們首先根據2.1中的光流信息確定新進區域（NR）。如圖3（a）所示，我們選定圖像中的五個點作為基準點，根據這五個點的光流信息確定視點的移動方向以及新進場景的寬度。提供了視點的移動方向，提供了新進場景在X和Y方向上檢測窗口的寬度。對光流信息的采樣是為了自適應的調整檢測窗口的大小，盡量避免不必要的重復檢測。圖3（b）驗證了有效性，為了更好地觀察，我們標注了第10幀相對于第1幀的新進場景。

為了檢測新進場景中的陰影邊，我們首先構造了特征量用來描述陰影邊緣的特征，與文獻[8]類似。

第一個視覺特征反映太陽光和天空光在陰影邊緣兩側的差異。在同一邊緣像素點，設陰影一側的RGB顏色空間均值為Lr，Lg，Lb，非陰影側為Hr，Hg，Hb，用向量 （tr，tg，tb）=（Lr/Hr，Lg/Hg，Lb/Hb）反映兩側光照強度的比。因為在陰影兩側的光照條件和反射條件常常是統一且平滑的，這個向量能很好地反映太陽光和天空光在陰影兩側的比。

圖3 新區域（NR）的確定算法

圖4 室外光照成影模型

第二個視覺特征反映物體對太陽光的遮擋比例。圖4是一個簡單的光照模型。如圖所示，假設在A，B，C點的光照條件為：

式中的k和bi（i=1，2，3）分別是成影物體對太陽光和天空光的遮擋因子。因為天空光在三點的差異很小，即則能得到成影物體對太陽光的遮擋因子k：

第三個陰影邊緣的特征是陰影的寬度。如圖4所示，|AB|是從k=0到待檢測陰影邊緣的寬度w1，|BC|是軟影的寬度w2，計邊緣區域的總寬度w=w1+w2。和寬度相關的信息是梯度，我們結合梯度設計了RGB顏色空間各個通道沿陰影邊緣法線方向變化速率特征

綜上所述，我們設計了一個反映陰影邊緣特征的10維特征向量V?（k，tr，tg，tb，vr，vg，vb，w，w1，w2）。

在算法初始化中，我們從第一幀中的已知陰影邊緣的各個像素點提取特征向量，構成用于檢測新的陰影邊緣的特征向量集F。在NR中，選取Canny邊緣作為待定的陰影邊緣在各個邊緣點提取特征向量b?=（bi）（i=0，1，…，9），b?和向量集 F的向量a?=（ai）（i=0，1，…，9）進行匹配，匹配函數如下式所示：

式（3）分別描述了前文中的特征分量的差別。式（4）是兩個向量最終的匹配度函數。exp（）是e的指數函數，max（）返回差距最大的特征分量作為懲罰項。對于待選邊上的像素點P有：

式（5）使用閾值α對P進行檢測，本文實驗中設置α= 0.9。

另外為了使向量集保持對當前幀的有效性，當上述匹配成功時， 我們采用加權平均的方式更新向量集F 中匹配成功的向量加權系數β∈[0，1）不宜過大，本文實驗中設置為0.3。

本文算法步驟總結如下：

輸入：在線視頻流

輸出：包含陰影邊緣信息的視頻流

（1）初始化，讀入已交互標定陰影邊緣的第一幀視頻圖像，自動提取陰影邊緣特征的向量集F。

（2）讀入當前幀的視頻圖像gi，利用[12]計算與暫存的前一幀gi-1視頻圖像的光流信息。

（3）利用光流信息將gi分為追蹤區域（TR）和新進區域（NR）。

（4）利用（2）中的光流信息在TR內追蹤陰影邊緣。

①對gi進行均值漂移濾波后的Canny算子邊緣檢測，獲得gi的邊緣信息E。

②gi-1的陰影邊緣利用（2）的光流信息追蹤到gi上得到追蹤邊緣信息T。

③用T的鄰域置信E得到修正后的追蹤陰影邊緣信息。

（5）利用（1）中的向量集在NR內檢測陰影邊緣。

（6）重復（2）～（5），直至視頻流結束。

3 實驗結果

首先，我們將本文算法與最近的光流算法[14]進行了比較。圖5給出了本文算法與文獻[14]的實驗結果比較，從圖中可以看出文獻[14]的算法在實現陰影邊緣跟蹤時存在明顯的偏移，這是由于它的累計誤差造成的。而且[14]跟蹤的邊緣點隨著處理幀數的增加逐漸分散和減少。本文算法不僅修正了由于光流算法造成的累計誤差，實現了陰影邊緣的穩定跟蹤，而且準確地檢測了新進場景中的新的陰影邊緣。

圖5 陰影邊緣跟蹤和檢測結果比較

圖6 實驗結果

最后我們選取了兩個移動視點下室外拍攝的視頻進行陰影邊緣的檢測與跟蹤，其實驗結果如圖6所示。實驗結果驗證了本文算法的有效性和準確性。在陰影邊緣的跟蹤和新近陰影邊緣的檢測兩個方面都實現了較好的實驗結果。另外算法在處理復雜邊緣信息（實驗1中的汽車)和軟影（實驗2)的情況時也表現出良好的魯棒性。

該算法在3.10GHz CPU，8GB內存的PC上運行，軟件環境為VS2010+OpenCV2.9。處理400×300像素大小視頻的幀率為11幀/秒，處理600×400像素大小視頻的幀率為8幀/秒。假設向量集中的向量個數為m，待匹配的向量個數為n，則在空間復雜度方O（m+n)。在時間復雜度方面：因為處理每幀只需要提取新進區域的特征向量，所以提取向量的時間復雜度為O（n)；再加上向量匹配的時間復雜度O（m×n)，因此陰影邊緣檢測的時間復雜度為O（m×n)。由于在本文算法中的m和n都不大，例如場景一中m≈1197，n≈111，場景二中m≈591，n≈50，所以算法的整體時間和空間復雜度略高于算法[12]的時間和空間復雜度。

4 結語

本文提出了一種移動視點下的視頻陰影邊緣檢測的算法框架。該框架綜合利用了光流信息和陰影邊緣特征實現了移動視點視頻中陰影邊緣的穩定跟蹤和檢測。該框架可以應用于增強現實系統，特別是當前智能手機等移動端的增強現實系統,提供良好的陰影信息基礎。

本文算法初步探索了移動視點下的在線視頻陰影檢測。其不足之處是：（1）對于在線的視頻處理還未能達到實時，主要原因是光流算法[12]和向量的匹配效率不夠高。在未來的工作中，我們將研究采用更加高效準確的光流算法和向量匹配算法，以滿足視頻處理對實時的要求。（2）對于非靜止場景效果不佳。當場景中有移動物體時，第一種情況是移動物體可能遮擋待追蹤的陰影邊緣，物體移動的光流信息會干擾對陰影邊緣的跟蹤，造成跟蹤誤差較大。第二種情況是移動物體的陰影可能造成場景陰影形狀的改變，這種情況下進行陰影的在線檢測和跟蹤非常困難。在未來的工作中我們將探索結合場景的深度信息實現對非靜止場景的陰影跟蹤和檢測。

[1]A.Amato,M.Mozerov,A.Bagdanov and J.Gonzalez.Accurate Moving Cast Shadow Suppression Based on Local Color Constancy Detection.IEEE Transactions On Image Processing,Vol.20,No.10,pp.2954-2966,2011..

[2]A.Russell，J.Zou.Moving Shadow Detection Based on Spatial-Temporal Constancy.2013,7th International Conference On Signal Processing And Communication Systems(ICSPCS),2013.

[3]R.Cucchiara,C.Grana,M.Piccardi，A.Prati.Detecting Moving Objects,Ghosts,and Shadows in Video Streams.IEEE Transactions on Pattern Analysis And Machine Intelligence,Vol.25,No.10,Pp.1337-1342,2003.

[4]M.Yang,K.Lo,C.Chiang，W.Tai.Moving Cast Shadow Detection By Exploiting Multiple Cues.IET Image Process.,Vol.2,No.2,P. 95,2008.

[5]J.Zhu,K.Samuel,S.Masood，M.Tappen.Learning to Recognize Shadows in Monochromatic Natural Images.2010 IEEE Computer Society Conference On Computer Vision And Pattern Recognition,2010.

[6]Q.Dong,Y.Liu,Q.Zhao，H.Yang.Detecting Soft Shadows in a Single Outdoor Image:From Local Edge-Based Models to Global Constraints.Computers&Graphics,Vol.38,Pp.310-319,2014.

[7]K.Daniilidis,P.Maragos，N.Paragios.Computer Vision-ECCV 2010.Berlin,Heidelberg:Springer-Verlag Berlin Heidelberg,2010: 322-335

[8]Xiang Huang,Gang Hua,J.Tumblin，L.Williams.What Characterizes a Shadow Boundary Under The Sun and Sky?2011 International Conference on Computer Vision,2011.

[9]R.Guo,Q.Dai And D.Hoiem.Single-Image Shadow Detection and Removal Using Paired Regions.CVPR 2011,2011.

[10]M.Russell,G.Fang，J.Zou.Real-Time Vehicle Shadow Detection.Electronics Letters,Vol.51,No.16,Pp.1253-1255,2015.

[11]M.Khare,R.Srivastava，A.Khare.Moving Shadow Detection and Removal-A Wavelet Transform Based Approach.IET ComputerVision,Vol.8,No.6,Pp.701-717,2014.

[12]Gunnar Farneback.Two-Frame Motion Estimation Based on Polynomial Expansion,Lecture Notes in Computer Science,2003,(2749), 363-370.

[13]Canny,J.A Computational Approach to Edge Detection.IEEE Trans.Pattern Analysis And Machine Intelligence.1986,(8):679-714.

[14]L.Bao,Q.Yang，H.Jin.Fast Edge-Preserving Patchmatch for Large Displacement Optical Flow.IEEE Transactions on Image Processing,Vol.23,No.12,Pp.4996-5006,2014.

Shadow Detection and Tracking from Live Videos with Moving Viewpoints

CHEN Xiang-xiang1，2，SHI Hong-wei1，2

（1．College of Computer Science，Sichuan University，Chengdu 610065；2．National Key Laboratory of Fundamental Science on Synthetic Vision，Sichuan University，Chengdu 610065）

Detecting and tracking shadows from live videos which can help to understand scenes is of great importance in computer vision and virtual reality.However,most of video-based shadow detection and tracking methods are limited to videos captured under fixed viewpoint. Proposes an algorithm to track and detect shadow in moving-viewpoint videos.The algorithm divides each current frame as the tracked region (TR)from previous frame and the new region (NR)caused by movements of viewpoints.In TR,tracks the shadow edges in present frame from previous frame by traditional optical flow tracking,and then refine accumulative errors caused by optical flow tracking.In new region shadows are detected in an online manner.Specifically,based on the characteristics of outdoor shadows,constructs effective feature vectors to discriminate shadow and non-shadow edges.Experiments demonstrate that the proposed approach can stably track the shadow edges in TR and accurately detect shadow edges in NR.

Shadow Detection;Shadow Tracking;Moving Viewpoint

1007-1423（2017）09-0099-07

10.3969/j.issn.1007-1423.2017.09.023

陳祥祥（1990-），男，安徽宿州人，碩士研究生,研究方向為圖像處理、視頻處理

2017-01-04

2017-03-10

時宏偉（1965-），男，碩士，教授，碩導，研究方向為基于深度學習的模式識別、空管智能信息處理、智能感知網絡、數據可視化