一種基于光流的行人陰影檢測與跟蹤

張友鵬

（四川大學視覺合成圖形圖像國防重點實驗室，成都 610065）

0 引言

陰影檢測與跟蹤在計算機視覺等領域具有重要的研究意義。一方面，陰影對于場景理解有著重要作用，它可以揭示場景的相對深度、光照條件等信息。另一方面，計算機視覺領域很多目前的算法如目標追蹤和目標識別等，會因為陰影的干擾導致算法最后的處理結果不穩定或失敗。因此視頻中的動態陰影檢測與跟蹤是很有重要意義和挑戰的工作。

目前，在視頻跟蹤領域，已經有大量的在線檢測與跟蹤運動陰影的工作。但大多數方法都局限于檢測與跟蹤固定視點下的運動陰影，如跟蹤視點固定的監控攝像頭拍攝的視頻中的運動人體或行駛中的汽車的陰影。這些方法的主要流程是先使用背景相減或背景建模來構建參考圖像進而提取變化的前景，然后再對前景中的陰影進行分離。然而，在移動視點拍攝的視頻中，由于視點的移動，每幀都可能會有場景增量進入視野，而這些場景增量中可能含有部分待跟蹤的運動陰影，因此移動視點下無法直接構建視頻的背景圖像或參考圖像。所以，相對于固定視點，移動視點下的運動陰影的檢測與跟蹤面臨更大的挑戰。

本文主要針對室外場景移動視點視頻中的運動陰影的在線檢測和跟蹤進行研究。主要內容包括：

（1）提出了一個室外場景移動視點下的動態陰影檢測與跟蹤算法框架。

（2）構建了一個反映陰影邊緣特征的9維特征向量，用該特征向量來訓練我們選擇的機器學習方法（隨機森林），可以準確地區分陰影邊緣和其他邊緣。

（3）針對視點移動所帶來的新場景的問題，我們會每隔固定的時間更新RF模型。

1 相關工作

目前主流的陰影檢測的算法基本有兩大類：基于靜態圖像的和基于視頻流的。

現在基于單幅圖像的陰影檢測已經有了很多的成果。文獻[5-9]介紹最近的基于單幅圖像的陰影檢測算法。文獻[6]介紹了基于室外光照模型的軟影檢測算法。文獻[9]介紹了基于光照模型和梯度信息的陰影檢測算法。和文獻[6,9]不同，文獻[5,7-8]提出了利用機器學習模型SVM的陰影檢測方法，通過提取陰影的特征，并通過大量數據的訓練得到分類器用于陰影的檢測。

雖然基于視頻的陰影檢測相較于單幅圖像有很多的困難，但是現在針對視頻的陰影檢測研究也出現了越來越多的成果。文獻[1-4,10]介紹了檢測視頻中陰影的算法。文獻[1]利用每幀圖像亮度的信息將圖像分為不同的各個小區域，然后通過分析各個區域的本質特征將各個小區域標識為是否為陰影，文獻[2]和文獻[1]的算法類似，不同在于文獻[2]介紹一種新的篩選陰影區域的方法[3]。在HSV顏色空間中分析了陰影的特征，將其用于視頻陰影的檢測。文獻[10]介紹了一種高效的、實時的視頻檢測算法。

而解決動態陰影的跟蹤問題，現有方法可以簡單分類為幾何信息方法[14-15]、顏色空間差異方法[16]和多級方法[17]。最近幾年，研究者們也在這個領域內獲得了一些成果。2013年，Guo等[21]提出分割區域配對的陰影檢測算法，但是該算法僅利用了區域信息并且使用了三次分類器，陰影檢測的準確性和效率都有待提高。2014年，Khare等[11]提出了一種高效的實時視頻陰影檢測算法。2016年，Tian等[22]利用新的4個基于物理的陰影特征，在室外圖像邊緣提取后，快速有效地從中檢測出陰影邊緣。但是該算法只適用于檢測單幅圖像的陰影邊緣。

2 本文算法

本文提出了一種基于光流和機器學習的運動人體投射陰影檢測和跟蹤算法。本文的算法的主要流程為：

（1）人工交互獲得視頻中第N幀的真實陰影邊緣，獲取這些陰影邊緣點和普通邊緣點的特征集合分別作為正負樣本用于訓練RF模型。

（2）每隔固定時間更新隨機森林模型。對于第N+1幀，使用光流跟蹤算法，得到N+1幀的初始邊緣結果。

（3）使用中位值光流算法找出跟蹤誤差較大的點，在這些點的鄰域獲取Canny邊緣點作為候選點，并用訓練好的RF對這些點進行分類。

2.1 陰影邊緣特征提取

在一幀圖片里，通常只有少量像素是用來描述邊緣的。因此，我們的算法首先對圖片進行高斯濾波，然后通過Canny邊緣檢測算法[13]找出可能是邊緣的像素。為了得到可能屬于陰影邊緣的像素點，我們選取了幾個特征放入支持向量機（隨機森林）里進行訓練[8]。

第一個特征代表太陽光和天空光在陰影邊緣兩側的光照強度比。我們將光照側的RGB通道均值分別表示為 Hr、Hg、Hb，而陰影側表示為 Lr、Lg、Lb。之后用向量(tr,tg,tb)=(Lr/Hr,Lg/Hg,Lb/Hb)來表示陰影邊緣兩側光照強度的比值。最后，我們使用特征向量：

第二個特征代表陰影邊緣兩側光照強度的梯度。首先，我們得到陰影邊緣的像素點上顏色的梯度(Sr,Sg,Sb)。這個向量相當于太陽光在邊緣上的光照強度的梯度，但是也受到了局部的反射率值的影響。最后，我們使用特征向量來抵消反射帶來的影響，這樣可以只保留下光照強度的梯度。

第三個特征代表顏色的梯度方向(γr,γg,γb)。對任意可能屬于陰影邊緣，且反射率是局部連續的像素點來說，當RGB的光照梯度都垂直于陰影邊緣的時候，圖片的梯度在所有的顏色通道上應該具有相同的方向，而其他類型的邊緣則可能沒有這個特點。因此，第三個特征利用了這一點，對每種顏色計算梯度方向上的不同(γrg,γgb,γbr) ，其中：

綜上所述，我們構建了一個反映陰影邊緣特征的9維特征向量(t ,trb,tgb,δr,δg,δb,γrg,γgb,γbr) ，其中每一個特征在識別陰影邊緣的時候都提供了它獨有的特性。我們用這個特征集合來訓練我們選擇的機器學習方法（隨機森林），從而區分邊緣候選邊緣中的陰影邊緣和其他邊緣。

2.2 陰影邊緣的跟蹤

為了保證陰影邊緣檢測的穩定性，避免重復檢測，我們首先使用了光流跟蹤[12]。但是光流跟蹤會帶來不可避免地累計誤差，特別是在視頻序列比較長的時候，如果僅依賴光流跟蹤，即使是簡單場景，誤差也會越來越明顯。如圖2的第一行，我們可以清楚地看到，僅使用光流算法時，無論從準確度還是連續性來看，效果都很不理想。特別是鏡頭大幅抖動時，光流算法基本失效。

圖1 第一行是光流跟蹤的結果，第二行是本文算法的結果

圖2 第一行是光流誤差圖，紅色點為誤差較大的點，綠色點為準確點。第二行是Canny結果圖

為了解決這個問題，我們在光流跟蹤的基礎上通過殘差中值定位誤差較大的點。我們使用了Median-Flow追蹤算法[19]，追蹤的結果，如圖3所示。之后在誤檢測點（圖3中紅色的點）的一定鄰域內利用Canny邊緣置信，得到邊緣候選像素點。

圖3 使用更新策略后的分類結果

實驗結果如圖2第二行所示，可以看出，經過本算法的處理，光流跟蹤的準確度和連續性明顯高于原始算法，保證了前后兩幀陰影邊緣檢測的穩定性。

2.3 陰影邊緣的檢測

首先我們計算獲取周圍置信區域內的待分類點的特征向量，然后利用之前訓練好的隨機森林模型進行分類。

但是，隨著相機和人影的運動，當前幀可能會出現新的場景，陰影可能會投射在新的場景材質區域上，從而導致之前的RF模型在新出現的場景材質區域上效果變差甚至失效。針對這種情況，我們采取了一種邊檢測邊更新的方法。

當相機和人影運動時，場景會發生變化，新的場景會進入視頻，此時應該對RF模型進行更新，由于時間不好選擇，我們采用固定的時間間隔更新，本文采用的是每10幀更新一次。如圖3所示，藍色點是認為屬于陰影邊緣的像素點，紅色點則是判定為非陰影邊緣的像素點。可以看出，使用該方法后，隨機森林可以準確地對新材質區域的邊緣進行分類。

3 實驗結果

本文使用的實驗視頻來自于手持攝像機和手機拍攝的視頻片段。首先，我們僅使用光流算法對上一幀圖片中已檢測到的陰影邊緣進行跟蹤，得到的效果如圖1和圖2所示，可以看到，光流跟蹤的效果并不是很好，這是因為光流跟蹤本身會有一定的誤差，此誤差會隨著序列變長而逐漸累積。為此，我們使用2.1和2.2中介紹的算法對光流跟蹤的結果進行優化。

第一組實驗結果如圖4所示。第二組實驗結果如圖5所示。第三組實驗結果如圖6所示。當從側面拍攝運動陰影時，可以看到，我們的算法略有不足，但仍保持著不錯的效果。

圖4 第一組實驗結果

圖5 第二組實驗

圖6 從側面拍攝運動陰影時的效果圖

另外，由于我們是在光流跟蹤錯誤的鄰域使用隨機森林進行分類來篩選出屬于陰影邊緣的點，因此陰影內部和外部可能會有一些誤分類的點。為了解決這個問題，我們對上一幀檢測出的陰影邊緣進行形態學梯度操作，作為下一幀的掩膜，進而篩選掉一些誤檢測的像素點。

為了定量地判斷陰影邊緣位置的準確性，我們計算了本算法檢測的陰影邊緣位置與ground truth的位置的差異。將兩者距離差距在1個像素之內的標注點認作準確點。我們對圖4、圖5和圖6中的實驗進行了結果分析。我們對每個實驗的連續200幀效果圖，每隔10幀進行一次準確率的計算，結果準確率能達到80%到85%。

從以上可以看出，本算法對簡單場景下的運動陰影的檢測準確度較高，對有深色區域（如地面的坑）和人影會進入新材質的場景也有較高的準確度和穩定性。

我們在3.10GHz CPU，8G內存的PC上運行了本文算法，其中軟件環境為VS2013+OpenCV3.0。未經代碼優化的算法對于480×360分辨率的視頻處理速度為5fps。

4 結語

本文在光流跟蹤算法的基礎上，通過多種途徑實現了移動視點室外場景中的運動人體投射陰影的檢測與跟蹤。從實驗結果可以看出算法的結果較為準確，基本能達到目標效果。但是本文算法還有很多的不足之處：①由于本算法會對光流跟蹤出錯的點的鄰域進行Canny置信，因此即使對陰影邊緣進行形態學梯度操作進而篩選一定的雜點，也依然會有一些誤檢測的點保留下來。②在更為復雜的場景下，隨機森林的更新時機不好選擇。③光流和圖像分割需要耗費較多的時間，使得算法的速度較慢。未來我們會針對這些問題，進一步的優化算法。