滑動窗口時空深度置信網絡行為識別

高大鵬，朱建剛

(中國民航飛行學院 計算機學院，四川 廣漢 618307)

0 引 言

基于機器學習的人體行為識別是近年研究領域的重點。行為識別研究主要分為兩個部分：行為特征提取和表達、行為識別和理解。如提高運動強度和運動趨勢的表征完整性和有效性[1]，以提高行為識別率；又或采用隱動態條件神經域，在潛動態條件隨機場上加上神經網絡層[2]等方法。

近年來深度學習方法被應用到了行為識別上，而且獲得了比以前更高的識別率。深度學習算法分為四大類[3]：①有監督的卷積神經網絡[4]；②基于自編碼(auto encoder)的深度神經網絡[5]；③基于限制玻爾茲曼機的深度置信網絡(deep belief networks，DBN[6,7])；④基于遞歸神經網絡(recurrent neural network)的深度神經網絡[8]。

條件限制玻爾茲曼機用于行為識別建模[9]，建立了一個可用于帶標簽視頻數據的門控因子分解模型。時空深度置信網絡[10](space-time deep belief network，ST-DBN)也被用于行為識別，ST-DBN在KTH[11]數據庫上獲得了91.13%的識別率。

以上算法具體應用時需要較大的訓練數據集。文獻[10]采用的方法是留一法，即每次只留下一個樣本做測試集，其它樣本都做為訓練集。在這大樣本訓練的前提之下，有超過90%的識別率，當訓練集較小的情況下，識別率降低很快。而在實際應用中，小樣本的情況很常見，這就導致了上述算法在具體應用中有很大的局限性。

為了解決這個問題，提出了滑動窗口時空深度置信網絡行為識別算法，在同樣的視頻中，通過滑動窗口，可以提供更多的訓練數據，在小樣本的前提下，也可以獲得較高的識別率。

1 相關理論研究

1.1 限制玻爾茲曼機

限制玻爾茲曼機(restricted Boltzmann machine，RBM)的結構如圖1所示。

圖1 限制玻爾茲曼機結構

RBM由兩層神經元連接而成：可見層神經元v和隱藏層神經元h。RBM與玻爾茲曼機(BM)不同在于BM允許層內連接，而RBM要求層內無連接，層間全連接。v和h之間通過權值矩陣W和兩個偏置向量a和b相連接。

用θ=(W,a,b)表示RBM的參數。給定v和h，能量函數可表達為矩陣-向量形式，如式(1)所示

E(v,h)=-hTWv-aTv-bTh

(1)

式(1)的聯合概率分布表示為式(2)

P(v,h)=exp(-Eθ(v,h))/Zθ

(2)

其中，Z用于保證概率p是歸一化的，稱為歸一化因子，如式(3)所示

(3)

在具體應用中，需要求得v和h對應于P(v,h)的概率分布函數P(v)和P(h)，若輸入v是由0和1構成的二值分布，則兩個條件分布函數分別如式(4)和式(5)所示

(4)

(5)

其中，σ函數為激活函數，選用σ(x)=tanh(x)或σ(x)=1/(1+e-x)。采用對比散度算法[12]求重構誤差最小，使用數據在RBM上進行訓練即可求得參數θ(W,a,b)。

1.2 條件限制玻爾茲曼機

為了解決處理視頻數據多幀的問題，提出條件限制玻爾茲曼機(conditional restricted boltzman machines，CRBM)[13]。在RBM的基礎上，CRBM前n時刻的可視層與當前時刻的可視層進行自回歸連接，并且前n個時刻的可視層與隱藏層進行連接。其結構如圖2所示。

圖2 條件限制玻爾茲曼機結構

圖2是一個時間序列的非線性產生的無向模型，包含隱藏層神經元集合h，它們與可見層神經元集合v相聯。v可以用指數簇分布表示。每個時間間隔t中，在最后的N步，v和h從可視變量集接收直接連接。設數據在t-1,…,t-N步里串聯成一個向量，記為v

p(vt,ht|v

(6)

能量函數如式(7)所示

(7)

偏置向量ai,t和bj,t如下

ai,t=ai+∑kAkivk,

(8)

bi,t=bj+∑kBkjvk,

(9)

表示將網絡的輸入從分別前面t個狀態傳遞數據到可視神經元和隱含層神經元。設σi=1。此時，v和h的分布函數為式(10)、式(11)所示

(10)

(11)

通過對前n幀數據的觀測，可以實現對多幀視頻數據的處理。其參數為θ(W,b,c,A,B)，同樣可以通過對比散度算法進行優化。CRBM一旦訓練完成，就可以像深度置信網絡一樣向上添加層。新的層不論是結結構還是訓練過程都和原來的層一樣。

2 基于滑動窗口的深度置信網絡

2.1 整體結構和流程

為了處理多幀視頻，將時間(幀數)和空間(像素)維度最后變為n*1維的數據，需要將數據進行多次卷積和最大池化處理。稱這種時空卷積RBM為時空深度置信網絡(spatiotemporal deep belief networks，ST-DBN)。基于滑動窗口的深度置信網絡系統整體結構如圖3所示。

圖3 系統整體結構

滑動窗口的目的是在訓練樣本較小的情況下，提供盡量多的訓練樣本；空間池化層的目的是為了降低視頻幀的維度；時間池化層的目的是降低時間上的維度。通過多層空間和時間池化并且通過最小化偏差更正各個參數，輸出視頻的特征。通過這些特征對SVM進行訓練和測試，最后得到行為的識別率。需要說明的是時間和空間池化層的數量不是一比一的，而是根據需要進行靈活設定。在本文涉及到的實驗中，時間池化層是兩層，而空間池化層為三層。

2.2 滑動窗口

為了便于描述，設視頻全長為L幀；滑動窗口寬度為k，即窗口包含k幀；每次滑動位移為t幀，k>t。如圖4所示。

圖4 滑動窗口截取視頻

把滑動窗口截取的k幀作為下一個階段的輸入。則一個L幀的視頻可截取并且輸出的視頻片段數量為(L-k+t)/t個。如視頻長度L=300，k=20，t=5，則可產生57個20幀的視頻片段，如果不采用滑動窗口，則只能分割出15個20幀的視頻片段。當k與t值相同時，退化為不采用滑動窗口的一般形式。

2.3 卷積限制玻爾茲曼機

卷積限制玻爾茲曼機(convolutional restricted Boltzmann machines，convolutional RBM)。如圖5所示，卷積RBM由三層單元組成：可視層v，二進制隱藏層h和二進制最大池化層p。v層元素Vc,i,j表示通道c的像素(i,j)。

圖5 卷積RBM單幀視頻處理

(12)

隱藏層和最大化池的約束條件來源于定義：當且僅當最大池化單元Pα至少與一個隱藏單元hi，j的隱藏塊Bα匹配[14]。

訓練卷積RBM需要用到蒙特卡洛方法對隱藏單元對可視單元的條件分布和可視單元對隱藏單元的條件分布進行采樣。定義可視神經元的操作如式(13)所示

(13)

隱藏神經元對群g的操作如式(14)所示

(14)

則條件概率表示為式(15)～式(17)

(15)

(16)

(17)

卷積RBM是高度過完備的結構，此外在訓練的時候需要正則化。在最大池化單元的活動中放置懲罰項，以使其偏向得到更小的常量值r。給一個包含k張圖像的數據集{v1,v2,v3,…,vk}，就是找到一組參數θ，使得目標函數最小[15]，如式(18)所示

(18)

其中，B是Pg中最大池化單元的數量，λ是正則化常數，r是常量，用以控制活動的最大池化單元的稀疏度。使用1步差異對比[16]方法對數似然項的近似梯度，以及隨機梯度下降法對式(18)中的正則項做優化。

2.4 時空深度置信網絡

時空深度置信網絡(space-time deep belief network，ST-DBN)對視頻的處理，是在分層聚合的網絡結構中逐次處理視頻的時空維度。

圖6顯示了ST-DBN的第一層：空間池化層，它處理輸入的視頻幀序列nVt{v(0),v(1),v(2),…,v(nt)}。在每個時間間隔t,空間卷積RBM將輸入的一個視頻v(t)大小為ch*nVx*nVy,經過池化變成大小為|W|*nPx*nPy的輸出p(t)。其中W表示權值矩陣,與參數向量θ一起為所有的空間卷積RBM共享。

圖6 空間池化層

圖7是第二層，時間池化層，它從上一層得到低分辨率的圖像序列{p(0),p(1),p(2),…,p(nvt)}，然后輸出一個較短的序列{s(0),s(1),…,s(nst)}。從圖7中可以看出，圖像幀中的像素(i,j)隨著時間排列成一個時間序列sIij，大小為(W*nVt*1)。每個sIij輸入到卷積RBM中進行卷積運算，使用的濾波器為權值矩陣W′。與空間卷積RBM相似，時間卷積RBM使用的權值矩陣W′，其第g個時間濾波器W′g的長度為nWt。與空間濾波器不同的是，時間卷積RBM池化只對時間維度進行。

圖7 時間池化層

時間池化層總共有(nPx*nPy)個卷積RBM，因為圖像幀中的每一個像素都要按時間順序進行排列，然后用時間卷積RBM進行處理。輸入像素點(i,j)的時間序列sIij，時間卷積RBM輸出更短的序列sOij。其大小為(W*nSt*1)，nSt

序列{s(0),s(1),…,s(nst)}傳到下一層做進一步的時空池化運算。模型的訓練通過貪婪算法[17]分層進行。隨著每個池化層的訓練，首先初始化隱藏層和最大池化層，使用式(15)、式(16)，對濾波分布的對應的平均場近似求值。采用文獻[16]的方法，重復塊Gibbs采樣直到收斂。

ST-DBN最后輸出的是視頻特征，利用這些特征，輸入一個多類SVM分類器進行訓練和測試，即可得到行為識別的正確率。

3 實驗及討論

3.1 采用的數據庫

人體運動視頻數據庫采用的是中科院的CASIA action database[18]。該數據庫收集了戶外固定攝像機在不同角度拍攝的個人和多人不同的行為。總共1446個視頻序列，包括8種不同類型的個人行為以及7種不同的兩人交互行為。與國外同類的行為數據庫(如魏茨曼科學院行為識別數據庫Weizmann human action database)相比，該數據庫的背景較為復雜，而且部分前景有遮擋，具有一定的難度。

3.2 實驗過程和結果

對全部共8種個人行為進行了實驗。按照不同大小的訓練數據對模型進行驗證和原始的ST-DBN進行了對比。首先我們實驗了不同的滑動窗口大小和步長對實驗結果的影響。采用的是較小的訓練集，占總視頻數據的1/3，而測試集為2/3，結果如圖8所示。

圖8 不同窗口寬度和滑動位移的識別率對比

在實驗中發現，當滑動窗口較寬時，識別率會顯著上升，但當窗口寬度大于20幀以后，識別率就不再明顯上升了。而且由于窗口寬度增加，計算時間也隨著增加，故20幀是窗口寬度性價比最高的選擇。同時，發現滑動位移為3幀時，識別率達到最大。故選擇滑動位移為3幀，窗口寬20幀。

找到了窗口的寬度以后，ST-DBN的結構和參數就可以確定了。ST-DBN采用五層網絡結構，其中第二、第四層是時間卷積層，其余三層為空間卷積層。第一層采用25個濾波器，后面四層采用64個濾波器。所有卷積層的參數相同。nWx=nWy=10，池化參數ρ=3，學習率參數為0.1，稀疏化參數r=0.01，正則化常數λ=1。用高斯噪聲對濾波器權重進行隨機初始化，得到的初始化矩陣乘以0.1。當然，對于時間池化層還有一個參數nWt=20。

設定完參數以后，把數據集劃分為訓練集和測試集，訓練集的大小分別占總數據的10%～90%，分別與原始ST-DBN做了實驗，實驗結果見表1。

表1 不同大小測試集識別率

從表1中可以看出，當測試集很小時，本文算法的識別率要遠高于原始的ST-DBN算法，當測試集逐漸增大時，二者的識別率逐漸靠近，但本文算法的結果仍優于原始ST-DBN結果。

4 結束語

本文針對現有的ST-DBN行為識別在較小訓練集下識別效果不佳的問題，提出了一種利用滑動窗口來增加訓練數據集方法。其基本步驟為：首先采用較小的訓練集，通過反復實驗找到滑動窗口的最佳大小和移動位移；滑動窗口的大小確定了時間池化層的參數和層數，視頻分辨率的大小確定了空間池化層的參數和層數；即可開始訓練ST-DBN，輸出視頻特征。

由于ST-DBN的計算復雜，參數多，迭代收斂時間復雜度高，所以要做到實時行為識別比較困難。未來的工作是降低參數數量和時間復雜度，以實現實時的行為識別。