基于推理網絡的人體動作識別

葛鵬花，智 敏

(內蒙古師范大學 計算機科學技術學院，內蒙古 呼和浩特 010022)

0 引 言

人體動作識別是計算機視覺領域一個重要的研究方向，但由于人體動作比較復雜利用深度學習方法對人體動作進行識別仍然具有一定的挑戰[1]。目前基于深度學習的人體動作識別方法主要是以CNN[2,3]、RNN[4,5]為基本框架或者兩者相結合[6,7]，并且取得了顯著的成績，文獻[6]提出將視頻建模為一個有序的幀序列，在CNN的輸出端與LSTM相連以提取動作時序特征；文獻[7]通過對輸入信息和未來預測的信息相結合學習高級特征；文獻[8]中提出雙流CNN，對于視頻圖像和密集光流分別訓練CNN兩個分支，然后對兩個分支的成績進行融合得到分類結果；為了更好地利用時空信息，文獻[9]提出了多個用于視頻片段的時空融合方法；文獻[10]通過構建長時間卷積網絡進行評估實驗，提高了動作識別的準確性。

大多數方法由于缺少來自交互對象的信息，在識別一些動作序列比較相似的任務中，識別結果還有待提高。為了改善視頻中人體動作識別精確度，提出了基于推理網絡的人體動作識別算法，主要創新點如下：①結合物體信息輔助視頻動作識別；②改進Faster RCNN框架，通過加入LSTM指導下一時刻的邊框回歸以及提取人與物體的上下文信息從而對動作更精確的分類。

1 相關工作

在靜態圖像中目前有兩種類型的上下文信息模型用于檢測[11]。第一種類型是捕捉對象-對象間關系[11]，第二種類型包含圍繞對象或場景上下文的信息[11-14]。Liu Y等[15]將這兩種上下文信息進行結合共同幫助檢測，取得了很好的結果。而對于構建人與交互物體之間上下文關系的工作相對較少，Gkioxari G等[12]根據人體姿勢以及周圍物體和環境信息在靜態圖像中對人體行為進行分類。

人體動作識別相比于靜態圖像的識別較為復雜，在視頻動作分析方面有部分研究者通過對人和物體之間的交互信息進行上下文建模，然后對人類行為進行預測[16-18]，Koppula HS等[16]提出使用圖形模型來表示狀態空間，通過低層次的運動學和高層次的意圖來對人類行為和物體之間的交互活動進行建模，使得訓練的模型能夠預測人類下一步的行為。隨后Koppula HS等[17]通過建模獲取人與物體以及周圍環境的上下文信息來預測人類下一步要進行的活動。為了結合深度RNN的序列學習能力和時空圖的上下文信息，Jain等[18]提出用于人-物交互問題的結構化深層RNN，將人與物體表示為圖結點，邊表示為人與物體的交互關系，其中結點和邊都采用RNN結構來學習它們之間的關系，在人體運動建模、人與人之間的互動、預測駕駛員下一步動作等任務都表現出很好的結果。

以上上下文建模的方法中，用于靜態圖像動作分類方法較少，用于視頻分析的大多數方法都是對人與交互物體進行建模從而對人未來的行為進行預測，本研究與上述方法有所不同,通過將目標定位方法和LSTM相結合獲取以人為主要區域以場景信息為附加區域改善識別效果。

2 算法結構

本研究的整體算法在Faster RCNN的基礎上加入LSTM。LSTM通過獲取RPN提取的候選框和人與物體的相關關系從而對下一時刻的輸入數據進行邊框回歸以及動作分類。算法主要分為兩大步驟(2.1節和2.2節)，下面將對這兩大步驟進行詳細闡述。整體算法結構如圖1所示。

圖1 算法結構

2.1 Faster RCNN算法提取特征

本研究采用了經典的檢測算法-Faster RCNN對視頻的每幀中人體區域和與人體動作相關的附加區域提取特征，主要分為以下步驟：

步驟1 特征提取：首先利用在ImageNet上的預訓練模型VGG-16得到輸入圖片的特征；

步驟2 選擇候選框：在VGG-16的conv5之后添加RPN網絡，RPN網絡主要目的是在原始圖像上產生候選框，這也是目標檢測中最關鍵的一步。RPN網絡通過學習相對參考boxes偏移量的方法來預測目標的邊界框。假設以 (x0,y0,h0,w0) 為參考區域，則需要學習的偏移量為(Δx0,Δy0,Δh0,Δw0)，其中x,y,w,h分別表示邊框中心點坐標和邊框的寬高。那么如何在原始圖像中產生候選框呢？首先采用3*3的卷積核對特征圖進行卷積操作，當滑動窗口滑動到某一位置時，以此時的窗口中心為中心映射到原圖的圖像像素空間的某一點(稱為anchor)，每一個anchor考慮k種可能的候選框，一般選擇k=9:3種尺寸*3種比例 {1∶1,1∶2,2∶1}，每個anchor通過softmax獲得正樣本(1)和負樣本(0)的類標簽，所以會分類層輸出2k個得分，而每個候選框都有 (x,y,h,w) 4個參數化的坐標向量所以回歸層會輸出4k個得分，通過非極大抑制算法(NMS)從所有的候選框中選取固定數量的候選框參與訓練。

步驟3 ①人體區域：對得到的候選框進行感興趣池化(ROI)，將其調整為固定大小的特征圖，通過一個全連接層將其映射為特征向量，得到圖片I中包含人區域r的特征向量；②附加區域：計算人體區域r與場景中其它感興趣區域s(I) 的重合率，得到附加區域的一系列候選區R(r;I)，通過參數設置可以將其設置為r的相鄰區域的集合，也可設置為從整個圖片隨機搜索的區域(當l=0,u=1)，然后將其送入全連接層，得到附加區域的特征向量。附加區域的定義用式(1)來表示

R(r;I)={s∈S(I)∶overlap(s,r)∈[l,u]}

(1)

步驟4 根據人體姿勢以及附加區域(從附加區域候選框中選擇得分最高的邊界框)對人體行為α進行加權求和，得到最終的行為得分score，得分用式(2)來表示

(2)

(3)

2.2 LSTM獲取視頻動作信息

由于視頻中的人體動作是一系列連續的幀組成的，增加動作的時間信息就需要設計1種記憶機制對視頻中每幀的上下文信息進行編碼。LSTM是RNN的變體，為了解決長序列依賴的問題，LSTM中引入了單獨的記憶單元，記憶可從上個時刻傳遞到下個時刻，而且記憶單元中加入了門控機制。門的主要結構是使用sigmoid神經網絡，sigmoid通過輸出一個大于0小于1之間的數值，來控制當前輸入有多少信息量。

一個典型的LSTM單元包含輸入門it，遺忘門ft，輸出門ot，隱藏狀態ht，以及內部內存單元狀態ct。

LSTM的循環結構如圖2所示。

圖2 LSTM結構

將LSTM設置在候選框提取之后分類和回歸層之前，是為了獲得前一時刻的候選框信息以及感興趣區域特征信息從而指導下一時刻邊界框回歸以及分類。LSTM更新過程與原始的LSTM類似如式(4)

it=σ(Wxixt+Whiht-1+bi)ft=σ(Wxfxt+Whfht-1+bf)ot=σ(Wxoxt+Whoht-1+bo)gt=σ(Wxgxt+Whght-1+bg)ct=ft⊙ct-1+it⊙gtht=ot⊙tanh(ct)

(4)

具體的LSTM的推理算法如下：

輸入：兩個區域的邊框偏移量 (Δx0,Δy0,Δh0,Δw0) 以及區域特征向量Φ共同作為輸入xt

輸出：回歸后邊框偏移量以及多幀特征信息ot

信息更新及推理過程：

首先將狀態h0初始化為0，t時刻的輸入即為當前時刻候選框和特征信息xt，隱含狀態ht-1為前一時刻的邊框偏移量以及特征。遺忘門ft和輸入調制門gt根據當前輸入信息的重要程度和前一時刻的隱含狀態對記憶細胞ct進行更新。然后再根據記憶細胞中的候選框和特征信息對此時的隱含狀態進行更新，根據輸出(ot)公式隱含狀態能夠指導下一時刻邊框偏移以及新的特征信息更新，以此對下一時刻的候選框以及動作分類進行合理的推理。如圖3所示，從左到右對視頻中的邊界框位置及動作進行推理。

圖3 Faster RCNN+LSTM結構

其中ot指t時刻的一個N(B*5+S)+Φ張量，N是指經過非極大抑制算法篩選后得到的候選框數量。候選框B用一個五元組來表示 (Δx0,Δy0,Δh0,Δw0,c)，其中Δx0,Δy0,Δh0,Δw0,c分別表示框的中心點坐標、寬、高的偏移量與真實標簽的重合率，S=(Sac,Sbg) 表示正負樣本的概率，Φ表示人和物體的特征向量。

在式(3)中得到歸一化后的動作概率P(α|I,r) 用p*表示，網絡中分類和回歸函數的損失函數可以定義為式(5)

(5)

(6)

在上一步中得到視頻中每幀的一系列邊界框，并選擇其中置信度最高的邊框作為目標提取框B={i∈[1…T]}，其中，T表示視頻幀的長度，對于每個邊框都有置信度Sc、動作概率Sac，然后LSTM將視頻中所有與動作相關的區域整合起來進行并分類。

在實驗中將連接起來的多幀信息被本文定義為式(7)

(7)

平衡參數λ0的引入是為了在訓練過程中能夠均衡考慮每幀置信度和幀與幀之間重疊率兩種損失。由于LSTM最后一個隱藏狀態融合了多幀視頻中的所有特征信息，能夠對時間級別動作進行分類并且Faster RCNN在空間級別每幀中都得到了一個動作分類的成績(式(3))，通過對這兩種結果進行加權求和得到分類結果，最終的分類結果被本文定義為式(8)來表示

(8)

式中：w1和w2分別表示動作類別的時間和空間權重，X1作為LSTM在時間上捕獲的動作類別概率，X2作為Faster RCNN在空間上捕獲的動作概率，X2取多幀概率相加的平均值。

3 實驗與分析

實驗中使用的配置為：CPU Inlel i7 8700K，內存 16 G，GPU NVIDIA-GTX1080Ti，Linux Ubuntu 16.04操作系統，使用TensorFlow深度學習框架，Python 3.6。

3.1 實驗設置

實驗中使用了兩個公認的數據集。UCF-101數據集包含101類動作類別，13 000多個視頻。在實驗過程中首先使用一個子集，包含24個類別用于訓練提取人與物體相關關系的任務。然后在測試集上進行樣驗證任務。HMDB-51數據集中包含51類動作，6000多個視頻序列，主要來源于電影片段以及YouTube等網絡視頻庫。這兩個數據集像素較低，受光照、遮擋等因素影響具有一定的挑戰性。UCF-101 數據集樣本幀如圖4所示。

圖4 UCF-101數據集樣本幀示例

首先用預訓練模型VGG16參數對整個Faster RCNN+LSTM網絡進行初始化，然后在UCF-101和HMDB-51數據集上進行微調。對整個網絡聯合訓練，訓練和測試過程中NMS選擇2個圖像和128個候選框，LSTM的神經元個數設為512。

3.2 實驗結果與分析

本研究的動作識別方法從每幀圖片獲取人和物體作為主要區域并提取深度特征，然后經過LSTM，它的隱含層記憶了每幀中人運動特征信息和與人相關的物體的上下文信息，可以計算出動作類別識別準確率，以及動作的混淆矩陣。通過比較以上兩個指標驗證方法的有效性。

圖5為網絡對測試圖片框選的人體區域和附加區域，其中實線框表示人體區域，虛線框表示附加區域。其中前兩行為檢測正確的示例圖，后兩行為檢測錯誤的示例圖，分別為蛙泳-仰泳，投籃-扣籃，倒立行走-倒立俯臥撐，拉錫塔琴-彈吉他。

圖5 人體區域和附加區域檢測

采取了其它方法與本研究方法進行了對比，由于本研究中采用的是加權平均的方式得到最終的結果，所以在對比過程中選取了較類似的融合方式。如表1中，文獻[6]、文獻[7]中都結合了LSTM。文獻[8]中平均值融合方式與本研究方法對比。本研究采用VGG-16訓練模型，故選取文獻[9]中VGG-16中的late fusion方式進行對比。通過實驗對比可以看出，本研究中加入人與場景信息的特征，實驗結果相比于其它方法準確率有了一定的提升。

此外在實驗中，我們對比較相似的16類動作，比如騎車和騎馬、滑雪和滑板等進行了混淆度分析(如圖6所示)。

從混淆矩陣(圖6(a)、圖6(b))中能夠看出，加入人與物體的關系特征后，不同物體特征(馬和自行車)對于比較相似的動作識別(騎馬和騎車等)起到了一定的改善作用，但是具有同樣物體特征(水)的相似動作(蛙泳和仰泳等)識別結果還有待提高。

表1 準確率對比

圖6 混淆矩陣

4 結束語

針對比較相似的動作序列容易識別錯誤的問題，提出了一種基于推理網絡的人體動作識別算法，算法結合目標定位技術學習人與物上下文信息。通過加入人體區域與附加區域的線索提高了一些比較相似動作的識別精確度。通過對比實驗驗證了算法的有效性，但是與直接對人體序列進行識別的算法相比仍然存在耗時的問題。接下來將進一步針對算法進行優化，以便實現算法的實時性。