基于深度學習的人體動作識別方法

沈西挺，于 晟，董 瑤+，董永峰，張澤偉

(1.河北工業大學 人工智能與數據科學學院，天津 300401；2. 河北工業大學 河北省大數據計算重點實驗室，天津 300401)

0 引 言

在基于計算機視覺領域的人體動作識別研究中，Kar-pathy 等[2]利用深度卷積神經網絡以視頻中連續的RGB視頻幀為直接輸入對人體動作進行識別；Shuwang Ji等[3]提出利用視頻數據中時間維度信息，利用3D卷積神經網絡對人體動作進行識別；Jeff 等[4]利用融合卷積層和長時遞歸層的長時遞歸卷積網絡(long-term recurrent convolutional，LRCN)提出了用于人體動作識別的網絡模型。

在視頻數據源下的人體動作識別是將視頻切分成時間幀圖像，然后對隨時間變化的圖像進行分類，所以在圖片識別領域的深度學習方法，也被應用在視頻序列中人體動作識別的研究中[5]。但人體動作識別的動作識別模式具有不可預測性和多樣性，所以在進行識別研究時需要結合多方面綜合技術，隨著實際應用中并發數據量的增多，給識別帶來了一定的難度[6]。為了提高人體動作識別的識別率，本文構建一種基于卷積神經網絡模型和遞歸神經網絡模型的改進模型，并利用稠密光流函數提取視頻前后幀圖像的光流數據，對特定場景下視頻中的人體動作進行識別。

1 相關理論

1.1 卷積神經網絡(CNN)

CNN的訓練過程是將處理好的數據在卷積層與采樣層的作用下交替訓練，即一層卷積層后接一層采樣層，采樣層后接一層卷積，循環反復，隨著數據卷積和采樣的進行，逐步提取出特征，組合形成最后的抽象的特征[7]。

卷積層：之所以使用卷積運算，是利用卷積運算可以使原信號特征增強，并且降低噪音的優點，達到特征提取的目的。每個卷積核提取出一個特征，形成多個特征圖，CNN中第i層的第j個特征圖中位置坐標為 (x,y) 的單元的值，如式(1)所示

(1)

式中：b為偏差量，w為與特征圖相連接的卷積核中單元的值。

從嶺跡圖中可以看出，當k≥0.02時，嶺跡曲線趨于穩定。在R中可以得到自動選擇的嶺回歸參數為0.0237，和我們由嶺跡圖得出的嶺參數一致。同時我們得到嶺回歸的參數估計值、標準誤差、t值和p值如上表所示，由表可知當k值取0.0237時，各自變量的顯著性與之前相比得到了明顯的提高，但是X2、X6、X8的p值均大于0.05，仍然不顯著，其它自變量對因變量的影響的顯著性則均達到了99.9%以上。因此在這里選擇剔除X2、X6、X8三個變量，重新選擇嶺參數進行回歸分析和參數估計。

(2)利用兩組不同參數的稠密光流函數calc Optical Flow Farneback[11]分別提取出圖像的光流數據，如式(4)所示，然后采用下采樣方法得到規模14×30×40，適用于3DCNN網絡的輸入數據。預處理后的數據為后續網絡的訓練和測試做準備

1.2 3D卷積神經網絡(3DCNN)

3DCNN相比較2DCNN而言，在輸入數據方面考慮了時間因素，可以看作將多個連續的幀圖像組成一個立方體，然后使用三維卷積核在該立方體中進行計算，提取出多個特征圖[8]，第i層的第j個特征圖中位置坐標為 (x,y,z) 的單元的值，如式(2)所示

由所測石墨烯的方塊電阻可知，研究的石墨烯其導電性能并不理想，為了改善石墨烯的導電性能，對石墨烯進行HNO3化學摻雜(doping)，以提高石墨烯的功函數.圖2(b)為使用1 nm MgO介質層和不使用MgO介質層的Gr/Si電池光場J-V曲線比較，經化學摻雜后，電池的效率分別提升至8.62%和7.57%；結果表明：無論對石墨烯進行摻雜與否，使用MgO介質層都能夠顯著提高電池的光電轉換效率.

(2)

S4層對C3層的數據做最大池化法，池化的大小為2×2×2，得到特征圖規模為5×6×8。

1.3 長短期記憶神經網絡(LSTM)

遞歸神經網絡隱藏層的神經單元將處理的結果分兩個方向進行傳遞，一個方向是直接將結果傳遞到輸出層，另一方向是傳遞到下一時間點的隱藏層繼續進行運算。在這種遞歸結構的影響下網絡模型可以到達很深的深度。但是，遞歸神經網絡只適合處理數據序列較短的數據，梯度消失(gradient vanishing)和梯度爆炸(gradient explosion)一直是其存在的兩個問題。LSTM將記憶單元引入到隱藏層的神經元中間，控制時間序列上的記憶信息，有效的避免了上述問題[9,10]。LSTM隱藏層的前向公式如式(3)所示

(3)

Candes和Plan在文獻[6]中討論了高斯隨機噪聲和有界噪聲情形下的矩陣填充問題，指出當已知元素個數p≥Cnrlog6n時，以接近1的概率，通過求解式(3)可以穩定恢復絕大多數秩不超過r的矩陣.

2 識別模型

2.1 模型結構設計

本文模型采用卷積神經網絡模型、3D卷積神經網絡模型和長短期記憶神經網絡模型，如圖1所示，主要包含4個部分：①訓練2DCNN，提取單幀圖像的特征信息，將圖像的特征放大，然后利用view函數將輸出結果按照行優先的順序拼接，作為3DCNN的輸入進行訓練，進一步提取出添加了時間因素的特征信息。②利用稠密光流函數提取的圖像的光流數據作為3DCNN的輸入提取出特征信息。③將①和②提取的特征信息進行融合。④將融合后的特征信息作為LSTM的輸入進一步提取特征信息，最后利用Softmax進行分類實現人體動作識別。

體育鍛煉能高度協調人的社會性與生物性。一方面，體育鍛煉改善人的生物狀況和機能，奠定適應社會的生物學基礎；另一方面，體育活動能彌補和糾正因生物功能或社會功能形成或產生的“ 亞健康”。參加體育運動（特別是集體運動項目），可以增加大學生與同學、老師、教練間的交流，培養自身的團隊意識和競爭意識，使大學生學會正確處理人際關系，提高適應社會的能力。

圖1 網絡模型結構

2.2 數據預處理

在視頻數據源情況下，使用深度學習進行人體動作識別，需要將視頻數據轉換為神經網絡模型可用的格式。在數據預處理時，首先對對應動作的視頻進行標記，每種動作作為一個分類，然后逐一讀取數據集中的視頻文件，并使用imageio方法讀取出圖像數據。圖像重定義為合適大小，例如60像素×80像素，形成60×80的圖像數據矩陣，在使用灰度圖像時，每張圖片視為一個通道矩陣，將圖像數據分兩類進行存儲[14]。

3.1 LA的常規CT和MRI的評價標準 LA患者CT檢查特點為：“蝴蝶”或“月暈”狀的低密度改變，大多邊緣模糊，病灶位于腦室周圍白質以及半卵圓中心大致對稱的位置。此外，在患者的兩側內囊，基底節區、丘腦以及腦干等區域還可見到多處的腔隙性梗死灶，伴有不同程度的皮質萎縮以及腦室前后角變鈍，腦室擴張。

(1)將單幀圖像數據以float32格式進行逐一存儲，形成1×60×80的數據規模，用作CNN網絡的輸入數據。

池化層(降采樣層)：由于圖像存在局部相關性的特性，利用池化層對圖像進行子采樣可以縮減計算量，同時還保持圖像在旋轉的情況下特征不改變。

(4)

以上3種類型的神經網絡后都接一個Dropout層用于消除過擬合現象，當經過LSTM模型的訓練之后，得到的特征信息規模為1×64，添加一個全鏈接層，將當前層的所有節點和前一層的所有節點進行完全連接，然后，通過使用Softmax分類器對結果中的人體動作進行分類。

2.3 特征提取及融合

本文中使用的2D卷積神經網絡一共有3個隱藏層(hidden layer)，如圖2所示，輸入的數據規模均為1×60×80，整個卷積神經網絡中，卷積核的大小分別為(5×5)、(3×3)、(3×3)，池化層大小均為(2×2)，由于高層特征會隨著抽象程度的提高而增加，所以3個隱藏層中卷積核的個數逐層增加，個數分別為16、32、64，并在卷積、池化后按第二維疊加，得到15×5×8結果，然后使用3D卷積神經網絡進行特征提取，卷積核大小為2×3×3，池化層大小為1×2×2得到的結果添加全連接層，得到64×672結果。

圖2 2D卷積神經網絡及參數

2.3 兩組圍生兒結局對比 觀察組圍生兒的胎兒窘迫、新生兒感染、新生兒黃疸與低出生體質量兒等發生率明顯高于對照組(P<0.05)。見表3。

圖3 3D卷積神經網絡及參數

C1層共有16個不同的卷積核，卷積核大小為3×3×3，得到特征圖規模為12×28×38。

S2層對C1層的數據做最大池化法，池化的大小為1×2×2，得到特征圖規模為12×14×19。

C3層繼續對S2層的數據進行卷積操作，卷積核個數為32個，卷積核大小為3×3×3，得到特征圖規模為10×12×17。

式中：xt表示t時刻的輸入，ht-1表示截止到上一時刻的記憶，σ表示激活函數。

式中：z代表3D卷積的時間維度。

需要到醫院化驗大便常規，秋冬季還要化驗輪狀病毒。很多醫院都可以掛方便門診開化驗單，只要大人帶標本在一個小時內送去化驗就可以了，寶寶不用去，因為那里的病菌更多，寶寶要少去為好。

C5層繼續對S4層的數據進行卷積操作，卷積核個數為64個，卷積核大小為3×3×3，得到特征圖規模為3×4×6。

S6層對C5層的數據做最大池化法，池化的大小為2×2×2，得到特征圖規模為1×2×3。最后，添加全連接網絡層，得到的變量規模為64×768。

將經過2D卷積神經網絡和3D卷積神經網絡之后的特征信息在第一維度上進行特征融合，得到數據規模64×128，調整數據規模為64×1×128并輸入到LSTM中訓練，設置LSTM中輸入維度大小為128，設置隱藏層的輸出維度大小為32，通過遞歸運算融合前一幀和當前幀的特征信息，得到最終特征提取的結果。

2.4 分類識別

在數據處理階段提取的圖像的光流數據集合flow_x和flow_y，數據規模均為14×30×40，14為連續幀圖片的數量，30×40為每幀圖片的大小，然后使用3D卷積神經網絡進行訓練，一共使用3個隱藏層，具體參數如圖3所示。

3 實驗結果及分析

3.1 實驗環境

本文實驗環境采用基于Python的深度學習框架Pytorch平臺，硬件選用Core i5 3.10 GHz的CPU的服務器。

經由我院倫理委員會批準，將本院2017年1—12月接受的宮頸炎患者78例作為研究對象，并隨機分為對照組與觀察組，每組均39例。對照組中，年齡26～55歲，平均年齡（40.5±14.5）歲，病程1～5年，平均病程（3.0±1.01）年。觀察組中，年齡25～55歲，平均年齡（40.0±15.0）歲，病程1～6年，平均病程（3.5±1.5）年；兩組一般資料比較結果P＞0.05，可作對比。

3.2 數據集

本文采用KTH數據集作為實驗數據，該數據集錄制時選用25名性別和衣著不同的實驗人員，利用固定的攝像機采集600個連續動作組成600個視頻，錄制視頻使用的幀速率為25 fps，分屬4類情景：包括戶外S1，戶外(鏡頭遠近尺度變化)S2，戶外(不同衣著)S3，室內S4；實驗人員共展示6類動作：包括拳擊、拍手、揮手、散步、慢跑和奔跑。視頻中每幀都是一張160像素×120像素的圖像，圖像背景均勻，其中部分數據如圖4所示。

圖4 KTH數據集

本文隨機從25名實驗對象中選擇19名實驗對象的視頻作為訓練數據集，其余6名實驗對象的視頻作為驗證集，訓練數據集訓練過程中每次迭代都進行一次驗證，10輪驗證取平均值。

3.3 實驗全局參數

實驗中，各模型訓練時的學習率(Learning rate)均設置為0.001，每次送入訓練的批大小(Batch_size)為64，在各模型每次迭代時加入Dropout值為0.5，激活函數使用ReLU函數[12]，見表1。

表1 實驗參數

3.4 實驗結果

3.4.1 單情景識別率分析

本文在實驗時，將KTH數據集的各情景進行分離，分別作為輸入數據進行識別分類，從表2可以看出，當處于室內時，識別率最高，當處于戶外，且視頻鏡頭是遠近尺度變化時，識別率最低。

表2 各情景識別率對比/%

3.4.2 單動作識別率分析

表3為本文方法和其它文獻方法在KTH數據集中，單動作分類的識別率對比情況，從表中可以看出，本文方法在各動作取得的識別率相對穩定且均處于較高水平。

表3 各動作識別率對比

3.4.3 總識別率分析

圖5顯示了本文方法在KTH數據集4種情景和6個動作混合情況下的平均識別率，橫坐標(epoch)代表迭代次數，縱坐標(acc)代表識別率，可以看出，識別率在100代之內有個快速的增長，之后開始緩慢增長，當達到1300代左右時識別率達到峰值，然后一直在93%左右穩定波動。

4.3.3 人才技術不足。首先在高校之中，無論是學生還是年輕教師，或者是資深教授，此類的人才資源可謂是非常充足的，但是大多數專家教授都有其擅長的領域，而學生人才也需要一定的鍛煉和指導，就在這樣的情況下，對創業實踐活動來說，人才資源相比較來說就比較少，而缺少了具有專門性、針對性的高尖專家和人才，關于創業實踐活動的研究便會有所艱難。關于創業基地等硬件條件充足的情況下，專門性的人才相對缺少，而在缺乏在這一方面所必須的專業技術和技能，很多的創業實踐活動過程中所面臨的難題便會需要更多的嘗試才能有所收獲，而在這樣的情況下，創業體系的建設將會發展緩慢。

圖5 本文模型識別率

本文的融合模型算法與其它文獻中動作識別方法在類似數據集上進行比較，見表4。從表4中可以發現，本文提出的融合模型的人體動作識別算法優于其它算法，識別效果更好。

表4 識別率對比/%

4 結束語

本文提出了一種針對視頻中人體動作識別的改進網絡模型，該模型首先利用了稠密光流函數提取出視頻圖像的光流數據，然后對基于深度學習的神經網絡模型進行改進，在KTH數據集上的測試結果表明：本文模型有更好的識別效果，識別率優于其它模型。

這下可好了，總算來了個說人話的！我連忙起身道歉，坐到另外那張床上。這女人反身關上門，坐在我對面床上，摸過洋煙，點起一支叼在嘴上。她又把煙盒遞向我，我搖搖頭，她順手一丟，就把煙盒丟到床頭柜上。我抬眼打量她，見她正放肆地盯著我，眼都不眨一下！她緩緩吐出一串煙霧，還是盯著我，突然哈哈大笑起來，“這東洋人還真是他娘的饞，連老媽子也稀罕！”

本文在對各情景識別率對比時，發現不同情景下總識別率有一定差別，且在戶外遠近尺度變化情境下識別率較低，預測是由于鏡頭遠近變化影響了特征提取時信息的連續性。未來，會針對此問題進一步進行實驗研究。