一種基于三維殘差網(wǎng)絡(luò)分組膨脹卷積的人體行為識(shí)別方法

王志強(qiáng)

（上海海事大學(xué)信息工程學(xué)院，上海 201306）

0 引言

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于視頻的人體行為識(shí)別在人機(jī)交互、安全駕駛、智能家居等領(lǐng)域取得了廣泛的應(yīng)用，行為識(shí)別的研究也更加注重人體行為時(shí)空的變化。

Ji 等將2D 卷積擴(kuò)展到3D 卷積，能夠捕獲多個(gè)連續(xù)幀中的運(yùn)動(dòng)信息，學(xué)習(xí)動(dòng)態(tài)連續(xù)的視頻序列，通過支持向量機(jī)（SVM）分類識(shí)別人體行為，但隨著網(wǎng)絡(luò)層數(shù)變深會(huì)引起梯度彌散。Tran等采用大小為3×3×3（××）的3D卷積核，其中是輸入的幀數(shù)，是卷積核空間大小的寬和高，提出了C3D 網(wǎng)絡(luò)提取時(shí)空特征，計(jì)算高效且具有很強(qiáng)的通用性。何愷明等利用殘差網(wǎng)絡(luò)結(jié)構(gòu)ResNet 進(jìn)行行為識(shí)別，殘差網(wǎng)絡(luò)通過shortcut 操作，不僅緩解了網(wǎng)絡(luò)層數(shù)的增加帶來的梯度消失問題，還可以優(yōu)化和提升網(wǎng)絡(luò)性能。

為進(jìn)一步提高人體行為識(shí)別準(zhǔn)確率，增強(qiáng)其特征表達(dá)能力，本文基于三維殘差網(wǎng)絡(luò)，利用分組卷積和膨脹卷積的思想，建立了一種三維殘差網(wǎng)絡(luò)分組膨脹卷積的行為識(shí)別模型。首先將視頻數(shù)據(jù)輸入到三維卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行時(shí)間維度和空間維度的淺層特征提取，接著通過3D GD-ResNet 殘差塊進(jìn)一步提取深層圖像特征。3D GD-ResNet 殘差塊利用分組卷積，將殘差塊分成32個(gè)并行分組，減少模型參數(shù)量，同時(shí)在分組卷積中引入膨脹系數(shù)，擴(kuò)大卷積核感受野，以捕獲更豐富的圖像特征信息，最后經(jīng)過平均池化和全連接層，通過softmax 分類函數(shù)輸出。

1 本文模型

傳統(tǒng)三維卷積隨著網(wǎng)絡(luò)深度的增加，參數(shù)量的增多導(dǎo)致過擬合，影響了網(wǎng)絡(luò)的泛化性能。本文模型以3D-ResNet101 為基礎(chǔ)，設(shè)計(jì)GDResNet 特征提取模塊，以提取更深層次的圖像特征。結(jié)構(gòu)如圖1 所示，模型共100個(gè)卷積層，一個(gè)最大池化層，一個(gè)平均池化層和全連接層。首先對(duì)輸入視頻數(shù)據(jù)進(jìn)行三維卷積并歸一化，然后輸入到33個(gè)GD-ResNet 殘差塊進(jìn)行特征提取。在每個(gè)GD-ResNet 塊使用分組卷積，同時(shí)在卷積過程中引入用膨脹系數(shù)擴(kuò)大感受野，使用膨脹卷積替代普通卷積，最后通過全連接層輸出，使用softmax 函數(shù)輸出行為識(shí)別的最終結(jié)果。

圖1 本文3D GD-ResNet模型結(jié)構(gòu)

1.1 本文模型結(jié)構(gòu)特點(diǎn)

本文模型以3D ResNet101 為基礎(chǔ)進(jìn)行改進(jìn)。三維卷積層中的每個(gè)特征圖都會(huì)與上一層中多個(gè)臨近的連續(xù)幀相連捕獲人體運(yùn)動(dòng)信息，保證時(shí)序信息的關(guān)聯(lián)性，其本質(zhì)是對(duì)多個(gè)視頻幀堆疊的立方體進(jìn)行三維卷積運(yùn)算，卷積過程如公式（1）所示。

其中V為池化后的輸出，為池化層的輸入，,,為不同方向的采樣步長(zhǎng)。

網(wǎng)絡(luò)的輸入輸出以及卷積核的大小用××的三維張量來表示，、、分別表示時(shí)間長(zhǎng)度，寬度和高度，本文3D GD-ResNet 的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)如表1 所示（其中表示分組卷積的組數(shù)，表示膨脹系數(shù)，為了簡(jiǎn)化描述，表中省略了輸出尺寸特征的通道數(shù)）。

表1 3D GD-ResNet的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)

本文采用對(duì)輸入視頻幀歸一化處理為224×224 大小的預(yù)處理方式，以連續(xù)16 幀大小為224×224 的圖像輸入到Conv1 層中，采用大小為7×7×7，步長(zhǎng)為1×2×2 的卷積核進(jìn)行淺層特征提取，其中7 表示時(shí)間長(zhǎng)度，7×7 表示卷積核空間維度的大小，將得到的8×112×112 大小特征圖通過Conv2_x的最大池化層，池化層卷積核大小為3×3×3，步長(zhǎng)為2，通過同時(shí)對(duì)時(shí)間維度和空間維度進(jìn)行下采樣，減小計(jì)算量，輸出特征圖大小為4×56×56，并產(chǎn)生64 維特征圖。之后依次通過33個(gè)GD-ResNet 特征提取模塊進(jìn)行深層特征提取。網(wǎng)絡(luò)的Conv2_x-Conv5_x層都采用了殘差連接，并在每個(gè)殘差塊中使用了分組膨脹卷積，優(yōu)化網(wǎng)絡(luò)性能。最后通過全連接層和softmax層，輸出101個(gè)類別概率。

1.2 GD-ResNet特征提取模塊

殘差結(jié)構(gòu)通過shortcut 操作，在加深網(wǎng)絡(luò)的同時(shí)，減少了性能下降，但依然存在參數(shù)量過多、信息丟失等問題。本文設(shè)計(jì)GD-ResNet 特征提取模塊，以圖1 中的GD-ResNet1 為例，其內(nèi)部結(jié)構(gòu)及處理過程如圖2所示。輸入視頻幀經(jīng)過卷積和最大池化操作后輸出特征圖T1in，大小為4×56×56，輸入到GD-ResNet1 特征提取模塊。在L1 層采用1×1×1 大小的卷積核進(jìn)行3D 卷積，通道數(shù)為128，增加特征的非線性轉(zhuǎn)換次數(shù)。為了降低參數(shù)量，將L2層分成32個(gè)并行分組，用3×3×3 大小的卷積核在每個(gè)分組上做特征變換，輸出特征圖大小不變。不增加參數(shù)量的前提下，對(duì)每個(gè)分組引入膨脹率為3的膨脹卷積代替普通卷積，在不改變卷積核大小的情況下擴(kuò)大感受野，最后將分組膨脹后的特征圖合并輸入L3 層，卷積核大小為1×1×1，通道數(shù)由128 增加到256。在每一層卷積操作后添加BN操作以保持?jǐn)?shù)據(jù)分布一致，加快網(wǎng)絡(luò)訓(xùn)練，最后對(duì)整個(gè)殘差塊使用ReLU 激活函數(shù)克服梯度消失。

圖2 GD-ResNet1模塊的分組膨脹卷積處理

傳統(tǒng)CNN 中每一個(gè)輸出通道都與輸入通道相連接，通道之間采用稠密連接，計(jì)算復(fù)雜度高且容易產(chǎn)生過量的參數(shù)，本文分組卷積中通道被分成了32 組，每組通道數(shù)為4，輸出通道只與該組內(nèi)的輸入通道連接，與其他通道無關(guān)。采用分組卷積能減小計(jì)算復(fù)雜度且擁有較強(qiáng)特征表示能力。

若定義輸入特征圖尺寸為××，卷積核尺寸為×，輸出特征圖尺寸為××，采用標(biāo)準(zhǔn)卷積的參數(shù)量為：

其中、表示輸入和輸出通道數(shù)，、分別表示特征圖的寬和高。而采用分組卷積，則輸入特征圖按通道分成組，分別對(duì)每組進(jìn)行單獨(dú)的卷積操作，則卷積操作中每組輸入特征圖的尺寸為××，對(duì)應(yīng)卷積核的尺寸為××，卷積操作完成后對(duì)組進(jìn)行組合，輸出特征圖通道數(shù)為，每組卷積特征圖通道數(shù)為，分組卷積的參數(shù)量可表示為：

由公式（4）可知，分組數(shù)為的分組卷積參數(shù)量為標(biāo)準(zhǔn)卷積的1，在GD-ResNet1模塊中，當(dāng)輸入特征圖尺寸為128×4×56×56 時(shí)，其中128表示卷積核個(gè)數(shù)，4表示時(shí)間長(zhǎng)度，56表示特征圖的寬和高，普通卷積和本文GD-ResNet1參數(shù)量的對(duì)比如表2所示。

表2 普通卷積和GD-ResNet1參數(shù)量對(duì)比

普通卷積和GD-ResNet1分別表示ResNet101和本文分組卷積的第一個(gè)殘差塊，分組卷積組數(shù)取32，本文3D GD-ResNet 參數(shù)量是無分組卷積參數(shù)量的132，表明分組卷積能有效降低參數(shù)量，防止模型過擬合，提高網(wǎng)絡(luò)性能。

感受野是CNN 網(wǎng)絡(luò)每一層輸出特征圖的像素點(diǎn)在原始圖像上的映射區(qū)域大小，膨脹卷積可通過控制窗口的寬度，擴(kuò)展感受野區(qū)域，提取更多的特征圖信息,能夠保持圖像分辨率不受損失的情況下減少空間信息的損失。經(jīng)過膨脹處理后，感受野大小如式（5）所示：

其中表示卷積核的大小，表示膨脹卷積的擴(kuò)張率，表示擴(kuò)張后的感受野。

GD-ResNet 模塊中對(duì)每個(gè)分組的卷積核上增加膨脹系數(shù)為3 的膨脹率，由公式（5）計(jì)算可知，卷積核大小為3×3×3 時(shí)，感受野大小為7×7。以圖1 中GD-ResNet1 為例，當(dāng)膨脹系數(shù)為1和本文膨脹系數(shù)為3時(shí)，卷積過程如圖3所示。

圖3 膨脹系數(shù)為1和3時(shí)卷積輸出過程

圖中（a）表示膨脹系數(shù)為1時(shí)卷積輸出過程，卷積核在特征圖上的感受野為3×3，（b）表示本文加入膨脹系數(shù)為3 時(shí)卷積輸出過程，4×56×56的特征圖T1in為GD-ResNet1殘差塊的輸入，通過加入膨脹卷積，卷積核在特征圖上的感受野為7×7，輸出特征圖大小不變。本文通過實(shí)驗(yàn)表明，膨脹卷積能夠提取更豐富的特征圖信息，優(yōu)化網(wǎng)絡(luò)性能。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)

本文實(shí)驗(yàn)采用UCF101數(shù)據(jù)集，包含101個(gè)類別，共13320 段視頻，其中訓(xùn)練數(shù)據(jù)集9537個(gè)視頻，測(cè)試數(shù)據(jù)集3783個(gè)視頻，視頻幀圖像大小為320×240。

實(shí)驗(yàn)在Linux 操作系統(tǒng)下進(jìn)行，計(jì)算機(jī)顯卡為NIVDIA的Tesla V100，采用PyTorch深度學(xué)習(xí)框架。用預(yù)訓(xùn)練3D ResNet101 神經(jīng)網(wǎng)絡(luò)初始化本文模型的權(quán)重參數(shù)，采用隨機(jī)梯度下降算法優(yōu)化模型。網(wǎng)絡(luò)訓(xùn)練的初始學(xué)習(xí)率為0.1，每經(jīng)過50epoch 學(xué)習(xí)率降為原來的10%，動(dòng)量為0.9，batch_size 設(shè)置為128，共訓(xùn)練200 epoch。分別比 較 了 3D ResNet101、 不 同 分 組 數(shù) 3D ResNet101和加入分組卷積基礎(chǔ)上采用不同膨脹率的對(duì)比結(jié)果，通過實(shí)驗(yàn)驗(yàn)證了本文方法的有效性。

2.2 原始3D ResNet 101實(shí)驗(yàn)結(jié)果

本文實(shí)驗(yàn)以3D ResNet101 為基礎(chǔ)模型，采用Kinetics 數(shù)據(jù)集預(yù)訓(xùn)練3D ResNet101 初始化權(quán)重參數(shù)，對(duì)模型1 在UCF101 數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試。采用訓(xùn)練損失loss和acc（accuracy）準(zhǔn)確率曲線驗(yàn)證模型性能和準(zhǔn)確率。如圖4所示，橫坐標(biāo)表示迭代次數(shù)，縱坐標(biāo)表示模型訓(xùn)練和測(cè)試的準(zhǔn)確率和損失值，由圖可見，在沒有加入分組膨脹卷積下，3D ResNet101 訓(xùn)練集準(zhǔn)確率高，loss損失值小，而測(cè)試集損失值大，準(zhǔn)確率低，由于UCF101 數(shù)據(jù)集相比Kinetics 數(shù)據(jù)集過小而出現(xiàn)了嚴(yán)重過擬合。

圖4 模型1在UCF101上的準(zhǔn)確率和loss損失

2.3 模型完善過程及實(shí)驗(yàn)結(jié)果分析

針對(duì)模型1存在過擬合嚴(yán)重問題，在實(shí)驗(yàn)中加入不同組數(shù)的分組卷積，通過對(duì)比選擇最優(yōu)分組數(shù)，以模型1 為基礎(chǔ)，模型2 將殘差塊分成64 組，模型3 將殘差塊分成32 組，以驗(yàn)證不同分組數(shù)對(duì)模型識(shí)別準(zhǔn)確率的影響。結(jié)果如圖5所示，結(jié)果表明，采用32 組分組比64 組穩(wěn)定，模型識(shí)別準(zhǔn)確率更高。從圖4和圖3 的實(shí)驗(yàn)結(jié)果對(duì)比看，引入分組卷積，參數(shù)量減少，有效降低了模型過擬合。

圖5 模型2和模型3的準(zhǔn)確率和loss損失對(duì)比

為驗(yàn)證感受野的大小對(duì)網(wǎng)絡(luò)性能的影響，在模型3 的基礎(chǔ)上，引入不同的膨脹率進(jìn)行對(duì)比。模型4 的膨脹系數(shù)為2，本文模型膨脹系數(shù)為3，圖6 分別比較了模型4和本文模型不同膨脹系數(shù)下的準(zhǔn)確率和損失，從圖中可以看出，本文模型比模型4的損失值更小，測(cè)試準(zhǔn)確率更高，特征更有區(qū)分度，測(cè)試識(shí)別率達(dá)到了88.4%。

圖6 模型4和本文模型的準(zhǔn)確率和loss損失對(duì)比

上述五個(gè)模型實(shí)驗(yàn)結(jié)果對(duì)比如表3所示，結(jié)果表明，模型1 在UCF101 上存在過擬合；在引入分組卷積以后，由于參數(shù)量減少，有效降低了過擬合，當(dāng)采用分組數(shù)為32 的模型3 時(shí)，測(cè)試效果更好，識(shí)別率達(dá)到了82%，比模型2 高1個(gè)百分點(diǎn)；在模型3基礎(chǔ)上，加入膨脹系數(shù)后本文模型行為識(shí)別準(zhǔn)確率曲線穩(wěn)定且達(dá)到了88.4%，比膨脹系數(shù)為2 的模型4 高了1.4%。表明本文模型中的GD-ResNet 特征提取模塊能有效減少模型參數(shù)量，提取更多圖像特征，提高人體行為識(shí)別準(zhǔn)確率。

表3 五種不同模型行為識(shí)別準(zhǔn)確率比較

2.4 與其他方法比較

為了進(jìn)一步檢驗(yàn)本文模型對(duì)人體行為識(shí)別的效果，將本文方法和3D 卷積神經(jīng)網(wǎng)絡(luò)（C3D）模型、劉瀟等提出的三維殘差卷積神經(jīng)網(wǎng)絡(luò)、Varol G 等提出的LTC 網(wǎng)絡(luò)模型在相同數(shù)據(jù)集下進(jìn)行了對(duì)比。結(jié)果如表4所示，可見本文模型方法較其他方法行為識(shí)別準(zhǔn)確率有所提高。

表4 不同方法結(jié)果對(duì)比

3 結(jié)語

本文建立了一種基于三維殘差網(wǎng)絡(luò)分組膨脹卷積的人體行為識(shí)別方法，以3D ResNet101網(wǎng)絡(luò)為基礎(chǔ)，利用三維殘差網(wǎng)絡(luò)提取時(shí)空特征。GD-ResNet 將殘差塊分成32個(gè)并行分組，減少了模型參數(shù)量，并在每個(gè)分組上使用膨脹率為3的膨脹卷積，增大了模型感受野，提取了更為豐富的特征圖信息，最后通過softmax進(jìn)行分類。在UCF101數(shù)據(jù)集上進(jìn)行測(cè)試，行為識(shí)別準(zhǔn)確率為88.4%，驗(yàn)證了本文方法的有效性。