基于頻域注意力時空卷積網絡的步態識別方法

趙 國 順 ，方 建 安 ，瞿 斌 杰 ，Samah A.F.Manssor，孫 韶 媛

(1.東華大學 信息科學與技術學院，上海201620；2.數字化紡織服裝技術教育部工程研究中心，上海201620)

0 引言

步態特征，通俗來說就是人行走時的姿態外觀，具體包括手臂、大腿、小腿等身體輪廓的變化，由于步態的采集不需要與被識別者有物理上的接觸，也不需要近距離的接觸，因此應用場景比較完善。 醫學研究表明，每一個人的步態都有自己的形態，具有唯一性[1]，使用步態識別具有一定的安全性，不會導致信息的錯誤。 將步態識別技術應用于當今智能監控領域，可以在多場景下對人員進行監控，防止意外情況發生，也有利于鎖定犯罪嫌疑人，節省人力物力。

目前，關于步態識別的方法主要有兩種。 一種是基于步態模板的方法，主要是通過構建步態特征，比如關節點的位置變化、重心的起伏周期等幾何數字特征，將一個人的行走視頻序列壓縮成一個模板，然后通過匹配待預測行人的步態與模板的相似度進行識別[2-4]。 另一種方法是通過深度學習直接抽取原始圖像序列的步態信息，通過深度神經網絡學習高維時空信息來匹配行人的步態，這種方法不需要大量精細的特征構建，是一種端到端的識別方法[5-7]。

雖然基于步態模板的方法取得了一定的準確率，但是這種特征構造方法復雜，而且受角度、環境、穿著變化影響較大，同時這種特征缺失了時空信息的抽取，在精度上具有一定的限制性。 深度學習方法是一種端到端的學習方法，魯棒性強，易于操作，但是由于模型參數巨大，如何保證準確性與實時性成了關鍵。

本文基于深度學習的方法，改良了三維卷積網絡(C3D)的網絡結構，提出頻域注意力卷積操作，主要通過劃分頻域空間，引進頻域卷積。 同時另一個創新主要是注意力機制的引入，這使得網絡更加關注不同步態之間的不同，調整步態分布的重要性，提升網絡學習效果。 經由中科大數據集CASIA dataset B 檢測，本文方法在跨視角實驗和方法對比實驗中具有提升。

1 結合注意力機制的頻域卷積

針對圖像的高低頻域所對應信息特點，引入頻域卷積的思想，同時根據注意力機制的思想，針對不同信息給予不同注意力。 通過頻域卷積思想，可以進一步減少冗余信息的干擾，同時注意力的加入有利于增強模型的學習能力，達到精簡結構、提升網絡能力的效果。

1.1 頻域卷積

卷積神經網絡(CNN)生成的特征圖的空間維度上存在大量冗余，其中每個位置獨立存儲自己的特征描述符，而忽略了可以一起存儲和處理的相鄰位置之間的公共信息。 自然圖像可以分解為描述平滑變化的結構的低頻分量和描述快速變化的精細細節的高頻分量[8-9]。同樣，如果卷積層的輸出特征圖也可以分解為不同空間頻率的特征，高頻和低頻特征如何映射到不同頻率特征的組這一信息將會被CNN 學習到，通過在相鄰位置之間共享信息以減少空間冗余，可以安全地降低低頻組的空間分辨率。

為此，本文引入頻域卷積(OctConv)，流程如圖1所示。 頻域卷積將輸入和輸出分為高頻、低頻兩個部分，在進行卷積操作的時候分別進行交互，輸出的特征圖同樣分為高頻與低頻兩個部分，尺寸與輸入相同。 具體公式如下：

1.2 注意力機制

注意力已經被廣泛用作序列建模的計算模塊，因為它具有捕獲長距離交互的能力，針對視覺任務已經提出了多種注意力機制， 以解決卷積的弱點。例如，Gather-Excite[10]和Squeeze-and-Excitation[11]使用從整個特征圖抽取信號重新賦值特征通道，而BAM[12]和CBAM[13]在通道和空間維度上獨立地定義卷積特征。 在非局部神經網絡中[14]，通過在卷積架構中使用一些采用自注意力的非局部殘差塊，使視頻分類和目標檢測得到了改進。 但是，非局部模塊僅在ImageNet 預訓練之后才添加到網絡結構中，并以不破壞預訓練的方式進行初始化。

圖1 頻域卷積示意圖

給定尺寸為(H，W，Fin)的輸入張量，將其展平為矩陣X∈RHW×Fin， 按照Transformer 體系結構中的多頭注意力結構[15]，單頭h 的自我注意機制的輸出可以表示為：

然后將所有頭部的輸出連接并再次拼接，如下所示：

其中Wo∈Rdv×dv是學習的線性變換。 然后將MHA(X)重塑為(H，W，dv)形狀的張量以匹配原始空間尺寸。 多頭注意力會導致O((HW)2dk)的復雜性和O((HW)Nh2)的存儲成本提高，因為它需要存儲每個頭的注意力圖。

1.3 頻域注意力融合卷積模塊

注意力是一種對于圖像局部信息重要性的一種度量，在圖像特征中對于高頻和低頻應該有著不同的注意力，同時對于不同時間的步態應該也有著不同的注意力。 在引入注意力機制后，有利于學習步態的時間和空間信息，而且有利于進一步減少冗余信息的學習。 因此，本文在頻率卷積的基礎上結合注意力機制提出頻率注意力卷積模塊。

改進的頻率注意力模塊結構如圖2 所示，輸入HIGH：H ×W ×αC，LOW：0.5H ×0.5W ×(1 -α)C， 由Oct-Conv 卷積生成Q、K、V 頻率特征圖，其尺寸分別為：

圖2 頻域注意力卷積流程示意圖及模塊結構

其中，head-h 表示每個頭部的高頻特征輸出尺寸，head-l 表示每個頭部的低頻特征輸出尺寸。 經過試驗發現，多頭注意力相比較單注意力機制具有更好的表現能力，故采用Nh=2 的多頭注意力機制，將兩個頻率注意力頭部進行拼接操作，得到多頭頻率注意力特征圖MFHA(Multiple Frequency Head Attention)尺寸為：

為了提高精度，防止由于注意力機制忽略對于某些位置信息的學習，將原始輸入經過Oct-Conv 得到頻率特征圖：

其中，Oct-Conv-High 表示頻率卷積高頻輸出特征圖尺寸，Fout表示頻率卷積輸出通道數，Oct-Conv-Low 表示頻率卷積低頻輸出特征圖尺寸。 將其與MFHA 進行拼接，得到結合頻率信息與注意力信息的特征圖，輸出尺寸為：

其中，HIGH 表示Atten-Oct-CNN 高頻輸出尺寸，LOW 表示Atten-Oct-CNN 低頻輸出尺寸。

2 改進的C3D 步態識別網絡

圖3 改進的C3D 步態識別網絡結構圖

給定3DCNN 塊的局部時空特征， 可以認為3DCNN 模塊關注了值得注意的時空的顯著空間信息區域。 另一方面，由于頻域注意力卷積會將特征圖劃分為高頻和低頻兩個部分，故當首次輸入到頻域注意力卷積First-3D 模塊中時，內部會將低頻通道進行池化以縮小特征圖尺寸。 當輸入Media-3D 中時，將進行正常頻域卷積操作，而輸入Last-3D 中會將低頻部分上采樣進行尺寸恢復。 本文使用C3D網絡作為主體，引入硬線層[16]劃分輸入，使用三個3DCNN 層， 同時將里面的三維3DCNN 更換為本文改進的卷積模塊，全連接改為FC-512、FC-124，具體網絡結構如圖3 所示。

3 實驗

3.1 實驗環境配置

本文實驗使用Pytorch 框架，實驗的軟硬件環境如表1 所示。

表1 實驗環境

3.2 實驗過程

實驗使用中科院自動化所公開的大型步態數據庫CASIA dataset B。 該數據庫包含124 個行人，每個行人有11 個視角，分別從0°～180°每18°產生一個步態序列，每個視角下有三種步態狀態，分別為正常狀態(Normal)、穿大衣狀態(Coat)以及背包狀態(Bag)。

實驗都是在同種狀態下進行對比，Normal 狀態下有6 個序列01～06，其中01～04 序列用來訓練模型，05～06 用來測試網絡模型；Bag 狀態有兩個序列01～02，01 序列作為訓練集，02 序列作為測試樣本；Coat 狀 態 有 兩 個 序 列01 ～02，01 序 列 作 為 訓 練 樣本，02 序列作為測試樣本。

3.3 相同狀態下的實驗結果與分析

實驗采用了GenI、GPPE、STIPS 與Deep CNN 作為對比方法，在Normal、Bag 與Coat 三種狀態下，這幾種方法Normal 狀態識別準確率最高均為90%以上。而初始準確率最低的穿大衣狀態起初只有50%多的準確率，隨著方法的創新，Deep CNN 已經達到89%的準確率。 最后在本文方法下，正常狀態下準確率提高了0.3%，背包狀態下提升了4.7%，穿大衣狀態下提高了3.7%。實驗結果對比如表2 所示。

表2 不同狀態下各方法實驗結果對比 (%)

3.4 相同狀態下各視角實驗結果與分析

進一步地，檢查每個角度下單獨的準確率可以發現，Normal 狀態比較均衡，在126°時有略微下降，在18°～108°之間本文方法具有顯著提升，這表明注意力比原先對于這兩個角度有了較多關注。 同時Bag狀態提升較為明顯，在28°、54°、90°與144°分布與Deep CNN 分布不同，注意力重新劃分。 Coat 狀態下的分布規律較為一致，同時在頻域卷積的強大學習力下準確率有很大的提升。各視角準確率曲線如圖4 所示。

4 結論

由于傳統基于步態模板的識別方法對于圖像的預處理較多，大多使用步態能量圖(GEI)模板，而GEI 對于時間維度上步態的先后順序沒有要求，缺失了時間維度上的重要信息，本文通過硬線層將輸入劃分為5 組圖像序列進行輸入， 結合三維卷積的時空信息抽取能力， 實現了一種端到端的學習方法。 同時針對普通網絡參數量大、 步態特征的重要性分布不均提出一種頻域注意力卷積的操作方法， 通過合理分配網絡學習的注意力分布，同時劃分頻域特征，大大減小了冗余信息。 通過在CASIA dataset B 的數據集進行實驗， 發現本文方法在相同狀態下的識別準確率具有顯著提升， 同時對于每種狀態的不同角度也有一定的準確率提升。

圖4 各視角準確率曲線