基于改進空時雙流網絡的紅外行人動作識別研究

蔣 一，侯麗萍，張 強

（1.信陽職業技術學院 數學與計算機科學學院，河南 信陽 464000；2.信陽農林學院 信息工程學院，河南 信陽 464000；3.中國人民解放軍空軍第一航空學院 研究生大隊，河南 信陽 464000）

0 引言

行人動作識別是計算機視覺領域重要的研究方向，其在視頻監控、智能交通、運動分析、導航制導等軍事和民用領域都具有重要的研究意義和應用價值[1-3]。由于紅外圖像只依賴于目標本身的熱輻射強度，不受復雜環境下的顏色干擾，因此基于紅外圖像的動作識別技術的性能不依賴于天氣的影響，可以全天候全天時進行檢測[4]。然而，正因為紅外圖像缺乏紋理顏色特征值信息，也加大了行人檢測與行為識別的難度[5]。

為了提升紅外行人動作識別的效果，國內外學者也提出了許多動作識別算法[6-12]。南航的丁萌教授提出了一種基于似物性和稀疏編碼及空間金字塔特征提取的動作識別方法[6]。Fernando 等人提出基于雙密度雙樹復小波變換的動作識別，通過利用支持向量機（Support Vector Machines,SVM）對樣本的小波熵進行動作分類和識別[7]。為了充分利用紅外與可見光不同模態下互補特征，Varol 提出了一種基于多模態特征融合動作識別模型，提高了低對比度目標的識別性能[8]。隨著近年來硬件技術的發展，深度學習在圖像處理領域得到了廣泛的應用[9-12]。目前行人檢測及其動作識別算法通常是基于深度學習網絡，主要利用三維卷積網絡、長短期記憶網絡（Long Short-Term Memory,LSTM）和雙流網絡來自主學習高維時空特征并自動進行分類識別[10]。Kuehne[11]設計了一種基于卷積神經網絡的動作識別算法，以滿足輔助駕駛的需求。Ioffe等人[12]提出了一種基于多級分割模型的動作識別網絡，通過對疑似區域進行深度特征提取，提取紅外復雜背景下行為動作的檢測精度。基于深度網絡的紅外行人動作識別中大多是對檢測到的行人進行分析，以實現不同簡單動作的識別，如站立、行走、蹲、跑等。然而，人體動作是一個序列動作，只要引入時域特征，才有助于提升識別的精度。Wang 等人[13]將原始的二維卷積核擴展為三維卷積核，提出了基于三維卷積的異常行為模型，但此類方法參數設置復雜且參數量巨大。LSTM 是利用卷積網絡逐幀提取紅外行人特征，并充分利用了行人的空時特征，提升了行為動作的表征能力，但其多尺度高維處理模式制約了網絡運行速度。

眾所周知，視覺皮層主要負責大腦皮層中處理視覺信息，其存在背側流（Dorsal Stream）和腹側流（Ventral Stream）兩條信息輸出通道，分別對應空間通路與內容通路[14]。受此啟發，Simonyan 等人[15]創造性地提出了基于雙流卷積網絡的動作識別。雙流卷積神經網絡是一種融合了空間信息網絡與時間信息網絡的處理結果，通過使用光流圖作為網絡輸入來補償空間網絡無法捕獲的時間維度信息，并對不同模型得到的結果進行融合，提升了行人行為的識別精度，但光流的提取過程耗時較長，不滿足工程研制的實時性要求。

為了提升復雜背景下紅外視頻序列的行人檢測與動作識別的精度與效率，本文在雙流卷積網絡的基礎上，提出了快速且有效的動作識別模型，并在公共基準數據集與自建數據集基礎上進行對比實驗，驗證本文設計算法的實用性和有效性。

1 雙流卷積網絡與長短記憶神經網絡

1.1 雙流卷積網絡

雙流網絡結構由兩個獨立的空間流網絡和時間流網絡組成，分別用來學習視頻幀間的空間位置信息與光流數據中的時間運動特征，如圖1所示。這兩個網絡具有相同的結構，每個結構均由3 個池化層和3個卷積層組成，并且在每個卷積層后面增加一個非線性層。盡管兩個獨立網絡具有相同的結構，但它們在雙流網絡中扮演的角色不同?？臻g流網絡的輸入是原始圖像序列，而時間流網絡則是相鄰數據間的光流。為了更好地表征視頻序列間的時空特征，雙流網絡結構設計了兩個融合層，其目的是在空間位置融合空間和運動特性，以使相同像素位置處的通道響應相一致。

圖1 雙流網絡結構Fig.1 Two-stream network

雙流網絡結構的輸出結果采用級聯融合。假定兩個網絡的輸出特征分別表示xA∈RH×W×D和xB∈RH×W×D，其中H，D和W是特征圖的高度、通道數和寬度。該融合操作將兩個特征圖堆疊在整個特征通道d的相同空間位置(i,j)上，即得到yi,j,d＝xi,j,dA與yi,j,2d＝xi,j,dB。雙流網絡極大地提高了行為識別的精度，但也存在一定的局限性。雙流網絡的時間特征存在于相鄰幀之間的光流，對時間維的利用信息有限，其光流的計算復雜度較高。雙流網絡不能對時空特征的像素級關系進行建模。

1.2 長短記憶神經網絡

長短記憶神經網絡是一種特殊的遞歸神經網絡，能夠解決遞歸神經網絡長時依賴與梯度消失的問題[16]。LSTM 網絡采用“門結構”傳遞當前時刻處理的信息給下一時刻使用，能夠充分挖掘海量數據中蘊含的有效信息，其網絡結構如圖2所示。所謂的門結構由一個sigmoid 網絡層σ與一個按位乘操作構成。

圖2 LSTM 網絡結構Fig.2 LSTM structure

眾所周知，已發生的歷史數據有助于提升下一刻事件的發生概率。當前的遞歸網絡大都采用最后一幀的狀態進行特征表示，顯然會丟失大多數動態信息。相比于從局部幀提取特征信息，全序列的整體特征可以更好地呈現全局表示。

2 基于改進的雙流網絡行為識別

2.1 空時特征傳播

眾所周知，雙流網絡結構由兩個獨立的空間流網絡和時間流網絡組成，分別輸入圖像序列與光流圖，其中光流的計算復雜，且需要大量的硬件資源，導致其工程應用實時性不強。在攝像機固定的情形下，前景的光流為零。也就是說，圖像間的差分與光流結果是類似的。因此，本文提出了基于深度差分的雙流網絡模型，該模型采用深度差分網絡代替時間網絡以獲取紅外序列中的幀間關系和時間關系。深度差分是一種基于深度特征傳播的網絡結構[12]，獲得基于關鍵幀的特征傳播差分圖，可以用來代替光流圖作為時間流網絡的輸入，可降低計算復雜度，且增強了特征傳播圖對人體動作的姿勢表達和類別識別能力。改進的雙流網絡結構如圖3所示，其中卷積核大小分別為7×7和3×3。

圖3 改進的雙流網絡Fig.3 Improved two-stream network

視場與視角固定的熱像儀輸出的相鄰紅外序列具有高度相似性，其獲取的光流特征很微弱。也就是說，大量的逐幀光流計算獲得的光流特征不明顯。文獻[17]提出的差分關鍵幀能快速獲得圖像間的差異，提高圖像壓縮性能。差分關鍵幀包含了視頻中相鄰幀間時間關系，具有光流圖相似的性能，但其具有生成速度快、計算運算量小等優點。由于紅外序列存在幀間冗余大和復雜度高的問題，本文首先根據多時間尺度抽幀，利用差分特征傳播獲得序列的關鍵幀。假設一段由t幀序列組成的輸入視頻記為X，每個片段首先被分成每段時間相等的T段，然后再從每段中抽取關鍵幀xi，則整個視頻記為X＝{x1,x2,…,xT}；這些關鍵幀經過相鄰幀差計算得到的差分關鍵幀，記為Y＝{y1,y2,…,yT}；最后，將關鍵幀和差分關鍵幀分別輸入到差分卷積網絡，得到對應的高維空時特征向量{S1,S2,…,Si,…,ST}，其中Si∈Rd,i＝1,2,…,T，d是關鍵幀特征維數。

本文所設計的雙流網絡結構可以快速地提取紅外序列的高維空時特征，并在已檢測到行人區域的基礎上得到對應差分特征。每一個卷積核緊跟一個池化操作，本文采用的池化操作包含平均池化與最大池化，其計算公式如式(1)所示：

式中：Pi→j表示關鍵幀i～j之間的平均池化特征。關鍵幀經過卷積池化和全連接計算后，深度差分網絡最終輸出結果是一個d維的特征向量，最終得到整段序列的高維時空信息。每一張關鍵幀通過全局平均池化操作后形成一個1×1×1024 維的向量，再通過最后一個卷積層提取最終時空特征。

2.2 改進損失函數的決策級融合機制

雙流網絡的空時雙通道分支分別對同一紅外序列不同模態圖進行特征提取，獲得空間位置信息與時間運動信息，這兩類特征在融合模塊的作用下提升了動作的表征能力，但原始的雙流網絡只采用了特征級聯進行融合。同時，紅外序列人體動作識別問題本身的復雜性，其性能往往容易受到環境噪聲的干擾，最終做出錯誤的決策而影響整個模型的輸出。為了提升識別模型的精度，本文提出了一種決策級融合機制，該融合機制借鑒了LSTM 網絡的記憶特性，通過對先前輸出數據進行建模，并采用耦合機制將不同維度下的信息進行關聯，其在高維空間中具有特征不變性。本文設計了一個基于改進Softmax 邏輯回歸的強分類器，并對融合后的特征進行分類，其獲得的最高分類概率作為行人動作識別概率，能夠更有效地提升動作識別的精度。在文獻[15]中，假定當前給定的樣本序列x(i)有k個類別，則輸出y(i)∈{1,2,…,k}，其訓練集{(x(i),y(i))},i∈{1,2,…,k}。對于給定的樣本特征x，其對類別j的估算條件概率為p(y＝j|x)，該概率等式可以表示為如下等式：

因此，Softmax 邏輯回歸中的每個類別分類概率為：

由于每一類的概率滿足指數族分布[18]，若將等式(3)獲得的識別概率hθ(x(i))進行級數展開，我們可以得到：

模型參數θ是一個k行矩陣，其每一行表征了對應類別的參數，因此模型參數矩陣θ可以寫成θ＝[θ1T,θ2T,…,θkT]。式(4)中是對概率分布的歸一化操作，以便對輸出概率進行量化分析。通過對整體樣本結果進行對數似然推導，其損失函數如下所示：

式中：I(y(i)＝j)是一個示性函數，當出現正例時取值為1，反之為0。為了使模型參數矩陣θ最小化，參見文獻[16]，將式(4)帶入式(5)中得到概率值表示為：

為了對等式(6)所示損失函數進行最小化優化計算，一般采用梯度下降法進行優化，其偏導數如下所示：

然而，Softmax 邏輯回歸時采用等式(8)的更新策略會影響到參數的更新效果。因此，本文采用文獻[16]提出的多目標分類網絡進行優化，等式(2)的概率可以改寫為，該等式展開得到。也就是說，將超參數θ的每一項全部減掉時，其得到的損失函數概率值不發生變化，這表明Softmax 在對不同樣本進行分類時，其結果不受初值影響，但這可能導致最優解不唯一。為了解決這個問題，本文在損失函數中引入正則權值衰減項λ，對其最優解進行約束，加快收斂過程。因此，本文改進的損失函數可改寫為如下等式：

當λ大于0，等式(9)的偏導數是：

為了求解以上改進Softmax 邏輯回歸等式的解，獲得行人動作的分類概率wi。本文構造一個決策級融合機制，該機制分別對不同樣本下的類別概率wic和wid進行決策。對于不同動作類別，采用乘法原理可以得到輸入圖像的識別概率pk：

最后對紅外視頻中多個序列段進行處理，找到最大化的輸出結果，即為當前序列的最終識別概率值u：

式中：i是每種類型動作所包含的視頻數量；k為動作類型總數。

本文提出一種基于決策級特征融合機制的代價函數，可以更大尺度地保留不同網絡幀間圖像的空間及時間信息，并采用多數表決原則提高不同關鍵幀序列下動作類別識別概率，從而提高了紅外人體運動識別的性能。

3 實驗結果與分析

3.1 紅外行人數據集

紅外圖像是一種探測目標物發射的熱輻射而形成的圖像，沒有明顯的紋理細節特征，很難通過紅外圖像獲得打球、吸煙等精細行為動作。對于紅外行人檢測及動作識別任務，現有的模型大都是采用了OTCBVS、KAIST、FLIR 三個數據集[5]進行行人檢測，但對于行人動作分析難度較大。主要歸咎這些圖像并不是連續的序列，其運動時間跨度大，很難進行關聯分析。InfAR 數據集[18]是目前紅外行為識別領域公開的基準數據集，包含走路、打架、拍手、握手、慢跑、擁抱等12 種日常行為，其中每種行為類型具有50 個視頻序列，每段序列均由單人或多人交互完成，但數據量有限。大多數算法都是在可見光數據集上進行遷移學習，提升紅外序列的識別效果。

本文提出的模型是中科院自動化所的橫向課題，主要針對監控區域的單個行人的行為特征進行分析，因此項目組采集了大量的行人運動視頻，有助于提升模型性能。為了便于性能對比，本文也建立了一個自建數據集，并對圖像中行人及其行為動作進行了標注，包含站立、蹲著、躺著、跑步等動作類別，所有類別的數量比較均衡，總共3115 個紅外視頻片段。表1展示了不同類別的序列數量，其中前12 類是單人行為動作，后4 類多人交互動作。

表1 數據集類別及其數量Table 1 Classes and quantities of data-sets

3.2 參數設置

本文所有的紅外圖像的分辨率為640×512，采用5 倍交叉驗證所提模型的性能。本文所選用的網絡都是基于Tensor Flow 框架實現，采用隨機梯度下降法學習網絡參數，其中批尺寸為128，動量值和權重衰減分別設為0.9 和0.0005。學習率的初始值為0.01，前50 輪的訓練過程中保持學習率0.001 不變，然后每訓練10 輪將學習率衰減10%，用來防止過擬合。本文設置的實驗環境如下所示：CPU I7-8700k @ 2.80 GHz，64GB (DDR3 1600 MHz)，Nvidia Tesla P40，Ubuntul 6.04，64 位操作系統。

為客觀分析有效性，本文選用了精確率（precision rate，Pr）、漏檢率（miss rate，Mr）、召回率（recall rate，Rr）指標來量化分析檢測性能，所有的指標可以通過真陽性（true positive，TP）、假陽性（false positive，FP）、假陰性（false negative，FN）、真陰性（true negative，TN）進行計算，并得到混淆矩陣。

3.3 消融分析

本文所提模型采用深度差分網絡代替時間網絡獲得基于關鍵幀的特征傳播差分圖，可降低計算復雜度，且增強了特征傳播圖對人體動作的姿勢表達能力。同時，采用基于改進Softmax 邏輯回歸的強分類器進行行人動作類別決策，提升類別識別能力。為了分析不同改進措施的效果，本節將進行消融分析。表2展示了深度差分網絡（deep differential network，DDN），改進Softmax（improved softmax，IS）與決策融合（decision fusion,DF）對紅外行人運行序列的識別效果，其中方框表明基準網絡中替換掉的模塊。

表2 不同模塊性能分析Table 2 Performance analysis of different modules

表2中第一行不替換任何模塊，是原始的雙流網絡，其獲得的識別精度與幀率分別為77.12%與13.9。消融分析中，分別替換掉不同的模塊，其性能也將相應的變換。第三行是特征傳播差分圖代替復雜的光流計算，其處理效率大大提高，幀率提升了17.1%，精度也有一點提升。IS 與DF 的改進對性能也有相應的提升，分別增加了3%的識別精度。若同時在原始雙流網絡中替換兩個模塊，可以看出采用任意模塊的性能要優于僅采用一個模塊的性能。值得注意的是本文的改進模塊主要針對效率與精度進行了改進，只要替換成深度差分網絡，最終的識別效率將大大提升，主要是由于特征傳播差分圖具有生成速度快、計算運算量小等優點。最終，3 個模塊從不同的角度對雙流網絡進行改進，最終對自建的紅外運動序列獲得了82.01%的識別精度與17.7 的處理幀率。

3.4 定性定量分析

為了對本文提出的紅外行人動作識別算法的性能進行分析，本文選用了常見的行為識別算法進行性能對比，分別是IDT（improved dense trajectories）[19]，C3D（Convolutional 3D）[20]，SCNN-3G[21]（Spatiotemporal Convolutional Neural Network based on 3D-gradients），L-LSTM[22]（Lattice Long Short-Term Memory ），Ts-3D[23]（two-stream inflated 3D convolutional）和 OFGF[24]（optical flow guided feature），其中IDT 是行為識別領域中非常經典傳統的算法，通過引入背景光流消除方法，并沿著軌跡提取特征，使獲得的特征更適合人體運動的描述；C3D是對連續幀構建三維多通道卷積特征，通過先驗知識提取多維特征，增強反向傳播訓練速度與特征表征能力；L-LSTM 是一種基于柵格化長短期記憶的行為識別模型，以卷積方式將循環網絡作用于視頻序列，并假定視頻中的運動在不同的空間位置是靜止的；Ts-3D 是一種基于改進雙流網絡的行為識別算法，由2DCNN Inception-V1 擴張而來，可以使用預訓練的參數增強訓練的效率；OFGF 是一種快速穩健的視頻動作識別運動表示方法，通過計算時空梯度獲取人體的運動趨勢。所有的對比算法都是采用作者的源碼進行測試。由于部分原始代碼主要針對3 維自然圖像進行分析，而本文的研究對象是二維灰度圖像。為了算法模型的一致性，所有輸入圖像都是將灰度圖擴展成3通道圖。同時，本文所有試驗都采用相同的測試集與訓練集進行對比。

由于紅外熱像儀輸出的Cameralink 數字視頻達到了100 幀，其相鄰幀之間的內容變化相當緩慢。為了使輸入序列能有效表征序列動作信息，本文采用多尺度抽幀策略獲取輸入數據集，確保固定維度的前提下獲得更豐富的時序信息。因此，部分關鍵幀之間的數據非常冗余，只需要少量的信息就可以表征人體的運動趨勢。也就是說，利用差分關鍵幀就可以獲得與持續時間無關的趨勢信息，確保獲得的特征信息沿著時間維度均勻分布?？梢钥闯?，本文改進的策略具有光流圖相似的性能，能夠充分地表征人體的時序動作信息，但計算復雜度更小。

圖4展示了差分關鍵幀與對應的光流圖。原始數據序列與差分圖分別從不同角度得到互補的特征信息，可以明顯看出序列中大多數背景噪聲已被刪除，并且成功保留了人體動作目標。另外，本文獲取的差分信息與原始圖像的光流信息類似，這種操作不僅可以降低計算復雜度，還可以使模型更加魯棒。

圖4 差分關鍵幀與對應的光流圖Fig.4 Differential keyframe and corresponding optical-flow

圖5與圖6分別展示了本文所提模型訓練過程中的損失值及其識別精度。訓練過程中，損失函數的學習率是隨著訓練輪數變化而動態更新，防止訓練過程過擬合。從圖5結果可以看出，采用決策級融合機制后的損失收斂較為迅速且穩定，而未采用融合的訓練損失較為抖動。圖6中融合后的雙流網絡訓練精度可以迅速上升并接近99%，說明決策級融合機制可以將空間-時間信息進行有效地融合，通過互補的特征信息，提升人體動作的表征能力。

圖5 訓練過程中的模型損失值變化趨勢Fig.5 Change trend of loss value during training

圖6 訓練過程中的模型識別精度變化趨勢Fig.6 Trend of precision variation during training

由于人體的行為動作千差萬別，細分所有的類別是非常困難的事情。本文主要對所提算法的性能進行驗證。因此，實驗選用了站立、行走、跑步、跳躍等16 種運動進行識別。人體檢測模型采用Yolo-v3 進行，本文獲得的差分圖在行人檢測結果的基礎上進行細化，縮小處理的范圍，有助于提升人體運動趨勢的表征能力。表3展示了所有對比算法在相同測試集下的定量結果。可以看出雖然部分數據集下IDT 的結果不如基于深度學習的行為識別算法，但整體上與IDT 的結果融合可以提升一點性能，尤其是在站立序列上，其結果與深度學習算法差距不大。C3D 與Ts-3D（two-stream 3D）是目前做行為識別的兩大主流方法，其識別精度達到了75.2%，但這兩種方案嚴重依賴于相鄰時序的變化差異，一旦其關鍵幀之間的幀序列較少，其性能將大大降低，例如大幅度運動導致相鄰兩幀變化較大，最終識別精度不足，例如序列2 的結果只有57%。L-LSTM 往往依賴卷積網絡的最后一層特征作為輸入，不能夠捕捉到低層次運動特征，而且對于遍歷整個視頻也很難去訓練。為了提高長時間的行為識別，密集采樣是常用的方法，但這需要龐大的計算開銷。OFGF 的平均精確率(%)、漏檢率(%)與召回率(%)分別是73.8%，19.2%與78.4%。雖然這是對比算法的最優算法，僅需要少量時間成本，就可以嵌入任何現有的深度網絡框架中，其處理幀頻達到69.7。本文提出的模型將其輸入深度差分網絡中提取時間維度特征，在保證精度的同時可以大幅減少運算耗時，最終得到了78%的識別精度?？梢钥闯?，本模型對比L-LSTM 的識別精度提高了6.7%，比使用了68層的C3D 有1.8%的精度提升，充分說明了本文提出模型可以更為有效地進行紅外人體動作識別。

表3 不同對比算法的性能分析Table 3 Performance analysis of different comparison models

4 結語

本文提出了一種改進空時雙流網絡的紅外行人動作識別模型，可以更大限度地保留不同網絡幀間圖像的時空特征，更加真實地反映行人的動作類別。仿真實驗也從不同角度驗證了本文模型的有效性。下一步工作考慮細化紅外動作類別，建立更加豐富的訓練樣本集，提高模型的識別精度與泛化能力，并在AI嵌入式平臺基礎上移植模型，以實現復雜紅外監控環境下的行為識別。同時，項目組也將在機載平臺上改進所提算法，以實現航拍圖像的行人動作識別。

致謝

本文所有數據來自中國科學院沈陽自動化研究所提供的光電跟蹤取證系統；本文研究得到了北京工商大學吳曉波副教授的幫助，在此一并表示感謝。