多視角邊緣設備下的人體行為對比識別方法

張潤秀，許志偉，云 靜

（1.內蒙古工業大學 數據科學與應用學院；2.內蒙古工業大學 信息工程學院，內蒙古 呼和浩特 010080；3.中國科學院計算技術研究所 北京 100190）

0 引言

在邊緣環境中，高效的視頻理解是實際環境部署的重要基礎。邊緣視頻識別技術在自動駕駛、智慧醫療、智慧交通、智慧城市等方面都發揮著關鍵支撐作用。隨著科學技術的發展，邊緣設備收集數據的技術水平得以逐步提升，在實際環境中部署邊緣設備的成本也逐步下降。在此基礎上，人們考慮到可以利用邊緣節點收集到同一對象不同視角的視頻，這引發了學者們對于多視角數據的研究，其中多視角人類行為識別也是熱點研究方向之一。邊緣多視角數據行為識別圖例如圖1 所示（彩圖掃OSID 碼可見）。通過較好地融合多視角數據獲得的豐富視角信息，可以學習到泛化性更好的模型，并且從多個視角觀察到動作變化之間的相關性是一項具有挑戰性的工作。從多視角學習到視角無關動作表示的行為識別是當前比較熱門的問題之一，它試圖突破成像角度對于行為識別的限制，使得攝像機從任意角度獲取的運動都可以被準確識別與理解［1］。視角無關在智能人機互動、異常行為監控等場景的應用中十分重要，研究行為識別多視角無關特征的提取有助于推動現實應用的發展。

Fig.1 Example of multi-view data action recognition model圖1 多視角數據行為識別模型示例

多視角數據行為識別研究大多基于RGB 圖像、深度圖像和骨骼點等多種數據融合的方式以學習視角無關的特征。Ren 等［2］提出一種雙向秩池化方法以構建RGB 視覺動態圖像（VDI）和深度動態圖像（DDI），并且設計了一種基于多模態分層融合策略的有效分割卷積網絡架構，用于人體動作識別。Wang 等［3］提出一個生成框架，以探索RGB 和深度模式中的特征分布。Cai 等［4］和Li 等［5］分別提出兩種雙流網絡結構，有效地融合了RGB 和骨架特征。對于深度圖和骨骼點的融合方法，Xu 等［6］提出一種基于雙線性池和注意力網絡（BPAN）的多模態動作識別模型，可以有效地融合多模態進行動作識別。盡管這些方法都顯示出較好的效果，但在邊緣資源受限情況下，這些方法由于融合了多種數據，時序上動作運動的計算代價過高，不適合部署在實際場景中。邊緣視頻識別需在無監督情況下更新模型，確保在無需連接數據中心服務器的情況下更新模型。邊緣視頻識別具有能夠正確刻畫瞬息萬變的實際生產生活環境特點，能夠支撐相關識別和預測工作。上述多視角行為識別方法無法在實際應用中有效地學習到視角無關的動作表示，如何在邊緣設備有限的資源支撐下高效更新模型，以及如何學習視角無關的特征，特別是高效利用邊緣節點收集同一對象不同視角的視頻，獲取更多有效特征以支持動作識別，是邊緣視頻識別的關鍵問題。因此，亟需研究一種自監督的視角無關行為識別技術，提高面向實際環境解決多角度普適問題的能力，同時保證行為識別結果的高準確率。

對比學習是適用于多視角行為識別的一種自監督方法，其最早作為一種降維方法被提出：只需要訓練樣本空間的相對關系（對比平衡關系）即可在空間內表示向量并將原始數據映射到一個特征空間［7］。在該特征空間中，正樣本的相似性被最大化，而負樣本的相似性被最小化，對比學習通過最大化正樣本對之間的一致性進行學習表示［8］。本文使用對比學習實現最大化同一動作不同視角之間的一致性以獲得多視角的視角無關特征。

本文提出一種基于對比學習的端到端多視角人體行為自監督識別網絡，從多視角數據中學習和辨別視角無關的特征。模型將同一動作下不同視角的視頻作為網絡輸入，基于對比學習的思想，對比各類多視角下人體的動作變化，學習到多個視角觀察下不同動作中的空間不變性特征，從而獲取視角無關的各類動作信息。本文模型采用多數據流輸入方式，將來自不同視角和時間的多個短視頻剪輯作為輸入，并使用所提出的多視角人體行為識別網絡學習多視角間的視角無關特征。學習到的動作表示用于在下游任務中使用分類網絡的動作識別任務。本文主要貢獻有3 個方面：①提出了一種邊緣環境下自監督的多視角人體行為識別網絡模型，可以進行端到端的訓練，適用于實時視頻監控、智能人機互動等實際應用場景，提供高精度在線行為識別；②模型基于對比學習理論，高效利用多視角數據，來自不同視角的視頻被映射到嵌入空間中，在該嵌入空間中，通過拉近同一動作不同視角特征間的距離提取具有空間不變性的特征，從而學習到視角無關的動作表示，在多視角數據研究中保留了視角的信息，增強了模型泛化能力；③本文方法在NTU RGB+D 數據集上優于現有一些算法，在基于單一RGB 模態的自監督方法中表現出良好的識別效果，使用多個評價指標進行比較，證明了本文提出模型所學的動作表示在多視角動作識別任務中的有效性。

1 相關工作

1.1 行為識別方法

早期行為識別大多采用手工特征提取的方式，利用動作的運動軌跡進行動作分類，其中效果最好的方法為Klaser 等［9］提出的密集軌跡算法。Wang 等［10］在密集軌跡算法基礎上引入背景光流消除方法，使得特征更集中于對人的運動描述。然而，這些基于特征工程的方法十分耗時費力。

深度學習方法的出現取代了傳統行為識別方法。如基于3D 卷積網絡的方法［11-13］，基于雙流卷積網絡的方法［14］，特征工程與深度學習相結合的方法［15］和基于圖卷積網絡的方法［16-17］等。文獻［18］提出一種新的視角無關特征，將骨架關節點序列的時空信息編碼為視角不變骨架圖（VISM），并采用3D 卷積神經網絡，利用VISM 的特征進行3D 動作識別。文獻［19］提出一種基于骨架的動作識別方法改進卷積注意力模塊（CBAM），并將改進的模塊應用于自適應網絡捕獲通道域和空間域的隱式加權信息。文獻［20］提出一種新的圖卷積網絡（CTR-GC）以動態學習不同的拓撲結構并有效地聚合不同通道中的聯合特征，以進行基于骨架的動作識別。提出的CTR-GC 通過學習共享拓撲，并作為所有通道的通用先驗，使用特定于每個通道的相關性對其加以細化，從而對通道拓撲進行建模。這些模型準確率較好，但結構復雜，動作表示計算代價高，不適合部署在邊緣設備上。

1.2 多數據模態行為識別方法

近年來，使用雙流和多流的行為識別方法取得了不錯進展。Li 等［5］提出一種雙流網絡，該網絡由3 個主要組件組成，即提取骨架特征的ST-GCN 網絡、提取RGB 特征的R（2+1）D 網絡，以及利用這些特征增強RGB 視頻中動作相關信息的引導塊，并利用分數融合方法進行分類。Zhao等［21］使用兩個3DCNN 流（以原始深度數據和深度運動圖像為輸入）和一個以3D 骨骼為輸入的表示流（以深度和骨骼序列為輸入）進行特征提取。這3 個網絡的分類分數通過加權法進行融合。這些基于多種數據模式輸入的方法需要人工標注的可靠2D/3D 姿勢信息，在邊緣資源受限情況下，基于RGB 視頻模式的自監督行為識別方法更為高效。

1.3 自監督行為識別

行為識別過程中，監督學習在深度學習領域占有主導地位，但監督學習需要大量人類標注的數據，實際場景下大量的數據沒法進行人工標記，導致監督學習存在不具有實時收集數據訓練的局限性。自監督學習能夠解決這一難點，已有一些研究利用3D 運動預測作為自監督學習的一種方式［22-24］，但需對光流方式和3D 卷積方法進行計算且成本很高，數據擴增的方法包括對邊緣設備存儲空間的要求［25］，這些方法都無法在資源有限的邊緣設備上進行部署。因此，本文采用RGB 數據輸入，2D 卷積作為模型骨干網絡的自監督方案。

2 自監督行為對比識別框架

本文提出端到端多視角人體行為自監督識別網絡。使用多視角數據視角豐富的特點，將對比學習的思想引入人體行為識別，通過孿生神經網絡模型（Siamese Network）搭建基于多視角的人體行為對比識別框架，提出的自監督網絡模型可以在實際場景中提供人體行為在線識別。本文所用到的符號描述如表1所示。

Table 1 Description of symbols表1 符號描述

2.1 多視角數據嵌入

在多個角度下觀察人的行為，每個觀察視角下行為的運動軌跡都不同。大多數行為識別方法在使用數據進行訓練時沒能考慮到這一問題，從而導致行為識別準確度不高，不能很好地適應行為隨角度變化而運動軌跡不同的情況。因此，本文在構建模型時采用多視角數據輸入，利用視角豐富的多視角人體行為數據讓模型學習到適應觀察角度不同的行為特征，得到泛化性能更好的模型。

數據輸入以兩個視角為例，從同一行為類別的兩個不同視角數據中將視頻幀對（x1和x2）作為輸入，i?{1，2，…，n}表示視頻序列長度為n的時刻數，x1和x2分別表示同一行為類別中兩個不同視角的視頻幀。模型具體輸入如下：

從同一動作兩個不同視角的視頻序列中采集視頻幀對x1和x2。x1和x2被認為是一對相似的視頻幀并作為對比數據輸入，并且同一動作的每個視頻采樣都從同一時刻開始到同一時刻結束。樣本選擇如下：從數據集的其中一個視角V1數據中隨機抽樣N個樣本，然后從另一視角V2中找到對應的樣本，總樣本批次大小為2N。將樣本中同一動作V1和V2兩個視角對應時間得到的視頻幀對x1和x2作為輸入。

在實驗中，根據下文介紹的數據集劃分，從同一時刻同一動作的兩個不同視角進行幀采樣作為輸入。同時，按照數據集驗證協議，實驗將數據集中同一動作區別于前兩個視角的第三視角作為測試集對訓練結果進行測試。

2.2 視角不變特征學習

人體行為識別中動作表示的學習尤為重要，動作由人完成，人體姿態的變化在行為識別中是關鍵。實際場景中人體行為數據記錄的人體姿態常常隨著觀測相機的視角變化而變化。但行為的本質特征是不隨視角而改變的，動作特征作為行為的表示也應當不隨視角而變化，因此學習視角不變的特征十分重要。

為了使用多視角數據學習視角不變的特征，模型采用Siamese Network 結構作為特征提取網絡的整體框架。在模型中使用多視角數據進行對比學習得到利于行為識別的視角不變特征，在兩條神經網絡中共享網絡參數，這是學習的關鍵。簡單而言，通過共享參數實現了讓同一個網絡同時從不同視角觀測某一動作，并理解不同視角下哪些是行為表示的一致性特征從而進一步拉近距離。如圖2所示（彩圖掃OSID 碼可見），兩個獨立的數據從同一時刻同一動作的兩個不同視角視頻中采樣；一個基本編碼器網絡f(·)和一個預測MLPg(·)被訓練成用于計算對比損失，最大化同類別動作的一致性；訓練完成后，使用預測MLPg(·)得到特征z，對下游任務進行處理。該網絡框架包括以下主要組件：

Fig.2 Simple example of a visual feature contrast learning framework圖2 視覺特征對比學習框架的簡單示例

（1）一種神經網絡基礎編碼器f(·)。神經網絡基礎編碼器的主干網絡可以由不同的卷積神經網絡模型替換，用于提取視頻特征。實驗中所用的神經網絡基礎編碼器由經典網絡VGG16 和一個多層感知器組成，多層感知器包括輸入層、隱藏層和輸出層。基礎編碼器輸入為視頻幀對x1和x2，經過主干網絡提取視頻特征，隱藏層將視頻特征映射到高維度空間后輸出的特征用h表示，h=f(x)為輸出層輸出的二維向量。

（2）一個小型神經網絡預測MLPg(·)。參考Simclr［8］和SimSiam［26］，模型使用具有一個隱藏層的多層感知器獲取特征z=g(h)。

（3）對比任務定義的對比損失函數。損失函數使用編碼器f(·)和預測MLPg(·)提取的特征計算其空間距離，使同類動作的相似視頻幀對實現最大化一致性。

2.3 自監督行為對比識別

現有的行為識別模型大多為有監督的方法，而有監督學習需要大量人工標簽標注，這很難實現。大多行為識別方法無法提供在線識別，不能在實際場景中應用。MARNET 是自監督的網絡模型，在對比學習的啟發下，通過計算潛在空間中的對比損失，最大化同一動作不同視角之間的一致性來學習表示，可以部署在實際場景中實時學習和識別。

MAR-NET 經過Siamese Network 中的隱藏層將視頻幀映射到高維度空間，然后通過對比損失比較其嵌入高維度空間特征的相似程度。具體過程如下：

一對相似視頻幀x1和x2由神經網絡基礎編碼器f(·)處理，即h=f(x)，由此得到特征對h1和h2，隨后經過小型神經網絡預測MLPg(·)處理，即z=g(h)，由此得到特征對z1和z2，編碼器f(·)和預測MLPg(·)在兩個視頻幀之間共享權重。處理得到的特征對h1和h2以及特征對z1和z2為一對相似視頻幀處理得到的特征表示對，具有一定的相似度。對于處理得到的特征表示對，通過使用余弦相似度計算兩個向量的夾角余弦值以評估向量間的相似度，適用于同一動作不同視角間的相似度度量，因此，分別最小化z1和h1以及z1和h2的負余弦相似性如下：

其中，‖ · ‖2是L2 范數，這兩個公式用來計算向量間的相似程度。因此，兩個視角的損失函數定義為：

參考Simsiam 網絡框架［28］，為了防止模型崩塌，兩個視角的損失函數最終定義為：

其中，stopgrad(·)是梯度停止操作，x1的編碼器在第一項中沒有接收到來自h1的梯度，但是在第二項中接收到來自z1的梯度（對于x2反之亦然）。

當輸入角度多于2 個時，例如有x1、x2、……、xv共v個角度，對輸入角度進行排列組合，以兩個不同角度組成一組正樣本。一組正樣本的損失為（以x1、x2為例）：

則v個角度的總體損失為：

Lv計算v個角度向量間的空間距離總和，在模型迭代過程中，Lv不斷優化并最終得到最優解。在這一過程中，不同視角的同一動作表示在嵌入空間中的距離最大限度地被拉近。同時，在拉近同一動作不同視角的空間距離時，相同類別的動作也在嵌入空間中被拉近，不同類別的動作被拉遠。不同類別的對比損失定義如下：

其中，y是判斷兩個樣本是否匹配的標簽，當兩個樣本的類別標簽一致時y=1，當兩個樣本的類別標簽不一致時y=0；d=‖z1-z2‖2代表兩個樣本特征的歐氏距離；margin為設定的閾值。

La損失能夠用于在嵌入空間中有效區分不同動作類別，當兩個樣本標簽相同，損失計算為d2，即樣本為同一動作類別時，如果在嵌入空間的歐式距離較小，則損失函數越小，說明當前模型拉近同一類別動作的效果越好；當兩個樣本標簽不同時，損失計算為max(margin-d，0)2，即樣本為不同的動作類別時，其嵌入空間的歐式距離較大，損失函數減小，說明當前模型區別不同類別動作的效果越好。

因此，模型總體的損失定義為Lall：

其中，λ為損失權重，用于平衡動作的視角和類別的損失計算。

最后，在模型訓練過程中，相同類別動作的多個視角在嵌入空間中被拉進，學習到視角無關的動作表示，不同類別的動作在空間中被區分開，利于下游進行行為識別。

3 實驗與結果分析

3.1 實驗配置

本文所有實驗都在Ubuntu 16.04 環境的Caffe 深度學習框架下進行，使用一塊NVIDIA GeForce RTX 2060 顯卡和16 GB 內存。由兩個樹莓派收集不同視角下的視頻并傳輸到邊緣計算服務器，邊緣計算服務器完成模型訓練和動作識別。邊緣計算服務器和樹莓派配置如表2、表3所示。

Table 2 Configuration information of edge server hardware表2 邊緣服務器硬件配置信息

Table 3 Configuration information of Raspberry Pi 4B hardware表3 樹莓派（Raspberry Pi 4B）硬件配置信息

實驗過程中，預處理后的視頻幀輸入深度學習模型，并經過主干網絡VGG16 和多層感知機的學習；對不同視角的動作提取視角無關的各類行為表示，訓練完成后保存預訓練網絡模型；對預訓練網絡模型微調進行下游動作分類任務。微調時使用初始模型架構，將損失換為SoftMax損失并用于動作的多分類。采用SGD 優化器，初始學習率為0.000 1，學習率衰減采用Step 機制，每1 000 輪學習率進行衰減，學習率調整倍數為0.1。損失中Margin 值為1，超參數λ設定為0.5。

3.2 數據準備

NTU-RGB+D 數據集［27］由南洋理工大學提供，包括60種動作，約56 000 個視頻片段。分為三大類：40 個日常動作（飲酒、進食、閱讀等）、9 個與健康相關的動作（打噴嚏、蹣跚、摔倒等）和11個互動動作（拳打腳踢、擁抱等）。RGB視頻的分辨率為1 920×1 080，深度圖和紅外視頻均為512x424，3D 骨骼數據包含每幀25 個身體關節的三維坐標。數據集采用兩種不同的評估協議，分別是交叉主體和交叉視圖。NTU-RGB+D 120 數據集［28］通過添加另外60類，約57 600 個視頻樣本以擴展NTU-RGB+D 數據集，即NTU-RGB+D 120數據集總共有120類和114 480個樣本。

基于RGB 模式的人體行為識別方法通常對背景雜波敏感。考慮到該問題，對數據進行預處理：對提取的視頻幀作進一步去背景處理，即估計出目標人體的大致范圍后進行人體框的提取和圖片裁剪。對數據集原始采樣的視頻幀和數據作進一步處理后的采樣視頻幀如圖3所示。

Fig.3 Example of the original sampled picture frame of the data set and the sampled picture frame after further processing of the data圖3 數據集原始采樣視頻幀和數據進一步處理后的采樣視頻幀示例

圖3（a）為數據集原始采樣的視頻幀，圖3（b）為數據進一步處理后的采樣視頻幀。將進一步處理后的數據放入MAR-NET 模型進行學習。模型設置與之前相同，不同的是采樣視頻幀有進一步處理，得到的結果與處理前的結果比較如表4 所示。通過對比可以證實采樣的視頻幀進行處理后對分類準確度有顯著提高。

Table 4 Accuracy comparison of sampled frames after further processing表4 采樣視頻幀進一步處理后準確度對比（%）

本文所有實驗使用的數據集均為NTU-RGB+D 數據集［28］的RGB 視頻，且采用交叉視角的評估協議。同時，參考文獻［29］對數據進行預處理：①將視頻的分辨率從1 920×1 080×D（其中D是幀數）降低到512×384×50，在每個視頻中，這50 幀的起始點相同；②估計出目標人體的大致范圍后進行人體框的提取和圖片裁剪；③對輸入視頻幀進行［0，1］區間內的歸一化。

3.3 準確性分析

為了評估MAR-NET 模型性能，本文將其與目前主流的深度學習算法進行比較。表5 給出了本文模型與使用RGB 的空間卷積網絡（2D 卷積）、時空卷積網絡（CNN-BiLSTM）和使用骨骼的李群網絡（Lie group）、時空卷積網絡（Skelemotion）、時空交叉注意力網絡（STAR-Transformer）的行為識別效果。可以看出，MAR-NET 同基于2D 的空間卷積相比表現出更好的性能，且與文獻［31］提出的僅使用RGB 的自監督行為識別方法相比準確度提升18.7%。

Table 5 Comparison with other action recognition methods表5 與其他行為識別方法比較

MAR-NET 與使用骨骼數據的方法相比具有更好的識別準確度。但是，通過與文獻［33］、文獻［34］提出的方法相比可以看出，由于骨骼模態能夠清晰地體現動作變化，基于骨骼的時空卷積方法為識別準確性帶來較大提升。然而，在實際場景中使用骨骼存在模態缺失及提取骨骼質量劣質的問題，導致識別效果不佳。本文方法針對邊緣環境中資源受限情況下的行為識別，考慮到更多現實環境因素，提高了行為識別算法實際應用時的在線識別精度。

3.4 消融實驗

為了驗證本文使用對比學習提出對比損失對模型性能的影響，在NTU-RGB+D 數據集上進行了3組消融實驗。

（1）模型損失計算僅采用式（6）。模型設置使用與之前相同的設置，損失計算不使用不同類別間的對比損失計算，僅使用計算視角間的對比損失。得到的結果與未修改的對比損失的結果比較如表6 所示。通過對比可以證實，采用本文方法計算不同類別間的對比損失能夠形成類間區別性，在特征空間中更好地約束不同行為類別的特征分布，從而得到更加準確的行為分類結果。

Table 6 Accuracy comparison of loss calculation used only by equation（6）表6 僅使用式（6）進行損失計算后的準確度比較（%）

（2）模型損失計算僅采用式（7）。模型設置使用與之前相同的設置，損失計算不使用視角間的對比損失計算，僅使用計算不同類別的對比損失。得到的結果與未修改的對比損失結果比較如表7 所示。通過對比可以證實，采用本文提出的視角間對比損失能夠更加有效地學習行為的本質特征，從而獲取更為優秀的人體行為表示。

Table 6 Accuracy comparison of loss calculation used only by equation（7）表7 僅使用式（7）進行損失計算后的準確度比較（%）

（3）主干網絡不變，自監督損失改為簡單分類損失。為了驗證使用對比學習思想學習視角無關特征的效果，MAR-NET 的主干網絡結構不變，不使用共享參數的多個視角的視頻數據輸入，人工將視頻數據打上類別標簽，僅使用分類損失對視頻幀進行訓練。空間上簡單分類的深度學習網絡（Supervised-net）最后分類結果與MAR-NET的結果比較如表8 所示。對于多個視角的數據，簡單分類方法未考慮視角間動作不一致的問題，無法分辨同一個目標人體做出的不同動作而得到較差的識別結果。通過對比可以證明，本文提出的多視角自監督行為識別方法相比簡單的分類學習可以學習到更有效的動作表示，提高了動作分類效果。

4 結語

本文提出了一種基于對比學習的端到端多視角人體行為自監督識別模型，主要解決了實際場景中資源受限，并且因人體角度不同或遮蔽所帶來的人體行為識別難題。本文提出的模型基于對比學習的思想，學習不同動作多個視角之間潛在的空間關系，將不同視角學習到的特征映射到同一特征空間，利用遷移學習在下游任務中對視頻中的行為類別進行識別。多視角特征學習模型是端到端訓練，使得該模型能夠更好地學習到多個視角之間的視角不變特征且適用于實際場景中，為行為識別的高準確度和實用性提供了保障。在NTU-RGB+D 數據集上進行實驗，證明了該方法對于多視角動作識別的有效性，同時與其他多視角行為識別方法對比，證明了本文方法的優越性。