X-YOWO：實時人體行為定位方法

袁賽美，黃怡蒙，馮李航，朱文俊，易 陽

南京工業大學 電氣工程與控制科學學院，南京 211816

隨著智能化監控設備的普及，以及各種新媒體、短視頻的發展，互聯網平臺每天都會產生大量的圖片以及視頻數據，如何快速對人及其行為做出準確的定位是當前計算機視覺領域的研究熱點[1-3]。YOWO（you only watch once）是一個用于視頻流中實時時空動作定位的統一CNN架構。YOWO架構在16幀輸入片段上提供了34 frame/s的速度，在8幀輸入片段上提供了62 frame/s的速度，這是目前在時空動作定位任務上最快的最先進，具有最優定位效果的快速實時視頻定位方法，由于整個架構是統一的，所以可實現端對端優化[4]。YOWO架構如圖1所示，它可以分為四個主要部分：3D-CNN分支、2D-CNN分支、通道融合與注意機制和邊界框回歸部分。2D-CNN提取關鍵幀（即當前幀）的空間特征，3D-CNN由先前幀組成的輸入剪輯提取時空特征[5-6]。輸入剪輯和相應的關鍵幀被輸送到3D-CNN和2DCNN以產生分別為的輸出特征體積。這些輸出量通過一種通道融合和注意力機制模塊，利用通道中相互依賴特性突出特征特點，從而使來自不同分支的特征能夠合理地聚合，利用融合后的特征進行幀級檢測，并給出一種生成動作管（action tubes）的連接算法。最后，一個卷積層用于調整最終邊界框預測的通道數量實現邊界框的回歸與分類。由于YOWO是最新最先進的實時目標檢測架構，因此對于YOWO架構的深入研究并不是很多，目前有研究提出了YOWOv2，通過修改其架構，添加了2D-CNN和3DCNN之間的鏈接，提高動作的檢測精度和計算速度[7]。除此之外，有學者提出使用卷積LSTM進行周期性修復并使用專門的訓練程序來提取行動檢測的空間特征，在YOWO上使用取得很好的效果，并提出在YOWO上可嘗試改變錨盒先驗策略，使用可學習的閾值提高性能[8]。

圖1 YOWO架構圖Fig.1 YOWO architecture diagram

YOWO算法雖然使得模型的運行速度大大提高，滿足在線實時檢測的速度要求，然而檢測精度與速度往往很難平衡，特別是在自制的行為數據集上，由于樣本特征有限，使得模型學習到的特征也有限，從而導致模型的檢測精度不高，在進行回歸任務時，定位精度低于80%[9]。針對上述問題，本文提出了一類新的人體行為定位的深度學習框架X_YOWO，實現在原始的單階段人體行為定位框架YOWO上的創新，YOWO可以實現端對端的聯合訓練，滿足實時性的要求。而本文設計的X_YOWO是旨在不影響運行速度的前提下，提高模型的定位及檢測精度，并在公開數據集UCF101-24、JHMBD-21和自制的數據集上實驗驗證，實現人體行為的正確識別定位。

1 系統框架

本文設計的人體行為定位的深度學習框架X_YOWO，如圖2所示，此框架繼承了原始YOWO的3D-CNN和2D-CNN兩個分支，重新設計了通道融合與邊界回歸策略：首先，通過基于相關系數矩陣的通道注意機制和相關性損失函數，使得模型在樣本較少的情況下獲得更多的有效特征，提高模型對特征的學習能力；其次，采用一種基于距離概率大小來進行錨點聚類選擇的方法，避免了原始聚類中心穩定性差的問題，并且在進行距離計算時對真實框的寬高進行了標準化，使得改進后的錨點框大小更加適應數據集中目標大小的變化；最后采用CIoU回歸損失函數作為目標函數，改善在訓練過程中出現發散無法收斂的問題，提高邊界框回歸的穩定性。

圖2 X_YOWO架構圖Fig.2 X_YOWO architecture diagram

1.1 X_YOWO中的通道融合與注意機制模塊

在YOWO網絡的通道融合與注意機制模塊中，使用基于Gram矩陣的通道注意機制來表示不同通道之間特征的相關性，但Gram矩陣保留了比較原始的特征沒有減去均值和使用標準化，未解決特征參差不齊從而導致模型的訓練效果不佳的問題[10-11]。在最初的研究中，Gram矩陣在理論上被證明等同于最小化特定的最大平均差異。研究表明經過對不同算法的比較發現一些算法考慮了從CNN獲得的一層不同特征映射之間的關系，稱為類間關系，而一些算法不考慮，稱為類內關系。實驗證明類內關系能夠顯示圖像更多的細節。針對類間和類內的定義，了解到Gram矩陣包含兩個操作，該方法對于特征圖的統計分布既屬于類內關系，也屬于類間關系[12]。

X_YOWO網絡中提出特征矩陣，采用相關系數矩陣來表示不同通道特征之間的相關性，并且對不同的特征進行去均值和標準化減少特征的波動性，由于原始特征比較粗糙，相關系數矩陣可以將特征進行去均值和歸一化處理。經研究發現，相關系數經常使用的有三種，pearson相關系數、spearman相關系數和kendall相關系數，對于連續數據，正態分布、線性關系的數據采用pearson相關系數是最恰當的，雖然用spearman相關系數也可以，但是效率沒有pearson相關系數高[13]。因此，X_YOWO中引用pearson相關系數概念進行改進，提高模型對特征的學習能力，使得模型在樣本較少的情況下獲得更多的有效特征。

具體地，通道融合與注意機制模塊中，如圖3所示，將連接的特征映射A輸入到兩個卷積層中，輸出得到新的特征圖B，分別對B進行重新整形和轉置操作，然后在得到的兩個特征向量上計算通道與通道之間的協方差和相關系數，最終得到一個相關系數矩陣K，如公式（1）和公式（2）所示：

圖3 X_YOWO的通道融合與注意機制模塊圖Fig.3 X_YOWO feature fusion module diagram

其中，Cov(Xp,Xq)表示的是第p和第q個通道特征之間的協方差，Var[Xp]表示第p個通道特征的方差。Kpq表示第p和第q個通道特征之間的相關系數，相關系數的絕對值越大，意味著兩個通道特征的線性相關性越大；相關系數的絕對值越小，意味著兩個通道特征的線性相關性越小。相關系數在進行不同通道特征相關性計算時，對特征進行了去均值和標準化處理，能夠提高模型對特征的學習能力。其相關系數矩陣表達，如公式（3）所示：

其中，相關系數矩陣中的元素xij,i,j=1,2,…,n,為n維通道特征中，通道i與通道j之間的相關系數；特別地，xii=1,i=1,2,…,n，即每個變量xi與本身的相關程度最大；xij=xji，即第i個通道特征xi和第j個通道特征xj的相關程度等同于第j個通道特征xj和第i個通道特征xi的相關程度。顯然相關系數矩陣是一個對稱矩陣。

將輸出的相關系數矩陣通過softmax（激活函數）生成通道注意圖M∈RC×C，如公式（4）所示：

其中，Mij是評估第j個通道對第i個通道影響的分數。因此，M在給定特征圖的情況下表達了特征通道間的依賴性。為了體現注意力映射對原始特征的影響，進一步進行M與F的矩陣乘法，將結果重新整合為與輸入張量形狀相同的三維空間RC×H×W，如公式（5）、（6）所示：

通道注意力模塊C∈RC×H×W是將重新整合后的結果F″，與原始輸入特征圖B結合，并使用可訓練標量參數α進行元素和運算，α從初始值0逐漸學習權重，如公式（7）所示：

每個通道的最終特征是所有通道特征與原始特征的加權和，對特征映射之間的依賴關系進行建模。最后，特征圖C∈RC×H′×W′被送入兩個卷積層去生成通道融合與注意機制模塊的輸出特征圖D∈RC*×H′×W′。通道融合與注意機制模塊的開始和結束處的兩個卷積層具有最大的重要性，因為它們有助于混合來自不同主干和可能具有不同分布的特征。

1.2 邊界回歸

邊界回歸模塊中，YOWO邊界框回歸方法中的錨點框聚類采用的是標準K-Means聚類算法[14]，該聚類算法對初始化中心是隨機選擇的，但是聚類的結果對初始聚類中心的依賴性較強，如果隨機選擇到聚類中心差異性較小，則聚類得到的錨點不具有代表性，導致二維部分的模型在訓練階段收斂困難，影響最終的檢測性能[15-17]。因此，X_YOWO提出一種基于距離概率大小來進行聚類選擇的方法，根據數據集中真實框之間的距離遠近來確定被選為聚類中心的概率，避免了人為選擇聚類中心的不穩定性，并且在進行距離計算時對真實框的寬高進行了標準化，使得改進后的錨點框大小更加適應數據集中目標大小的變化。

具體地，對初始化聚類中心進行優化，選取一組差異性比較大的初始化聚類中心。生成K個初始聚類中心，隨機地選取1個樣本作為第1個聚類中心，計算當前的聚類中心與所有樣本之間的距離d，距離公式如公式（8）所示，采用標注框的寬、高以及長寬比的平方根，并進行標準化，以適應不同圖片的大小變化。

其中，Sk為分量的標準差，d為每個標注框到已有的聚類中心的直線距離，確定第i個樣本被選中初始化聚類中心的概率為，按照每個樣本被選中的概率隨機選擇出下一個聚類中心，重復選擇直到選滿K個初始聚類中心。以距離公式（9）：

執行標準的K-均值聚類算法，改進后的K-Means聚類算法在確定初始聚類中心時，根據自定義的標準化距離公式計算所有樣本點與已確定的初始聚類中心的距離大小，當距離較大時，則該樣本點被選為新的聚類中心的概率較大，反之，則越小，從而大概率地降低選出的K個初始聚類中心之間的相似性，使聚類結果更加具有代表性和穩定性。

其中，IoU是用于評估兩個任意形狀相似度的最常用指標。對于如圖4中的兩個邊界框A（綠框）和B（藍框），計算出兩者的交集I（橙色斜線部分），然后計算并集U，那么IoU就是兩者的比值[18]，如公式（10）所示：

圖4 IoU示意圖Fig.4 Diagram of IoU

為驗證改進后錨點聚類算法生成的錨點穩定性，分別對改進前后的錨點聚類算法進行了十次實驗，對比的實驗結果如表1、圖5所示。

表1 改進前后錨點聚類算法的平均IoU值Table 1 Average IoU of improved anchor point clustering algorithm before and after improvement

表1是十次對比實驗的得到的平均IoU、均值和方差，圖5是改進前后平均IoU值的變化情況，x軸代表實驗的次數，y軸代表平均IoU值，橘色的折線代表改進后的IoU變化曲線，藍色的折線代表改進前IoU的變化曲線。從表1和圖5可以看出改進后的聚類算法得到的IoU值普遍比改進前高，且波動幅度較小，穩定性提高了2.4個百分點，因此可以說明改進后的聚類算法更加穩定且提高了聚類的質量。

圖5 改進前后聚類算法平均IoU對比Fig.5 Comparison of average IoU of clustering algorithm before and after improvement

1.3 損失函數設計

X_YOWO的損失函數包含兩部分，一部分是模型的檢測損失，另一部分是由通道注意機制產生的相關性損失。

（1）模型檢測損失主要分為三部分，即回歸損失，分類損失以及置信度損失。

對于回歸損失，采用CIoU回歸損失函數來衡量模型輸出與真實標注框之間的差異來幫助模型進行收斂，此回歸函數考慮了預測框和目標框的長度比[19-20]，計算公式如公式（11）所示：

其中，v是衡量長寬比一致性的參數，也可以定義為公式（12）所示：

式中，wp和hp分別為預測框的寬和高，wgt和hgt分別為真實框的寬和高，預測框的寬高比越接近真實框，寬高比損失項越接近于0。

對于分類損失，采用交叉熵損失函數[21]。在標準交叉熵損失函數的基礎上進行修改，增加了類別權重α和樣本難度權重調因子，可以有效解決樣本類別不平衡以及樣本分類難度不平衡等問題，其計算公式為：

其中，γ＞0可以減少易分類樣本的損失，使得模型更加關注困難、錯分的樣本[22]。α用來處理類別不均衡的問題，當訓練樣本中某個類別占比較高時，設置一個較小的α值，反之，則設置一個較高的α值，降低占比高的loss，提高占比低的loss。pt為模型的預測值，pt值接近1時，說明該樣本容易訓練，pt值接近0時，說明模型預測得很差，樣本較難訓練。因此提高難以訓練樣本的loss，降低好訓練樣本的loss。在實驗中，α=0.25，γ=2時訓練效果最好。

對于置信度損失，即計算各個預測框與真實框之前的IoU值，其計算公式如公式（14）所示：

其中，預測框中有物體時，λnoobj=0，反之λnoobj=1。

模型訓練時，總的損失函數是三種損失函數之和，如公式（15）所示：

（2）相關性損失。

相關性損失是針對基于相關系數矩陣的通道注意機制模塊設計的[23-24]。本文期望的是特征圖之間保持較小的相關性，因此，在模型訓練時，相關性損失函數的設計使得模型輸出在具有較大相關性時才會產生對應的損失。X_YOWO的損失函數設計如公式（16）所示：

其中，N表示特征的通道數，表示N維相關系數矩陣在(i,j)處的值，即第j個通道對第i個通道的相關性值表示單位矩陣在(i,j)處的值，β用來平衡檢測損失和相關性損失之間的誤差，實驗中β取0.3，Tb是一個以b為系數的分段函數，如公式（17）所示：

在相關系數矩陣中，Tb可以抑制小于閾值b，或者減弱大于閾值b所帶來的損失。當輸出的通道特征圖之間的相關性較低時，b值可以避免模型訓練好的參數被破壞。在本文實驗中，b取0.15，即不考慮相關系數小于0.15時產生的損失。最終的損失函數如公式（18）所示：

在mydata數據集上將X_YOWO中的邊界框回歸損失函數與YOWO中使用SmoothL1作為回歸損失函數進行實驗效果對比，訓練過程中損失曲線如圖6所示，改進前后定位精度對比如表2所示。

表2 不同的回歸損失函數的模型精度對比Table 2 Comparison of model accuracy of different regression loss functions

圖6 X_YOWO與YOWO模型損失值變化曲線圖Fig.6 X_YOWO and YOWO model loss value change curve

其中x軸表示迭代的次數，y軸表示loss值，橙色的曲線表示YOWO的loss變化曲線，藍色的曲線表示X_YOWO的loss變化曲線。從圖中可以看出模型在第0～20次遍歷訓練集時，損失值下降得非常快，在第60次迭代以后，損失值趨近于平穩，說明在使用CIoU回歸損失函數時，真實框與預測框之間的差距越來越小，通過對比改進前后的模型loss曲線下降的變化，可以看出X_YOWO的損失曲線下降得更快并且更加平穩，也進一步說明了X_YOWO的網絡收斂速度更快也更加平穩。

從表2中可以看出，跟不同的回歸損失函數進行對比，使用CIoU損失函數，準確率達到了82.13%，相比較原始的模型，準確率提高了3.41個百分點。

2 模型訓練

2.1 硬件平臺與數據集

實驗的硬件環境為Intel?CoreTMi7-9700F CPU@3.00 GHz 8 GB RAM、NVIDIA GeForce RTX 2070s。實驗的軟件平臺是基于Ubuntu和Python語言來編程實現的。網絡模型通過Pytorch1.5.1深度學習框架來進行搭建。X_YOWO在公開數據集UCF101-24和J-HMBD-21上進行實驗驗證，選取十個類別的人體行為動作，分別是跳、打電話、玩樂器、閱讀、騎自行車、跑步、拍照、用電腦、走路、打高爾夫，一共標記了6 226張圖片，每個類別大概六百張，其中數據集的80%分為了訓練集，20%分為了驗證集。除此以外，在自制的mydata數據集上進行實驗，mydata數據集的采集以室內室外為背景，使用智能手機進行拍攝，并且對數據集中人體的行為給出對應的時空標記，分別是走、站立、坐下、摔倒四個動作。在文件夾Action下存放的是人的動作，Main文件夾下存放的是人體動作驗證集訓練集的數據。

2.2 訓練過程超參數設置

將自制的數據集mydata送入X_YOWO網絡進行訓練，并加載預訓練權重。在模型訓練階段首先采用圖像翻轉、增加噪聲、平移等手段來進行數據集的擴充，在訓練時采用了Adam優化算法來加快模型的收斂速度，它主要是在訓練階段引入了兩個超參數，分別是動量和適應性學習率，在初始階段設置動量為0.9，學習率為0.000 1，經過30 000、40 000、50 000和60 000次的迭代后，學習率衰減0.5。

2.3 模型評價指標

本文采用mAP（mean average precision）和AP（average precision）以及速度指標FPS對X_YOWO進行檢測性能分析。

mAP是模型檢測能力的綜合評價指標，為每一個類別AP的平均值，在目標檢測任務中通常使用該指標進行性能比較。其中Precison的計算公式（19）如下：

式中，TP為模型中被檢測為正的樣本數量；FP為模型中被檢測為正的負樣本數量。

2.4 實驗過程及分析

在數據集mydata上，X_YOWO與YOWO的損失函數對比圖如圖7、8所示。

圖7 X_YOWO與YOWO的損失函數對比圖Fig.7 Comparison of loss X_YOWO and YOWO

從圖7中可以看出，在迭代70個epoch以后模型基本趨于穩定，X_YOWO的損失曲線比YOWO在模型訓練過程中收斂得更快也更加平穩。通過對比改進前后模型部分類別精度，如圖8所示，面對YOWO的各個類別精度都低于80%的情況，即模型不能進行正確的識別，在經過對特征融合CFAM模塊以及邊界框回歸方法的改進，使得模型改進后檢測精度均比改進前有所提升，其中部分行為類別坐、站立以及走精度明顯超過了80%，可以實現正確的識別，面對摔跤這一類別檢測精度較低，可能是樣本數據較少造成，在今后的研究中可以增加該類別的樣本數據來提高模型的精度。

圖8 X_YOWO與YOWO行為類別AP值對比Fig.8 Comparison of AP of behavior categories X_YOWO and YOWO

2.4.1 X_YOWO與YOWO平均精度對比

在自制數據集mydata上本文對X_YOWO和YOWO性能進行了對比，評價指標為frame-mAP和不同閾值下的video-mAP。

從表3中可以看出，改進了邊界框回歸方法以及通道融合與注意機制模塊中的通道注意機制的X_YOWO模型，對YOWO的frame-mAP提高了3.6個百分點，而在不同閾值下的video-mAP也均有所提升，說明X_YOWO對模型整體性能有較好的提升作用，能夠使得模型在數據特征有限的情況下學習到更多的有效特征。

表3 在mydata數據集上X_YOWO與YOWO性能對比Table 3 Comparison of model performance X_YOWO and YOWO on mydata

2.4.2 X_YOWO與YOWO定位分類以及速度性能對比

本文對X_YOWO和YOWO的定位、分類以及速度性能進行了對比，對比的速度是根據單個NVIDIA GeForce RTX 2070s GPU上，在輸入剪輯長度為16幀時進行計算的，得到X_YOWO參數模型大小為859.1 MB。對比結果見表4。

表4 X_YOWO和YOWO定位、分類以及速度性能對比Table 4 Comparison of positioning，classification and speed performance before and after improvement

通過改進了邊界框回歸方法得到了一組穩定且質量更好的瞄點框，并且設計了更加合適的回歸損失函數來幫助模型收斂從而獲得更好的定位精度。并且改進后的CFAM模塊能夠學習到更多有用的特征，使得在后續的邊界框回歸任務中也進一步提高了模型的定位性能和分類性能。在自制的mydata數據集上，采用X_YOWO在定位和分類性能上均提高了3個百分點左右，但是速度也沒有明顯的下降，依然可以達到實時的要求。部分檢測定位效果圖如圖9所示。

圖9 部分檢測定位效果對比圖Fig.9 Comparison of partial detection and positioning effects

右側為X_YOWO的檢測結果，左側為YOWO的檢測結果，綠框為標注框，藍框和紫框為模型預測定位框。對比可以看出，YOWO由于部分目標的檢測精度過低而出現誤檢，并且預測的邊界框較為粗糙。而X_YOWO不僅較好地提高了檢測的檢測精度，預測得到的邊界框與實際的標注框更加貼近，位置誤差更小。

2.4.3 模型泛化能力能分析

為了進一步說明本文改進的人體行為定位模型不僅在自制的數據集上有較好的性能提升，也在其他數據集和模型架構上進行對比，公平起見，本文選用相同的數據集分別是UCF101-24和J-HMBD-21。在評價指標frame-mAP和不同閾值下的video-mAP下，性能對比如表5和表6所示。

表6 在J-HMBD-21數據集上不同方法的性能對比Table 6 Performance comparison of different methods on J-HMBD-21

表5展示了X_YOWO與UCF101-24上的最新方法的比較。YOWO的frame-mAP指標就比第二名的結果要高12個百分點，明顯優于其他指標，這說明了本文選擇YOWO架構進行改進的合理性，并且在使用X_YOWO檢測框架后比YOWO提高了3個百分點，而且在videomAP指標上，使用X_YOWO特征融合的CFAM模塊在不同閾值下也有較好的表現。

表5 在UCF101-24數據集上不同方法的性能對比Table 5 Performance comparison of different methods on UCF101-24

X_YOWO與表6中J-HMDB-21上的最新方法進行了比較。使用了與UCF101-24數據集上一樣的度量標準，比較frame-mAP和不同IoU閾值處的video-mAP。在IoU閾值分別為0.2、0.5和0.75的情況下，X_YOWO框架始終優于數據集J-HMDB-21上的最新結果。

通過在相同的數據集下，對比其他先進的人體行為定位架構，本文提出的X_YOWO模型性能更優，進一步說明了本文所提改進方法的有效性。

3 結論

本文針對當前最先進的單階段人體行為定位的深度學習框架YOWO進行通道注意機制以及邊界框回歸方法的改進，提出了一類新的人體行為定位的深度學習框架X_YOWO。該框架使用相關系數矩陣的通道注意機制，基于距離概率大小進行選擇的聚類方法，采用相關性損失函數，在自制的數據集上，對比YOWO架構，驗證了X_YOWO的有效性。X_YOWO框架不僅定位精度上得到了提升，也滿足了實時性的要求，對未來視頻監控領域有較大的應用價值。