基于人體關節點數據的攻擊性行為識別

陳皓 肖利雪 李廣 潘躍凱 夏雨

摘 要：針對人體攻擊性行為識別問題，提出一種基于人體關節點數據的攻擊性行為識別方法。首先，利用OpenPose獲得單幀圖像中的人體關節點數據，并通過最近鄰幀特征加權法和分段多項式回歸完成由人體自遮擋和環境因素所導致缺失值的補全;然后，對每個人體定義動態“安全距離”閾值，如果兩人真實距離小于閾值，則構建行為特征矢量，其中包括幀間人體重心位移、人體關節旋轉角角速度和發生交互時的最小攻擊距離等;最后，提出改進的LightGBM算法w-LightGBM，并對攻擊性行為進行識別。采用公共數據集UT-interaction 對所提出的攻擊性行為分類識別方法進行測試實驗，準確率達到95.45%。實驗結果表明，所提方法能夠有效識別各種角度的攻擊性行為。

關鍵詞：人體關節點數據;攻擊性行為識別;缺失值補全;攻擊距離

中圖分類號：?TP18

文獻標志碼：A

Aggressive behavior recognition based on human joint point data

CHEN Hao*， XIAO Lixue， LI Guang， PAN Yuekai， XIA Yu

School of Computer Science & Technology， Xian University of Posts & Telecommunications， Xian Shaanxi 710121， China

Abstract：?In order to solve the problem of human aggressive behavior recognition， an aggressive behavior recognition method based on human joint points was proposed. Firstly， OpenPose was used to obtain the human joint point data of a single frame image， and nearest neighbor frame feature weighting method and piecewise polynomial regression were used to realize the completion of missing values caused by body self-occlusion and environmental factors. Then， the dynamic “safe distance” threshold was defined for each human body. If the true distance between the two people was less than the threshold， the behavior feature vector was constructed， including the human barycenter displacement between frames， the angular velocity of human joint rotation and the minimum attack distance during interaction. Finally， the improved LightGBM （Light Gradient Boosting Machine） algorithm， namely w-LightGBM （weight LightGBM）， was used to realize the classification and recognition of aggressive behaviors. The public dataset UT-interaction was used to verify the proposed method， and the accuracy reached 95.45%. The results show that this method can effectively identify the aggressive behaviors from various angles.

Key words：?human joint point data; aggressive behavior recognition; missing value completion; attack distance

0 引言

人體的交互行為識別已經成為計算機視覺領域中的熱點問題。攻擊性行為作為異常交互式行為之一，在限制區域訪問檢測[1]、人員活動監視[2]、群體活動檢測[3]、軌跡追蹤[4]、行為識別等領域有著廣泛的應用。它可能是言語上的也可能是身體上的，拍、抓、掐、踢、吐、咬、威脅、侵略、羞辱、閑話、攻擊、辱罵、欺負、毀壞和破壞都是攻擊性行為的例子。每一種行為都會帶來傷害的結果，因此對攻擊性行為研究對公共安全具有重要意義。目前基于視頻流的攻擊性行為識別研究大致分為兩類：1）基于硬件傳感器的交互式行為識別，主要依賴于監控裝置的傳感器進行信息的捕獲，需要對監控器進行額外的設置。如微軟3D體感攝像機Kinect[5]通過紅外傳感器實現對周圍環境的感知，獲取空間三維人體關節點信息，實現了人體關節點的跟蹤，進而能夠方便地進行人體運動特征提取[6];但對硬件的依賴會導致應用區域的局限性，并且提高了視頻監控的成本，導致很多公共場合都沒有安裝Kinect監控攝像頭。

2）基于軟件的人體特征的交互式行為識別，主要采用軟件的方式實現對普通視頻圖像的行為分析，有廣泛的發展前景。軟件對視頻流進行分析時通常采用外觀形狀、運動和時空等特征對人體行為進行分析，將視頻流中的每一幀作為一個原子動作，通過對個體攻擊性行為的原子動作序列特征進行識別與理解來識別攻擊行為。Ouanane等[7]提出對視頻圖像的每一幀進行輪廓特征提取，通過輪廓特征分析構建特征詞袋，利用K-means算法將特征詞袋與骨架特征相融合，然后根據融合后的特征對視頻流序列進行特征編碼，根據視頻流的編碼序列實現人體攻擊性行為的識別。Serrano等[8]對人體部件構建時空彈性長方體運動軌跡特征，并通過霍夫森林進行有效的攻擊性識別。

隨著硬件條件的不斷提高，陸續產生了許多新的行為識別研究框架系統。2017年，卡耐基梅隆大學的研究人員公開了OpenPose[9]人體骨架識別系統的原代碼，實現對監控視頻下的目標人物的實時跟蹤，它可以在彩色視頻中捕捉到COCO（Common Objects in COntext）模型人體骨架信息，同時提供了場景中人體關節點（Joint）信息。OpenPose人體關節點識別系統可以實現實時的多人骨架信息檢測，其采用自下而上的人體姿態估計算法，檢測人體關鍵點的位置，然后對人體關鍵點的熱點圖采用特征向量親和參數進行人體關節點的確定。然而，二維人體姿態估計面臨著一個無法解決的問題——遮擋[10]，傳統預測算法不適合于直接對時間性連續數據的缺失值進行預測分析[11]。另外，通過OpenPose獲取的視頻流骨架運動信息數據量較大，數據之間的相關性較強，不同幀之間數據需要進行深度處理。

本文的主要工作包括：

1）提出最近鄰幀特征加權和分段多項式回歸缺失數據預測方法;

2）提出人體攻擊性行為識別特征向量，將人體運動自身變化的特征與人體重心相結合，實現對攻擊行為的描述;

3）提出了LightGBM（Light Gradient Boosting Machine）算法的改進算法——w-LightGBM（weight LightGBM），通過樣本類別數量加權，提高多分類樣本數量不平衡的分類準確率。

1 人體攻擊性行為識別流程

圖1為人體攻擊性行為識別的主要流程：首先，采用OpenPose獲取人體COCO人體關節點信息，并對人體關節點中的數據信息缺失進行預處理。其次，進行交互行為判斷。設手臂最大長度為T，以人體的手臂長度為閾值對是否會發生攻擊性行為進行判別：對小于閾值的兩個人進行攻擊性行為特征向量的構建，對不發生攻擊性行為的視頻幀進行下一幀數據處理。最后，對構建的特征向量使用w-LightGBM進行攻擊性行為識別。

1.1 缺失值預處理

1.1.1 人體關節點數據定義

在OpenPose骨架提取中，采用COCO模型對視頻流進行二維關節點信息提取，骨架模型詳見文獻[9]。它由18個關節點和17個肢體向量構成。通過OpenPose可以獲得18個關節點數據，本文采用S=（ V ， E ）表示一個人體骨架信息，其中 V ={v0，v1，…，v17}表示的是關節位置集合， E ={ e 0， e 1，…， e 12}表示關節向量的集合。

定義1? 關節位置（Joint positions， JP）。將第t幀視頻中第j個關節點的位置定義為vj（t）=（xtj，ytj），關節點i的位置定義為vi（t）=（xti，yti），其中i， j∈{0，1，…，17}。

定義2? 關節向量（Joint Vector， JV）。根據關節點位置信息對肢體的有效部分進行關節向量提取，表示方式為 e ij（t）= =vj（t）-vi（t）， 其中i， j∈{0，1，…，17}。

1.1.2 關節點數據缺失處理

通過OpenPose提取獲得的二維人體骨架信息中存在兩種數據缺失問題：第一種，攻擊者或被攻擊者的自身產生的遮擋導致人體的部分位置無法檢測到;第二種，由于OpenPose自身算法模型的限制，對具有歧義的關節點信息產生數據丟失。

在人體關節點數據的提取中，數據的缺失是隨機的甚至會發生在相鄰的幾幀中，而且視頻流中相同位置的關節點數據具有連續性變化、波動性大的特征。采用傳統的缺失值預測算法進行數據填補會導致提取的特征精度大幅度下降，因此，本文引入了最近鄰幀特征加權法和分段多項式回歸進行缺失值預測。具體步驟如下：

步驟1? 獲取視頻流人體骨架信息關節點數據，及關節點對應的視頻幀的序數。

步驟2? 對缺失值點進行最近鄰幀特征加權預測得到值vave= t2-t t2-t1 vi（t1）+ t-t1 t2-t1 vi（t2）。給定缺失值vi（t）（表示第t幀的第i個關節點信息），則尋找與第t幀最鄰近的第i個關節點數據不發生缺失的兩幀分別為第t1幀、第t2幀，并且滿足t1

步驟3? 根據缺失值所在幀的位置對整個數據集進行二分段，對每段數據集采用回歸多項式進行缺失值預測得到缺失幀前后兩段視頻流的預測值：

vbefor=yj; j=0，1，…，i-1

vafter=yj; j=i+1，i+2，…，n

其中yj表示回歸多項式預測的結果。

步驟4? 對兩種情況下預測的結果進行加權得到最終的預測值vj（t）= 1 2 vave+ 1 4 vbefor+ 1 4 vafter。

1.2 骨架特征矢量的構建

在交互式攻擊性行為視頻中，視頻流中的每幀圖像包含攻擊者和被攻擊者，這時每幀視頻圖像中人體關節節點數據包含36個關節點數據和34個肢體向量，由于面部向量對運動特征影響較小，因此忽略面部特征，而僅僅將頭抽象成一個點，用v0表示。將每幀視頻中的人體關節點抽象成圖2中的骨架模型圖。

在構建特征向量前需要對交互行為是否會發生進行安全距離判斷。

1.2.1 安全距離

交往雙方的人際關系以及所處情境決定著相互間自我空間的范圍。美國人類學家愛德華·霍爾博士劃分了四種區域或距離，大體上可分為四種距離：公共距離、社交距離、個人距離（Personal Distance）和親密距離。其中個人距離為45～120cm，就像伸手碰到對方那樣，雖然認識，但是沒有特別的關系[12]。因此，本文將安全距離定義為每個人的手臂最大長度（用T表示），這樣對于不同身高的人其安全距離閾值不同。通過兩個人頸部的距離來判斷兩個人是否會發生交互行為。計算安全距離閾值T原理如下：

T=? ∑（v2（t）-v3（t））2 + ∑（v3（t）-v4（t））2

dinter= ∑（v0（t）-v18（t））2

dinter

dinter≥T， 攻擊行為識別

其中：dinter表示視頻幀中任意兩個人之間的頸部關節點距離，v0（t）表示第t幀中左側人的頸部關節點，v18（t）表示第t幀中右側人的頸部關節點。

1.2.2 骨架特征向量

關節點數據是由（x，y，t）構成的三維數據集，對于這個三維數據直接采用傳統的分類算法對人體攻擊性行為進行識別存在兩個問題：一是視頻流中關節點數據量較大且關節點之間的相關性較高，無法進行直接降維，因此直接對人體關節點數據進行攻擊性行為的識別困難較大;二是身高不同的人關節點數據相差較大，需要根據不同的人對關節點數據進行歸一化。本文進行特征向量構建主要由三方面構成：人體的重心位移差、人體運動角度變化速率和攻擊距離。

定義3?? 特征向量 P ={β0，β1，β2，…，β24}。下面的公式中，θ=cos-1 ??e j（t）· e k（t） ‖ e j（t）‖·‖ e k（t）‖? 表示人體運動時關節向量之間的夾角變化， e j∈ E 表示人體關節向量;x0= xt8+xt11 2 ， y0= yt8+yt11 2 表示兩髖骨之間的中點位置;k= xt0-x0 yt0-y0 表示人體中心線所在直線的斜率;pi表示人體各個關節的重心占人體總重心的百分比;v1（t+1）-v1（t）>0表示以視頻幀的右側為正方向，而v1（t+1）-v1（t）<0表示以視頻幀的左側為正方向。β0、 β1表示左側人體重心位移變化。β2～β10表示人體運動時關節角度變化，Δt表示視頻幀差。β2、 β3分別表示左手/右手的大臂與小臂之間的夾角變化的角速度;β4、 β5分別表示左腿/右腿的大腿與小腿之間的夾角變化的角速度;β6表示人體中心線向量（髖骨中心到頭部）與豎直方向的夾角;β7、 β8分別表示以人體的頭部為極值點，人的中心線與頭到左手腕/右手腕向量之間夾角的角速度變化;β9、 β10分別表示以人體的頭部為極值點，人的中心線與頭到左腳踝/右腳踝向量之間夾角的角速度變化。β11表示視頻幀中左側人體左手到右側人體身體中心的距離和右手到右側人體的身體中心的距離中的最小值。β12視頻幀中左側人體左腳到右側人體身體中心的距離和右腳到右側人體的身體中心的距離中的最小值。β13～β24表示右側人體行為特征分量，與左側分向量相似。

β0=∑pixi

β1=∑piyi

β2～β10=

θ/Δt，????? v1（t+1）-v1（t）>0（360-θ）/Δt， v1（t+1）-v1（t）<0

因為=0無法判斷正方向，只能作為靜止物體進行處理，不做為方向判斷。

β11= min ??k·（xt0-xt4）+yt4-yt0? k2+1?? ， ?k·（xt0-xt7）+yt7-yt0? k2+1

β12= min ??k·（xt0-xt10）+yt10-yt0? k2+1?? ， ?k·（xt0-xt13）+yt13-yt0? k2+1

β13=∑pixi

β14=∑piyi

β15～β23= θ/Δt，????? v19（t+1）-v19（t）>0

（360-θ）/Δt， v19（t+1）-v19（t）<0

β24= min ??k·（xt0-xt4）+yt4-yt0? k2+1?? ， ?k·（xt0-xt7）+yt7-yt0? k2+1

β25= min ??k·（xt0-xt10）+yt10-yt0? k2+1?? ， ?k·（xt0-xt13）+yt13-yt0? k2+1

1.2.3 人體重心計算

在視頻流中將人體抽象成一個“質點”，忽略人體自身的形態變化，通過計算這個“質點”在視頻幀之間的位移變化表示人體的運動狀態信息。根據運動學原理，人體重心位置隨人體位移和姿態變化而發生改變。因此，采用人體重心表示這個“質點”，將重心變化作為人體發生不同運動時的特征分量進行分析。根據人體重心在視頻幀之間的變化幅度來區分人體是處于運動狀態還是靜止狀態，人體重心計算模型詳見文獻[13]，原理如下：

β0=∑pixi

β1=∑piyi

1.2.4 人體運動角度變換

在視頻流中，每一幀中的人體姿態變化可以看作是發生攻擊行為時的原子動作，而整體動作可以由幾個典型的關鍵幀組成，而其他幀都可以看作是這幾個關鍵幀的過渡。根據數據統計，發生一次完整的攻擊性行為約為5幀，為降低幀間數據的冗余性，增強特征差異，提高計算效率，本文以5幀為一組進行特征提取。對當前幀和其之前的第5幀進行特征向量的構建，其中關節旋轉角變化包括：人體大臂和小臂夾角的變化速率、人體大腿和小腿夾角的變化速率、人體髖骨中心到頭部的向量與豎直方向向量的夾角、身體與手腕呈現的角度變化速率、身體與腳腕呈現的角度的速率變化。計算公式為：

θ=cos-1 ??e j（t）· e k（t） ‖ e j（t）‖·‖ e k（t）‖

β2～β10=

θ/Δt，????? v1（t+1）-v1（t）>0

（360-θ）/Δt， v1（t+1）-v1（t）<0

2 w-LightGBM算法

LightGBM[14]算法是XGBoost[15]算法的改進，采用集成樹形結構對攻擊性行為特征向量進行分類。由于在構建特征向量時，視頻數據的長度很難保持一致，因此會產生特征向量的樣本數量不均衡，根據1.2節方法實現對不同行為視頻流中特征向量的構建，進而統計每種特征向量的數量形成直方圖，如圖3。由于對每種動作監控時視頻流長短不一，導致在訓練攻擊性行為識別模型時會由于樣本數量的不平衡導致識別結果偏向大數量樣本類別。本文根據特征向量的樣本數量不均衡，提出了w-LightGBM算法對樣本種類進行加權分類識別，該方法修正了樣本不均衡導致樣本識別結果偏向大數據類別的問題。

w-LightGBM算法：

步驟1? 統計每種交互行為產生的攻擊性行為特征向量

的數量，N表示所有行為特征向量的總數，nkind表示第kind

類的特征向量的數量;

步驟2? 計算特征向量數量的平均值 = 1 N? ∑ kind=1 nkind，作為樣本波動的基準值;

步驟3? 根據特征向量的平均值 計算特征向量標準差var=? 1 N ∑ N kind=1 （nkind- ）2 計算樣本波動幅度;

步驟4? 根據特征向量的標準差計算特征向量的波動幅度vkind= | nkind-? | ?/ var，采用Sigomd函數對波動幅度進行平滑處理;

步驟5? 根據經驗值對平滑后的特征向量波動值進行權值計算wkind= 1 2 +α 1 1+exp（-vkind）? ，其中α為經驗值，一般為1.5。

3 實驗與分析

本文采用的實驗環境為Intel Core i7-6700HQ CPU@2.60GHz 2.59GHz，8GB內存，Windows 10操作系統，Visual Studio 2015。在公共基準數據集UT-interaction上完成攻擊性行為識別分析的測試實驗，該數據集是以視頻數據形式存儲的交互行為動作數據集，包括20個視頻序列、6類交互行為動作，視頻格式為720×480，30fps，視頻中人像大小為200像素。本文實驗采用數據集中的5種交互行為（握手、擁抱、擊拳、推、踢）進行攻擊性行為特征向量的構建，采用w-LightGBM算法對攻擊性行識別分類。

3.1 實驗結果分析

3.1.1 評價指標

實驗中，同時采用精確度（precision）、召回率（recall）、綜合評價指標F值（F-measure）和樣本支持數量（support）作為評價手段來衡量算法的效果：

precision= TP TP+FP

recall= TP TP+FN

F-measure= （ε2+1）*precision*recall ε2precision+recall

對二分類問題來說，TP（true positives）對應于被分類模型正確預測的正樣本數;FP（false positives）對應于被分類模型錯誤預測為正類的負樣本;FN（false negatives）為對應于被分類模型錯誤預測為負類的正樣本數;ε為precision和recall的調和度。

2.accuracy是在這個數據集中通過十字交叉驗證得到的識別率的，而precision是在進行密性訓練時模型在支持數據集上的識別準確率。將accuracy改成小數顯示

3.與之前的θ不同，這里是preciSion和recall的調和度，換成ε表示。

3.1.2 實驗結果對比

表1為采用本文構建的特征向量在經典算法中的識別效果比較，該結果主要針對的是UT-interaction數據集5種交互行為，且各算法的support值均為2508。其中：

accuracy是在數據集中通過十字交叉驗證得到的識別率，precision是在進行模型訓練時模型在支持數據集上的識別準確率。

由表1可知，在本文提取的特征向量下，與其他常用算法相比，采用本文算法w-LightGBM的準確率達到了9545%，模型得分為1.00。與算法LightGBM相比，本文算法識別率提高了1.47%。可以看出，本文算法w-LightGBM的識別效果要優于目前主流識別算法，因此本文采用改進后的w-LightGBM算法對攻擊性行為進行分類。

表2為UT-interaction數據集上主流算法的行為識別率。從表2可以看出 本文算法的準確率較高 ，文獻[16]采用嵌入空間多示例學習（Spatial Multiple Instance Learning， SMIL）方法獲取多種視覺特征描述交互雙方之間的交互信息，并用支持向量機（Support Vector Machine， SVM）進行識別。該方法取得了除本文算法外最好的識別率，但它的實現比較復雜。 文獻[17]基于相關濾波（Coherent Filtering， CF）算法將軌跡分組，提取大位移光流特征（Histogram of Large-Displacement Optical Flow， HO-LDOF）作為運動特征，從而得到局部運動模式（Local Motion Patterns， LMP），并用最近鄰分類器進行識別，但識別效果不太理想;而 本文提出的攻擊性行為識別方法識別效果最好。實驗結果表明，本文提出的方法有效性可行，具有較高的適應性，可達到實時應用。

3.2 特征向量效果分析

圖4為OpenPose獲取人體關節點數據相關關系圖，可以看出人體關節點之間的特征相似度。通過關節點的特征相似程度來反映多個關節點之間的相似性和差異性。

根據圖中數據可知，人體關節點數據之間相似度較高，特征差異性較小，所表示的運動特征向量單一，直接進行攻擊性行為分析效果較差。因此，在關節點數據的基礎上構建攻擊性行為特征向量，提高交互行為之間的特征差異性，圖5為本文構建的特征分量的相關關系圖。由圖5可知，特征分量之間的相似性較小，特征差異性較大，特征分量β0～β12相關性較高的原因是其計算公式都與人體的中心線有關。

由圖4可知，人體關節點數據之間的相似度較高，特征差異性較小，直接進行攻擊性行為分析效果較差。

由圖5可知，特征分量之間的相似性較小，特征差異性較大，特征分量β0～β12相關性較高的原因是其計算公式都與人體的中心線有關。

3.3 w-LightGBM算法參數分析

本文測試實驗采用數據集UT-interaction中的每種交互行為視頻提取到的交互行為特征向量。由于構建的特征向量數量不平衡，直接采用LightGBM算法進行分類，識別率為93.98%;本文對樣本數量加權平衡后，識別率提高了147%。

圖6是樣本平衡權值wkind中α因子值為1.0、1.5和2.0時的評價指標結果。

其中，參數α控制wkind∈[0.5， 0.5+α]。

這些權重的范圍從0.5到0.5+α之間。 采用sigmoid函數進行平滑處理時輸出范圍在0到1之間，加上0.5是為了保證權重的有效性。當一些樣本類的數量很大時，產生權重很小，但權重不會小于0.5;而當一些樣本類的數量很小時，權重會很大，但不會超過0.5+α。

圖7是α值分別為1.0、1.5和2.0時特征向量的分類結果混淆矩陣。由圖7可知，將α設為1.5。圖6（b）為α=1.5時w-LightGBM算法在UT-interaction數據庫上攻擊性行為識別的混淆矩陣，從圖中可以看出，錯誤主要集中在推和擁抱這兩個交互動作的識別上，推被看作擁抱或者擁抱被看作推的識別錯誤率較高，這是由于兩者在特征向量構建時除在關鍵幀附近會發生較大的區別外，其前期的靠近行為相似度極高，只是手的位置和兩個人之間交互動作發生時距離的變化，發生推時兩個人之間的距離會大于擁抱時兩個人之間的距離。本文以5幀為一個特征向量，前期特征向量的相似度導致了識別錯誤的發生。

4 結語

本文提出了一種基于人體關節點數據的攻擊性行為識別算法。主要工作包括處理缺失數據并進行預測填充，對關節點數據進行特征向量的構建，使用改進的w-LightGBM算法對交互行為進行分類識別。在人體交互數據集UT-interaction上取得了良好的識別效果，一定程度上提高了基于人體關節數據的攻擊性行為識別算法中行為特征表達的有效性和全面性。

參考文獻

[1]?SCHWAPPACH D， SENDLHOFER G， HSLER L， et al. Speaking up behaviors and safety climate in an Austrian university hospital [J]. International Journal for Quality in Health Care， 2018， 30（9）： 701-707.

[2]?YU S， CHEN H， BROWN R A. Hidden Markov model-based fall detection with motion sensor orientation calibration： a case for real-life home monitoring [J]. IEEE Journal of Biomedical and Health Informatics， 2018， 22（6）： 1847-1853.

[3]?RABIEE H， MOUSAVI H， NABI M， et al. Detection and localization of crowd behavior using a novel tracklet-based model [J]. International Journal of Machine Learning and Cybernetics， 2017， 9（12）， 1999-2010.

[4]?LU X D， KOGA T. Real-time motion detection for high-assurance aircraft tracking system using downlink aircraft parameters [J]. Simulation Modelling Practice and Theory， 2016， 65：81-92.

[5]?STONE E E， SKUBIC M. Fall detection in homes of older adults using the Microsoft Kinect [J]. IEEE Journal of Biomedical and Health Informatics， 2015， 19（1）： 290-301.

[6]?CHANG X， MA Z， LIN M， et al. Feature interaction augmented sparse learning for fast Kinect motion detection [J]. IEEE Transactions on Image Processing， 2017， 26（8）：3911-3920.

[7]?OUANANE A， SERIR A. New paradigm for recognition of aggressive human behavior based on bag-of-features and skeleton graph [C]// Proceedings of the 8th International Workshop on Systems， Signal Processing and Their Applications. Piscataway， NJ： IEEE， 2013：133-138.

[8]?SERRANO I， DENIZ O， BUENO G， et al. Spatio-temporal elastic cuboid trajectories for efficient fight recognition using Hough forests [J]. Machine Vision & Applications， 2018， 29（2）： 207-217.

[9]?CAO Z， SIMON T， WEI S. et al. Realtime multi-person 2D pose estimation using part affinity fields [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2017： 1302-1310.

[10]?MERAD D， AZIZ K， IGUERNAISSI R， et al. Tracking multiple persons under partial and global occlusions： application to customers behavior analysis [J]. Pattern Recognition Letters， 2016， 81： 11-20.

[11]?RAZARI-FAR R， CHAKRABARTI S， SAIF M， et al. An integrated imputation-prediction scheme for prognostics of battery data with missing observations [J]. Expert Systems with Applications， 2016， 115： 709-723.

[12]?史慧.談談人際交往中的空間距離[J].河南水利與南水北調，2007（7）：73-74. （SHI H， Talking about the spatial distance in interpersonal communication [J]. Henan Water Resources and South-to-North Water Diversion， 2007（7）： 73-74.）

[13]?費章惠.中國大百科全書：力學[M].北京：中國大百科全書出版社，1987：133. （FEI Z H. Encyclopedia of China： Mechanics [M]. Beijing： Encyclopedia of China Publishing House， 1987： 133.）

[14]?MA X， SHA J， WANG D， et al. Study on a prediction of P2P network loan default based on the machine learning LightGBM and XGboost algorithms according to different high dimensional data cleaning [J]. Electronic Commerce Research and Applications， 2018， 31： 24-39.

[15]?CHEN W， FU K， ZUO J， et al. Radar emitter classification for large data set based on weighted-XGboost [J]. IET Radar， Sonar & Navigation， 2017， 11（8）：1203-1207.

[16]?SENER F， IKIZLER-CINBIS N. Two-person interaction recognition via spatial multiple instance embedding [J]. Journal of Visual Communication & Image Representation， 2015， 32：63-73.

[17]?ZHANG B， ROTA P， CONCI N， et al. Human interaction recognition in the wild： analyzing trajectory clustering from multiple-instance-learning perspective [C]// Proceedings of the 2015 IEEE International Conference on Multimedia and Expo. Piscataway， NJ： IEEE， 2015： 1-6.

[18]?KONG Y， LIANG W， DONG Z， et al. Recognising human interaction from videos by a discriminative model [J]. IET Computer Vision， 2014， 8（4）：277-286.

[19]?KONG Y， FU Y. Modeling supporting regions for close human interaction recognition [C]// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8926. Berlin： Springer， 2014：29-44.

[20]???NGUYEN N， YOSHITAKA A. Human interaction recognition using independent subspace analysis algorithm [C]// Proceedings of the 2014 IEEE International Symposium on Multimedia.Piscataway， NJ： IEEE， 2014： 40-46.

[21]?el houda SLIMANI K N， BENEZETH Y， SOUAMI F. Human interaction recognition based on the co-occurrence of visual words [C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE， 2014： 461-466.

[22]?王佩瑤，曹江濤，姬曉飛.基于改進時空興趣點特征的雙人交互行為識別[J].計算機應用，2016， 36（10）：2875-2879. （WANG P Y， CAO J T， JI X F. Two-person interactive behavior recognition based on improved spatio-temporal interest points [J]. Journal of Computer Applications， 2016， 36（10）： 2875-2879.）

[23]?姬曉飛，左鑫孟.基于分階段視覺共生矩陣序列的雙人交互識別[J].計算機工程與設計，2017，38（9）.2498-2503. （JI X F， ZUO X M. Human interaction recognition based on multi-stag framework and co-occurring visual matrix sequence [J]. Computer Engineering and Design， 2017， 38（9）： 2498-2503.）