基于改進自頂向下的行人運動預測方法

王淑青，劉逸凡

(湖北工業大學電氣與電子工程學院，湖北 武漢 430068)

行人檢測技術廣泛應用于先進輔助駕駛領域，在該領域中，行人檢測往往在環境條件好，行人之間沒有重合的情況下檢測效果明顯，對復數情況下的行人檢測一直以來是重要的研究內容[1]，本文提出了一種基于改進后的自頂向下法的多人姿勢檢測的算法并應用于一種實時的人體運動的預測。

識別圖片中的單人姿態檢測要比多人姿態檢測容易得多[2]，而且識別圖片中的行人姿態要比識別復雜環境中的人體姿態容易[3-4]。目前有兩種主流的多人姿態檢測方法：自頂向下法(Two-step framework)[5-7]和自底向上法(Part-based framework)[7-8]，自頂向下法是先檢測環境中的每一個人體檢測框，然后獨立地去檢測每一個人體邊界的姿態，但這種方法極度依賴于姿態檢測準確度，并且由于冗余的檢測框也可能重復估計單人的邊界框；自頂向上法則是首先檢測出環境中的所有肢體節點，然后進行拼接得到多人的骨架，但由于這種方法取決于人的肢體節點，在兩人離得非常近時容易出現錯誤連接。

為了克服這些錯誤，Toshev等人提出的DeepPose[9]、W. Ouyang等人提出的基于深度神經網絡[10]以及A. Jain等提出的基于卷積神經網絡的人體識別算法可以簡單地檢測人體姿勢[2-11]，J. Dong等人還同時考慮了人體解析與姿勢檢測[12]，但上述算法極易出現錯誤的邊界框，而且冗余的邊界框會產生冗余的姿態，但在定位和認知方面的小誤差是不可避免的，這些誤差會導致姿態檢查的錯誤，尤其是僅依賴于人體檢測結果的方法，不能滿足當下輔助駕駛系統的要求。X. Chen等人針對行人被遮擋的情況提出一種將行人看作不同身體部位組合的模型[7]。G. Gkioxari等人使用K-poselets檢測行人并預測行人姿勢的位置，計算所有姿勢的加權平均值來預測最終姿勢定位[5]。L. Pishchulin等人提出先檢測行人所有身體部件，再利用深度學習依次分割各個部件，通過積分線性編程對這些部件進行標記和組裝[11-13]。E. Insafutdinov等人提出一種基于ResNet的更強行人身體部位檢測方法和更好的增量優化策略[6-8]，但只適用于較小的局部范圍，應用性不強。

本文研究一種基于改進自頂向下法的多人姿勢檢測并應用于行人姿勢預測方法。首先，將輸入的視頻提取一幀圖片做人體邊界檢測處理得到不準確的人體邊界框；然后，利用改進后的自頂向下法提取精確的骨點、人體邊界框以及人體姿勢；最后采用光流處理后經長短期記憶神經網絡訓練出0.5 s之后的行人運動姿勢。

1 自頂向下法

Zhang等[14]提出的自頂向下法又稱兩步法(Two-step framework)，第一步，對目標人體的多個關節點進行檢測，利用一個新的梯形仿射不變量，推導出相關的平行四邊形具有這種仿射不變量。第二步，將第一步得到的結果作為迭代過程的初始值，利用高斯—牛頓法對初始值進行修正，通過深度估計產生的7個誤差函數和4個特征點的共平面性，建立了誤差矩陣。

兩步法改進了線性法對噪聲的敏感程度、給出了第二步迭代的一個較好的初值并且該算法對每一幀圖像分別進行處理，從而使圖像的精度達到了預期的水平，消除了計算誤差的相關性。

1.1 姿勢識別

基于自頂向下法的行人姿勢識別質量取決于人體邊界框判定的精確程度，為保證姿勢識別在計算高精確的人體邊界判定框的同時具有高質量的姿勢定位，本文采用一種基于雙空間網絡變換并單人姿勢識別的改進自頂向下法來提高人體邊界判定框的精度與姿勢定位的質量。

1.1.1 人體邊界判定框預處理人體邊界判定框是姿勢識別的基石，是決定姿勢識別質量的一個重要因素。在一定范圍內，人體邊界判定框越小，人體定位就越精確，但是，現有的算法為了避免人體關節的丟失，對判定框的計算都比較保守。為了減小人體邊界判定框大小的同時也能保留易丟失的人體關節，本文采用Liu等[15]提出的基于回歸法的判定物體的類別和位置，其計算過程為：

其中：d=(dcx,dcy,dw,dh)表示先驗框的位置，其對應邊界框的位置用b表示；(cx,cy)表示邊界框的中心坐標；w,h分別表示邊界框的寬與高；l表示邊界框的預測值，其中：

1.1.2 雙空間網絡變換并單人姿勢識別前文中使用的回歸法以及現有的人體邊界判定框算法中，為了提高判定框的準確率，過多地增加了判定框的數量，造成了大量冗雜的判定框的產生。空間網絡變換(STN)可以通過變換輸入的圖片，降低受到數據在空間上多樣性的影響，來提高卷積網絡模型的分類準確率，而不是通過改變網絡結構。為了避免人體邊界判定框普遍存在的冗雜問題，本文采用雙空間網絡變換并單人姿勢識別(SPPE)的自頂向下法來過濾冗雜問題，其計算過程為：

其中：dj1、dj2分別為兩個骨點的位置；Lc為兩骨點組成的線段，p(u)=(1-u)dj1+udj2為兩個骨點dj1、dj2之間的插值。

為了避免精確度較高的CNN單人姿勢檢測算法以及現有的單人檢測算法存在的冗雜骨點數量過多的問題，本文對冗雜骨點進行第二步置信處理：選取最大置信度的骨點Emax作為參考，定義η為標準的閾值，對其消除離得比較近且相似的的骨點(dj1、dj2)，則：

若E(di,dj)輸出為1，則表示骨點di是冗雜的，應被消除；若E(di,dj)輸出為0，則表示骨點dj是冗雜的，應被消除。

[γ1γ2]=[θ1θ2]-1

γ3=-1×[γ1γ2]θ3

其中，[θ1θ2]的計算方法為：

θ3的計算方法為：

1.2 光流處理

本文對這5張圖片進行光流處理，得到各個骨點的位移向量ε(d)，計算過程為：

ε(d)=ε(dx,dy)=

v=u+d=[ux+dxuy+dy]T

其中v為該骨點在下一幀的新位置，u表示該骨點所在的位置。

由于LSTM神經網絡適合于處理和預測時間序列中間隔和延遲非常長的重要事件[18]，本文將上述五個連續幀E(di)以及光流處理后的骨點位移偏移量ε(d)傳輸到長短期記憶神經網絡(LSTM)進行訓練模型，每進行6次訓練即每30幀中提前0.5 s生成一次骨骼框圖Ef，所述Ef即為實時的行人運動預測框架(圖1)。

圖1 算法流程圖

2 實驗結果與分析

2.1 仿真平臺

所有對比方法以及本文方法均基于Ubuntu 16.04 LTS操作系統，依賴環境Python 3.6.5、Pytorch 0.4.1以及OpenCV 3.4.4，所用計算機處理器為Intel(R) Core i7-7700HQ (2.80GHz, 64bit)，內存為8GB。將本文算法與Iqbal等[19]、DeeperCut[8]、Levinkov等[20]、Insafutdinov等[6]、Cao等[21]、Newell等[22]提出的方法基于MPII多人數據集[23]進行對比分析。本文算法取值η=90%。

2.2 結果分析

MPII多人數據集由3844個訓練組和1758個測試組組成，這些測試組中既有遮擋的人，也有重疊的人。此外，它還包含超過28 000個單人姿勢估計訓練樣本。本文使用單人數據集中的所有訓練數據、多人數據集中的90%用來確定單人姿勢檢測的調整，剩下10%用于驗證。

采用MPII多人數據集[23]所提供的精度計算公式，計算方法為：

其中：AP(Average Precision)為平均精確度；mAP值(Mean Average Precision)為平均AP值，是判斷行人識別精度質量情況，該評價模型的圖像質量值區間為[0,100]，值越大，表示人體姿勢檢測質量越好。

在MPII多人數據集上測試了本文方法。表1給出了完整數據集的定量結果。本文所述方法在識別手腕、肘部、腳踝和膝蓋等不同關節方面的平均準確度達到72 mAP，比之前的最新結果高出3.3 mAP。手腕的最終精度為76.3 mAP，膝蓋的最終精度為79.8 mAP，本文所述方法在整體人體檢測中進一步實現82.0 mAP，比目前最佳結果高出4.5 mAP。結果表明，該方法能準確預測多人圖像中的姿態(表1)，其中加黑數值表示當前最大值，結果可以發現，在大多數多人姿勢檢測中，本文方法優于其他方法，即本文方法能獲得更精確的人體姿勢。本測試部分結果如圖2所示。

為了驗證雙空間網絡變換并單人姿勢識別的重要性，進行了兩個對照實驗。第一個實驗中，從方法中移除了雙空間網絡變換并單人姿勢識別。第二個實驗中，只移除了單人姿勢識別步驟，保持了雙空間網絡變換。這兩個結果對照見表2。在移除了單人姿勢識別步驟的實驗中，可以觀察到多人姿勢檢測性能下降，證明了帶有單人姿勢識別的雙空間網絡變換很大程度使空間網絡變換提取高質量的單人姿勢，以最大限度地減少總冗雜。

如圖3所示，筆者對步行動作進行了0.5 s的預測，可以證明本方法預測行走動作效果較好。

表1 7種方法的質量評價

圖2 部分測試結果

表2 對照實驗結果

圖3 0.5 s后動作預測結果

3 結論

提出了一種基于改進自頂向下法多人姿態檢測的行人運動預測方法，將對輸入的視頻提取一幀圖片做人體邊界檢測處理得到不準確的人體邊界框，利用改進后的自頂向下法提取精確的骨點、人體邊界框以及人體姿勢，采用光流處理后經長短期記憶神經網絡訓練出0.5 s之后的行人運動姿勢。實驗驗證結果表明本文方法對多人姿態檢測的精度準確，并且實現了對行走動作的預測。