結合CNN和Bi-LSTM的多行人目標檢測跟蹤方法

歐群雍，譚同德，袁紅斌

(1．鄭州工業應用技術學院 信息工程學院，河南 鄭州 451150;2．鄭州大學 信息工程學院，河南 鄭州 450066;3．鄭州西亞斯學院 電子信息工程學院，河南 鄭州 451150)

0 引言

行人檢測跟蹤[1]是計算機視覺、視頻監控和生物統計學領域中最熱門的研究課題之一。雖然提出的多目標跟蹤算法很多，但身份切換和遮擋等[2]難題尚未得到較好的解決。特別是在目標交互的擁擠場景中，這類問題會變得更加復雜，跟蹤的任務會變得更加困難。

大部分行人跟蹤方法以基于檢測的跟蹤(TBD)為基礎[3]，將跟蹤問題轉換為人類檢測器檢測出的結果之間的數據關聯問題。該框架中，首先在視頻序列的所有幀中進行目標檢測，然后利用數據關聯算法對所有幀的檢測結果進行關聯，從而建立目標軌跡。目標檢測和數據關聯技術的進步促進了跟蹤性能的提高[4]。在檢測精度較高的情況下，可以利用幀之間的檢測結果的空間重疊，完成檢測關聯。如文獻[5]提出將所有檢測結果分類為強(確定)檢測和弱(不確定)檢測。使用強檢測進行初始化和跟蹤，弱檢測則僅用于在缺失強檢測的情況下保持當前軌跡的連續性,在擁擠環境中常會出現漏檢、遮擋和目標交互等問題。文獻[6]提出了一種融合多特征的Camshift算法與卡爾曼濾波相結合的行人目標檢測跟蹤方法，利用梯度直方圖特征(HOG)結合支持向量機分類器進行多目標檢測，利用歐式距離選取距離圖像中心像素坐標最近的行人作為跟蹤目標。

通過學習判別式目標特征表示，深度學習顯著提高了行人跟蹤的效果[7]。文獻[8]利用從離線預訓練卷積神經網絡(Convolutional Neural Network，CNN)中得到的目標特征，以在線的方式進行數據關聯。文獻[9]則在跟蹤過程中對預訓練CNN進行連續調整，以采用在觀察幀中跟蹤到的目標外觀。文獻[10]提出了一種四元CNN在線跟蹤方法，并采用了卡爾曼濾波器作為線性運動預測器。文獻[11]擴展了文獻[10]的方法，提出了一個基于視覺外觀的深度關聯度量，但由于未考慮每個時間步的后續視頻幀，此類方法的整體性能較差。文獻[12]提出了特征金字塔網絡和Faster R-CNN網絡，從而對目標外觀、運動和交互進行建模。然而，這些網絡的訓練需要大量訓練數據，且會耗費較大的計算資源。

深度學習算法能夠顯著提升圖像和視頻的內容表示，提供更加可靠的特征表征，因此，本文設計了用于行人檢測跟蹤的CNN與雙向長短期記憶(Bi-directional Long-Short Term Memory,Bi-LSTM)相結合的方案。以離線方式求解最小化代價Lifted multicut問題，將關聯問題演化為一個聚類任務。通過引入路徑預測機制，將最有可能表示同一個人的軌跡片段接合在一起。其主要創新之處總結如下：

① 提出了一個專門用于計算目標匹配的CNN框架，并結合相似性度量和計算出的親密度，共同形成Lifted跟蹤圖，有利于后續的運動預測。

② 提出了一個專門用于非線性運動匹配的改進Bi-LSTM框架，并利用從Bi-LSTM得到的運動模式來處理長期遮擋問題。

1 提出的行人檢測跟蹤方法

提出的行人檢測跟蹤框架圖如圖1所示。輸入為一個視頻幀序列,利用人體檢測器來提取所有幀的檢測跟蹤框。將這些檢測跟蹤框饋入提出的CNN，以進行訓練并計算檢測結果的相似度。本文還從檢測跟蹤框中提取出一些幾何線索，例如寬度、高度和位置。在關聯圖構建過程中，將CNN輸出和幾何線索考慮為邊成本。由此，構建出以檢測結果為節點的Lifted跟蹤圖。利用優化器對該圖進行優化，以得到一組原始軌跡片段。提出的Bi-LSTM使用軌跡片段對后續幀中檢測結果的移動進行估計。利用該估計，從而：① 處理身份誤換和長期遮擋；② 接合多個軌跡片段，從而建立目標的長軌跡。

圖1 所提方法的整體框架Fig.1 Overall framework of the proposed method

1.1 目標匹配

本文提出了一個CNN框架進行特征相似度計算。然后，利用該度量定義數據關聯圖中連接一對檢測節點的邊成本。為了對同一個人的檢測可能性進行量化，取2個RGB檢測框圖作為輸入，并輸出這2個檢測的相似性得分(以百分比計)。對于CNN的輸入，首先，將RGB圖像分塊重新調整為140 pixel×60 pixel的固定尺寸；然后，按深度堆疊，以形成一個6通道數據張量。

提出的CNN結構如圖2所示。在網絡訓練過程中，使用來自CAVIAR數據集的訓練數據，CNN在輸入層之后還包含9層。通過3個卷積層對輸入數據進行處理，每個卷積層之后均為一個ReLU非線性激活函數。在卷積過程中，使用長度為2的步幅來縮小圖片尺寸。其后為4個全連接層，以捕捉圖像的相隔較遠部分中的特征之間的相關性。為防止過擬合，并提升整體性能，本文在所有全連接層中均采用了50%的Dropout率。將最后一個全連接層的輸出饋入一個二元Softmax分類器，生成2個分類標簽上的分布(第1個分類表示檢測結果屬于同一個人，第2個分類表示檢測結果屬于不同的人)。第1個分類的輸出(表示2個輸入檢測結果較為相似)用于所提行人檢測跟蹤。

使用CAVIAR數據集對該CNN模塊進行訓練測試，得到目標跟蹤準確度(MOTA)為57.9%，多目標跟蹤精度(MOTP)為75.1%，大部分丟失(ML)占比為34.4%。該模塊在整個框架中作用巨大，是Lifted 跟蹤圖的基礎，直接影響到預測運動的準確性。另外，該模塊對數據張量進行了整合調整，為后續的邊成本計算作鋪墊。

圖2 本文行人匹配的CNN結構Fig.2 CNN structure diagram of the proposed pedestrian matching

1.2 關聯圖中的親密度

上一節的CNN框架僅能對目標外觀建模，因此，在定義數據關聯圖中的邊成本(親密度)時，需要考慮額外約束，從而處理網絡匹配誤差或2個不同目標外觀極為相似的情況。即,當檢測跟蹤框的位置或尺寸不匹配時，需要向具有較高外觀相似度的邊分配較大懲罰值。此外，為了處理誤報檢測，本文將檢測置信度納入到邊成本中。此處，介紹3個額外的邊成本：位置Cp、高度Ch和檢測置信度Cs。每個檢測跟蹤框v∈V包含以下屬性：時空位置 (tv,xv,yv)、尺寸hv和檢測置信度sv。給定由邊{v,w}=e∈E∪E′連接的2個檢測v和w，從CNN得到相似度得分Ce。distvw表示2個檢測跟蹤框的歐氏距離(單位pixel)，fr表示視頻序列的幀率。則3個額外的邊成本可表示如下。

位置：

(1)

(2)

高度：

(3)

(4)

檢測置信度得分：

score=min(sv,sw),

(5)

(6)

最終邊成本為：

Ct(v,w)=Ce*Cp*Ch*Cs。

(7)

在式(1)和式(3)中，首先通過檢測跟蹤框的高度對歐氏距離和高度差異進行歸一化。由于該高度與目標和相機的距離相關，可將其考慮為一個標度因子。若目標靠近相機，則距離和高度的變化也會較大，反之亦然。歸一化步驟在相機位置相對較低的情況下尤為有用。其后，將位置和高度變化除以幀間距，再乘以幀率。由此得到距離和高度的歸一化變化率dists和heights。使用訓練數據集中的所有視頻序列計算出參數{dmax,dmin,hmax,hmin}，并作為每個視頻序列的輸入參數。對于檢測成本，若2個置信度得分的最小值低于預定義閾值，則向邊成本分配較低的懲罰值。

1.3 利用Lifted multicut進行圖分解

針對行人檢測跟蹤任務，本文使用基于跟蹤的檢測框架，利用人體探測器生成視頻序列的檢測假設[13],則跟蹤問題被簡化為不同視頻幀上的檢測關聯任務。在本文框架中，該問題表示為一個最小化代價Lifted multicut問題[14]。關聯圖中的每個節點表示單個檢測結果，邊則連接著不同視頻幀的檢測結果。此類multicut問題的一個可行解決方案是在時間和空間上對檢測結果進行聚類。由此，不需要指定或約束跟蹤數量。通過較高的邊成本，促進突出顯示的節點被標記為同一個目標。在優化過程中，需要將圖劃分為不同組件，每個圖組件代表著對一個人的跟蹤。

(8)

式中，集合YEE′?{0,1}E∪E′為可行解，該集合中元素y∈YEE′為所有被標注為01標簽的邊E∪E′。當且僅當某個節點v和另一個節點w之間存在一條路徑，且沿該路徑的所有的邊均被標注為0的情況下，連接節點v和w的Lifted邊將被標注為0，其環約束為傳遞性約束，確保了可行解y能夠很好地將圖節點聚類定義到軌跡中。詳細解釋可參閱文獻[14]。

本文從檢測聚類中生成軌跡，multicut優化針對每個人類目標，在空間和時間上對檢測結果進行聯合聚類。首先，在每幀中，通過計算屬于每個目標的所有檢測的位置和尺寸均值，得到該目標的位置和尺寸。其次，連接所有幀上的均值，以得到每個目標的平滑軌跡。

1.4 基于運動預測的遮擋處理

由于CNN的限制，或視頻序列過于擁擠，造成Lifted邊未能處理一些遮擋的情況下，需要得到目標的運動信息，以處理長期遮擋問題[15]。本文利用從multicut優化中得到的原始軌跡片段的運動信息，對屬于同一個人的軌跡片段進行接合。這樣能夠減少漏檢和身份誤換的數量，由此提升整體跟蹤。

圖3給出了利用運動信息，減少遮擋過程中身份誤換的方法。在每個時間選擇2個軌跡片段，第1個軌跡片段結束的時間早于第2個軌跡片段的開始。此處，將2個軌跡片段之間的幀隙表示為Δt，并將Ti在時間步t處的檢測跟蹤框表示為Ti{t}。采用運動預測算法，計算在時間步t+Δt處第1個軌跡片段的預測跟蹤框，表示為P1{t+Δt}；并計算在時間步t處第2個軌跡片段的預測跟蹤框，表示為P2{t}。

圖3 2個軌跡片段的運動預測Fig.3 Motion prediction of two trajectory segments

如果2個軌跡片段滿足以下條件，則將其識別為同一個目標，并在最終解中接合在一起：

overlap1+overlap2≥stitch_thr，

(9)

式中，

(10)

(11)

如果2個軌跡片段的預測檢測跟蹤框和跟蹤檢測跟蹤框的交并比大于閾值，則將這2個軌跡片段合并為一個新的軌跡片段。若存在多個軌跡片段可接合到Ti，則選擇具有最大overlap1和overlap2的軌跡片段。

對于運動預測，還需要克服一些難題：① 帶噪檢測結果可能會導致目標運動的非線性預測，即，使目標實際運動是線性的；② 如果視頻從視線高度的相機位置拍攝，則跟蹤框的寬度會改變，以適應人的行走姿態。該問題無法直接解決，因為對于不同的跟蹤框尺寸、行走速度甚至走路習慣，寬度的變化模式也會不一樣。為此，本文設計了一個Bi-LSTM，并稍作改進，以學習如何根據目標的過去行走模式，生成未來行走模式。具體如圖4所示，信息在時間維度和空間維度中傳遞，隱藏層為2個殘差塊。其中，2個Bi-LSTM單元組成一個殘差塊，總共8個Bi-LSTM單元，激活函數采用ReLU。與一般Bi-LSTM不同的是，改進后的Bi-LSTM特點是能融合累積相鄰幀的特征，從而更好地對行人信息進行獲取。

圖4 本文改進Bi-LSTM的網絡結構Fig.4 Network structure of the improved Bi-LSTM

在本文Bi-LSTM中，每個時間步的Bi-LSTM的輸入是鄰近檢測跟蹤框之間的差異向量{ΔXi,ΔYi,ΔWi,ΔHi} = {Xi-Xi-1,Yi-Yi-1,Wi-Wi-1,Hi-Hi-1}。在輸入層和Bi-LSTM單元之間為一個不帶激活函數的全連接層(作為線性層)。線性層的輸出是大小為M的向量。利用該線性層對輸入特征向量的大小進行擴展，以提高訓練過程的效率。其后，將擴展輸入向量通過Bi-LSTM單元，內部大小為N。每個Bi-LSTM單元向外指向的2個箭頭，表示Bi-LSTM單元的2個輸出。這2個輸出均是大小為N的向量，其中，一個為單元的輸出向量，另一個為Bi-LSTM的隱藏狀態。對于Bi-LSTM的輸出向量，使用另一個線性層將向量大小降為4。該向量表示在下一個時間步的跟蹤框變化。在訓練過程中，將所有訓練輸入序列前移一個時間步，并用其作為訓練標簽。利用L2損失函數對訓練標簽和網絡最終輸出進行比較。然后將損失最小化，以通過反向傳播算法對網絡的權重和偏置進行更新。使用跟蹤框參數的變化，而非直接使用跟蹤框參數，主要是因為原始跟蹤框參數是非定常參數。

2 實驗結果和分析

實驗在配置為Intel 酷睿i7-4500u雙核CPU,2.80 GHz,RAM 16 GB的個人電腦上進行，GPU為NVIDIA ATX Titan X，Windows10操作系統。開發環境為Python 3.5.0語言的PyCharm集成開發工具，使用Keras架構提供的CNN和Bi-LSTM。

2.1 參數與方法實施

在CNN的訓練過程中，采用Adam優化器以最小化二元交叉熵損失函數[16]。在每代中，首先隨機打亂圖像對的次序，采集100對圖像作為一個小批量，以零均值正態分布對層權重進行初始化。將學習率初始化為10-4，并每4代降低10倍。為避免過擬合，每1/3代對網絡進行一次檢驗，網絡在NVIDIA ATX Titan X上訓練。訓練速度為每秒300～400個樣本，測試速度為每秒1 100個樣本，訓練過程在10代后收斂，測試準確度峰值為95.8%。使用訓練集數據，生成CNN的訓練圖像對。網絡的全連接層中均采用了0.5的Dropout率，訓練權重衰減參數設置為0.000 04，批大小設為32，動量設置為0.9。共計638 091個陽性檢測對和134 471個陰性檢測對用于訓練。此外，共計69 308個陽性檢測對和76 117個陰性檢測對用于驗證。生成3種類型圖像對：① 通過對后三幀中檢測結果的ID進行核查，生成同一個人的成對檢測。這些成對檢測標注為1，表示陽性對。② 通過檢查檢測結果的真實ID，得到來自不同人的成對檢測。此類檢測對被標注為0，表示陰性對。③ 由一個來自真實目標和一個誤報檢測所組成的檢測對，標注為0，即陰性對。

此外，本文通過連接特定幀隙上的檢測，來建立關聯圖。這對于短期遮擋情況下的行人跟蹤至關重要。但如果增加幀隙，會降低成對外觀相似度特征的可靠性。因此，本文在構建圖時，基于輸入視頻序列的幀率來確定最大幀隙。使用的分數閾值和相應的幀隙范圍如表1所示。該閾值會隨著幀隙的增加而下降，因為幀隙越大，運動估計的可靠性越低。針對靜止相機和移動相機分別使用2組閾值。在移動相機場景中，軌跡的運動較難預測，因此需放寬條件。

表1 不同幀隙下的接合得分閾值

2.2 評價指標

本文利用CLEAR MOT度量[17]來評價所提方法的性能，CLEAR MOT中包括多目標跟蹤準確度(MOTA)，多目標跟蹤精度(MOTP)，大部分跟蹤占比(MT，跟蹤部分與真實重疊超過80%的跟蹤軌跡占比)，大部分丟失占比(ML，跟蹤部分與真實重疊小于20%的跟蹤軌跡占比)。MOTA中包含3種錯誤類型：誤檢數量(FP)、漏檢數量(FN)以及身份誤換數量(IDS)，本文選擇IDS指標。FAF度量表示每幀的平均虛警數，Frag表示跟蹤軌跡突然丟失的次數。

2.3 CAVIAR數據集

CAVIAR數據集收集了室內商場環境下行人行走的視頻，這些視頻大多是靜態相機拍攝獲得。該數據集的特點是，行人行走過程有時會合并，有時會拆分，因此，視頻中的行人很多情況下發生遮擋，這種情形比較適合本文評估的情形。各方法在CAVIAR數據集上的評價結果如表2所示。其中，ML，Frag和IDS越小，表示發生跟蹤錯誤或跟蹤丟失的次數越小，也表示跟蹤的效果越好。MT表示有效跟蹤的占比，MT值越高表示跟蹤準確性越高。從表2可以看出，所提方法的行人跟蹤效果較好，僅次于膠囊網絡方法[18]，行人的跟蹤片段關聯較好，遵循基于檢測的跟蹤范式，通過聚類圖優化得到較短的高置信度軌跡片段，路徑預測機制的作用得到了較好的體現。文獻[6]的低層視覺特征方法和文獻[10]的CNN方法表現不佳，這是因為低層特征在跟蹤片段關聯方面表現較差。文獻[19]采用頭部信息和整體信息的融合進行多目標檢測，但這些信息必須是針對性的，整體來說，該方法低層特征的融合，其跟蹤片段的關聯性表現一般。文獻[18]采用了膠囊網絡進行多個行人的檢測跟蹤，其特點是不需要太多的訓練數據，訓練數據泛化能力較強，由于膠囊網絡的“等變性”[18]，可以保留輸入圖像的微小變化，整體性能較好。

表2的IDS數值中本文方法最低，最低的IDS值表明行人跟蹤過程中，身份切換的次數最少，而引起身份切換的因素一般包括嚴重遮擋和少數不可控的運行方式，因此，所提方法對這種極端情況處理的較好。圖5給出了一個跟蹤示例，可以看出，獨自行走和交叉穿越的行人被準確標記出來，交叉和遮擋前后的行人依然被準確地標記和跟蹤。

表2 CAVIAR數據集上的評估結果

圖5 CAVIAR數據集上的行人跟蹤結果Fig.5 Pedestrian tracking results on CAVIAR dataset

2.4 PETS2009數據集

為了進一步分析評估所提方法，使用PETS2009 作為評估數據集，PETS2009數據集包含多個人群活動的視頻，由1個或多個固定相機拍攝。基本上，每幀的行人數量較多，平均有25個之多。由于頻繁地交叉運動和遮擋，因此，跟蹤目標的相似性和遮擋導致行人跟蹤的難度較大。PETS2009數據集比CAVIAR數據集難度更大。

表3給出了PETS2009數據集上的評估結果。可以看出，由于數據集跟蹤的困難，所有對比方法的跟蹤性能都有所下降，但本文相較于其他方法依然有一定提高。大部分跟蹤占比依然有79.1%，與最優性能的膠囊網絡方法[18]相差無幾，也就是說，跟蹤的連續性和有效性依然較高，同一個人的軌跡跟蹤片段連接性較好。由于數據集的難度增加，低級視覺特征的方法在表征目標時會出現明顯的性能劣化，這是因為在復雜情形下，目標表征的準確性和跟蹤持續性得不到保證。

表3 PETS2009數據集上的評估結果

圖6給出了一個行人跟蹤示例，其中，白色跟蹤框表示獨自行走的人，不同顏色表示不同的跟蹤群體，虛線表示行走的軌跡，該軌跡長度一般固定，且會隨行人行走的方位等信息發生變化。

圖6 PETS2009數據集上的行人跟蹤結果Fig.6 Pedestrian tracking results on PETS2009 dataset

2.5 遮擋處理分析

遮擋處理非常重要，合理的遮擋處理可以讓跟蹤的魯棒性更強，使方法對極端情況的處理更加有效。圖7是一個不帶遮擋處理的案例，ID4在第57幀中被ID1遮擋，由于沒有遮擋處理，ID4變成新的ID44，從而導致跟蹤錯誤；與此同時，ID27也因為新的ID44遮擋，導致原ID27變為ID76。可以看出，不帶遮擋處理會產生至少1個以上的身份誤換，這也從側面驗證了遮擋處理的重要性。

圖7 不帶遮擋處理的結果顯示Fig.7 Result display without occlusion processing

為了對遮擋處理的性能進行定量分析，表4給出了使用和不使用遮擋處理時，在PETS2009和CAVIAR數據集訓練集上的跟蹤結果，其中，FP+FN表示誤報和漏檢數量之和。確定跟蹤性能的2個重要指標是：① 誤報數和漏檢數之和；② ID誤換次數。從中可觀察到，帶遮擋處理的效果明顯降低了FP和FN的數值，也明顯降低了ID誤換的次數。由于PETS2009更加復雜多變，造成了FP+FN數值更高，ID誤換次數更多。

一般情況下，較久的遮擋依然會造成ID誤換的次數較多。鑒于此，本文使用遮擋前和遮擋后的軌跡片段的運動線索，從而對大概率屬于同一個目標的軌跡片段進行準確關聯。但長期遮擋、丟失檢測、不準確的檢測跟蹤框，以及人類行走特性依然會造成嚴重的非線性變化。同時，PETS2009和CAVIAR數據集上的實驗也表明，在靜態相機場景中，提出的方法能夠預測后20幀的檢測跟蹤框參數，足以有效處理長期遮擋。

表4 帶遮擋處理和不帶遮擋處理的分析

2.6 消融實驗

為了明確提出的和改進的各部分組件在跟蹤效果方面的影響，以CAVIAR數據為例進行消融實驗。本文方法主要包含5個模塊：① 特征提取模塊(人體檢測器);② CNN目標匹配模塊;③ Lifted跟蹤圖模塊;④ 優化的Bi-LSTM模塊(針對遮擋處理);⑤ 分類模塊(判定目標是與否)。由于分類模塊是必須存在的，因此保留分類模塊。分別刪除其他模塊，然后進行實驗，其結果如表5所示。可以看出，相比于整個框架，刪除某個模塊后，其各指標性能均有所下降，這說明各組件在所提方法中均具有一定作用。其中，刪除模塊①，性能下降最多，MT只有51.7%，這是因為初始特征非常粗糙，所以模塊①是核心組件；分別刪除模塊②或模塊③，也明顯降低了整個性能。其中，刪除CNN目標匹配模塊后使得Lifted跟蹤圖的構建非常粗糙，而刪除Lifted跟蹤圖會使得后續的跟蹤預測不準確。刪除模塊④，使用一般Bi-LSTM會使得整體性能有所下降。因此，改進后的Bi-LSTM對整個框架性能是有益的。

2.7 運行效率分析

在PETS2009和CAVIAR數據集上的訓練時長和運行幀率情況如表6所示。其中，本文方法的訓練速度和運行幀率排名較為靠前。運行幀率在25 幀/秒以上，基本達到實時要求，訓練時長在1 h左右。其中，文獻[6]采用低層視覺特征方法，利用SVM檢測，卡而曼濾波進行預測，并關聯目標，運行效率一般。文獻[10]采用一種四元CNN框架，是一種輕量級的方法，在線跟蹤速度較快。文獻[11]也采用了四元CNN框架，增加了視覺外觀的深度信息，犧牲了一部分運行效率。文獻[19]采用頭部信息和整體信息的融合進行多目標檢測，其頭部和整個身體的金字塔信息融合較為耗時。文獻[18]采用了膠囊網絡進行多個行人的檢測跟蹤，不需要太多的訓練數據，數據泛化能力強，訓練速度較快，但該方法考慮了行人的復雜姿態估計，但總體運行效率不高。

表6 運行效率比較

3 結束語

本文提出了一種多行人檢測跟蹤方法，結合了CNN和Bi-LSTM框架。其中，訓練CNN以預測2個檢測結果屬于同一個目標的可能性，并將不同的標準，包括檢測的高度、位置和置信度得分，作為圖數據關聯模型中的邊成本。通過求解圖模型的最小化代價Lifted multicut問題，得到初始軌跡片段。為減少長期遮擋中的ID誤換數量，使用一種改進的Bi-LSTM預測運動信息，將軌跡片段接合在一起。實驗結果驗證了所提方法的有效性和優越性。未來，將嘗試在圖模型中加入其他約束，例如身體形態或頭部姿態，以擴展所提方法的適用性。