基于超像素分割與三維空間的智慧站場人員違規行為全方位跟蹤監測方法

摘"要：現有智慧站場人員跟蹤監測方法難以在兼顧多目標的同時保證較高的監測性能。為此，設計了基于超像素分割與三維空間的智慧站場人員違規行為全方位跟蹤監測方法。基于改進的Itti視覺模型，提取感興趣區域，通過小波變換替換Itti視覺模型中的高斯金字塔。設計結合超像素分割與聯級AdaBoost檢測的ABS運動檢測算法，基于三維空間與孿生網絡，設計三維多目標跟蹤監測算法，聯合運動預測模塊、數據關聯模塊與跟蹤監測管理模塊，實現智慧站場人員違規行為的全方位跟蹤監測。實驗結果表明，該方法的AMOTA最高達到39.32，多目標跟蹤監測準確性得到保證。

關鍵詞：改進的Itti視覺模型；超像素分割；三維空間；聯級AdaBoost檢測；智慧站場人員；違規行為跟蹤監測

中圖分類號：TP242.6""""""文獻標識碼：A

A"Comprehensive"Tracking"and"Monitoring"

Method"for"Violations"of"Intelligent"Station"Personnel"Based"

on"Hyperpixel"Segmentation"and"3D"Space

WANG"Quanle，"ZHANG"Yanyi，"JIANG"Yanmin，"ZHANG"Fen，"ZHOU"Saifeng，"BAI"Shefeng

（PipeChina"Beijing"Pipeline"CO.，Ltd.，Yulin，"Shaanxi"719000，"China）

Abstract：The"existing"methods"for"tracking"and"monitoring"personnel"in"smart"stations"are"difficult"to"ensure"high"monitoring"performance"while"balancing"multiple"objectives."Therefore，"this"paper"proposes"a"comprehensive"tracking"and"monitoring"method"for"personnel"violations"in"smart"stations"based"on"superpixel"segmentation"and"threedimensional"space."Based"on"the"improved"Itti"visual"model，"extract"regions"of"interest"and"replace"the"Gaussian"pyramid"in"the"Itti"visual"model"with"wavelet"transform."Design"an"ABS"motion"detection"algorithm"that"combines"superpixel"segmentation"and"cascaded"AdaBoost"detection."Based"on"3D"space"and"twin"networks，"design"a"3D"multi"object"tracking"and"monitoring"algorithm，"which"combines"motion"prediction"module，"data"association"module，"and"tracking"and"monitoring"management"module"to"achieve"comprehensive"tracking"and"monitoring"of"violations"by"intelligent"station"personnel."The"experimental"results"show"that"the"AMOTA"of"this"method"reaches"a"maximum"of"39.32，"ensuring"the"accuracy"of"multi"target"tracking"and"monitoring.

Key"words："improved"Itti"visual"model;"hyperpixel"segmentation;"three"dimensional"space;"cascade"AdaBoost"detection;"smart"station"personnel;"tracking"and"monitoring"of"violations

近年來，我國鐵路得到了高速發展，投入使用長度逐年增加，智慧站場應運而生。作為乘客搭乘中的必經之地，智慧站場的安全保障問題不容忽視。然而，國內外智慧站場安全事故一直頻發。智慧站場的人員復雜，因此一直有著較大的管理難度，若發生恐怖襲擊等安全事件，后果可以說是不堪設想。在高峰時期，由于搭乘人員較多，其管理難度更大[1]。過往的慘痛教訓使我們將目光集中在智慧站場安全保障工作中。作為人員復雜、客流量大的公共場所，其運營問題與安全問題十分重要[2]。時刻對人員違規行為實施跟蹤與檢測，不僅有利于智慧站場的安全保障，還能夠同時優化地鐵的乘客服務水平。然而在智慧站場中，乘客行路線多變，要想對人員違規行為進行跟蹤監測，難度很高，并且通過人眼是難以準確捕捉的，因此需要借助計算機技術手段。基于該背景對智慧站場人員違規行為跟蹤監測問題進行研究。

對于行為跟蹤監測問題的研究，目前學者們已經從多方面開展研究，其中文獻[3]中提出一種基于機器視覺的人員行為監測及違章識別系統，實現了人員行為的跟蹤檢測以及違章操作的自動識別。文獻[4]中提出一種基于DOG的異常行為監測模型，測試結果表明，該模型可以成功跟蹤運動目標，并實現其行為類型區分，有著比較精確、可靠的跟蹤效果。將以上方法應用于智慧站場人員違規行為的跟蹤監測時，存在無法兼顧多目標的問題，因此設計一種基于超像素分割與三維空間的智慧站場人員違規行為全方位跟蹤監測方法。

1nbsp;智慧站場人員違規行為全方位跟蹤監測

方法設計

1.1"智慧站場監控視頻圖像感興趣區域提取

基于改進的Itti視覺模型提取智慧站場監控視頻圖像中的感興趣區域。在Itti視覺模型的改進中，由于小波變換在頻帶、空間方向選擇上比較敏感，通過小波變換替換Itti視覺模型中的高斯金字塔。

利用改進的Itti視覺模型實施感興趣區域提取的步驟如下：

（1）輸入智慧站場監控視頻圖像。

（2）將輸入的原始圖像當作金字塔的第1層，利用小波變換獲得九層金字塔的2到9層，分別提取全部層的黃色、藍色、綠色、紅色、亮度特征以及多個方向上的方向特征，構成各自不同的金字塔[5]。

其中黃色特征通過下式得到：

μ=Rr+Gg2－Rr－Gg2－Bb（1）

式中：Rr、Gg、Bb指紅綠藍三個通道的分量[6]。

藍色特征通過下式得到：

=Bb-Rr+Gg2"（2）

綠色特征通過下式得到：

κ=Gg-Rr+Bb2（3）

紅色特征通過下式得到：

σ=Rr-Gg+Bb2（4）

亮度特征通過下式得到：

ρ=Rr+Gg+Bb3（5）

方向特征為0°、45°、90°、135°四個方向上Gabor小波的分量[7]。

（3）對各種特征實施線性合并，獲取顯著圖。

1.2"基于超像素分割與聯級AdaBoost檢測的人

員違規行為檢測

設計結合超像素分割與聯級AdaBoost檢測的復雜場景下的ABS運動檢測算法，實施智慧站場人員違規行為的運動檢測[8]。

在待檢測目標的快速搜索中，構建AdaBoost人員違規行為運動目標判別模型[9]。首先實施圖像灰度化處理，提取圖像的LBP特征與HOG特征。接著設計運動目標的AdaBoost強分類器，并將提取的LBP特征與HOG特征作為AdaBoost強分類器的輸入，實現待檢測目標的快速搜索，確定后續超像素跟蹤檢測的搜索區域[10]。

運動目標的AdaBoost強分類器的構建流程如下：

（1）輸入迭代次數r、樣本類別B、樣本空間A，并輸入訓練樣本集，其表達式如下：

G=a1，b1，a2，b2，…，ai，biai∈Abi∈BB∈－1.+1"（6）

式中：G指訓練樣本集；ai，bi是指訓練樣本集中第i幀的像素坐標；當B的取值為-1時，表明為負樣本，即為非檢測目標，當B的取值為1時，表明為正樣本，即為檢測目標[11]。

（2）實施樣本訓練集權重的初始化處理，為訓練樣本分配同樣的權值。以弱分類算法為依據實施分布加權系數Wiai，bi的學習，具體如下式：

Wiai，bi=1M（7）

式中：M指弱分類次數。

（3）根據Wiai，bi獲取弱分類器fiai，并對允許的最小誤差ηi進行計算。

（4）通過允許的最小誤差ηi對弱分類器fiai的權重βi實施調節[12]。

當ηi滿足下式：

ηilt;0.45（8）

則權重計算式如下：

βi=In1－ηiηi2（9）

此時對訓練樣本學習來說，最佳弱分類器滿足設定要求，實施訓練樣本權重的更新。

當ηi滿足下式：

ηi≥0.45"（10）

則訓練獲得的分類器是不滿足設定的，將該弱分類器刪除。

根據分布加權系數Wiai，bi、權重βi、弱分類器fiai計算新的樣本分布，保留此時的弱分類器并將其作為最佳分類器[13]。

Q輪訓練后，可獲得Q個最佳混合弱分類器，將以上最佳混合弱分類器分別與其權重級聯起來，獲取運動目標的強分類器。

接著基于超像素分割生成站場人員違規行為的生成型外觀模型，具體步驟如圖1所示。

最終在貝葉斯框架下實現目標的檢測定位。通過貝葉斯框架搭建目標觀測模型（觀測方程）與目標運動模型（系統狀態轉移方程）[14]。利用粒子濾波實施貝葉斯問題的求解，在概率模型下獲取一階馬爾科夫過程的后驗概率，計算最大后驗估計值，依據最大后驗估計值對目標檢測結果進行確定。

其中最大后驗估計值的計算公式如下：

Yi=arg"max"Yi"qαkiχ1：kk=1，2，…，u（11）

式中：Yi指檢測目標狀態；qαkiχ1：k是指一階馬爾科夫過程的后驗概率；u指i時刻粒子濾波的采樣數。

在檢測中，為更好地適應目標當前狀態，需要對聚類訓練集實施實時更新，使模型擁有更好的自適應性。

1.3"基于三維空間與孿生網絡的人員違規行為跟

蹤監測

基于三維空間與孿生網絡設計一種三維多目標跟蹤監測算法，實現智慧站場人員違規行為的全方位跟蹤監測。

該三維多目標跟蹤監測算法共由三個模塊構成，包括運動預測模塊、數據關聯模塊與跟蹤監測管理模塊。

對于在上節中獲得的人員違規行為檢測結果，利用三維空間對其進行表示：

Hti=x，y，z，δ，ε，φ，φ，γ"（12）

式中：x，y，z表示三維目標的空間位置坐標；δ，ε，φ代表三維目標的大小；γ表示三維目標的預測得分；φ指三維目標的朝向角[15]。

在運動預測模塊中，通過下式實現運動預測：

ζl+1i，l+1i=Γιlνi，ιl+1λi;（13）

式中：指孿生跟蹤器Γ的參數；ιlνi是指第l幀跟蹤結果中三維空間νli內的特征圖；ζl+1i指的是第l+1幀中檢測實例i出現的置信度；ιl+1λi是指第l+1幀中三維搜索空間λl+1i內的特征圖；l+1i指的是第l+1幀中的跟蹤實例。

對于各跟蹤實例Hti∈νl，均執行一次式（13），同時以上過程能夠并行完成，保證跟蹤的實時性。

在數據關聯模塊中，為匹配檢測結果與預測軌跡定義一個nl×ml+1維度的相似度矩陣θ，其中ml+1是指第l+1幀檢測結果的數量，nl指的是第l幀的軌跡個數。0-

相似度矩陣的表達式如下：

θx，y，z，δ，ε，φ=2-cos"φ，γ"（14）

根據相似度矩陣θx，y，z，δ，ε，φ定義一種新的尺寸距離Dx，y，z，δ，ε，φ，具體如下式：

Dx，y，z，δ，ε，φ=‖x，y，z-δ，ε，φ‖×θx，y，z，δ，ε，φ（15）

相比3D"IoU，定義的這種新的尺度距離能夠更好地實現幀率較低數據地度量。

在檢測結果與預測軌跡的關聯中，對閾值ψ進行設置，利用Dx，y，z，δ，ε，φ與閾值ψ，通過匈牙利算法實施匹配[16]。

在跟蹤監測管理模塊中，由于跟蹤的人員違規行為可能離開場景，同時場景中也可能出現新目標，需要管理跟蹤監測軌跡的生成和消亡。

對于全部未被匹配的檢測結果，為避免假陽性檢測結果對于目標跟蹤監測結果的影響，只有其被連續匹配多次后，才認為該目標是新出現的實例。

對于全部未被匹配的軌跡，為避免假陰性檢測結果對于目標跟蹤監測結果的影響，只有其連續多次未被匹配后，才認為該目標應該被消亡。

2"實例應用

2.1"實驗過程

對于設計的智慧站場人員違規行為全方位跟蹤監測方法，利用其對某地鐵智慧站場人員違規行為實施全方位跟蹤監測，測試該方法的表現性能。

將實驗地鐵智慧站場某日12：00-14：00時段的監控數據作為實驗數據集，該時段人流量較高，人員違規行為多發，能夠取得良好的測試效果。

對于實驗數據集，首先基于改進的Itti視覺模型提取各幀圖像中的感興趣區域。其中某幀的提取結果如圖2所示。

接著利用結合超像素分割與聯級AdaBoost檢測的復雜場景下的ABS運動檢測算法實施人員違規行為的運動檢測。其中在弱分類器的訓練中，參數的輸入情況如下式所示：

r=9A=2B=0"（16）

選用實驗數據集視頻序列前3000幀作為訓練樣本集。

某幀的運動檢測結果如圖3所示。

最后利用設計的三維多目標跟蹤監測算法實現人員違規行為的全方位跟蹤監測，如圖4所示。

根據多位人員的違規行為全方位跟蹤監測結果對設計方法的性能進行評價。

2.2"評價指標

在性能評價中，將評價指標定為AMOTA，即MOTA（多目標跟蹤監測準確性）的平均變體。AMOTA的計算公式具體如下：

AMOTA=1I∑p∈1I，2I，…，1MOTA

MOTA=1-FP+FN+YSNG（17）

式（17）中，FP指假陽性數量；NG是指真值目標數量；FN指假陰性數量；I是指做出違規行為的人數；YS表示身份變換的數量；p代表違規行為者的序號；MOTA表示目標跟蹤準確度。

在測試中，將基于機器視覺的人員行為監測及違章識別系統與基于DOG的異常行為監測模型作為比對測試方法，并分別用方法1、方法2來表示，以簡化實驗結果的表述。

2.3"實驗結果

設計方法、方法1、方法2的AMOTA測試結果如表1所示。

其中↑是指AMOTA指標的數值越高，效果越好。根據表1測試結果，多目標數量越來越多后，三種方法的AMOTA均逐漸降低，其中設計方法的AMOTA最高，說明設計方法在多目標跟蹤監測準確性上取得了突破。

3"結"論

為消除智慧站場中存在的安全隱患，需要對人員進行監測，傳統方法不僅浪費人力，還會造成一定遺漏，設計一種基于超像素分割與三維空間的智慧站場人員違規行為全方位跟蹤監測方法，實現了很高的多目標跟蹤監測準確性，能夠及時發現意外并同步發現多處意外，對于智慧站場的安全運行有著積極意義。

參考文獻

［１］"云旭，宋煥生，梁浩翔，等.基于深度學習的關鍵崗位人員行為分析系統[J].計算機工程與應用，"2021，"57（6）：225-231.

[2]"楊斌，云霄，董鍇文，等.基于機器視覺的石化場景人員危險行為識別[J].激光與光電子學進展，"2021，"58（22）：355-365.

[3]"游青山，冉霞.基于機器視覺的礦井作業人員行為監測及違章識別系統[J].自動化與信息工程，"2021，"42（4）：20-24.

[4]"張春芳，張軍，白會肖.基于DOG的異常行為監測模型的設計[J].計算機工程與設計，"2008，"29（14）：3815-3817.

[5]"梁晨陽，華鋼.基于信道狀態信息的井下人員行為識別方法研究[J].煤炭技術，"2022，"41（11）：182-186.

[6]"馮高敏，劉雨佳.基于視覺的對人員在崗行為分析的算法[J].計算機工程與設計，"2021，"42（6）：1668-1676.

[7]"王戈琛，閆雨寒，劉曉文，等.礦山人員行為視覺語義方法研究[J].工礦自動化，"2021，"47（5）：40-45+51.

[8]"涂淑琴，劉曉龍，梁云，等.基于改進DeepSORT的群養生豬行為識別與跟蹤方法[J].農業機械學報，"2022，"53（8）：345-352.

[9]"羅霄月，王艷慧，張興國.視頻與GIS協同的交通違規行為分析方法[J].武漢大學學報（信息科學版），"2023，48（4）：647-655.

[10]"張星，劉濤，孫龍培，等.一種視覺與慣性協同的室內多行人目標定位方法[J].武漢大學學報（信息科學版），"2021，46（5）：672-680.

[11]"毛燕茹，牛童，王鵬，等.利用Kalman濾波和Hungarian算法的多目標奶牛嘴部跟蹤及反芻監測[J].農業工程學報，"2021，"37（19）：192-201.

[12]"周兆銀，田書函，謝艷，等.計算機視覺技術在施工人員不安全行為管理中的應用[J].重慶大學學報，"2022，"45（S1）：74-78.

[13]"陳赟，劉慧琳.基于演化博弈的地鐵施工人員不安全行為動態懲罰策略優化[J].科學技術與工程，"2022，"22（13）：5506-5512.

[14]"李偉，張鑫龍.考慮個體行為的改進CA模型人員疏散研究[J].計算機工程與應用，"2021，"57（17）：275-282.

[15]"于潤澤，任鴻翔，孔凡濤，等.考慮折返行為和響應時間的大型郵輪人員疏散仿真[J].大連海事大學學報，"2022，"48（4）：55-64.

[16]"康俊瑄.基于微型慣性傳感器的井下人員跟蹤定位系統[J].中國安全生產科學技術，"2023，"19（1）：73-78.