電梯轎廂內(nèi)乘客異常行為檢測探究

江蘇省特種設(shè)備安全監(jiān)督檢驗研究院 南京 210036

0 引言

電梯轎廂內(nèi)部作為暴力和恐慌事件的多發(fā)地，電梯內(nèi)部多安裝攝像頭監(jiān)控轎廂內(nèi)的畫面，但工作人員需要時刻緊盯與攝像頭相連接的顯示器畫面，才能保證在暴力和恐慌事件發(fā)生的第一時間發(fā)出警報，這種方式由于使用人工監(jiān)控，存在多種不足。電梯研究人員在電梯系統(tǒng)中使用乘客異常行為檢測系統(tǒng)，自動監(jiān)控電梯轎廂內(nèi)是否發(fā)生暴力或恐慌事件，該系統(tǒng)判定乘客行為異常后會立即發(fā)出警報，提醒工作人員趕到電梯處制止暴力或恐慌事件的發(fā)生。

1 研究背景

電梯轎廂在一段時間內(nèi)都是暴力或恐慌事件的多發(fā)之地，很多安保措施較差的地區(qū)電梯經(jīng)常發(fā)生搶劫、毆打等暴力事件，對周圍居民的生活帶來嚴(yán)重困擾。電梯轎廂內(nèi)部的空間比較小，如果在電梯轎廂內(nèi)部發(fā)生暴力事件，受害人很難反抗，電梯乘客的生命安全受到威脅，因而電梯轎廂內(nèi)部才會設(shè)置異常行為檢測系統(tǒng)，電梯轎廂內(nèi)乘客異常行為檢測系統(tǒng)可以檢測出暴力或恐慌事件[1]。

諸如此類的事件還有很多，如電梯轎廂內(nèi)發(fā)生沖突后廝打、年紀(jì)較大的老人乘坐電梯時突發(fā)疾病、又例如多人乘坐電梯時突發(fā)故障，電梯緊急墜落，乘客感到恐慌而電梯系統(tǒng)對其沒有做到及時預(yù)警，導(dǎo)致反應(yīng)與搶救時間長導(dǎo)致電梯乘客身心出現(xiàn)問題。電梯轎廂內(nèi)安裝乘客異常行為檢測系統(tǒng)是保證電梯內(nèi)部乘客身心安全的基礎(chǔ)，當(dāng)乘客人身安全受到威脅時，該系統(tǒng)會立即對工作人員發(fā)出警報，工作人員會立即通知安保人員趕往現(xiàn)場，有效防止電梯乘客被不法分子侵害。除此之外，在電梯突發(fā)安全事故時其乘客異常行為檢測系統(tǒng)還能對電梯異常運行發(fā)出預(yù)警，有利于電梯維修人員在第一時間搶救電梯轎廂內(nèi)部的被困乘客。

5G時代的到來使電梯5G物聯(lián)網(wǎng)系統(tǒng)的實現(xiàn)變成了可能，電梯轎廂內(nèi)乘客異常行為檢測在使用物聯(lián)網(wǎng)系統(tǒng)檢測轎廂內(nèi)部單人、雙人以及多人的行為異常之外還可以應(yīng)用5G技術(shù)，提高該檢測系統(tǒng)反饋的效率，有利于提高電梯轎廂內(nèi)乘客的安全保護(hù)，防止乘客乘坐電梯時遭遇暴力或者恐慌事件。

2 國內(nèi)外研究現(xiàn)狀

2.1 國內(nèi)研究現(xiàn)狀

國內(nèi)電梯轎廂內(nèi)乘客異常行為檢測系統(tǒng)當(dāng)前主要使用幀差法、減背景法以及光流法三種，除使用視頻錄制設(shè)備收集電梯轎廂內(nèi)部的圖像之外還需要與物聯(lián)網(wǎng)系統(tǒng)相互連接，電梯內(nèi)部的監(jiān)控設(shè)備、視頻錄制設(shè)備等都屬于物聯(lián)網(wǎng)系統(tǒng)中的傳感器，乘客異常行為檢測系統(tǒng)通過物聯(lián)網(wǎng)的傳感器收集電梯轎廂內(nèi)部的圖像，然后再對電梯轎廂內(nèi)部的圖像進(jìn)行分析，最后根據(jù)分析結(jié)果判斷乘客行為是否存在異常。

幀差法是通過對相鄰兩幀的畫面進(jìn)行對比，然后對相鄰兩幀的圖像做差分，得到幀差法的差分圖像，再對差分圖像進(jìn)行二值化處理，最后運用形態(tài)學(xué)的處理方法使其與連通域相連接，即可判斷該圖像是否存在乘客行為異常情況，如果通過幀差法確定乘客行為出現(xiàn)異常應(yīng)該立即發(fā)出警報，提醒工作人員進(jìn)行處理。減背景法需要先對電梯轎廂內(nèi)部的背景進(jìn)行建模，然后根據(jù)差分圖像分析電梯轎廂內(nèi)部乘客行為是否存在異常，最后再將異常行為檢測系統(tǒng)與報警系統(tǒng)相互連接。光流法則是根據(jù)圖像上的像素點的變化判斷乘客行為是否異常，電梯轎廂內(nèi)部乘客運動時，其像素點在時間和空間上都會發(fā)生對應(yīng)變化，然后計算光流法灰度圖像上的像素點的瞬時速度變化信息，即可判斷出乘客行為是否異常。如果電梯轎廂內(nèi)乘客出現(xiàn)暴力或恐慌行為，其灰度圖像上的瞬時速度變化會非常快，乘客異常行為檢測系統(tǒng)可以直接捕捉到這一信息，并且對電梯監(jiān)控人員發(fā)出警報，保證電梯工作人員第一時間處理電梯轎廂內(nèi)發(fā)生的暴力或恐慌事件[2]。

2.2 國外研究現(xiàn)狀

國外對電梯轎廂內(nèi)乘客異常行為檢測系統(tǒng)中智能監(jiān)控技術(shù)和行為識別技術(shù)研究較多，智能監(jiān)控技術(shù)可以使電梯系統(tǒng)更加智能化和自動化，當(dāng)突發(fā)暴力或恐慌事件之后電梯系統(tǒng)可以根據(jù)乘客異常行為檢測結(jié)果發(fā)出不同級別的警報。智能監(jiān)控技術(shù)可以將乘客正常行為和異常行為區(qū)分開，有效降低了該檢測系統(tǒng)誤判的幾率，提高了該檢測系統(tǒng)的工作質(zhì)量和效率。美國與歐洲等國家與地區(qū)都有很多智能監(jiān)控方面的研究項目，并將該技術(shù)應(yīng)用到公共場所中監(jiān)控人類行為是否異常，如地鐵、火車站、機(jī)場等[3]。中東一些國家的智能監(jiān)控技術(shù)同樣非常發(fā)達(dá)，這些國家的智能監(jiān)控系統(tǒng)甚至可以從行動路徑和運動方向等方面分析出一個人的行為是否異常。

行為識別技術(shù)是智能監(jiān)控的核心，只有先識別出圖像中的人類行為，才能對其行為是否異常進(jìn)行判斷。該技術(shù)通過模擬人類的動作，然后判斷圖像中的運動特征是否符合人類運動軌跡，最后判斷出該人類的動作是否符合正常人類的規(guī)范，根據(jù)人類動作軌跡的數(shù)據(jù)庫可以對比判斷哪些行為存在異常[4]。

3 異常行為檢測樣本選擇

3.1 運動目標(biāo)提取方法

運動目標(biāo)的提取方法有幀差法、減背景法和光流法三種，其中減背景法和光流法的技術(shù)難度較高，本文對減背景法和光流法具體分析。

1）減背景法

減背景法的核心為建模，首先對相鄰兩幀的圖像進(jìn)行對比得到差分圖像，然后再對其進(jìn)行二值化處理，最后使用減背景法的建模分析電梯轎廂內(nèi)乘客行為是否存在異常[5]。

減背景法中靜態(tài)建模將圖像中各像素點的均值作為背景的數(shù)據(jù)模型，可以得到

將式（1）代入光照對圖像的影響可得

式中：Bn為減背景法圖像中N幀圖像的平均值，N為圖像幀數(shù)，F(xiàn)為減背景法中圖像，F(xiàn)n為第N幀中減背景法中的圖像。

式（2）中N值越大，其背景模型的值就越貼近真實，靜態(tài)建模使用圖像的像素平均值作為數(shù)據(jù)基礎(chǔ)。該方法檢測電梯轎廂內(nèi)乘客行為是否異常的速度比較快、實時性比較高，有利于電梯工作人員快速對暴力或恐慌事件做好應(yīng)對措施[6]。

減背景法中動態(tài)建模將圖像的所有像素點都作為數(shù)據(jù)模型，但是每一幀的所有像素點模型可以構(gòu)成一個像素組。如果像素點與像素組相互重合，則可以將該像素點看作成該圖像中的背景。反之，則可以認(rèn)為該像素點處于運動前置階段，該像素點所在位置的乘客處于待運動狀態(tài)，然后再對運動狀態(tài)的乘客檢測其行為是否存在異常[7]。

動態(tài)建模方法中利用單高斯模型將像素點的顏色分布表示為η（Xt，μt，Σt）得

當(dāng)時間為t時其顏色值可以用It表示，可得

式中：t為時刻；Σt為當(dāng)時間為t時刻高斯分布的平均值；Xt為當(dāng)時間為t時像素點的顏色值[8]；α為學(xué)習(xí)率，當(dāng)像素點與像素組不重合時α=0，當(dāng)像素點與像素組不重合時α的值與像素組相同；μt+1為某一像素點的顏色值；Σt+1為某一像素點的協(xié)方差矩陣；若像素點有顏色，則μt、dt、It等值均為三維向量；當(dāng)紅綠藍(lán)三個顏色的協(xié)方差相同時，可以將Σt的值看作σ2。

式中：σi為高斯函數(shù)的標(biāo)準(zhǔn)差，K一般取3～5。

2）光流法

使用光流法對電梯轎廂內(nèi)乘客異常行為檢測算法有兩種，模板匹配法和狀態(tài)空間法。模板匹配法先對電梯轎廂內(nèi)部的圖像進(jìn)行建模，然后根據(jù)不同幀數(shù)下圖像的變化情況就可以判斷那些像素點是人物模型，最后即可根據(jù)像素點的變化情況判斷乘客行為是否異常。模板匹配法將乘客異常行為檢測分為三個階段，第一個階段需要建立電梯轎廂內(nèi)的靜態(tài)特征模板，第二階段根據(jù)圖像序列與靜態(tài)特征模板之間的對比結(jié)果識別人類的行為，第三個階段判斷識別出來的行為是否異常，該方法計算比較簡單，但是沒有在計算中將行為動態(tài)特征考慮進(jìn)去，所以檢測的乘客異常行為結(jié)果容易出現(xiàn)誤差。狀態(tài)空間法則是將根據(jù)空間中乘客行為的像素點作為檢測節(jié)點，再將檢測節(jié)點分成動態(tài)乘客行為和靜態(tài)電梯轎廂背景，即可檢測出乘客異常行為。但是該方法如果檢測節(jié)點較多容易出現(xiàn)故障，所以使用狀態(tài)空間法作為光流法檢測算法一般使用動態(tài)貝葉斯網(wǎng)絡(luò)或隱馬爾科夫模型[9]。

光流法通過檢測電梯轎廂內(nèi)的稠密光流和稀疏光流即可判斷出物體的運動情況，一般光流法需要對灰度圖像中像素點的分布情況進(jìn)行分析，然后再計算出像素點的瞬時速度變化情況，即可判斷出乘客行為是否異常[10]。

光流法中如果將圖像中的像素點用（x，y）表示；該像素點在t時間的亮度用（x，y，t）表示；該像素點的光流在水平方向的速度分量可以用u（x，y）表示；該像素點在垂直方向的速度分量可以用v（x，y）表示。最后可以得到公式

如果將像素點經(jīng)過的時間設(shè)為△t，則可以將該像素點的亮度用I（x+△x，y+△y，t+△t），可以得到泰勒展開公式

當(dāng)該像素點經(jīng)過的時間△t為最短時，可以得到

根據(jù)光流圖各像素點的光流值可以計算出某一幀圖像的動能，動能簡化計算公式

急速加熱和快速質(zhì)譜氣固相反應(yīng)分析儀系統(tǒng)如圖 1，樣品在急速加熱裝置內(nèi)實現(xiàn)快速升溫反應(yīng)過程，在反應(yīng)的同時通過飛行時間質(zhì)譜分析儀獲得實時的氣體產(chǎn)物組分與濃度數(shù)據(jù)，通過熱電偶實時高速采集樣品的升溫數(shù)據(jù)，急速加熱裝置在電路系統(tǒng)控制下實現(xiàn)不同的升溫速率和反應(yīng)終溫要求。

3.2 運動目標(biāo)提取

在電梯轎廂內(nèi)部設(shè)置物聯(lián)網(wǎng)傳感器攝像頭，即可根據(jù)光線的不同采集到不同的圖像信息，再根據(jù)電梯轎廂的背景圖像完成建模提取出運動目標(biāo)。運動目標(biāo)提取圖如圖1所示。

圖 1 運動目標(biāo)提取圖片

3.3 運動目標(biāo)人數(shù)估計

運動目標(biāo)人數(shù)估計過程在運動目標(biāo)提取與乘客異常行為檢測之間，本文采用像素統(tǒng)計方法估計運動目標(biāo)人數(shù)，計算出前一幀像素個數(shù)與單人運動像素個數(shù)的比值并取整即可得到運用目標(biāo)估計人數(shù)。運動目標(biāo)人數(shù)估計結(jié)果如圖2所示。

圖 2 運動目標(biāo)人數(shù)估計結(jié)果

根據(jù)圖2所示，單人所占像素個數(shù)為15 000左右，而本圖中前一幀畫面中運動人數(shù)像素個數(shù)總數(shù)為28 000左右，所以可以判斷該畫面中運動人數(shù)估計為2人。

4 電梯轎廂內(nèi)乘客異常行為檢測

4.1 單人乘客異常行為檢測

1) 單人摔倒檢測

本文使用投影子窗檢測方法對電梯轎廂內(nèi)單人乘客異常行為進(jìn)行檢測，該檢測方法與單人運動檢測的方法相比較更加精準(zhǔn)，避免了單人乘客異常行為檢測系統(tǒng)誤將靜止不動的乘客判斷為摔倒。

2) 單人異常行為檢測

電梯轎廂內(nèi)單人異常行為檢測通過對乘客的輪廓投影線的長寬比進(jìn)行計算，即可得到乘客是否摔倒在電梯內(nèi)。

單人摔倒檢測中投影子窗口的選取圖像如圖3所示。

圖 3 單人異常行為檢測投影子窗口的選取圖

單人摔倒檢測中乘客站立狀態(tài)的投影圖像如圖4所示。

圖 4 單人異常行為檢測乘客站立狀態(tài)投影圖像

根據(jù)圖4即可先計算出乘客站立狀態(tài)的輪廓長寬比，當(dāng)乘客摔倒時其輪廓的長寬比會有明顯變化。乘客摔倒?fàn)顟B(tài)的投影如圖5所示。

圖 5 單人異常行為檢測乘客摔倒?fàn)顟B(tài)投影圖像

乘客摔倒之后其輪廓的長寬比由0～1之間變成2以上，根據(jù)投影子窗檢測法可以判斷乘客行為是否異常。

3) 檢測結(jié)果與分析

該檢測方法檢測單人乘客異常行為的幾率準(zhǔn)確度在90%以上，檢測速度可以達(dá)到27幀/s。當(dāng)乘客摔倒過程中進(jìn)行異常行為檢測容易出現(xiàn)誤差，靜態(tài)背景的幀數(shù)提取會直接影響檢測結(jié)果的準(zhǔn)確度。

4.2 雙人乘客異常行為檢測

1) 暴力行為檢測

電梯轎廂內(nèi)雙人乘客異常行為檢測使用的是光流法，該雙人異常行為檢測主要檢測電梯內(nèi)部是否發(fā)生暴力行為，所以可以對其角點的光流值和動能進(jìn)行計算，即可得到雙人乘客行為異常檢測結(jié)果。

2) 雙人暴力行為檢測

雙人暴力行為檢測可以使用隱馬爾可夫模型提取電梯轎廂內(nèi)乘客的三維特征，并根據(jù)隱馬爾可夫模型計算出雙人乘客異常行為的似然概率。本文在電梯轎廂內(nèi)雙人乘客異常行為檢測中使用的是角點動能模型法，該方法適合在檢測雙人乘客異常行為。雙人暴力行為檢測流程如圖6所示。

圖 6 雙人異常行為檢測流程圖

雙人暴力行為檢測需要根據(jù)灰度圖像中像素點的運動情況判斷出乘客行為的瞬時速度變化情況，最后根據(jù)光流法中動能簡化計算公式即可計算出該灰度圖像中動能變化情況，根據(jù)動能函數(shù)可以得到圖像如圖7所示。當(dāng)動能函數(shù)變化較大時，可以判斷電梯轎廂內(nèi)發(fā)生雙人暴力事件。

圖 7 動能函數(shù)變化情況

3) 檢測結(jié)果與分析

雙人暴力行為檢測準(zhǔn)確率可以達(dá)到90%，檢測速度可以達(dá)到25幀/s。如果人數(shù)過多會導(dǎo)致光流法的行為異常檢測結(jié)果存在誤差，乘客異常行為檢測方法在人數(shù)上具有局限性。

4.3 電梯轎廂內(nèi)多人乘客異常行為檢測

1)密集多人異常行為檢測

當(dāng)電梯轎廂內(nèi)乘客數(shù)量比較多時，為了防止出現(xiàn)恐慌事件，需要對其進(jìn)行多人乘客異常行為檢測。多人恐慌行為檢測流程如圖8所示。

圖 8 多人恐慌行為檢測流程圖

2)多人恐慌行為檢測

電梯轎廂內(nèi)多人恐慌行為檢測可以使用光流法計算出多人乘客二值圖像中的動能變化情況，再將其行為特征分為時間和空間兩個維度，最后建立多人恐慌行為模型，即可判斷電梯轎廂內(nèi)是否存在多人恐慌行為。多人恐慌行為檢測特征提取如圖9所示。

圖 9 多人恐慌行為檢測特征提取圖

根據(jù)圖9可知，圖像中正常情況下非零像素點數(shù)量少、分布散亂，當(dāng)發(fā)生多人恐慌行為時，非零像素點數(shù)量多、分布范圍密大。然后對其運動能量圖做直方處理，可以得到水平和豎直兩個方向的投影直方圖，如圖10所示。

圖 10 多人恐慌行為檢測直方圖

3）檢測結(jié)果與分析

如果電梯轎廂內(nèi)多人恐慌行為檢測的能量分布函數(shù)值大于多人正常狀態(tài)下的最大能量分布值，則可以判斷發(fā)生多人恐慌行為。反之，則電梯轎廂內(nèi)未發(fā)生多人恐慌行為。該方法檢測多人恐慌行為的準(zhǔn)確率可以得到95%，檢測速度可以得到每25幀/s。

5 結(jié)語

電梯轎廂內(nèi)乘客異常行為檢測應(yīng)該具體分為單人摔倒檢測、雙人暴力檢測以及多人恐慌檢測三種，對不同人數(shù)的檢測需要使用不同的方法，才能保證檢測結(jié)構(gòu)的準(zhǔn)確率。在選擇檢測方法中，需要保證檢測速度達(dá)到一定數(shù)量值，否則不能在第一時間對乘客異常行為作出預(yù)警。