基于OpenPose的轎廂電梯人體行為監(jiān)測系統(tǒng)的研究

孫浩翔，陶杰，張航

（江蘇省特種設(shè)備安全監(jiān)督檢驗研究院，江蘇 南京 210036）

以往的電梯監(jiān)控系統(tǒng)只能做到對視頻信息進(jìn)行捕捉，并不能針對人員的不安全行為進(jìn)行制止，因此，也難以避免危險舉動對安全乘坐帶來的威脅。對于這樣的問題，可以將OpenPose算法引入轎廂電梯環(huán)境下的人體行為識別中，不僅可以顯著提升動作識別對比的準(zhǔn)確度，還可以解決傳統(tǒng)識別技術(shù)交互性不強(qiáng)、數(shù)據(jù)量較大等缺陷，進(jìn)而最大限度地對電梯不安全行為進(jìn)行預(yù)警，進(jìn)一步為人員的安全乘坐提供堅實保障。

1 OpenPose轎廂電梯人體行為監(jiān)測系統(tǒng)技術(shù)路線

1.1 OpenPose算法

OpenPose是一種對姿態(tài)進(jìn)行實時監(jiān)測與估計的算法，最早是由美國卡耐基梅隆大學(xué)研究團(tuán)隊所提出。OpenPose識別算法最突出的特點就是以自下而上的方向完成對人體骨骼關(guān)鍵節(jié)點的獲取，進(jìn)而以各個關(guān)鍵節(jié)點的位置為基礎(chǔ)構(gòu)成完成的人體骨架圖。作為機(jī)器學(xué)習(xí)理論中的重要組成部分，深度學(xué)習(xí)相關(guān)內(nèi)容在OpenPose識別算法中也得到了十分顯著的應(yīng)用。通過深度學(xué)習(xí)識別系統(tǒng)，可以進(jìn)一步完善對人肢體運(yùn)動和面部表情的檢測，不斷提升運(yùn)行姿態(tài)向關(guān)鍵節(jié)點轉(zhuǎn)換的效能，進(jìn)而可以適用于單目標(biāo)和多目標(biāo)等多種應(yīng)用環(huán)境下，同時，對噪聲干擾也體現(xiàn)出較強(qiáng)的魯棒性。OpenPose算法在投入使用后，可以有效改善傳統(tǒng)RGB圖像以及食品提取過程中存在的不足，因此，也進(jìn)一步被應(yīng)用于智能監(jiān)控系統(tǒng)、智能穿戴系統(tǒng)以及部分手機(jī)APP功能中。

1.2 Open CV計算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫

Open CV（Open Source Computer Vision Library）是一個計算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫，可以在大部分操作系統(tǒng)當(dāng)中實現(xiàn)跨平臺使用。Open CV最主要的編寫語言為C++，但同時也具備多種其他類型的接口。

1.3 人體行為的判斷與處理

在對模型數(shù)據(jù)進(jìn)行構(gòu)建的過程中，需要將捕捉到的人體動作信息按照正常和異常兩種標(biāo)準(zhǔn)進(jìn)行分類，結(jié)合轎廂電梯的實際情況來看，異常動作中主要包括奔跑、跳躍、打鬧等，將靜止站立等劃分到正常行為中。在建立識別模型的時候，需要先借助OpenPose算法完成對正常行為與異常行為的提取，并通過建立集合來得出相應(yīng)的動作特征，同時，根據(jù)個體的體型與身高差異分析出其特征量，進(jìn)而通過BP神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在完成對各類權(quán)重參數(shù)分析的基礎(chǔ)上進(jìn)行識別模型的構(gòu)建。

2 數(shù)據(jù)處理與模型構(gòu)建

2.1 數(shù)據(jù)集的建立與處理

在實驗過程中，考慮到實際轎廂電梯內(nèi)的人員數(shù)量以及人員行為是不確定的，因此，在實驗中想完成對所有類型樣本的測試也是不現(xiàn)實的。對于這種情況，可以將所有的樣本類型分為單目標(biāo)、雙目標(biāo)、多目標(biāo)以及轎廂內(nèi)沒有目標(biāo)四種情況。在此過程中，考慮到多目標(biāo)情況下出現(xiàn)異常行為的空間較小，一旦出現(xiàn)也會被制止，因此，將多目標(biāo)與轎廂為空兩種情況都劃分到正常中。單目標(biāo)與多目標(biāo)屬于研究的重點范圍，結(jié)合相關(guān)規(guī)章制度以及電梯安全管理內(nèi)容來看，將奔跑、跳躍、打鬧等定為異常行為，將靜止站立等確定為正常行為。

2.2 模型的建立與數(shù)據(jù)評估

在進(jìn)行模型的建立與評估過程中，其中會具備一定的行為特征與時空特征，不同特征下也代表著不同的數(shù)據(jù)集合。結(jié)合深度學(xué)習(xí)理論對正常行為和異常行為分別的數(shù)據(jù)集合進(jìn)行統(tǒng)計，進(jìn)而借助BP神經(jīng)網(wǎng)絡(luò)實現(xiàn)對該模型的建立，進(jìn)而完成對不同特征行為的識別。在進(jìn)行數(shù)據(jù)獲取的時候，從三個角度對單目標(biāo)多行為以及雙目標(biāo)多行為進(jìn)行分析和評估，并保證可以避免攝像頭成像系統(tǒng)、介質(zhì)以及設(shè)備等方面因素對圖像獲取的質(zhì)量造成影響。模型建立分為單目標(biāo)多行為模型以及雙目標(biāo)多行為模型，并對不同角度下的識別率進(jìn)行對比。

2.2.1 單目標(biāo)多行為模型

在單目標(biāo)多行為模型建立的過程中，一般會通過MATLAB平臺完成對數(shù)據(jù)的預(yù)處理，再根據(jù)神經(jīng)網(wǎng)絡(luò)調(diào)整隱層節(jié)點數(shù)取值范圍，進(jìn)而結(jié)合實際環(huán)境進(jìn)行調(diào)試，保證取得最佳的圖像獲取效果，同時將建立完成的模型進(jìn)行保存，為后續(xù)的實時行為識別做好準(zhǔn)備工作。該模型各個攝像頭的識別率如表1所示。

表1 單目標(biāo)模型識別率

2.2.2 雙目標(biāo)多行為模型

考慮到雙目標(biāo)多行為模型與單目標(biāo)多行為模型在建立過程中存在一定的差異，因此，可以在之間建立的模型上加以調(diào)整，通過數(shù)據(jù)讀入和拼接來從三個角度完成雙目標(biāo)多行為數(shù)據(jù)集特征的采集。三種角度攝像頭的訓(xùn)練集識別率以及測試集識別率如表2所示。完成后仍需要對模型進(jìn)行保存，進(jìn)而為后續(xù)的實時行為識別做好準(zhǔn)備工作。

表2 雙目標(biāo)模型識別率

兩個模型的建立可以進(jìn)一步看出，三種角度攝像頭的訓(xùn)練集識別率以及測試集識別率差別不大，同時，在識別精度方面也都符合相應(yīng)的規(guī)定與要求，因此，相關(guān)人員結(jié)合轎廂電梯的實際情況最終選定1號攝像頭作為監(jiān)測系統(tǒng)的位置捕捉。

3 行為的捕捉與識別

3.1 實時視頻的捕捉

在對實時視頻進(jìn)行捕捉的時候，需要借助Open CV計算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫完成對視頻的捕捉、處理和保存。與此同時，還需要與Python環(huán)境進(jìn)行結(jié)合，通過Open CV庫來對對應(yīng)圖像的函數(shù)進(jìn)行處理。

3.2 數(shù)據(jù)預(yù)處理

因為模型建立后包含的是動作關(guān)鍵節(jié)點的數(shù)據(jù)集合，因此，在進(jìn)行后續(xù)處理工作之前，需要先在圖像捕捉的基礎(chǔ)上進(jìn)行數(shù)據(jù)預(yù)處理。現(xiàn)階段，轎廂電梯人體行為監(jiān)測系統(tǒng)將OpenPose算法作為整體的核心算法，當(dāng)前的數(shù)據(jù)輸入集合是目標(biāo)動作行為的圖片幀序列，并以txt格式的文本文件為輸出格式。考慮到捕捉正常行為與異常行為之間的數(shù)據(jù)集具有不同的特征，因此，需要將關(guān)鍵節(jié)點序列作為具有不同特征的特征集，進(jìn)而通過模型完成對相關(guān)行為的識別與分類。具體來說，數(shù)據(jù)預(yù)處理的過程可以分為獲取關(guān)鍵幀、保存關(guān)鍵節(jié)點、轉(zhuǎn)換文件格式等環(huán)節(jié)。

3.3 行為識別模型的運(yùn)行

作為一類數(shù)學(xué)計算為主的編程軟件，MATLAB有效通過其各類數(shù)組運(yùn)算功能實現(xiàn)對各種數(shù)據(jù)集合的處理。在本次實驗中，借助MATLAB軟件的Python接口完成識別模型的搭建，并在BP神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上對相關(guān)數(shù)據(jù)進(jìn)行識別與分類。通過分類，最終將捕捉到的動作分為正常行為與異常行為，當(dāng)輸出結(jié)果在3h以內(nèi)的時候，則為系統(tǒng)正常運(yùn)行，而在3h以上的時候，系統(tǒng)會發(fā)出報警。

4 人體行為監(jiān)測系統(tǒng)的設(shè)計與實現(xiàn)

4.1 管理端設(shè)計

管理端不同模塊的具體內(nèi)容主要涉及以下幾方面：第一，對于首次使用系統(tǒng)的用戶，管理端需要為其分配新的賬號與密碼，只有正確輸入才可以成功登陸，并完成相應(yīng)的后續(xù)操作。為提升管理人員管理的便利程度，在進(jìn)行用戶注冊時，還需要記錄用戶的姓名以及聯(lián)系方式。第二，為最大限度地保證系統(tǒng)安全性與運(yùn)行的流暢性，管理端會定時對不再具備監(jiān)測系統(tǒng)使用權(quán)限的用戶信息進(jìn)行刪除，將SQL Server數(shù)據(jù)庫中的用戶信息進(jìn)行刪除之后，用戶將不再具備使用系統(tǒng)的權(quán)限。這項操作不僅可以有效保證系統(tǒng)的安全性，同時還可以實現(xiàn)對數(shù)據(jù)庫的合理應(yīng)用，進(jìn)而有效節(jié)約了數(shù)據(jù)庫的使用空間。第三，用戶在使用系統(tǒng)的過程中往往會具有更新信息的需求，因此，管理端還進(jìn)一步設(shè)置了信息修改模塊。用戶可以通過信息修改模塊對相關(guān)信息進(jìn)行更新，同時，管理端也會進(jìn)一步在SQL Server數(shù)據(jù)庫中對其修改部分進(jìn)行更新，進(jìn)而在一定程度上也避免了同一使用者的重復(fù)注冊。

4.2 用戶端設(shè)計

用戶端的模塊設(shè)計核心在于實現(xiàn)監(jiān)測系統(tǒng)的各項功能，用戶在正確輸入賬戶和密碼后就可以進(jìn)入系統(tǒng)中，同時數(shù)據(jù)庫還會實時對用戶信息進(jìn)行匹配。在監(jiān)控系統(tǒng)運(yùn)行的過程中，需要對獲取的視頻進(jìn)行采集和保存，并根據(jù)不同的輸出結(jié)果做出不同的反應(yīng)。用戶端不同模塊的功能設(shè)計主要涉及以下幾個方面：第一，視頻捕捉。轎廂電梯監(jiān)控系統(tǒng)的視頻捕捉模塊主要功能是對轎廂電梯內(nèi)的人員動作情況進(jìn)行實時采集與捕捉，并將采集的數(shù)據(jù)信息保存在本地，為后續(xù)的分析環(huán)節(jié)做好準(zhǔn)備。第二，行為識別。這一環(huán)節(jié)也是整體轎廂行為監(jiān)測系統(tǒng)中最關(guān)鍵、最核心的環(huán)節(jié)，在完成對轎廂電梯中的目標(biāo)行為的采集與捕捉后，會按照固定的路徑與格式進(jìn)行儲存，并借助OpenPose核心算法對形成的關(guān)鍵節(jié)點坐標(biāo)序列加以分析，最終將相關(guān)數(shù)據(jù)導(dǎo)入模型中完成正常行為與異常行為的判斷。第三，個人信息。用戶在使用轎廂電梯監(jiān)控系統(tǒng)的時候，常常需要對密碼以及其他個人信息進(jìn)行修改與更新，因此，在系統(tǒng)用戶端上提供了可以進(jìn)行信息完善與更新的模塊，用戶進(jìn)入這一模塊中，就可以根據(jù)自身實際需求完成信息修改，進(jìn)而為后續(xù)的使用提供更多便利條件。

5 結(jié)語

綜上所述，OpenPose算法為優(yōu)化轎廂電梯人體動作識別產(chǎn)生了十分關(guān)鍵的作用。通過構(gòu)建人體行為監(jiān)測系統(tǒng)，可以加強(qiáng)對轎廂電梯內(nèi)目標(biāo)行為的檢測與分類，真正意義上實現(xiàn)對電梯安全事故的事前預(yù)警。通過OpenPose算法進(jìn)行數(shù)據(jù)檢測，不僅可以提升信息獲取的便利程度，還可以有效解決傳統(tǒng)RGB圖像目標(biāo)行為易受外部環(huán)境干擾的問題，提升信息的準(zhǔn)確性。結(jié)合其實際測試情況來看，該系統(tǒng)表現(xiàn)出十分突出的可靠性與實時性。