基于AI的多場景實物監測平臺*

黃 娜 ， 徐 陽 ， 劉德錟 ， 譚 可 ， 汪 濤 ， 尉 俊

（重慶移通學院，重慶 401520）

1 研究背景

在生產過程中，安全是首位的。據不完全統計，2019年全國各類生產安全事故共死亡29 519人。工礦商貿企業就業人員每10萬人生產安全事故死亡人數1.474人，煤礦每百萬噸死亡人數0.083人。其中佩戴安全帽和未戴安全帽占比分別約為60%和40%。傳統的安防方式是安排專人坐在監控室，這種方式雖然能減少安全事故的發生，但造成的人力資源浪費又成了一大新問題，并且人工監測存在一定的視覺盲區，監控人員也容易視力疲倦。雖然目前一些施工現場已經有了智能監控識別的應用，但在應用場景的類型上仍然具有一定的局限性，缺少異常事件的報警功能，并且模型的預訓練相對比較復雜，更新迭代的周期比較長。例如，一些深度學習開發工程師想到了使用卷積網絡進行物體的識別檢測[1]，以此來達到監控的目的，但此方式需要大量數據做支撐，且具有模型迭代時間長、成本高等問題。因此，課題組提出一個最優的物體檢測方式，來對施工現場、維修現場、一線醫療現場等的安全環境進行實時監控，并產生信息反饋，最終達到實時監控與報警系統的實時通信，從而達到更好地保證施工人員人身安全的目的。在整個系統設計中更加注重預訓練模型優化設計的方便性和準確性，在現場部署的過程中注重平臺的兼容性和平穩性[2-3]。

2 總體方案及工作原理

從整體上來講，本產品分成三大部分，一是視頻監控系統，二是物體檢測系統，三是信息反饋系統。各個系統功能如下。

視頻監控系統：主要負責接入現有施工現場的視頻監控系統進行施工現場的實時監控。視頻監控系統可以實現對門禁處全時間上的監控，并且可以對視頻進行調取，查看現場的狀況。

物體檢測系統：創建基于物體檢測技術建立的各類事件檢測模型，并對施工工地的人員安全進行實時的監測。物體檢測系統能夠準確識別進入施工現場的人員佩戴安全帽的情況，佩戴安全帽的人員準以放行，沒有佩戴安全帽的人員隔離在外，并且語音通報具體存在的問題，以保障施工人員安全[4-6]。

信息反饋系統：一是對監測到的人員信息進行數據存儲，可以回調事件監測模型進行異常事件的記錄，當監測到不安全行為時可以對管理人員進行異常事件報警提示；二是對未識別的數據進行檢測反饋，便于新模型的建立和完善。

整體功能拓撲圖如圖1所示。

圖1 整體功能拓撲圖

首先，視頻監控系統通過互聯網以固定IP方式或者離線的SDK部署，將現有視頻監控系統中的網絡硬盤錄像機（Network Video Recorder，簡稱NVR）接入視頻監控系統，然后通過接入的NVR直接調用終端攝像頭對物體進行實時的識別，將用于檢測的物體檢測數據進行存儲，同時數據進入信息反饋系統，將未識別的檢測數據反饋到物體檢測系統當中去[7]。可以回調事件監測模型進行數據存儲的記錄，并對管理人員進行異常事件報警提醒。

3 工作流程

模型的預訓練是根據現場進行采集的大量圖片數據，然后通過EasyDL平臺進行數據集創建、數據集標注、模型訓練、模型校驗和現場驗證五個環節。根據現場驗證的結果，分析模型目前存在的問題，并進行有針對性的調整，以達到現場的使用標準。當模型訓練好之后，將預訓練模型封裝到現場的小型設備當中進行離線部署。

基于AI的多場景實物監測平臺主要由實物監測模塊、信息存儲模塊、報警系統三部分組成。施工現場設置有門禁，當施工人員靠近門禁時，通過傳感器和攝像頭的捕捉與實時識別，對施工人員是否符合現場安全要求標準進行對比分析。當檢測的結果符合規定的現場安全標準時，門禁自動開啟，正常放行；當檢測結果不符合規定的現場安全標準，門禁不會開啟，并且語音提示該施工人員當前存在的問題，同時將該信息反饋給現場管理人員；同時，對于未識別的實物模型信息進行存儲與反饋，便于后面對模型的優化調整。在小型設備上部署可以實現拍照識別和實時識別兩種模式，拍照識別是對實物進行手動拍照，然后將采集到的圖片數據跟預訓練模型進行比對；實時識別是以視頻的方式實時對實物進行信息采集，并與預訓練模型進行實時比對。

系統工作流程圖如圖2所示。

圖2 系統工作流程圖

4 主要設備選型

4.1 視頻監控設備

主要采用的設備：選用Intel（英特爾）Real Sense系列的深度攝像頭D455。Intel Real Sense D455攝像頭具有可以輕松設置、便于攜帶、容易校準等優點。Intel Real Sense D455 攝像頭可捕獲室內或室外環境，具有遠距離抓拍功能以及高達1 280×720的深度分辨率[30幀每秒（fps）]。并且將深度傳感器之間的距離延長到了95 mm，從而將深度誤差提高到4 m時不到2%。除此之外，D455攝像頭還支持Windows、Linux、Android系統和Python、C++、C#等語言。

4.2 物體檢測設備

主要采用Jetson Nano。Jetson Nano是一個小巧卻功能強大的計算機，硬件為四核Cortex-A57 CPU，GPU則是規模最小的Maxwell架構顯卡，只有128個CUDA單元，配備了4 GB LPDDR4內存以及16 GB存儲空間，它可以并行運行多個神經網絡、對象檢測、分割和語音處理等應用程序，有足夠的AI計算能力[8-10]。同時，具有小體積、低功耗的特點，可以同時處理多個高分辨率傳感器，有多種硬件接口，可以保障物體檢測的實時性，并且具有40PIN GPIO擴展接口，可以連接報警裝置和AI離線計算，保障了數據的安全性。

5 主要技術

5.1 視頻監控技術

視頻監控系統包括前端攝像機、傳輸線纜、視頻監控平臺。攝像機可分為網絡數字攝像機和模擬攝像機兩種，二者都可以作為前端視頻圖像信號的采集工具，是一種防范能力較強的綜合監控系統。視頻監控技術以其直觀、準確、及時和信息內容豐富而廣泛應用于許多場合。視頻數據通過4G/5G/WIFI傳回控制主機（也可以是智能手機），主機可對圖像進行實時觀看、錄入、回放、調出及儲存等多種操作，從而實現移動互聯的視頻監控。

5.2 物體檢測技術

物體檢測技術通常是指在一張圖像中檢測出物體出現的位置及對應的類別，主要包括的物體類別有Xmin、Ymin、Xmax和Ymax，它是一項非常基礎的任務，圖像分割、物體追蹤、關鍵點檢測等通常都要依賴于物體檢測。本產品結合自動搜索模型技術、Transfer learning、Early stopping、物體檢測預置算法等技術，保證模型效果領先訓練物體檢測模型，可以滿足不同場景對性能、效果的不同需求。

5.3 傳感器技術

傳感器（Sensor）是一種常見的卻又很重要的器件，它是感受規定的被測量的各種量并按一定規律將其轉換為有用信號的器件或裝置。平臺采用的是距離傳感器，對傳感器的檢測距離進行設置后，當外來人員接近現場門閘一定范圍內，傳感器檢測到外來人員后核心控制器會發出一個實時檢測的指令；當外來人員檢測正常通過閘機后，傳感器會檢測到人員進入后的信號，核心控制器會發送一個關閉閘機的指令。

6 平臺優勢

1）模型優化迭代周期短。傳統的模型訓練優化迭代長，對模型無法識別的物體不能進行反饋、快速訓練和更新。而基于AI的多場景實物監測平臺的數據集模型是在云端上進行訓練的，當某些實物不能識別時，可以在云端當中快速訓練并進行模型的更新，并且預訓練模型能夠較好地適應各種復雜的應用場景。

2）部署簡單，可快速查看模型識別效果。可以在云端進行部署，去除了在線下煩瑣的部署過程，加快了工程化和應用于場景的進度。可以把訓練好的模型直接封裝到手機上進行模型的校驗，對預訓練模型在校驗的過程中出現的問題可以快速做出調整，在實景當中查看模型識別效果。并且訓練好的模型可以選擇通用小型設備，進行離線部署。

3）模型封裝支持多系統和定制化。支持模型封裝到本地服務器上，將模型封裝成適配本地服務器（支持Linux和Windows）的SDK和專項適配硬件，可集成在其他程序中運行。通用小型設備SDK-純離線服務和API-端云協同服務支持Android、iOS、Windows、Linux操作系統。專項適配硬件支持方案Edgeboard（FZ）、Edgeboard（VMX）、Jetson（Nano/TX2/Xavier）。不僅如此，還支持模型的定制化，節約了企業建立模型的成本，企業可以直接進行安裝和使用。

7 總結

基于AI的多場景實物監測平臺是智能化施工現場監管的有效手段，該平臺可以實現模型數據集的快速訓練、封裝、快速優化，并且具有可以離線部署、設備小型化等優勢，極大地減輕了現場施工監管人員的工作量，節省了人力成本，避免出現傳統施工現場人員監管時，因為人員疲憊等原因造成漏查漏檢的現象。該平臺預訓練模型訓練好之后可以應用到不同的施工環境當中，對不戴安全帽、抽煙等不良行為的監控具有較高的檢測精度，并且預訓練模型訓練簡單，在云端上就可以進行模型的訓練、升級和效果查驗，極大程度地提高了開發者的工作效率。同時，其現場部署簡單、成本低，加快了施工現場工程化和可以快速應用于場景的效率，在現場施工安全運維上具有極強的適應性，極大地保障了施工現場的人員安全，減少安全事故發生的概率，提高了施工現場安全運維的智能化水平。