基于雙光監測的智慧電梯異常事件與故障預警技術研究*

周前飛 慶光蔚

南京市特種設備安全監督檢驗研究院 南京 210000

0 引言

目前，基于物聯網的電梯遠程視頻監控系統實現了視頻圖像的遠距離傳輸、存儲與監視等功能，但智能化程度低、實時性差，不具備扒門、擋門、困人、蹦跳、超載等電梯異常事件及制動器、控制柜等關鍵部件故障自動檢測報警功能，普遍存在視頻資源利用率低、視頻資源共享率低、視頻大數據關聯分析率低，視頻圖像應用效能不足等問題，難以滿足電梯動態監管和精準監管要求。隨著5G、人工智能等新技術的發展，基于AI、邊緣計算、霧計算、云計算的嵌入式視頻物聯網(Internet of Video Things)技術為電梯智慧監管提供了新手段[1]。

岳彬等[2]提出一種基于智能視覺物聯網的油庫人員行為識別與監測系統，首先建立智能視覺物聯網監測系統架構，滿足信號采集、傳輸、處理與反饋需求，然后提出一種視頻語義分析模型，將人體行為識別與人臉識別進行協同分析，實現對油庫作業人員行為的分析與監測；陳智雄[3]提出了一種智慧管廊中基于視頻的異常事件預警系統設計與實現方案，該方案采用了FFmpeg（Fast Forward MPEG）、邊緣計算、深度學習和物體檢測技術，將監控攝像頭視頻數據進行接入和物體檢測，根據設置規則對檢測結果進行過濾，降低了誤報的概率，實現了異常事件智能預警；Singla D等[4]提出一種神經形態視覺傳感器(Neuromorphic vision sensors)，像素以異步方式觸發，從而提供更高的傳輸速率，時間分辨率和動態范圍，以及低延遲和功率；Nikita A等[5]提出一種以邊緣為中心的物聯網中對攝像機的并發訪問方法，設計一種適用于高效編碼視頻監控系統(H.265/HEVC)的運動估計協處理器；Perala S S N等[6]提出一種試圖平衡物聯網環境下相機的內容生成率方法，例如在本地存儲、網絡利用和計算約束下的視頻監控人臉識別，同時實現最高可能的準確性；Yang S W等[7]通過協同使用視頻物聯網中的邊緣設備、中間網關、服務器或云計算平臺來高效處理連續視頻流，闡述了可視化霧計算框架的需求，并對可視化霧計算框架的實例化提出了有前景的研究方向。

紅外熱成像技術是一種非接觸式的檢測/監測方法，不受強電磁干擾，不對電氣、電路設備造成損傷，可用于電氣設備故障或者運動部件的磨損嚴重情況檢測。黃四彬[8]采用紅外熱成像儀對電梯制動器的制動器電氣回路進行紅外熱成像分析，發現電梯的制動器抱閘線圈的溫度相對于相同型號和相同工況下溫度明顯過高，對電梯抱閘回路的各個因素進行分析，以避免因電梯制動器失效引發的危險；鄭強[9]結合多年來電梯故障診斷經驗，介紹紅外熱成像技術在電梯故障診斷中的常見應用，并重點分析一起電梯電腦板故障的原因，確定電腦板中的故障器件；鄭祥盤[10]闡述了基于紅外熱成像技術的電梯電氣控制系統檢測一般方法，并對電梯電氣系統元件故障紅外熱成像缺陷診斷的分析判斷方法作了研究。

紅外熱成像技術在電梯設備檢測中的應用還處于較為初級階段，在監測方面應用幾乎為空白，對紅外圖像的分析診斷多依賴人工，而紅外檢測/監測人員較少且無法滿足對海量紅外圖像的分析工作，再加上部分檢測/監測人員的專業知識水平和監測經驗積累不足，因此對缺陷的分析判斷能力較差，這大大制約了設備狀態監測智能化水平的提升。

當前電梯設備紅外圖像分析存在人為因素影響大、圖像分析效率低等缺點，單純的紅外檢測技術已經不能滿足電梯設備檢測/監測需求，將紅外技術與圖像處理技術、深度學習方法的結合成為了突破口。因此，本文設計了基于AI+云邊協同+5G的電梯視頻物聯網智能雙光監測與故障預警系統，提出基于深度學習的電梯轎廂多目標復雜模式嵌入式在線識別方法、基于紅外圖譜分析的制動器和控制柜故障預警方法，對電梯運行狀態進行可視化監測和故障分析預警，降低不安全乘梯行為和關鍵部件故障引起的電梯安全隱患，實現報警聯動與可視化應急指揮，避免電梯困人時自救不當引發的次生傷害，提高電梯運行安全性。

1 系統設計思想與技術路線

本文研發一套融合物聯網、AI、邊緣計算、云計算、5G技術的電梯視頻物聯網智能雙光監測與故障預警系統，實現視頻監控、困人故障識別、報警聯動、可視化救援、電動車進電梯識別、不安全乘梯行為識別、開關門狀態識別、制動器和控制柜故障預警、視頻檢索、統計分析、態勢分析等多維功能，系統設計思想與技術路線如圖1所示。

圖1 系統設計思想與技術路線

通過電梯可見光/紅外監測視頻分析網關設計與研發，實現對電梯領域大量前端已安裝可見光攝像機及新裝紅外熱像儀的圖像采集、聯網傳輸、智能分析與自動報警，實現跨網絡(有線網、5G無線網)的信息采集和遠程管理系統，盡量減少對已投資的前端視頻系統的干擾或重構，同時減少對后端(云平臺)的存儲和訪問壓力，可以通過軟件分析算法模型的升級和快速分發不斷適應各種智能分析應用要求的變化。

研究電梯場景異常事件識別與故障預警算法，并將算法移植到邊緣計算設備的嵌入式系統中，實現嵌入式視頻分析功能。建立電動車、人、制動器、轎門等目標的圖像數據庫，構建基于深度學習的電梯場景視頻語義分析模型，用于視頻中復雜事件的檢測和分析，主要研究內容包括電梯困人故障識別、電動車進電梯識別、不安全乘梯行為識別、電梯開關門狀態識別、制動器故障識別、控制柜故障識別等，并采取相關處置措施，及時排除事故隱患，減少困人故障自救不當引起的次生傷害，將故障信息和樓層信息傳輸到后端云平臺，并反饋給使用單位和維保單位，督促其加強電梯使用安全管理，及時進行設備維護保養，將設備安全隱患消除在萌芽狀態。

將本項目研究的算法、方法工具化和云化，并基于中臺理念將數據、AI算法、基礎業務能力進行中臺化封裝，以實現功能的有效整合和匯聚，建設面向實際應用的電梯視頻物聯網智能雙光監測與故障預警系統，作為NJ智慧電梯平臺的視頻AI模塊。其中，數據中臺功能是構建原始視頻數據庫、人體數據庫、電動車數據庫、以及制動器、控制柜紅外熱像數據庫等圖像數據庫；業務中臺對所有視頻智能分析網關設備進行統一配置、策略統一分發，能對各個網關運行狀態實時監控，能接收并存儲報警信息，并提供觸發報警場景的圖片和短視頻，為事后取證提供依據，包含視頻檢索、數據挖掘、可視化分析等算法，實現視頻大數據的云端處理；AI中臺具有AI智能算法調度功能，包括系統加載具體哪種類型的AI智能算法、前端感知設備植入具體哪種類型的AI智能算法、遠程設置算法模型參數等。

2 關鍵技術

2.1 電梯可見光/紅外監測視頻分析網關

如圖2所示，通過設計邊緣智能分析網關，實現電梯領域大量前端已安裝攝像機及新裝紅外熱像儀視頻數據采集，同時加載深度學習AI識別算法，通過邊緣計算進行AI智能分析，從視頻、圖片中提取人員、物（轎門、電動車、制動器、控制柜）、行為（扒門、蹦跳等）、特征（如控制柜的異常發熱點）等結構化數據，識別電梯場景下的各種異常事件或故障信息進行在線實時報警，并將檢測結果（文本形式結構化數據）、圖片以及小視頻經5G通信網絡傳輸至后端云平臺，極大程度上減小了后端云平臺的傳輸、訪問、處理和存儲負擔，有效降低網絡延遲與視頻數據的傳輸量，為視頻大數據的大規模聯網傳輸奠定了基礎。涉及智能視頻分析網關的硬件配置、算法的嵌入式移植、Agent(代理)程序設計、智能化聯網方法等內容。

圖2 電梯可見光/紅外監測視頻分析網關硬件配置

在網關上設計一個Agent(代理)程序，對網關的分析能力及分析策略進行遠程管理和調度，與后端云平臺通信進行分析模型的遠程更新、分析策略和參數統一配置、視頻源與分析運算調度、分析結果和監控數據存儲管理和上傳等；具有視頻質量檢測功能，將攝像機不在線、網絡不通、信號丟失、黑屏等異常情況實時記錄。為適應已安裝攝像頭的各種前端網絡情況，根據國標GB/T 28181—2016《公共安全視頻監控聯網系統信息傳輸、交換、控制技術要求》、Onvif（開放型網絡視頻接口）協議以及設備SDK（軟件開發工具包）開發接口和協議，采用單設備接入和智能化網絡接入等多種接入手段，實現跨網絡(有線網、5G無線網、Wi fi等)的信息采集。基于邊緣計算、AI技術實現終端設備視頻數據的嵌入式在線智能分析，結合5G Mmtc高帶寬、低延時、大規模低功耗聯網特性，通過全新的智能化聯網設計，在嵌入式在線數據處理、智能化緩存和高效傳輸之間取得平衡，解決視頻大數據的大規模聯網傳輸難題。

2.2 電梯場景異常事件識別與故障預警算法研究

研究與電梯安全直接相關的異常乘梯行為和故障狀態智能識別算法，實現電梯困人故障識別、電動車進電梯識別、不安全乘梯行為識別、電梯開關門狀態識別、制動器和控制柜故障識別等，并進行自動報警、語音提示等相關處置措施，主要包括幾個方面內容：

1）乘客不安全乘梯行為及困人故障監測與識別研究雙流CNN網絡、3D卷積、LSTM網絡、SSD、YOLOv3、Faster R-CNN、R-FCN等深度神經卷積網絡算法，利用電梯場景關鍵目標數據集對算法網絡模型進行訓練和測試，實現電梯困人故障、電動車進電梯行為以及乘客扒門、蹦跳、異常倒地（摔倒）、小朋友單獨乘梯等不安全乘梯行為在線識別；通過人臉、人形的區域計數算法和絆線統計人流量算法，捕捉電梯載客流量、載客人數，識別電梯超載行為。

當識別出困人故障或人員異常倒地時，自動連通96333應急處置平臺進行報警呼救，傳輸視頻數據到96333平臺，自動啟動雙向語音對講，以便工作人員進行語音安撫和救援調度，提高應急處置與救援能力；當識別出乘客扒門行為時，進行語音勸阻，防止扒門引起的墜落事故發生，起到事故預防作用；當識別出超載和蹦跳行為時，進行語音勸阻，降低安全隱患；當識別出電動車進電梯或小朋友單獨乘梯時，自動進行語音阻攔警告，并實時將檢測結果反饋給后臺，方便物業監督管理，加強電梯使用監管。

2）電梯開關門狀態監測與故障識別 通過背景減法、形態學膨脹和腐蝕、閾值分割等圖像處理方法，實時檢測電梯開關門運行狀態，考慮開關門過程時間因素，識別開關門失靈、物體或人長期擋門、門區逗留、非平層區域開門等故障。例如當識別出電梯非平層區域開門時，第一時間進行語音提醒和自動報警，防止人員從轎廂與井道之間間隙墜入井道；同時，提取樓層顯示屏區域圖像，通過支持向量機模型識別所在樓層信息，將故障信息和樓層信息傳輸到后端云平臺，并反饋給使用單位和維保單位，督促其加強電梯使用安全管理，及時進行設備維護保養，將設備安全隱患消除在初始狀態。

3）制動器紅外監測與故障預警 采用數值模擬的方法對曳引式電梯制動熱機耦合過程進行分析，建立不同類型制動摩擦導致的閘瓦溫度變化理論計算模型；采用紅外熱成像技術對制動器摩擦部件、電磁線圈進行發熱量方面的監測，提取帶閘運行、制動力不足（制動閘瓦磨損導致抱閘間隙變大、制動摩擦面表面油污等因素引起）、制動器卡阻等故障的紅外熱圖特征，建立不同結構形式電梯制動器的典型故障特征圖譜，采用特征圖譜聚類法對帶閘運行、制動力不足、制動器卡阻等故障進行預警。

4）電梯控制柜紅外監測與故障預警 利用紅外熱像儀對機房控制柜進行監測，研究相對溫差判斷法、同類比較判斷法和圖像特征判斷法等故障診斷方法，對控制柜接線端子接觸不良、繼電器觸點粘連、變頻器過壓故障、電路板元器件故障等電氣設備缺陷和異常情況進行識別和預警，例如通過監測門鎖回路接線端子發熱量對層門或轎門異物卡阻、門鎖繼電器粘連等故障進行識別等，實現電梯門控制系統故障的檢測、診斷和預判。

2.3 電梯視頻物聯網智能雙光監測與故障預警系統設計與構建

考慮開放性、擴展性和兼容性原則，采用基礎設施層、平臺層、應用層、交互層的分層架構模式，設計高可靠性的電梯視頻物聯網智能雙光監測與故障預警系統，實現困人故障識別、報警聯動、可視化應急指揮救援、電動車進電梯識別、不安全乘梯行為識別、開關門狀態識別、制動器和控制柜故障預警，以及視頻檢索、統計分析、態勢分析等多維功能，系統總體架構如圖3所示。

圖3 電梯可見光/紅外監測視頻分析網關硬件配置

1）基礎設施層 基礎設施層是系統的物理層，包括用于轎廂監控的可見光攝像機、用于制動器、控制柜監測的紅外熱像儀等終端感知設備，邊緣計算智能視頻分析網關、云計算設備、5G通信網絡、安全設備、存儲設備及其虛擬化、資源池、云服務器等基礎設施，以及數據機房、應急處置指揮控制中心等配套設施。

2）平臺層 將數據、AI算法、基礎業務能力進行中臺化封裝，為應用層和交互層等提供服務。數據中臺包括數據源、數據引擎、數據存儲、數據服務、數據運維監控等模塊。業務中臺為系統的基礎業務智能管理中心，包括網關管理、用戶管理、權限管理、日志管理、報警聯動、電視墻控制、視頻點播、視頻預覽、錄像回放、視頻檢索、統計分析、態勢分析等功能模塊。AI中臺包括算法倉庫和調度引擎等功能模塊，打造視頻智能解析、乘客行為識別、電梯故障預警等業務。

3）應用層 應用層依托平臺層，作為系統應用功能的統一入口，為電梯安全監管部門、應急處置中心、檢驗機構、使用和維保單位，提供基于視頻、圖片和人體、電動車、轎門、制動器、控制柜結構化數據及模型數據的視頻智能應用服務，開發電梯困人故障識別、電動車進電梯識別、不安全乘梯行為識別、開關門狀態識別、制動器故障識別、控制柜故障識別、可視化應急救援指揮調度等功能模塊。

4）交互層 開發與電梯使用單位、維保作業人員、檢驗檢測人員、應急處置人員、安全監管人員進行交互的智能終端，包括PC網絡平臺終端、大屏展示終端、應急處置指揮控制終端，用于展示電梯的運行狀態、監測預警和可視化應急指揮。

基于J2EE開發平臺和開源框架springMVC，配置Apache Tomcat服務器，選用Echarts，GIS等開源工具，利用Java開發語言完成電梯視頻物聯網智能雙光監測與故障預警系統研發。研究視頻大數據統計分析與檢索方法，基于 AI 智能化分析技術，從視頻資源中提取人、車、物、行為等結構化數據，通過大數據平臺關聯分析處理，形成可視化結果進行呈現。云平臺檢索視頻錄像信息時，向視頻云存儲子系統管理服務器發送文字檢索指令，管理服務器查詢本地數據庫后直接將檢索信息發送到云平臺。支持對接入的大量視頻數據資源進行存儲和管理，對音視頻錄像進行分類并設計高效存儲格式，主要分為：實時視頻數據云存儲、異常行為和設備故障視頻云存儲、重要數據云存儲。

3 結語

本文提出了基于AI+云邊協同+5G的電梯高可靠性視頻物聯網智能雙光監測方法，基于邊緣計算、AI技術實現終端可見光、紅外視頻數據的嵌入式在線智能分析，結合5G Mmtc高帶寬、低延時、大規模低功耗聯網特性，通過全新的智能化聯網設計，在嵌入式在線數據處理、智能化緩存和高效傳輸之間取得平衡，解決視頻大數據的大規模聯網傳輸難題。提出了基于深度學習的電梯轎廂多目標復雜模式嵌入式在線識別方法，包含人、電動車、轎門等多種目標的復雜模式類型，在線識別出電梯轎廂場景下的各種不安全行為和故障狀態，包括電動車進電梯、扒門、超載、蹦跳、摔倒（異常倒地）、小朋友單獨乘梯等不安全乘梯行為識別，電梯困人、轎廂開關門失靈、長期擋門、門區逗留、非平層區域開門等異常事件識別，實現報警聯動和可視化應急救援指揮。提出了基于紅外圖譜分析的制動器和控制柜故障預警方法，分析曳引式電梯制動熱機耦合過程，建立不同結構形式電梯制動器的典型故障特征圖譜，采用特征圖譜聚類法對帶閘運行、制動力不足、制動器卡阻等故障進行預警；采用相對溫差判斷法、同類比較判斷法和圖像特征判斷法，對控制柜接線端子接觸不良、繼電器觸點粘連、變頻器過壓故障、電路板元器件故障等電氣設備缺陷和異常情況進行識別和預警。設計了電梯視頻物聯網智能雙光監測與故障預警系統，可以在線識別不安全乘梯行為和困人故障進行自動報警，并采取相關處置措施，減少困人故障自救不當引起的次生傷害，同時將故障信息反饋給使用單位和維保單位，督促其加強電梯使用安全管理，及時進行設備維護保養，將設備安全隱患消除在初始狀態，可以全面提升本區域電梯安全防范處置能力、使用與維保管理質量，為高層次、全局性的分析決策提供數據支撐。