基于多源圖像識別技術的信號設備室智慧巡檢系統(tǒng)

黃子輝，林保羅，陳微，吳麗思，張曉明

城市軌道交通信號設備室作為設備集中運行的重要區(qū)域，是運營維護的重點。巡檢是保證設備正常運行的主要手段，巡檢內(nèi)容主要包括設備運行狀態(tài)、環(huán)境溫濕度、設備外觀和積塵檢查等。目前設備室的日常巡檢主要依靠運維人員完成，巡檢周期長，并且難以及時發(fā)現(xiàn)設備故障或隱患，雖然可以通過提高頻率縮短巡檢周期，但人工成本高，得不償失。

因此，越來越多的運營單位開始探索城市軌道交通設備室的新型巡檢方式，如：岳強等［1］提出基于二維碼技術的智慧機房巡檢系統(tǒng)，運維人員通過掃描設備上的二維碼進行設備巡檢數(shù)據(jù)錄入，取代了傳統(tǒng)手工錄入，但仍需運維人員到現(xiàn)場進行檢查，無法有效地降低人工巡檢的成本；孫皓林［2］、王堅強［3］、陳卓雄［4］研究了不同類型機器人在設備室巡檢中的應用，實現(xiàn)了巡檢的自動化，降低了人工成本，但設備成本投入巨大，不利于大范圍的推廣應用；胡恩華［5］、郭文亮［6］等應用圖像識別技術實現(xiàn)設備室監(jiān)控圖片的自動識別，但圖片處理時間過長，效率較低且誤報率較高，不適合現(xiàn)場應用。在對比上述技術方案特點基礎上，結合現(xiàn)場智能運維低成本、高效率、高精度、高可用性的實際需求，本文設計了一套基于多源圖像識別技術的設備室智慧巡檢系統(tǒng)，提升城市軌道交通信號設備室智能運維水平。

1 系統(tǒng)架構

設備室智慧巡檢系統(tǒng)采用分層分布式結構，由中心設備和車站設備2部分組成，通過3層工業(yè)以太網(wǎng)交換機組成千兆監(jiān)測網(wǎng)絡，系統(tǒng)架構見圖1。

圖1 系統(tǒng)架構

1）中心設備。設置在控制中心信號設備室內(nèi)，主要包括數(shù)據(jù)庫服務器、應用服務器、操作終端和交換機等。其中，數(shù)據(jù)庫服務器是系統(tǒng)的數(shù)據(jù)中心，存儲基礎信息、巡檢計劃、巡檢報告、監(jiān)測數(shù)據(jù)及設備異常告警等數(shù)據(jù)，為應用服務器提供數(shù)據(jù)支持；應用服務器部署系統(tǒng)的前后端軟件，提供數(shù)據(jù)庫服務器的訪問和存儲、監(jiān)測數(shù)據(jù)展示、設備異常告警及數(shù)據(jù)統(tǒng)計分析等服務；檢修人員通過操作終端登錄系統(tǒng)界面，配置系統(tǒng)基礎信息和巡檢模式，查看監(jiān)測數(shù)據(jù)和告警信息，下載巡檢報告和統(tǒng)計報表。

2）車站設備。車站設備又分為集中站設備和非集中站設備。由于集中站需要監(jiān)測的設備機柜數(shù)量較多，通常部署較多攝像頭才能實現(xiàn)覆蓋，為避免視頻傳輸占用監(jiān)測網(wǎng)絡的帶寬，影響監(jiān)測網(wǎng)絡穩(wěn)定性，在集中站部署1臺圖像處理單元和視頻存儲機，實現(xiàn)圖像和視頻數(shù)據(jù)的本地處理和存儲；非設備集中站需要監(jiān)測的機柜數(shù)量少，通常使用2～3個攝像頭即可實現(xiàn)覆蓋，故將非設備集中站圖像和視頻數(shù)據(jù)傳輸至控區(qū)內(nèi)的設備集中站進行處理和存儲。圖像處理單元作為車站數(shù)據(jù)處理的核心，部署人工智能算法和巡檢軟件，圖像處理單元從攝像頭采集圖像后，調用人工智能算法識別圖像中設備指示燈的位置和狀態(tài)信息，再輸入到巡檢軟件進行設備運行狀態(tài)診斷，最終輸出設備狀態(tài)信息或告警信息，同步到控制中心的應用服務器和數(shù)據(jù)庫服務器，并通過操作終端向檢修人員進行展示。當設備室內(nèi)所有設備檢測完成后，形成巡檢報告，上傳至數(shù)據(jù)庫服務器，檢修人員通過操作終端下載查看。視頻存儲機主要實現(xiàn)監(jiān)測視頻的存儲，當系統(tǒng)檢測到設備狀態(tài)異常后，記錄設備信息、異常信息和異常時間，供檢修人員查詢。設備室內(nèi)安裝相應的環(huán)境傳感器，實時監(jiān)測設備室的環(huán)境溫/濕度，實現(xiàn)設備室環(huán)境狀態(tài)的巡檢。

2 功能模塊

2.1 系統(tǒng)管理

1）角色管理：系統(tǒng)提供管理員和普通用戶2種角色，其中管理員擁有全部頁面的瀏覽權限和操作權限，普通用戶的權限由管理員分配和管理。

2）帳號管理：用戶根據(jù)運維組織需求創(chuàng)建運維帳號，并將帳號配置為管理員或普通用戶，所有用戶均可重置帳號密碼。

2.2 智慧巡檢

1）巡檢模式設置：系統(tǒng)提供自動循環(huán)巡檢、單次巡檢和定時巡檢3種模式。自動循環(huán)巡檢是系統(tǒng)自動進行連續(xù)巡檢，運維人員可設置兩次巡檢的時間間隔，默認為0，時間間隔越大，巡檢周期越長；單次巡檢由運維人員自行觸發(fā)，點擊一次則執(zhí)行一次；定時巡檢是指系統(tǒng)在指定時間進行巡檢，運維管理人員根據(jù)巡檢需要設置定時，設置完成后將巡檢配置下發(fā)至各設備室圖像處理單元執(zhí)行。

2）巡檢數(shù)據(jù)同步：巡檢數(shù)據(jù)主要包括設備指示燈和設備狀態(tài)數(shù)據(jù)。其中，設備指示燈狀態(tài)數(shù)據(jù)主要包括指示燈的邊框坐標、置信度、顏色和亮滅等，由人工智能算法直接輸出；設備狀態(tài)數(shù)據(jù)有正常、故障和隱患3種，通過板卡或機箱設備上指示燈的狀態(tài)數(shù)據(jù)診斷該設備的運行狀態(tài)。系統(tǒng)構建了與實際一致的二維仿真界面，當系統(tǒng)完成機柜內(nèi)設備指示燈識別和設備狀態(tài)診斷后，自動將結果同步至仿真界面。

3）環(huán)境數(shù)據(jù)同步：系統(tǒng)前端界面實時采集環(huán)境溫濕度數(shù)據(jù)，超出設定的上限閾值時，發(fā)出異常報警，提示運維人員及時對設備室環(huán)境進行調控。

4）巡檢報告：每個車站完成一次巡檢后都會生成一份巡檢報告，當日生成的多份巡檢報告合并為一份日巡檢報告進行存檔，當日發(fā)生過設備異常時，還將自動生成一份異常報告，供運維人員進行調閱。

5）實時故障信息：系統(tǒng)檢測到告警后，自動將告警信息推送到前端界面，通過聲光報警提醒用戶及時介入處理。

2.3 數(shù)據(jù)管理

1）歷史數(shù)據(jù)查詢：系統(tǒng)將檢測的設備指示燈狀態(tài)和環(huán)境溫濕度數(shù)據(jù)存入數(shù)據(jù)庫中，并提供歷史數(shù)據(jù)查詢功能。

2）歷史告警查詢：系統(tǒng)檢測到告警后，自動將告警信息及對應的設備信息存入數(shù)據(jù)庫，并提供歷史告警查詢功能。

3）歷史報告查詢：系統(tǒng)每天定時整理當日的巡檢數(shù)據(jù)，形成巡檢報告，并存儲到數(shù)據(jù)庫中，當運維人員需要查詢某日的巡檢報告時，可直接通過歷史報告查詢界面調閱報告。

4）視頻回放查詢：系統(tǒng)提供正?；胤挪樵兒凸收匣胤挪樵?種方式，正常回放查詢由用戶自行設定查詢條件，故障回放查詢是指查詢發(fā)生故障后截取的視頻片段，可根據(jù)故障記錄或故障時間進行查詢。

5）統(tǒng)計分析報表：為運維人員提供巡檢次數(shù)、故障次數(shù)、隱患次數(shù)及操作記錄等數(shù)據(jù)統(tǒng)計，自動生成日、周、月度、季度和年度報表。

2.4 生產(chǎn)管理

1）設備信息管理：包括系統(tǒng)設備和被監(jiān)測設備信息，由運維人員根據(jù)各站實際情況進行錄入和管理。

2）交接班管理：運維值班人員通過交接班管理功能，將值班時間內(nèi)的工作情況交接到下一值班人員，避免接班人員出現(xiàn)工作遺漏。

3）天窗點設置：為避免正常檢修過程中導致的報警信息被識別為告警，系統(tǒng)提供了天窗點設置功能，運維人員在檢修維護前，可在系統(tǒng)上設置天窗點，天窗點內(nèi)告警均認定為非正常告警。

3 關鍵技術

3.1 設備指示燈狀態(tài)識別

系統(tǒng)應用人工智能算法對攝像頭監(jiān)控圖片中的設備指示燈進行識別，再根據(jù)設備指示燈的不同狀態(tài)組合判斷設備當前的運行狀態(tài)。由于目標檢測算法（You Only Look Once v5，YOLOv5）兼具檢測速度和檢測精度的優(yōu)勢，主要用于檢測圖片或視頻中的物體狀態(tài)，被廣泛應用于行人車輛［7］、安全帽［8-9］、障礙物［10］等檢測應用中。故本系統(tǒng)使用YOLOv5算法檢測設備指示燈狀態(tài)。

使用YOLOv5進行目標檢測時，首先將一幅圖片分成S×S個網(wǎng)格，每個網(wǎng)格對中心點落入其中的目標進行檢測。每個網(wǎng)格要預測B個邊框，每個邊框要回歸自身的位置（x，y，w，h）并附帶預測一個總體置信度，同時每個網(wǎng)格還要預測C個類別的概率，記為C類。YOLOv5最終輸出為S×S×（5×B+C）的一個張量。最后去除可能性較低的目標窗口，使用非極大值抑制去除冗余窗口，剩下就是識別出來的目標物體。YOLOv5運行原理見圖2。

圖2 YOLOv5運行原理

YOLOv5的網(wǎng)絡結構見圖3，主要由輸入端、主干網(wǎng)絡、頸部和輸出端4部分組成。其中，輸入端對圖片進行數(shù)據(jù)增強、自適應錨框計算和自適應圖片縮放，增加數(shù)據(jù)集圖片數(shù)量，并使不同尺寸的圖片縮放至網(wǎng)絡設置的標準尺寸，再輸入網(wǎng)絡進行處理；主干網(wǎng)絡用于提取特征，并不斷縮小特征圖，主要結構包含F(xiàn)ocus（聚焦）模塊、CBL（標準卷積）模塊、CSP1_3（跨階段部分連接）模塊和SPP（空間金字塔池化）模塊；頸部實現(xiàn)淺層圖形特征和深層語義特征的融合；輸出端包含3個目標檢測頭，分別為80×80×255、40×40×255和20×20×255，對骨干網(wǎng)絡提取的特征圖進行多尺度的目標檢測，并生成預測類別，返回目標位置的邊框坐標和置信度。

圖3 YOLOv5網(wǎng)絡結構

設備室巡檢主要通過設備指示燈判斷設備運行狀態(tài)，設備指示燈有紅、綠、黃3種顏色和亮、滅2種狀態(tài)，形成的組合信息共有6種：紅色亮燈、綠色亮燈、黃色亮燈、紅色滅燈、綠色滅燈和黃色滅燈。在實際應用中，滅燈信息對設備故障的判斷沒有幫助，因此，需要識別的類別僅有紅色亮燈、綠色亮燈、黃色亮燈3種。沒有被識別的指示燈均表示為滅燈狀態(tài)。再通過YOLOv5返回的指示燈邊框坐標進行信息匹配，獲取指示燈對應的基礎信息。

系統(tǒng)收集了500張各個角度拍攝的不同機柜設備運行圖片，并按4∶1的比例劃分為訓練集和測試集，對訓練集圖片中亮燈的設備指示燈進行標注。為提高模型訓練效率，選用官方提供的YO?LOv5s預訓練模型進行模型訓練。

準確率、召回率、均值平均精度是評估YO?LOv5算法模型性能優(yōu)劣的3個重要指標。其中，準確率表示模型識別相關目標的能力，準確率越高，誤檢越少；召回率表示模型找到真實標注框的能力，召回率越高，漏檢越少；均值平均精度是指所有圖片內(nèi)所有類別平均精度的平均值，其值越高表示模型預測精度值越高。系統(tǒng)訓練過程中模型迭代1 000次的收斂曲線見圖4。由圖4可見，模型訓練最終的準確率為73.6%，召回率為94.5%，均值平均精度為93.8%。其中均值平均精度超過90%，說明模型在整體上預測精度較高。

圖4 收斂曲線

3.2 設備狀態(tài)診斷

系統(tǒng)使用YOLOv5算法識別的設備指示燈坐標、狀態(tài)和顏色數(shù)據(jù)不能直接用于設備狀態(tài)診斷，需要與設備基礎信息結合后才能使用。

首先，對每個攝像頭監(jiān)控的設備指示燈進行多次識別，計算多次識別的坐標平均值，作為設備指示燈的基礎坐標，由運維人員標定，標定結果存入數(shù)據(jù)庫中；然后，對監(jiān)控圖片中的設備指示燈狀態(tài)進行識別，獲取所有亮燈的設備指示燈顏色和邊框坐標等數(shù)據(jù)，與數(shù)據(jù)庫中標定數(shù)據(jù)進行匹配，匹配成功后調取對應的設備信息，實現(xiàn)識別結果和基礎信息的融合；最后，根據(jù)識別結果對設備狀態(tài)進行診斷，診斷到異常后，向運維人員發(fā)出告警信息，提醒運維人員進行處理。

在設備指示燈坐標匹配過程中，共有4種匹配情況：檢測設備指示燈顏色、亮滅與標定數(shù)據(jù)一致；檢測設備指示燈亮燈，標定數(shù)據(jù)為滅燈；檢測設備指示燈滅燈，標定數(shù)據(jù)為亮燈；檢測設備指示燈和標定數(shù)據(jù)均為亮燈，但顏色不一致。不同設備指示燈的顏色、亮滅組合表示了不同的設備運行狀態(tài)，系統(tǒng)獲取設備指示燈的匹配結果后，調用由用戶設定的判斷邏輯對設備運行狀態(tài)進行判斷，在終端上輸出“設備狀態(tài)切換”“設備存在隱患”或“設備故障”等信息。

4 系統(tǒng)應用

系統(tǒng)在廣州地鐵3號線開展了試點應用，現(xiàn)場采用高性能圖像處理器對人工智能算法進行加速，并配置高清網(wǎng)絡攝像頭采集設備圖片。

4.1 攝像頭布設及識別測試

4.1.1 攝像頭布設

廣州地鐵3號線信號設備室機柜寬0.6 m，高2 m，在安裝攝像頭時，應保證攝像頭的監(jiān)測范圍能覆蓋柜內(nèi)應監(jiān)測的設備?？紤]攝像頭垂直視場角小于橫向視場角，在攝像頭垂直覆蓋范圍滿足監(jiān)測需求的情況下，橫向覆蓋范圍必然滿足要求，因此，在安裝攝像頭時，應優(yōu)先滿足機柜的垂直覆蓋。

由于機柜高2 m，使用單個攝像頭雖然可以完全覆蓋整個機柜，但設備指示燈占有像素不能滿足要求，故在本方案中采用2個攝像頭進行監(jiān)測，分別監(jiān)測機柜的上半部分和下半部分。受設備室現(xiàn)場條件限制，攝像頭只能安裝在機柜前方高于機柜的位置，避免占用機柜間的通道空間和影響前排機柜開關門。攝像頭安裝和覆蓋示意見圖5。

圖5 攝像頭安裝和覆蓋示意

攝像頭垂直監(jiān)控范圍v為

式中：θ為攝像頭1的安裝傾斜角度；α為攝像頭1和攝像頭2的垂直視場角；h0為攝像頭1覆蓋的最頂部至攝像頭的安裝高度，一般設計為15～30 cm，越小越好，但攝像頭安裝高度不能低于機柜頂部；d為攝像頭離機柜的距離；v1為攝像頭1的垂直覆蓋范圍；v2為攝像頭2的垂直覆蓋范圍。

在設備室中，通常前后排機柜的監(jiān)測距離要大于120 cm（一扇門大小60 cm，前排機柜和被測機柜能同時打開），因此，為保證前后排機柜能夠正常開關門，攝像頭最適宜的安裝位置是距離機柜(120±30) cm的范圍。系統(tǒng)選用的800萬像素攝像頭有2種參數(shù)：一種焦距為7.5～35 mm，垂直視場角為9°～23°；另一種焦距為2.7～12 mm，垂直視場角為26°～58°。以這2種攝像頭為例對攝像頭的安裝位置、角度進行分析。攝像頭垂直覆蓋范圍見表1，h0設為固定值25 cm。

表1 垂直覆蓋范圍

由于機柜內(nèi)設備實際分布空間相對比較集中，只占用機柜上部的一部分垂直空間，而機柜底部多為電源開關，無需進行識別，因此，當垂直可監(jiān)控范圍超過160 cm時均可認為已滿足機柜內(nèi)設備的監(jiān)測覆蓋需求。由表1可知，攝像頭垂直視場角為26°、攝像頭至機柜的距離120 cm時，攝像頭垂直可監(jiān)控范圍為185.70 cm；攝像頭垂直視場角為23°、攝像頭至機柜的距離150 cm時，攝像頭垂直可監(jiān)控范圍為175.00 cm；均滿足垂直監(jiān)控范圍大于160 cm的監(jiān)測覆蓋要求。在滿足監(jiān)測覆蓋范圍的情況下，調整攝像頭焦距，為設備指示燈識別提供清晰的監(jiān)測圖片。

4.1.2 設備指示燈識別測試

設備運行狀態(tài)的診斷依賴于設備指示燈的正確識別，因此，系統(tǒng)對設備指示燈進行了識別測試，識別效果見圖6。由圖6可見，亮燈的設備指示燈被正確識別為red（紅色亮燈）、green（綠色亮燈）和yellow（黃色亮燈）。

圖6 設備指示燈識別效果

收集了600張圖片，按設備指示燈在圖片中占用的像素大小分成6個數(shù)據(jù)集，系統(tǒng)對這6個數(shù)據(jù)集進行識別測試，測試結果見表2。

表2 測試結果

由表2可知，當設備指示燈在圖片中占有的像素大于20×20 px時，所有圖片中的設備指示燈均能被正確識別，無漏檢的圖片。因此，在實施時，為保證設備指示燈的識別正確率，需對攝像頭的監(jiān)控焦距進行調整，使采集圖片中的設備指示燈占有像素大于20×20 px。

4.2 設備室巡檢方式對比

以廣州地鐵3號線（含延長線）設備室為例，全線設有控制中心1個，設備集中站20個，非設備集中站14個，其中設備集中站信號設備室需要監(jiān)控的機柜為8個，非設備集中站需監(jiān)控的機柜為2個。將人工巡檢和機器人巡檢與本系統(tǒng)進行對比，對比結果見表3。

表3 不同巡檢方式對比

由表3可知，在單個設備集中站巡檢時間方面，本系統(tǒng)的巡檢時間最短，巡檢效率最高；在準確性、漏檢率、人工成本方面，本系統(tǒng)與機器人持平，準確率比人工巡檢高，漏檢率和人工成本都比人工巡檢低；在設備成本方面，人工巡檢無設備成本投入，機器人設備投入成本最高，本系統(tǒng)設備投入成本適中。綜上所述，本系統(tǒng)更適合在城市軌道交通設備室巡檢中應用。

5 結論

本文研究了基于多源圖像識別技術的智慧巡檢系統(tǒng)及其在城市軌道交通信號設備室中的應用。

1）系統(tǒng)使用攝像頭采集機柜內(nèi)設備的運行狀態(tài)圖片，再通過YOLOv5算法識別圖片中的設備指示燈顏色及亮滅狀態(tài)，實現(xiàn)設備室的自動巡檢。

2）經(jīng)過模型訓練，YOLOv5模型識別設備指示燈的均值平均精度達到93.8%。

3）對設備室內(nèi)攝像頭的布設方案進行了研究，通過調整攝像頭的焦距，使監(jiān)測圖片中的設備指示燈的占有像素調整至20×20 px以上，實現(xiàn)了全部設備指示燈的準確識別，進一步提升了系統(tǒng)的可靠性。

目前，該系統(tǒng)已在廣州地鐵3號線進行試點應用，與傳統(tǒng)人工巡檢、機器人巡檢等方式相比，具有巡檢周期短，準確率高，漏檢率低和整體成本低等優(yōu)勢，具有廣闊的發(fā)展前景和較高的應用價值。隨著該系統(tǒng)在城市軌道交通領域的推廣應用，城市軌道交通的智能運維能力也將得到進一步地提升和強化。