基于AR技術的10kV變電站作業安全態勢視覺識別模型

宋立立，孫妍

（北京市建筑設計研究院有限公司，北京 100045）

變電站中包含很多大型且危險的電氣設備，其中有些設備長期暴露在室外，在長時間的風吹日曬下，難以避免地會出現各種各樣的問題，因此為保證變電站能夠持續運行，需要進行定期檢修作業[1]。在此背景下，相關學者提出了各種安全檢驗措施，如利用無人機或者智能機器人代替人工進行巡檢作業，這樣避免了檢修人員直接接觸高壓設備，但是這種無接觸的檢修方法并不像人一樣靈活，尤其針對一些細小問題，難以準確把握，可用性不高，很難進行精準維修[2-3]。

針對上述問題，隨著VR 技術的出現和應用，構建一種基于AR 技術的10 kV 變電站作業安全態勢視覺識別模型。

1 安全態勢視覺識別

變電站巡檢作業是為保證電力設備正常而進行的常規檢修工作[4]，一般情況下需要帶電作業，危險性極高[5]。為了能夠準確掌握現場作業狀態，提高工作人員操作安全性，該研究將AR 技術應用到變電站檢修工作中，并為此設計一種基于AR 的10 kV 變電站作業安全態勢視覺識別模型。該模型研究主要分為三部分，包括三維虛擬場景、基于AR 技術的作業跟蹤以及作業安全態勢視覺識別。

1.1 10 kV變電站三維虛擬場景構建

以往變電站作業全程監控可視化顯示多為二維圖像，圖像中顯示的信息詳細程度不夠，因此本章節在作業前，構建可視化三維虛擬場景，然后與內置標準三維模型進行對比，發現現場故障點[6]。

1）10 kV 變電站場景點云數據采集

當發生故障后，只是對變電站基礎設備作出故障指示，無法實現精準定位；人工作業占絕大比重，需要人工進行單項作業與檢查，浪費人力物力；多數線纜無法進行故障定位的統一管理；沒有故障診斷系統平臺進行統一分析。而三維虛擬場景建模的前提和基礎是獲得場景的三維信息。場景三維信息獲取方法有很多種，在該研究當中，通過三維激光掃描儀采集目標場景的點云數據。原理是向著目標場景發送激光束，當激光達到目標后，會被反射回，采集這些反射回的點云數據，即可完成基礎的10 kV 變電站場景點云數據采集工作[7]。

2）點云數據預處理

針對采集到的點云數據進行預處理。

①去除噪聲，步驟如下：

步驟1：設置相關參數，包括點之間的領域大小N以及縮放因子P；

步驟2：隨機選擇一個點云數據S作為中心，獲取領域N范圍內所有的點云數據；

步驟3：計算領域點i與S之間的距離，如式（1）所示：

式中，di代表領域點i與S之間的距離；(xS,yS,zS)代表點云S的三維坐標；(xi,yi,zi)代表領域點i的三維坐標。

步驟4：重復上述過程，計算出所有領域點與S之間的距離，并相加，如式（2）所示：

式中，n代表領域點數量；D代表距離總值。

步驟5：計算平均距離值Dˉ，以此作為點云數據S的密度參數特征，如式（3）所示：

步驟6：重復上述過程，遍歷所有點云數據，得到所有點云數據的密度參數特征：

步驟7：將所有點云數據的密度參數特征相加；

步驟8：計算平均值Gˉ以及方差g；

步驟9：由平均值和方差設置噪聲點判斷閾值，記為(H1,H2)。H1、H2 如式（4）所示：

步驟10：判斷點云數據是否在(H1,H2)范圍內，若在范圍外，則認為點為噪聲點，直接去除掉即可[8]。

②點云數據縮減，步驟如下：

步驟1：點云數據輸入；

步驟2：以此建立K-D 樹索引；

步驟3：計算第一個點開的周圍最近的K個領域點，以此建立點集合；

步驟4：計算點集合的協方差，并建立矩陣；

步驟5：計算協方差矩陣的三個特征值；

步驟6：根據特征值，計算曲面變化量值；

步驟7：判斷步驟6 結果是否大于設定的閾值，若小于閾值，則認為該點為冗余點，需要刪除；

步驟8：重復上述過程，遍歷所有點云數據，完成點云數據縮減[9]。

3）表面重建

將點云數據連接起來，構成真實場景的幾何信息，進行表面重建[10]。在這里采用Delaunay 算法進行表面重建，過程如下：

步驟1：定義一個足夠大的三角形，能夠將所有點云數據包圍起來；

步驟2：在三角形內隨機選擇三個點，組成一個小三角形；

步驟3：隨機選擇一個點插入；

步驟4：當插入點在小三角形內時，將該點與小三角形的三個點連接，合成新的三角形；

步驟5：進行遞歸迭代運算，將所有點都處理完畢，完成表面重建。

4）紋理映射

為增加虛擬場景的真實感，進行紋理映射，即在表面模型上披上外衣[11]。過程如下：

步驟1：采集場景紋理圖像；

步驟2：將紋理的u、v坐標映射為幾何坐標；

步驟3：調整紋理圖像的顏色和陰影；

步驟4：將紋理圖像與表面模型進行融合；

步驟5：紋理過濾處理，優化紋理映射效果。

經過上述一系列過程，完成了AR 技術中的三維虛擬場景建模環節[12]。利用AR 技術將內置標準三維模型與現場實際場景比對，發現現場故障點以及危險點，參考檢修數據庫，制定檢修方案，為后續分析奠定了基礎。

1.2 基于AR設備的作業跟蹤

基于上述建立的虛擬場景模型以及AR 設備，對檢修人員的現場作業狀態進行實時監控，以便及時發現危險操作，完成了后臺指揮管理人員與檢修人員的實時溝通[13]?；贏R 設備的作業跟蹤方法如圖1 所示。

圖1 基于AR設備的作業跟蹤方法框圖

為了能夠實時了解操作人員的作業動態，需要讓檢修人員穿戴AR 智能設備，實時跟蹤檢修人員動作，然后顯示到后臺，帶動后臺虛擬場景人物動作。這時后臺人員就可以在顯示屏上全方位觀察到現場作業狀態，然后通過AR 設備進行現場指導，以便及時規避風險[14]。

在基于AR 設備的作業跟蹤過程中，虛擬人物建模是必不可少的，需要借助Iclone 軟件建立虛擬人物模型，具體過程如下：

步驟1：建立虛擬人體的樹型骨骼模型，一般情況下，若是作業多集中在手部動作，只建立手部骨骼模型即可[15]；

步驟2：骨骼蒙皮，即在人體樹型骨骼外添加一層人類皮膚和服裝，使得人物更加形象；

步驟3：基于AR 設備捕捉人體動作；

步驟4：將人體動作與虛擬人物模型擬合在一起，使得虛擬人員模型具備行動力，虛擬檢修人員就具備了與現實檢修人員同步的能力。

應用AR 可穿戴設備，將檢修人員在現場環境中的操作通過虛擬顯示屏，“零距離”交互至終端，減少中間環節，保證交互的實時性和高效性，完成了對變電站作業的實時跟蹤。

1.3 作業風險視覺識別

作業風險視覺識別主要原理是根據對比虛擬人物的標準作業動作檢測檢修人員在作業過程中存在的不當行為，然后反饋給后臺，并發出報警信號，后臺通過VR 設備及時與現場工作人員進行溝通，并給出指導[16]。這樣就能實時、全面掌握作業現場環境，對10 kV 變電站作業狀態進行實時監控，及時幫助現場作業人員規避風險，保證人員安全。具體過程如下：

步驟1：輸入基準10 kV 變電站作業動作圖像；

步驟2：輸入虛擬人物實際10 kV 變電站作業動作圖像；

步驟3：對基準動作圖像和實際動作圖像進行預處理。具體如下：

1）圖像灰度化函數如式（5）所示：

式中，R(i,j)、G(i,j)、B(i,j)代表色彩三分量。選擇三個中的最大值代替其他兩個色彩分量的值，進行圖像灰度化。

2）圖像去噪函數如式（6）所示：

式中，ξ為像素均值；ψ(i,j)代表濾波窗口內(i,j)位置處的圖像像素；s代表濾波窗口；M代表s內像素點的總數；m代表濾波窗口尺寸。將ξ代替圖像中濾波窗口中心點像的素值，進行去噪。

步驟4：背景切割，即通過背景判定公式鎖定背景部分，然后進行去除。背景判定公式如式（7）所示：

式中，0 為背景值，255 為目標值，T為設定的閾值，γk(i,j)為前后幀圖像相減結果，λk(i,j)是二值化圖像。

細化表示如式（8）所示：

式中，?k(i,j)和?k-1(i,j)為第k幀和第k-1 幀圖像像素。

步驟5：利用卷積神經網絡進行風險動作識別。具體過程如下：

1）輸入訓練樣本；

2）卷積神經網絡初始化，并設置相關參數；

3）輸入訓練到卷積神經網絡當中；

4）經過卷積層提取圖像樣本中的檢修人員動作特征；

5）經過池化層對特征進行精簡；

6）通過全連接層將所有特征關聯到一起，進行監測信息的特征級融合；

7）利用softmax 分類器識別存在安全風險的動作，過程如圖2 所示。

圖2 安全態勢視覺識別流程

圖2中，利用訓練好的卷積神經網絡，輸入測試樣本，即可完成10 kV變電站作業安全態勢視覺識別。

2 應用測試與分析

為測試所構建模型在10 kV 變電站作業安全態勢視覺識別中的應用效果，進行應用測試。

2.1 虛擬三維場景

以某10 kV 變電站一部分場景為例，首先，利用三維激光掃描儀采集點云數據，然后，借助三維建模軟件MultiGen Creator 建立關于10 kV 變電站三維虛擬場景，用于后續分析。10 kV 變電站虛擬三維場景如圖3 所示。

圖3 10 kV變電站虛擬三維場景

2.2 虛擬人物構建

借助Iclone軟件建立虛擬人物模型，如圖4所示。

圖4 虛擬人物模型

2.3 動作設計

為測試識別模型的應用效果，令工作人員按照一般變電站作業流程進行作業，然后在其中部分環節為檢修人員設計一些動作，其中正確動作有5 個，錯誤動作5 個。設計方案如表1 所示。

表1 動作設計方案

2.4 可穿戴AR設備

通過可穿戴AR 設備，將表1 動作同步給虛擬人物，然后虛擬人物在虛擬三維場景進行相應的作業，最后按照1.3節流程識別變電站作業安全態勢。以其中一個錯誤動作為例，識別結果如圖5 所示。

圖5 未經授權進入風險區風險識別

識別所有作業動作，識別結果如表2 所示。

表2 作業動作識別結果

對比表2 和表1 可以看出，應用所研究模型，10 kV 變電站作業安全態勢視覺識別結果與所設計動作類型相一致，說明所構建的模型能夠準確尋找出變電站作業過程中存在的風險因素，為工作人員提供了重要的安全保證。

在表2中，隨機選取四個動作，重新標記為動作1-動作4，在規定的作業風險視覺圖像中，進行灰度圖像、背景切割圖像和基準動作圖像的分析，對比實際動作圖像的最大幀數，分析前后幀圖像相減結果，進一步確認風險動作識別效果，分析結果如圖6 所示。

圖6 不同動作的圖像匹配幀數

圖6 中，灰度圖像、背景切割圖像和基準動作圖像的最大幀數分析結果顯示，與實際動作圖像相符，能夠動態識別識別檢修人員在作業過程中存在的不當行為，并減少安全態勢視覺識別效果異?？D的問題。

3 結束語

該文完成了基于AR 技術的10 kV 變電站作業安全態勢視覺識別模型研究，應用AR 技術與Delaunay 算法，構建10 kV 變電站作業安全三維虛擬場景，借助AR 設備進行變電站檢修作業跟蹤，實時顯示變電站作業狀態，視覺識別檢修人員在作業過程中存在的不當行為，并證明了所研究模型的有效性，完成了作業風險識別任務。