基于增強現實技術的計量運檢智能輔助系統

丁超，張秋雁，王懿，李航峰，歐家祥，張昌翔

（1.貴州電網有限責任公司電力科學研究院，貴陽 550002； 2.貴州電網有限責任興義興仁供電局，興仁 562300；3.貴州電網有限責任都勻供電局，都勻 558000）

引言

目前貴州已投運的上百座智能（數字化）變電站，數字化變電站的計量系統相對于傳統變電站，設備及運檢維護工作已經發生較大變化。計量專業人員也面臨諸多的運檢新挑戰，包括計量設備的種類多、更新快等；并且運檢專家數量有限，無法較好提供現場協助，不能及時消除設備隱患[1-3]。

針對數字化變電站存在的計量設備運檢問題，需要采用智能運檢技術輔助計量人員完成以往難以完成的工作，提高數字化變電站計量巡檢效率。

增強現實技術（Augmented Reality，簡稱AR）將虛擬化的數字信息更直觀的展現在使用者的眼前，相較于書籍或是電子平板等顯示方式，無需工作人員時刻用手拿好顯示載體，更易于使用者雙手操作，并且可以隨時隨地查看各種運檢設備的輔助信息[4,5]。通過對計量設備的圖像識別，可以自動識別計量設備的故障。加之以智能分析系統的指導，可使專業水平較低的工作人員可以完成數字化變電站計量設備的運檢。將工作任務處理流程、處理結果、現場與后臺實時互動等全流程管控機制緊密結合，建設完善的運維閉環管理，形成知識收集、知識形成、知識共享、知識應用為一體的智能分析系統管理體系，為數字化變電站運檢閉環管理的故障消缺提供技術支撐，提高故障診斷及修復能力，規范現場作業，集成地點定位導航、電子工單遠程處理提交、現場故障診斷修復作業指導，實現現場作業流程的標準化，降低現場工作人員的技術依賴和工作量，提升人員工作效率和作業自動化和安全水平[6]。

1 智能運檢系統整體結構

1.1 智能運檢系統

基于AR技術，本文研發了新型變電站計量運檢智能輔助系統，如圖1所示，構建適配運檢場景中增強現實技術和應用，主要技術包括：

1）實現AR終端與遠方web平臺的數據傳輸。

2）圖像識別引擎的訓練和開發。

3）智能分析系統的開發。現場與運檢技術專家的在線會商，實現運檢的可視化、智能化和流程標準化；開展快速檢索技術研究，研究支持多種格式文件的索引與檢索技術，對檢索結果進行整合和優化。

4）AR應用與后臺接口的開發。

1.2 平臺架構

該項目智能運維系統具體包括:智能分析系統平臺、圖像深度學習庫、云平臺運維、Web后臺系統、AR運維終端、運維APP等一整套產品，其架構圖如圖2所示。

運維終端與AR眼鏡相配合將設備拍攝的圖片和視頻上傳，或者將接受的語音指令上傳到后臺。后臺圖像處理或語音識別到關鍵字后，從OSS上將存儲的解決方案視頻，圖像等資料下載再回傳到運維終端，經由AR眼鏡顯示來指導操作員完成設備維護任務。

云平臺部署涉及ECS（帶GPU的云服務器）、RDS（云數據庫）、OSS（云存儲空間）、CDN（內容分發加速）或者SCDN（帶有防火墻機制的CDN）等部件，同時需要配套云安全中心給ECS加上防護，具體組件擔任的任務如下：

圖1 智能運檢系統結構

圖2 智能運檢平臺架構圖

1）云服務器ECS上完成圖像深度訓練和學習，深度學習庫存放ECS數據盤；

2）云存儲OSS存儲計量設備的各種故障解決方案視頻等電子資料；

3）OSS可以設置推流地址及有效期，主動推流給CDN；

4）CDN內容分發加速服務，用于滿足大量運維終端APP/AR等客戶端視頻、音頻、圖像等高并發數據的訪問。

2 智能分析系統的構成

智能分析系統是一個具有大量的專門知識與經驗的程序系統，它應用人工智能技術和計算機技術，根據某領域一個或多個專家提供的知識和經驗，進行推理和判斷，模擬人類專家的決策過程，以便解決復雜問題[8]。

智能分析系統通常由人機交互界面、知識庫、推理機、解釋器、綜合數據庫、知識獲取等部分構成[7]，如圖3所示。

為了使計算機能運用專家的領域知識來解決問題，必須要采用一定的方式表示這些知識，讓計算機能夠恰當地處理來得到我們想要的結果。目前常用的知識表示方式有產生式規則、語義網絡、框架、狀態空間、邏輯模式、腳本、過程、面向對象等，而基于規則的產生式系統是目前實現知識運用最基本的方法[8,9]。

基于規則的智能分析系統一般由綜合數據庫、智能分析系統和推理機3個主要部分組成[10]：

1）綜合數據庫

綜合數據庫專門用于存儲推理過程中所需的原始數據、中間結果和最終結論，往往是作為暫時的存儲區。它包含了求解問題的世界范圍內的事實和斷言，其中每一組事實都與智能分析系統中的IF（條件）一一匹配。

2）知識庫

知識庫主要包含了專家用于解決相關問題的領域知識。其問題求解過程是通過知識庫中的知識來模擬專家的思維方式的，因此，知識庫是智能分析系統質量是否優秀的重要判斷依據，即知識庫中知識的質量和數量決定著該系統的智能水平。智能分析系統中的知識庫與程序是彼此分開的，用戶可以通過改變、完善知識庫中的具體規則來提高智能分析系統的性能。在基于規則的智能分析系統中，知識普遍采用IF（條件）...THEN（行為）...的規則來表達，當規則的條件被滿足時，就會觸發規則，繼而執行后面的行為。同時條件與結論均可以通過邏輯運算AND、OR、NOT進行復合。

3）推理機

推理引擎鏈接著智能分析系統中的規則和數據庫中的事例。推理機針對當前問題的條件或已知信息，反復匹配知識庫中的規則，獲得新的結論，以得到問題求解結果。以下闡述兩種推理方式，分為正向和反向推理兩種[11]。

正向鏈的策略是尋找出一些規則，他的前提條件能夠與數據庫中的事例或斷言相匹配，并運用矛盾的處理策略，從待選的規則中提取出最優的一個執行，從而更新數據庫的內容。這樣反復地進行尋找，直到數據庫的事例與目標相同即找到解決方案，或者直到沒有規則可以與之比對成功時才停止。

逆向鏈的策略是從確定的目標出發，尋找執行結果可以達到目標的規則；如果這條規則的前提與數據庫中的事例相比對，問題就得到解決；否則把這條規則的前提作為新的小目標，并對新的小目標尋找可以運用的規則，并執行反向隊列的前提，直到最后運用的規則的前提可以與數據庫中的事相比對，或者直到沒有規則再可以應用時，系統便以交互對答的方式請求用戶回答并輸入必要的事例。

圖3 智能分析系統結構圖

由此可見，推理機就如同專家解決問題的思維方式，知識庫就是通過推理機來實現其價值的。

3 智能分析系統的建立

智能分析系統的建立有知識圖譜、故障樹等多種方式方法[12]。根據電力設備運維作業的標準化及安全性要求，本文建立數字化變電站計量終端SOP標準化的智能分析系統。

該智能分析系統首先通過對智能分析系統進行分類管理，建立運維知識收集體系。之后再通過知識收集整理和優化，形成知識收集、知識入庫、知識共享、知識應用、知識更新為一體的智能分析系統管理體系。最后通過人工智能、仿真視覺和語音識別技術分析故障現象與智能分析系統的相關性，實現專家知識管理的閉環操作流程。

為了更好地管理文件資源，將數字化變電站計量設備的運檢標準化作業手冊或者長期運維積累的經驗，做成電子資料，建立索引，形成SOP的標準化庫，以便于對每個設備的各種故障代碼的智能分析系統資料做好建立、更新、維護工作。

同時用戶可以通過運維終端與AR運維設備，語音或文字輸入的方式提供關鍵字等信息，根據規則庫，推理出故障代碼及相應解決方案。設備的每一個故障代碼對應的運維知識進行增、刪、改，并對改動進行相應的審核，同時云存儲OSS上也會存儲相應知識數據素材（圖像、視頻、音頻）等。

設計推理機時，應使其推理過程和專家的推理過程相類似，最好是完全一致。故障排查是以計量設備的故障結果為輸入，推測設備的故障原因，因此需采用反向推理的機制。即先提出結論假設，然后尋找支持這個結論的證據。若證據不足，重新提出新假設，再重復上述過程，直到得出答案為止。這種由結論到數據的策略，稱之為目標驅動或由頂向下策略，具體過程如圖4所示。

同時為了增強智能分析系統的靈活性，當存儲的故障運維智能分析系統數據需要更新時, 系統會在AR應用WIFI在線時，及時地提醒用戶進行下載更新到AR應用客戶端本地。

4 系統組件間的通信與數據傳輸

4.1 運維終端與后臺間的圖片傳輸

運維終端配合AR眼鏡將設備圖片和視頻上傳，或語音輸入上傳后臺，后臺圖像處理或語音識別到關鍵字后，從OSS上將存儲的解決方案視頻，圖像等資料，通過CDN分發給APP/AR，如圖5所示。

當運維終端向后臺請求一個圖片時，后臺僅提供一個URL地址，然后運維終端會按照該地址找到所需圖片資源的位置下載下來；當運維終端請求后臺一個視頻時，如果請求的是固定的視頻文件，一般不需要分包，后臺也是僅提供一個URL地址，交給運維終端自己下載；如果是實時直播，就需要后臺搭建轉碼服務, 做流視頻處理，以確保圖像清晰無延遲。

圖4 改進算法的故障識別訓練過程

終端發送網絡請求，主要涉及后臺菜單界面、操作系統中網絡模塊的相關處理。URL的合法性和對應匹配協議的檢查、分析都交由后臺進行HTTP協議或最新的HTTPS協議處理；如果URL合法，就會分辨URL中主機是一個域名還是一個IP；如果是一個域名，會查看系統本地的HOSTS文件是否具有相應的配置，對于沒有的主機會啟用DNS查找域名對應的IP。相反，如果是IP則會直接發送請求；發送出請求，后臺的工作將會進入中斷，網絡請求交由操作系統處理。值得注意的是，如果是新接入的AR運維終端或者局域網的故障剛好修復，后臺能夠啟用ARP協議獲取到邊界路由的MAC地址，這樣便于將數據包交給路由器，再轉發到外網。處理網絡響應與渲染時，這是傳統前端工程師必須掌握的知識，資源型的網絡響應后臺會智能地處理下載事宜。

當運維終端的客戶端向后臺請求的資源是一個圖片、視頻等固定文件時，需要先開啟http端口，才能讓客戶端自動下載，因為運維終端客戶端是基于http協議的文件下載庫包完成文件下載的。

4.2 AR眼鏡與圖像識別引擎的通信

AR眼鏡先對設備拍照N張后上傳至OSS存儲,待全部上傳完后通知后臺接口。返回后臺的信息包括本次圖片數量N、順序圖片的OSS路徑信息、本次檢測類別dist_type等信息。

在后臺接口收到運維終端的通知后,調用檢測任務檢測分析對應任務，具體流程如圖6所示。運維終端根據返回值，在運維終端本地素材庫里解析相應設備種類的相應故障代碼。并且根據相應廠家的文件夾下的引導執行文件，進行向導式的指導和流程跳轉。若本地沒有素材儲存，則需要去云端下載更新到本地。

5 智能分析系統的更新與維護

智能分析系統庫建立后應設置定時更新，保證能夠通過不斷積累經驗，充實知識庫，提高整個分析系統的智能程度。為提升知識入庫的有效性，知識的更新需要人工審核流程，具體過程如下所示。

1）知識收集階段：智能分析系統運維人員進入智能分析系統管理進行知識提交。具體的知識提交規則可預先設置，也可為某一特殊情況提供入庫的綠色通道，提高該類知識的庫量。

2）知識評審階段：知識提交后，經由分析系統自身的規則校驗運算，判斷是否與現有的知識沖突。在確認邏輯上無誤后，再由技術專家委員進行審核。若評審結果不通過，則該知識銷毀或存入備用庫等待修改入庫。

3）知識審批階段：審核通過后，由智能分析系統管理人員對知識進行審批，并留下相應的日志，為以后的知識審批和事故查詢提供參考和依據。若不通過，同樣不允許發布，重新回到第一階段繼續完善知識。

圖5 圖片等數據傳輸過程

圖6 檢測任務函數調用流程

4）知識發布階段：在檢驗完知識的正確性和實用性后，同樣由部門經理將該知識發布到知識庫管理方，由其將知識導入到系統中，進行知識庫的更新與維護。

6 結論

針對當前我國在電網運檢領域的不足，本文設計了一套基于AR技術的計量運檢智能輔助系統，含AR頭盔及智能分析系統。圖像識別技術及語音交互技術的深入運用，將改變當前計量巡檢工作方式，能有效的輔助計量人員完成以往無法完成的工作，不僅提升安全主動警示的能力，而且提高計量巡檢效率。