基于虛擬現實的變電站機器人工作狀態智能監測系統

蘇雷濤，王 銳，汪 政，周 原

(廣東電網有限責任公司 電力科學研究院，廣東 廣州 510080)

變電站設備的常規平穩運行直接決定整個變電站運行與生產的安全性，故而需定時檢查變電站內設備[1]。但因變電站內設備眾多，人工定期巡檢工作量較大，易因未及時發現設備異常情況導致發生設備故障等重大問題，且隨著電力系統的自動化水平持續提升，變電站的設備巡檢等工作逐步轉變為無人化狀態，故而以變電站機器逐步被應用于各大變電站內[2-4]。變電站機器人可通過模式識別與圖像處理等相關技術，及時巡查并檢測變電站內設備，分析設備的工作狀態，實現對變電站內設備運行狀況的智能、實時精準檢測[5]。但因外界條件等干擾因素的存在，導致變電站機器人工作時可能發生異常狀態，故應采取恰當的監測方式及時發現其異常工作狀態并實施有效的控制，以保障其正常行及其所檢測設備狀態信息的準確性[6-7]。變電站機器人的移動較為靈活，無法通過有線連接的方式對其工作狀態實施監測，故需運用無線通訊方式實時采集其工作狀態數據，并結合遠程人機交互技術實現對變電站機器人工作狀態的智能監測[8]。

虛擬現實技術可運用計算機實現三維虛擬環境的模擬，為用戶營造環境沉浸感受[9-10]。為此，設計了基于虛擬現實的變電站機器人工作狀態智能監測系統，實現對變電站機器人工作狀態的智能監測與異常預警，為及時發現機器人異常工作狀態、有效調整控制機器人作業提供科學依據。

1 變電站機器人工作狀態智能監測系統

1.1 系統整體架構

基于虛擬現實技術構建變電站機器人工作狀態智能監測系統，該系統主要由雙目視覺單元、數據庫單元、分析顯示單元、人機交互單元、任務規劃單元以及監測控制單元等構成(圖1)。

圖1 系統整體架構

(1)雙目視覺單元。包括采集模塊與視頻壓縮編碼模塊，其中采集模塊由雙目攝像機與傳感器構成，通過雙目攝像機采集所需視頻圖像，運用傳感器采集機器人位置信息等，為數據庫單元提供基礎數據；視頻壓縮編碼模塊是通過DSP芯片IP2970對采集模塊獲取到的視頻動態圖像實施M-JPEG編碼，降低視頻數據量提升采集效率。經壓縮編碼后的視頻圖像傳送至數據庫單元實施存儲，同時將指定的圖像呈現于顯示單元的顯示屏上。

(2)數據庫單元。主要由虛擬機器人子數據庫、虛擬工作環境子數據庫以及工作任務子數據庫構成。其中機器人子數據庫所儲存的是變電站機器人的三維模型數據與參數、以及工作狀態等；虛擬工作環境子數據庫所儲存的是工作場景與工作對象的模型數據；工作任務子數據庫內包含數個任務說明文件，經由變電站機器人的數條運動命令對此類文件內的任務指令實施描述，將各個任務指令名稱設計給工作任務內的各個環節，同時運用機器人運動命令實現機器人動作的描述。

(3)分析顯示單元。運用C++編程二次開發虛擬現實平臺(Virtual Reality Platform，VRP)軟件的功能，對VRP場景予以調用，將機器人子數據庫內的機器人三維模型與工作狀態以及工作環境子數據庫內的機器人工作場景與工作對象圖像呈現。

(4)人機交互單元。能夠提供不同種類監測控制菜單、虛擬現實場景以及監測窗口等，屬于一種人機交互界面。它的輸入信息可包括語音、位置及任務指令信息等，當任務指令輸入后，人機交互界面經由Socket通訊向任務規劃單元傳送該指令。

(5)任務規劃單元。主要由工作動態軌跡模塊、定位測量模塊以及任務模塊等組成，當此單元接收到人機交互單元所發送的任務指令后，由C++語言添加到任務模塊內，并通過定位測量模塊實施定位測量獲得機器人工作動態軌跡存儲于軌跡模塊內。

(6)監測控制單元。接收到工作動態軌跡表與運動命令時，依據所接收信息監測控制變電站機器人工作狀態，當監測到異常工作狀態時由預警模塊發出預警，并通過運動控制模塊對機器人實施操控。

1.2 系統硬件設計

1.2.1 系統功能設計

變電站機器人工作狀態智能監測系統的主要功能包括：三維場景漫游、機器人工作狀態顯示、智能監測預警、人機交互控制、歷史數據查詢分析、定位測量等(圖2)。

圖2 系統功能

1.2.2 M-JPEG編碼硬件設計

動態圖像壓縮技術M-JPEG(Motion-Join Photographic Experts Group)是在靜態圖像壓縮技術(JPEG)基礎上衍生而來的，其所生成為序列化動態圖像[11]。由于常規雙目攝像機所輸出的視頻數據幾乎均為YUV格式，需對此類格式的視頻數據實施編碼，以此降低帶寬需求達到視頻的遠程傳輸目的。若運用相關編碼軟件實施編碼效率較低，易降低整體視頻傳輸的實時性[12]。故而，為實現系統的實時視頻數據傳輸，提升視頻編碼效率，選取具備M-JPEG編碼能力的DSP芯片IP2970編碼壓縮雙目攝像機所輸出的視頻數據。此芯片的內部硬件結構設計如圖3所示。DSP芯片IP2970通過對雙目視覺攝像機所采集的視頻數據實施硬件M-JPEG編碼，將視頻的采集與編碼效率提升，同時因壓縮編碼后視頻數量降低，使系統的網絡傳輸幀率有所提升。該芯片內部具備M-JPEG編碼及信號處理等專業圖像傳感器數字功能，并能夠兼容USB全速接口。

圖3 DSP芯片IP2970內部硬件結構

1.2.3 運動控制模塊設計

當系統監測到變電站機器人工作狀態存在異常并發出報警后，由系統監測控制單元內的運動控制模塊對機器人工作狀態實施控制。運動控制模塊電路硬件如圖4所示。運動控制模塊的電路硬件中主要包括編碼器接口電路、電源電路、STM32最小電路、脈沖驅動電路以及MAX3232接口集成通訊電路等。其中，編碼器接口電路的功能為轉換電機所反饋的差分信號為單端信號，同時向STM32傳送該信號；電源電路的關鍵任務是轉換所輸入電壓為所需電壓；STM32最小電路的作用是將復位電路與時鐘提供給芯片，同時對控制芯片的平穩運行予以有效保障[13]；脈沖驅動電路的功能是放大STM32所生成的信號并向驅動器傳輸，實現對電機運轉速度的操控；接口集成通訊電路是主要任務是轉換TTL電平為232電平，達到同計算機通信的目的。

圖4 運動控制模塊電路硬件設計

1.3 系統軟件設計

1.3.1 虛擬場景交互過程設計

VRP-SDK是以VRP內核為基礎的二次開發接口，可面向部分高級需求行業用戶[14]。運用SDK程序主體對VRP腳本實施調用，采用所調用VRP腳本實現同VRP三維場景的交互控制，提升VRP的整體功能。VRP腳本可實現對三維虛擬模型的數據庫操作、運動控制及分屏操控等，經由VRP-SDK向系統內嵌入VRP三維顯示窗口，對SDK內的函數予以調用，以該調用函數操控三維虛擬模型屬性，此操作的實現可運用SDK所提供的事件回調函數實現[15]。虛擬場景交互過程如圖5所示。通過上位機軟件持續掃描無線網絡所傳輸的變電站機器人位置信息，若所掃描的信息不是目前機器人的位置信息，則返回程序繼續掃描；反之則對VRP虛擬場景予以調用，同時統一雙目攝像機的起始點坐標和目前工作機器人的位置坐標；在變電站機器人工作時，經由傳感器采集到它的動態方位等信息，并向上位機上傳此信息，當上位機將機器人的動態信息掃描到之后，可運用SDK程序對VRP-SDK內的移動攝像機腳本實施調用，令虛擬場景能夠與工作動態機器人的移動保持同步，達到工作狀態場景的實時效果呈現。

圖5 虛擬場景交互過程

1.3.2 定位測量算法設計

定位測量算法的運算過程主要包括機器人三維模型庫的創建、實時場景圖像內機器人的識別、場景三維空間信息的獲取以及機器人位置及尺度的獲取，具體過程描述為。

(1)機器人三維模型庫創建。對變電站機器人工作環境場景中不同作業機器人的三維模型信息實施手動選擇，為區分不同作業機器人，為每種作業機器人實施編號，依次向數據庫內儲存各作業機器人的三維模型信息，實現變電站工作機器人模型庫的創建。

(2)實時場景圖像內作業機器人識別。通過模板匹配算法依據所創建的機器人模型庫識別實時場景內的作業機器人。其中可將模板看作一幅已知的小圖像，模板匹配算法就是運用SAD算法在大圖像內將同模板特征相同的目標找出，同時確定此目標的詳細位置信息。若模板A屬于八位圖像，且其像素為M×N個，將此模板放于待查尋大圖像U上移動，待查尋大圖像U的像素為X×Y個，模板A所遮蓋部分設為子圖Uij。其中，大圖像U上左上方子圖的坐標以i，j表示。查尋區間設為：

(1)

通過對比模板A與子圖Uij的相似性，達到模板匹配的目的。模板A與子圖Uij的匹配度衡量標準為：

(2)

式中，D(i，j)為待查尋圖像內(i，j)坐標位置同模板相似度的度量；A為模板圖像函數；U為待查尋圖像函數；i、m為圖像橫；j、n為縱坐標變量；A(m，n)表示在(m，n)坐標位置圖像的灰度值。

(3)場景三維空間信息獲取。通過搜索算法將雙目攝像機左右兩目差別投影圖像各場景點的各個投影點找尋到，并運算出所找尋各個投影點在左右兩目圖像內的位置差，依據所得運算結果與攝像機內參對攝像機距此場景點的間距實施運算，以此獲取到此場景的三維點云信息。

(4)作業機器人位置及尺度獲取。在場景三維空間信息獲得的基礎上，運用前述識別到的圖像內不同作業機器人的位置區間，即可將各作業機器人的尺度與三維位置信息獲取到，向主計算機上傳此類信息，即可達到作業機器人模型實時同步的目的。

2 實驗結果分析

以某變電站巡檢機器人作為實驗對象，將本文系統應用于此變電站中，監測實驗機器人的工作狀態，檢驗本文系統的實際應用效果與性能。實驗變電站區域內所需巡檢設備共計35處(編號為1—35號)，運用本文系統監測實驗巡檢機器人的實時工作狀態，檢驗本文系統監測過程中的視頻傳輸時效性、虛擬場景呈現效果、定位測量誤差以及監測效果等情況。

2.1 視頻傳輸時效性檢驗

將本文系統所采集到的3 000幀視頻數據平均劃分為10組(a—j)實施視頻傳輸，統計本文系統傳輸各組視頻數據的傳輸幀率，檢驗本文系統的視頻傳輸時效性。統計結果如圖6所示。通過圖6能夠看出，本文系統的各組視頻數據傳輸幀率均可達到29 f/s且較為平穩，平均傳輸幀率為30.62 f/s，視頻傳輸幀率較高，可保障視頻傳輸的時效性，原因是本文系統運用了硬件M-JPEG編碼所采集視頻數據，提升了視頻的采集與編碼效率，并降低了視頻數量，故而提高了視頻傳輸幀率。

圖6 視頻傳輸幀率統計

2.2 虛擬場景呈現效果檢驗

檢驗本文系統在虛擬場景交互過程中的機器人工作狀態虛擬場景實時呈現效果，如圖7所示。由圖7可以看出，本文系統在虛擬場景交互過程中能夠保持虛擬場景同機器人的移動同步，實時呈現機器人工作狀態虛擬場景，且所呈現效果清晰流暢未出現延遲問題。

圖7 虛擬場景呈現效果

2.3 定位測量誤差檢測

檢測本文系統監測過程中對實驗巡檢機器人實施定位測量的定位誤差情況，分別為實驗巡檢機器人設定150、350、650、900 cm四種長度的巡檢路程與25、50、85、100 cm/s四種巡檢速度，對不同巡檢路程與巡檢速度下機器人的定位測量誤差統計結果如圖8所示。分析圖8可得出，在相同的機器人巡檢路程下，隨著巡檢機器人速度的提升，定位誤差存在輕微上升趨勢，但本文系統針對不同巡檢路程與巡檢速度下機器人實施定位測量的定位誤差均未超出1 cm，可見，本文系統監測過程中，具有較高的定位測量精度，能夠為實時精準監測機器人的工作狀態提供有效幫助。

圖8 定位測量誤差統計結果

2.4 監測效果檢驗

變電站巡檢任務線路與本文系統監測軌跡如圖9所示。

圖9 變電站巡檢任務線路與本文系統監測軌跡

實驗變電站的5條日常設備巡檢任務線路(A—E)依次為：1號—2號—3號—4號—5號—6號—7號、1號—8號—15號—22號—29號—30號—31號、1號—9號—17號—25號—33號—34號—35號、10號—11號—12號—13號—14號—21號—28號、16號—23號—24號—32號—26號—27號—20號—19號—18號，具體如圖9(a)所示，通過本文系統監測實驗巡檢機器人在執行5條設備巡檢任務線路過程中的工作狀態，獲得巡檢機器人工作動態軌跡結果如圖9(b)所示。

本文系統對機器人工作狀態的監測結果與異常報警情況詳見表1。結合圖9與表1能夠得知，本文系統可監測到機器人的實時巡檢工作動態軌跡，同時依據所得工作動態軌跡得出機器人的工作狀態，并在機器人工作狀態存在異常時發出報警，無遺漏工作動態軌跡與報警情況，實際應用效果顯著。

表1 本文系統監測結果與報警情況

3 結語

為保障變電站機器人的常規運行，需對其工作狀態實施監測。為此，本文針對基于虛擬現實的變電站機器人工作狀態智能監測系統展開研究，通過結合虛擬現實技術構建變電站機器人工作狀態智能監測系統，經由系統內各單元的相互協作，實現對變電站機器人工作狀態的實時監測及異常工作狀態的預警，并通過實驗驗證了本文系統可高幀率傳輸視頻數據，保障所采集視頻數據傳輸的時效性，清晰流暢地呈現變電站機器人工作虛擬場景，能夠實現對不同路程與速度下機器人的高精度定位測量，并依據測量結果獲得機器人工作動態軌跡，分析其工作狀態，在出現異常工作狀態時發出預警，達到智能監測變電站機器人工作狀態的目的。