基于頭戴式雙目相機的智能變電站巡檢巡視系統設計

(1.國網天津市電力公司設備管理部, 天津 300010;2.天津市渤海新能科技有限公司, 天津 300384)

0 引言

隨著我國社會經濟的快速發展，國家對電力設施建設的力度不斷加大，搭建了一系列遠距離的傳輸網絡和智能化的變電站，輸變電線路規模不斷擴大，為電力輸送設施的巡檢巡視作業帶來了較大的難度。目前我國國內對電力輸送設施的巡檢巡視大多采用的仍然是半自動化巡檢、射頻采集、條形識別法和手工紙介質記錄的方式，很難保證巡檢巡視的效果。可穿戴技術是一種結合了無線通信、傳感器、多媒體技術的創新技術，最早出現在美國。20世紀60年代，美國麻省理工學院媒體實驗室通過實驗開發出了最早的可穿戴技術?？纱┐骷夹g較為常見的交互方式包括觸覺、語音、眼動操作、手勢等。近年來，可穿戴技術越來越成熟，正式進入了快速發展的時期。

隨著可穿戴技術的不斷發展，相關研究成果逐漸進入了產業化和實用化的應用階段，促成了新的應用模式的發展，從根本上改變了傳統人機交互的方式，采用可穿戴式輔助系統的現場作業輔助模式被廣泛的應用于工業領域的巡檢、維修等場合?；谛畔⑼ㄐ偶夹g的發展，應用新型可穿戴式設備對電力傳輸設備和線路進行巡檢巡視成為了可能，極大的推進了電力傳輸設施的巡檢巡視作業的智能化和自動化水平。

1 基于頭戴式雙目相機的動態自定位方法

1.1 雙目視覺里程計

雙目視覺里程計利用通過圖像特征匹配算法獲得的相鄰幀的匹配特征點，以及通過雙目相機的成像原理獲得的特征點所對應的空間點的三維坐標，即可得到相機在前后兩個不同時刻的運動估計。其成像原理如圖1所示，圖中相機的坐標系由x、y、z軸組成，其中x軸表示與相機平行的方向向右，y軸表示右手系，z軸表示相機的光軸方向；二維圖像坐標系統由v、u軸組成，其中v軸豎起向下；u軸水平向右。雙目相機利用同一時刻兩個相機捕獲的有視差的圖像和雙目相機的參數即可將真實環境中空間點的三維坐標復原。

圖1 雙目相機立體成像原理圖

雙目視覺里程的圖像必須要與運動過程中前后幀的圖像及同一時刻采集的左右圖像相匹配。對視角變化及光照強度的變化與噪聲之間保持了一定的魯棒性。

1.2 IMU數據融合

在運用雙目相機視覺里程計進行定位的時候，由于各種原因，往往會產生一定的測量誤差，為了消除這種測量誤差，需要在雙目視覺里程計的基礎上，引入額外的傳感器保證定位估計的準確性，構建出一個更大規模和尺度的狀態優化模型，其中較為常用的傳感器為IMU。系統首先需要建立一個EKF狀態估計模型，通過IMU數據提高視覺里程的魯棒性和準確性，降低系統的累計誤差。IMU傳感器包括了磁力計、陀螺儀、加速度計等，是一個高精度的慣性測量單元，可以對姿態角、角速度、線加速度等數據進行測量。IMU數據融合僅僅將視覺里程計的定位估計值和姿態角的測量值融合在了一起，但是在實際的融合過程中，由于設備自身的原因，經常出現IMU時鐘與視覺里程計不同步的現象，因此需要在融合之前將時鐘不同步的問題解決掉，需要對IMU采集到的數據信息進行預處理。

2 系統需求分析

2.1 應用場景

基于頭戴式雙目相機的智能變電站巡檢巡視系統的應用場景為智能變電站系統，包含了室外變電站和室內電力控制室兩部分。其中室外變電站的使用對象為現場巡檢巡視人員，主要負責變電站現場設備的巡檢巡視工作。變電站場景具有 空間開放、尺度大、場景相似度高、干擾大、限定了行走區間的特點。本文所要解決的問題既是根據變電站場景的特點及巡檢巡視作業的需求，開發設計出適用于變電站巡檢巡視作業人員的輔助引導系統。

2.2 系統的功能需求

基于頭戴式雙目相機的智能變電站系統作業人員的巡檢作業需要具備下面幾項基本功能：

2.2.1 環境建圖

基于頭戴式雙目相機的智能變電站系統環境地圖的創建是整個系統設計的基礎與前提，系統的定位與引導功能的實現都是建立在環境地圖創建的基礎之上的。通過對未知環境的探索，創建出滿足系統功能需求的環境地圖，并將其應用于智能變電站巡檢巡視作業人員的自定位路徑引導。地圖需要支持高效的讀取，具備離線存儲功能。

2.2.2 自定位

巡檢巡視作業人員自定位的實時性和準確性對路徑的引導等功能的正常工作具有直接的影響 ，其自定位信息反映了使用者在實際真實環境中的位置，需要進行實時的更新，確保自定位信息的準確性，以及出錯時的自恢復能力。

2.2.3 路徑引導

路徑引導是智能變電站巡檢巡視系統的直接需求，智能變電站的巡檢巡視作業人員要想快速的到達等巡檢設備，就離不開路徑引導的幫助。與面向機器人的引導不同，面向人的引導應該降低人的信息負擔，直觀地向巡檢者提供有效的路徑引導，提供最優的巡檢路徑。

2.2.4 設備的可視化指導與識別

智能變電站巡檢巡視作業人員最基本的工作內容是對設備運行狀態的查看及檢修，因此基于頭戴式雙目相機的智能變電站巡檢巡視系統的設計首先需要滿足巡檢巡視作業人員的工作需求，降低巡檢巡視作業人員的工作強度，具備設備工作狀態檢測及識別的能力，對設備的運行狀態進行自動的檢測。

2.2.5 人機交互

智能變電站巡檢巡視作業人員能夠通過交互界面與系統之間進行交互，是系統實用性的直接要求，良好的交互功能能夠有效提高巡檢巡視作業人員的作業效率，使作業人員更加專注于巡檢巡視作業本身。

2.3 系統的性能需求

基于頭戴式雙目相機的智能變電站巡檢巡視系統是應用于智能變電站巡檢巡視作業的引導輔助系統，需要滿足如下性能需求：

2.3.1 實用性需求

系統需要在不對作業人員的作業工作造成影響的基礎上，為作業人員提供實用性的功能，不允許對作業人員有所限制。

2.3.2 準確性需求

系統必須要為巡檢巡視作業人員提供準確的自定位及路徑引導功能，不能將錯誤的信息提供給作業人員，以免對作業人員造成誤導。

2.3.3 穩定性需求

為了保證智能變電站系統工作的穩定性，系統應該降低各功能模塊之間的耦合，當某一功能模塊出現故障時，能夠保證其他功能模塊的正常工作，并保證當某功能模塊出現故障時能夠具備一定的自動恢復功能。

2.3.4 可擴展性需求

系統結構應該分層設計，能夠支持多種硬件設備，提供較高的可擴展性，降低模塊耦合，預留通信與集成接口，保證軟件平臺的可擴展性，方便更多功能的集成。

2.4 技術難點及解決方案

1)如何兼顧系統便攜性與視覺處理計算要求之間的矛盾。

解決方案：采用前后臺形式的分布系統，前端采用Android平臺，能夠AR技術將可視化指導信息推送給使用者；后臺負責對復雜的視覺任務的處理計算，通過網絡實現與前端的通信。

2)由于處理器計算能力有限，如何保證定位的實時性是系統的一個關鍵性的問題。

解決方案：建立起一種同時兼顧存儲簡約和信息豐富的環境拓撲圖，對環境中等檢修設備的拓撲位置關系進行描述，并將作業人員的典型巡檢作業路徑軌跡記錄下來，采用融合特征與距離的關鍵幀選擇的方法，完善關鍵幀拓撲圖。

3)基于頭戴式雙目相機的實時視覺定位存在著可靠性和精度上的不足，因此如何提高系統的可靠性也是一個非常重要的難點問題。

解決方案：采用EKF算法將IMU輸出和雙目視覺里程計輸出融合在一起，采用對極幾何約束和空間位置約束，建立起可靠的回環檢測，將通過圖優化算法對視覺里程計的累計定位誤差進行修正。

3 系統運行平臺的設計

3.1 系統的總體框架

系統根據引導輔助系統的功能需求和性能需求，利用雙目立體相機引入了面向智能變電站巡檢巡視作業的引導輔助系統，提供了友好的人機交互功能和定位導航功能，創建了環境地圖，滿足了系統的設計需求，具體框架如圖2所示。系統后臺主要由自定位模塊、環境建圖模塊、地圖管理模塊、路徑引導模塊、管理模塊、通信模塊等幾大模塊組成。

3.2 系統的硬件平臺

基于雙目相機的智能變電站巡檢巡視系統的硬件包括四部分：IMU、雙目相機、智能眼鏡和處理中心。首先將IMU固定在雙目相機上，再將裝有IMU的雙目相機固定在頭盔上。智能眼鏡的輸入設備為觸摸板，是單獨的設備，巡檢巡視作業人員直接配戴在眼部即可。處理中心選擇筆記本電腦，放置在作業人員的背包內，通過USB將處理中心筆記本電腦民傳感器連接。個體如圖3所示。

為了方便地進行實驗調試，后臺選用筆記本電腦，也可選用NvidiaJetson TX1開發版。雙目相機是定位引導與環境建模的基礎，用于對環境的感知以獲得環境圖像，是系統最核心的傳感器，本系統選用ZED雙目相機，該相機具有USB3.0接口提供高傳輸速度，有效測量距離達20 m，重量適中，便于在頭盔上的安裝。智能眼鏡選用EPSON BT-300智能眼鏡，該眼鏡采用了OLED顯示技術，可以通過投射的方式在用戶眼前虛擬顯示屏上顯示。

圖2 基于頭戴式雙目相機的智能變電站巡檢巡視系統總體框架圖

圖3 系統原型平臺組成

3.3 系統的軟件平臺

根據前后臺的不同，系統的開發平臺包括基于Unity的前端平臺和基于ROS(Robot Operating System)的后臺。其中后臺軟件的開發以節點為基本單元，對各節點的管理是通過ROS實現的，從而保證了各節點單元之間通信的可靠性，為各節點單元之間的通信提供了標準，ROS后臺開發平臺具有開源性、分布式、通用性的特點，節點之間的通信是基于ROS標準的通信機制，該機制主要有Topic和Service兩種通信方式。

圖4 地圖創建線程圖

系統后臺結構采用的是三層結構，包括系統層、中間層和應用層等，其中系統層包含了基于Ubuntu操作系統的ROS開發平臺及其所提供的第三方庫、設備驅動程序等；中間層為具體的功能模塊；應用層主要包括環境建圖、定位、引導等實用化應用程序，具體如圖4所示。

系統的前端軟件的開發基于Unity平臺，該平臺同時支持VR、AR，具有工具豐富、跨平臺的特點，是一款專業的游戲引擎，能夠在搭載Android系統的智能眼鏡上運行。

3.4 系統模塊的設計

3.4.1 自定位模塊

該模塊是實時引導及環境建圖的基礎模塊，在雙目視覺里程計的基礎上，將位姿優化和回環檢測等加入到模塊當中，通過視覺里程計和IMU的融合，獲取準確的定位信息。由于模塊中添加了回環檢測功能，因此如果視覺里程計失效，當作業人員回到先前經過的位置時，系統能夠自動恢復定位。自定位模塊的主要函數如表1所示。

表1 自定位模塊的主要函數

3.4.2 環境建圖模塊

環境建圖模塊以定位算法為基礎，針對作業環境的特點對作業環境進行建圖，并將其保存在數據庫中。地圖構建主要包括三個方面的功能：視覺里程計運行的跟蹤功能、傳感器數據的獲取功能及全局地圖的優化功能，包含了運動跟蹤、創建關鍵幀、回環檢測及地圖優化等4個線程。具體如圖4所示。

3.4.3 路徑引導模塊

該模塊是以環境建圖模塊所創建的地圖為基礎，對巡檢巡視作業人員的路徑進行規劃與引導。路徑引導模塊包括兩部分：室外環境引導和室內環境引導，其中室外環境引導是分層進行的，通過拓撲圖路徑規劃算法，得出從起始點到目標點的最短路徑。在進行引導的過程中，如果回環檢測檢測到了回環，則將其視作新的起始點，對引導軌跡進行重新規劃(室外路徑引導的主要函數如表2所示)。而由于室外環境引導的路徑規劃與引導是建立在進程計和拓撲圖的基礎之上的，但是由于對拓撲圖過度依賴，影響到規劃路徑的效果，另外由于系統對環境建圖的要求也比較高，因此在室內環境的引導規劃過程中，需要根據概要地圖中的柵格地圖對路徑進行規劃，通過實時全局定位，直接獲得巡檢巡視作業人員在柵格地圖中的當前位置，快速地規劃出巡檢巡視的引導路徑。

表2 室外路徑引導的主要函數

3.4.4 管理模塊

管理模塊包括后臺軟件管理模塊和前端軟件管理模塊兩部分，前端軟件管理模塊以智能眼鏡為運行平臺，包括人機交互模塊、可視化裝配與指導模塊、設備檢測與識別模塊及路徑引導可視化模塊等。系統通過多進程的方式執行各種任務，保證了某一任務執行過程中出現錯誤不會對整個前端軟件的運行產生影響，降低了任務之間的耦合關系。

3.4.5 通信模塊

該模塊采用ROS典型的topic工作模式，通過訂閱相應的topic得到原始的ROS數據，并通過函數回調的方式對多個topic的數據接收進行處理。通信模塊的傳輸層使用TCP/IP協議，采用流套接字進行數據通信，系統的前端為客戶端，后臺為服務器。通信機制采用了回調函數的方式對數據進行處理。該模塊根據目前系統的通信需求，在系統中設置了固定的topic，并編寫了針對每一個subscriber的消息回調函數，提高了系統的可擴展性。通信模塊的主要函數如表3所示。

表3 通信模塊的主要函數

4 系統實驗驗證評估

4.1 基本功能測試

4.1.1 自定位測試

自定位實驗的目的是為了對實際行走路徑閉合的狀態下考察融合IMU視覺定位法與純視覺定位法起點與終點之間的距離誤差。測試方法為巡檢巡視作業人員頭戴相機在室內非結構化環境中從起點到終點繞行數圈。經過多次實驗，實驗結果基本相似，說明與純視覺里程計相比，融合IMU的里程計定位精度更高。

4.1.2 地圖定位測試

利用事先創建的環境概要地圖，通過位姿偏差補償對全局進行定位，當視覺定位出錯時，人為的將相機朝向視覺特征較少的參照系，如白墻等，當回環檢測檢測出回環的時候，，全局位姿通過位姿偏差計算可以恢復到初始狀態，說明系統的實用性比較強。

4.2 系統整體運行演示

4.2.1 室內作業環境

模擬任務為巡檢巡視作業人員從智能變電站的控制室出發到達指定設備，檢查指定設備的運行狀態，并按要求操作設備。首先作業人員在系統設置的導航目標的引導下到達目標位置。當作業人員到達目標位置之后，前端設備將設備的檢測與識別功能開啟，作業人員即可在系統的指導下對設備進行操作。實驗結果表明系統的前后臺各模塊之間通過按照設定的工作流程協調工作，充分驗證了系統的實用性。

4.2.2 室外環境引導任務演示

室外環境引導任務演示的模擬任務為對巡檢巡視作業人員的室外定位與引導。首先作業人員設置導航目標，完成初始全局定位，然后作業人員在系統引導可視化模塊給出的有效路徑指引下下運動到目標位置。演示結果表明引導可視化模塊為作業人員提供了有效的路徑指引。

5 結語

傳統的電力設備巡檢巡視方式存在著人員安全性不足、信息量單一的缺陷，而基于可穿戴設備的智能巡檢巡視系統有效地彌補了傳統巡檢巡視方式的不足，極大地提高了巡檢巡視作業的效率和準確性，使作業人員的巡檢巡視作業更加高效和安全，降低了巡檢人員的勞動強度。本文設計的基于雙目相機的智能變電站巡檢巡視系統充分考慮了智能變電站的應用場景和功能、性能需求，實現了對作業人員的巡檢巡視路徑的最佳指引，極大地提高了作業效率、準確性及安全性，達到了系統設計的初衷。