基于網絡的無人機巡檢作業仿真培訓交互系統設計與開發

林厚飛 葉 靜 林權威

（國網浙江省電力有限公司平陽縣供電公司，浙江 溫州 325000）

0 引言

無人機巡檢作業作為一種新的巡檢方式，目前，在輸配電架空線路、變電站等電力行業領域得到了廣泛的應用，其通過搭載不同的輔助設備可以完成如現場照片、溫度、三維激光點云等數據的收集。與人工巡檢相比有很多優點。人工巡檢不僅勞動強度大，且巡視周期長，巡檢結果也無法及時反饋。而無人機巡檢不僅能降低人員的勞動強度，還能巡視到人工無法巡檢的位置，提高了巡檢的效率及準確性。當前，從事無人機巡檢作業工作，需要在上崗前進行大量的理論、實操培訓，并通過AOPA（中國航空器擁有者及駕駛員協會）或電力行業無人機巡檢作業培訓考核之后才能持證上崗。但取得證書后，在實際飛行過程中，依然有墜機、飛行故障等情況發生，故需開發一種與實際飛行效果相同的培訓軟件，用于學員在日常培訓中掌握無人機巡檢作業的相關規范以及無人機飛行技能、技巧。

沉浸式仿真技術是電力系統技能培訓的重要工具[1，2]，在線路巡線檢修、變電站操作、電力安全培訓應用中發揮了重要作用。通過建立電力培訓仿真平臺，構建電氣運行設備三維場景來模擬真實的現場作業環境，使受訓學員模擬近乎真實的操作體驗。文獻[1]采用3DMax技術搭建虛擬電力培訓平臺，并結合OpenGL讀取功能增強系統的可交互性；文獻[2]設計出一套沉浸式變電站仿真培訓系統，并在廣東省電力公司培訓實現應用。

隨著我國電力系統向廣泛互聯、智能互動、靈活柔性、安全可控的新一代電力系統方向發展，智能可穿戴裝置在電力系統中的應用大幅提升[3，4]，使用戶能與三維場景中的虛擬設備進行互動，受訓人員能夠在不受安全威脅的情況下，高效地完成各種作業流程的培訓任務，從而大大縮短培訓時間、減輕現場作業負擔、規范電力操作流程、提升現場作業效率。然而目前未見人機交互裝置在無人機巡檢作業培訓中的具體應用。

本文以輸電線路無人機巡檢作業基礎知識、實際操作為基礎，采用網絡、數據庫、三維仿真、虛擬現實、人機互動等技術，闡述了基于網絡的無人機巡檢作業仿真培訓交互系統設計及開發方案。系統完成后能夠實現個人及班組的輸電線路無人機巡檢作業項目的仿真培訓，強化互動性培訓過程，提升培訓的生動性、實踐性，為無人機巡檢作業培訓提供了一種新穎可靠的途徑。

1 基于網絡的輸電線路無人機巡檢作業仿真培訓交互系統設計方案

1.1 設計原則

（1）系統具備良好的可擴展性、實用性、可靠性、易用性以及安全性，便于投入使用后的學習、使用、維護以及升級等工作。

（2）系統盡可能地呈現出物理信息融合的特點，物理上實現視覺、聽覺、觸覺上的功能模擬，又有信息上的多類別、多層面的協調功能，提供海量在線作業標準、規程和示范信息。

（3）實現網絡互聯，充分利用培訓平臺和后臺反饋數據，形成學員互助共享的技術庫和素材庫，重點關注對學員用戶的持續跟蹤和交流專區的建立。

1.2 系統功能需求

系統功能構架如圖1所示。

圖1 系統功能構架

系統采用理論培訓與交互操作訓練相結合的方式實現大規模的輸電線路無人機巡檢作業集中式教學。理論培訓模塊涵蓋了無人機基礎訓練、精細化巡檢等項目作業流程、技術規程、作業指導書、工器具資料、項目資料等內容；交互操作訓練模塊具備手勢交互、語音交互、虛擬融合顯示、空間定位、無線通信等功能；培訓管理功能模塊實現對整個系統運行的監督和記錄，并對實時分析考核結果、反饋評價意見。

2 系統的構建

2.1 網絡架構

目前，提供共享文件服務的應用大多基于C/S結構[5]。C/S模式的服務器多采用集群式并發架構，以充分保證服務器的效率和安全。這種方式對服務器的穩定性要求高，服務的資源也受到限制[6]。本文系統將服務器集群按功能劃分為以下五種：（1）登錄服務器；（2）網關服務器；（3）數據庫服務器；（4）UDP服務器；（5）作業項目服務器。在具體實施中可能加入其他不同功能的服務器，共同組成服務器集群。為用戶提供豐富的培訓內容，滿足無人機巡檢作業培訓需求。

由于無人機巡檢作業技能培訓本身的特殊性和專業性，本系統采用C/S模式與P2P模式相結合的網架結構，通過P2P文件共享子系統，收集整理組內所有用戶端的共享文件信息，供所有學員查詢使用。充分利用C/S模式的中心服務器來管理視頻、音頻、文本等培訓資料，同時利用P2P技術來開拓協同學習和互助學習等領域，用于學員之間的溝通交流互動。

如圖2所示，在本系統中，服務器和客戶端之間采用C/S模式，客戶端之間根據房間的不同劃分為多個小的P2P網絡。基于此，客戶端之間實現了數據緩存的共享，從而減少對服務器的訪問，降低了系統阻塞的可能性。結構示意圖如圖2所示。

圖2 C/S和P2P混合模式結構示意圖

2.2 系統硬件平臺構成

本系統開發了一套無人機巡檢作業仿真培訓系統硬件，用于增加學員培訓時的真實感和沉浸感，包含操控臺、虛擬現實眼鏡、人員定位模塊、飛控模塊、模擬遙控器等，給學員提供了交互式的學習、認知和培訓體驗。系統硬件平臺如圖3所示。

圖3 系統硬件平臺

硬件平臺構成運行方式如下：將培訓管理數據庫存儲至系統主機，操控臺與系統主機連接，構建與數據庫中無人機巡檢作業環境相匹配的虛擬模型投射于顯示屏上；受訓者佩戴虛擬現實眼鏡，并根據語音或文字指示使用模擬遙控器進行操作，飛控模塊解析模擬遙控器發送的相關指令，并將解析后的指令后傳遞給系統主機，顯示屏上實時顯示受訓者虛擬環境下的受訓畫面；人員定位模塊用于匹配虛擬環境下受訓人員的作業位置，保證受訓者在虛擬環境下處于正確位置，受訓者使用模擬遙控器發送相關指令，按照相關規程規范完成無人機巡檢作業的所有步驟。

2.3 系統軟件平臺構成

2.3.1 軟件支撐平臺

本系統開發主要采用以下支撐軟件：3Dmax、Unity3D、VC++等。其中，3Dmax主要用于建立工器具和人物模型。Unity3D具有開發成本低、應用程序穩定、開發周期短的優勢，主要用于三維虛擬現實開發。VC++是開發程序，具有穩定性好、完全支持面向對象編程的特點，主要用于底層代碼的編寫。本文系統的開發環境如表1所示。

表1 軟件支撐平臺

為加快項目開發進度，在軟件開發過程中，采用循環開發和并行開發的模式。系統開發過程如圖4所示。

圖4 軟件開發過程

2.3.2 模型與場景設計

模型和場景設計主要應用3DMax、Maya、Photoshop和Zbrush軟件。設計流程如下：（1）根據輸電線路無人機巡檢作業具體項目確定模型或場景的要求；（2）到無人機巡檢作業現場拍攝照片；（3）綜合現場照片和設備尺寸在3DMax或Maya中制作無人機、鐵塔等模型；（4）依據現場照片，通過Photoshop制作模型精細貼圖；（5）使用Zbrush制作精細化人物貼圖；（6）在3DMax中制作并輸出模型文件，將模型導出為系統開發需要的格式模型，作為最基本元素被讀入系統，根據系統開發需要，構建與實際環境相符的輸電線路通道環境進行渲染完成用戶需求的三維場景。

三維場景搭建流程如圖5所示。主程序信息腳本和場景構造腳本都是文本文件格式的自定義腳本文件，主程序信息腳本主要包括程序初始化信息；場景構造腳本針對不同的需求具有不同的腳本文件，可根據用戶需要開發多個場景構造腳本文件。

圖5 三維場景的搭建流程

2.3.3 基于Airsim+Pixhawk飛控的半實物仿真

研究基于AirSim的飛行模擬器，系統采用Airsim+Pixhawk飛控模擬無人機飛行的真實物理狀態，并采用真實的無人機遙控器進行控制，逼近真機的操作感，飛行操控涵蓋目前常用的四旋翼、六旋翼、八旋翼機型。

飛控模塊主要通過解析遙控器發送到程序中的通道數據，組成一套特定范圍內的變量，通過變量來控制VR程序中無人機的各項飛行參數，再在參數基礎上使用特定的算法模擬無人機真實飛行姿態，從而實現對無人機飛行的控制。

（1）基于AirSim的飛行特性模擬

系統基于微軟開源的AirSim模擬器進行開發。通過AirSim創造一個高還原的逼真輸電線路通道虛擬環境，并模擬現實世界中陰影、反射等容易干擾的環境因素，讓無人機不同經歷真實世界的風險就能進行訓練。AirSim半實物仿真實現過程如圖6所示。

圖6 Air Sim半實物仿真實現

（2）基于pixhawk的飛行姿態模擬

pixhawk是3DR、DIYDrones和瑞士PX4團體聯合開發的新一代產品，如圖7所示。Pixhawk是第三代飛行控制系統（第一代為APM，第二代為PX4），主控制器采用32為STM32F-427處理器，可外接不同的傳感器，如加速度計、GPS傳感器、陀螺儀、磁力計、氣壓計等，可擴展的I/O接口和各種專用接口，支持CAN總線、I2C總線、S.BUS總線和UART通信。micro SD存儲卡用于存儲數據日志。

圖7 Pixhawk構成

Pixhawk主要由硬件和配套軟件構成，整體架構如圖7所示，硬件部分主要整合了PX4-FMU控制器和PX4-IO，軟件部分主要包括NuttX實時操作系統、PX4中間件和PX4飛行控制棧三部分。

2.3.4 數據庫的設計

本仿真培訓系統利用MySQL數據庫管理以下數據： 人 員 檔 案 信 息 （User_Info）、 考 試 題 目 庫（ExamQuestion_Info）、外部引用文件信息（EXEINFO）、模型數據庫等。各種模型、場景數據存儲在電腦硬盤中，在數據庫中記錄文件路徑，數據調用通過數據庫查詢數據文件路徑實現。

3 系統應用案例

3.1 案例展示

系統界面是實現人機交互的重要窗口。學員在系統界面進行操作，并及時地把相關信息反饋給學員，引導學員完成相應的學習任務。在系統界面中，功能按鈕包括：系統界面、基本訓練、天氣選擇、場景選擇、機型選擇、操作方式等（見圖8）。通過功能按鈕的操作，明確受訓人員接下來的受訓任務，如基礎飛行訓練、精細化巡檢訓練、應急處置訓練的鞥。本系統主要實現無人機培訓訓練的演示與模擬飛行功能。重點涉及飛行環境的選取，不同方式的動畫演示以及相配套的文字和聲音的添加，不同視覺方位的切換，這些邏輯通過VRP的腳本編輯器和事件編輯器來完成。在腳本編輯器中，運用軟件自帶的腳本命令完成各種交互功能的實現。

3.1.1 基礎技能培訓

根據無人機基礎技能訓練內容，設計基礎技能操作（見圖9），進階飛行技能操作并根據AOPA或電力行業無人機培訓取證要求，設計無人機基礎飛行技能培訓模塊，滿足學員由基礎飛行技能訓練、進階飛行技能訓練以及AOPA考試訓練的培訓需求，學員可在崗完成學習訓練，提升培訓效率的同時極大地降低因訓練失誤導致的炸機損失。詳情如下：

AOPA：具備無人機起飛、降落、懸停、360°自旋、8字飛行等AOPA飛行技能。

基礎操控：支持GPS飛行模式/姿態增穩模式；支持起飛降落、靜止懸停、多高度懸停、水平移動、45°角懸停、90°側向懸停、對角懸停。

進階操控：支持GPS飛行模式/姿態增穩模式；支持定向水平圓周飛行、機頭向外圓周飛行、短距自由飛、中遠距返航行、機頭定向8字飛行；支持第一人稱視角飛行；支持機頭向心圓周飛行。

圖8 軟件啟動界面

圖9 基礎飛行訓練界面

3．1．2 無人機巡檢作業

根據溫州電網線路特點將真實場景中的桿塔、絕緣子以及金具等器件按照比例及樣式布置等真實的在虛擬場景中建模。根據溫州典型地形特點，使用現有數據進行實景三維地形地貌還原，真實模仿溫州的氣候、植被和地形等細節。在場景選擇上包含在電力巡線過程中常見的直線、耐張、同塔多回等常見桿塔類型，根據溫州當地實際情況進行數據采樣和建模。選擇具有代表性的500 kV輸電線路（5 km），對其進行三維場景及桿塔建模、及標準化巡線模式定制。

還原真實輸電線路巡線場景（見圖10），制作仿真度極高的應用場景，包括500 kV的直線、耐張等常見鐵塔類型。深入實地調研，設計溫州輸電線路仿真巡視流程。這些巡線流程會被加入仿真培訓系統中，顯著提升培訓的實用性。

圖10 精細化巡檢界面

3．1．3 無人機應急處置

在軟件功能模塊中選擇任務無人機故障體驗后進入場景，即可開始無人機故障體驗功能，目前故障體驗有三個方面：（1）信號干擾；（2）動力失效；（3）起降點不平。學員可以在進入場景后選擇相應的故障來體驗不同的突發狀況。可以通過特定按鍵來重新選擇需要體驗的故障或者恢復無人機故障。應急處置界面如圖11所示。

圖11 應急處置界面

3.2 交互操作與測試

實際的無人機巡檢作業仿真培訓交互系統布置如圖12所示，系統構建了1臺操控臺、2臺顯示設備、1套虛擬現實眼鏡、1套無人機模擬遙控器以及網絡仿真訓練所需要的交互設備。學員可分別扮演班組中不同的作業人員，單人或共同完成作業項目，實現多用戶、跨區域的無人機巡檢作業仿真訓練。另外，視覺、聽覺、觸覺結合的三維立體培訓情境能全面提升無人機巡檢作業培訓的學習、認知及培訓效果。

圖12 仿真培訓交互系統布置

4 結論

本文設計的基于網絡的無人機巡檢作業仿真培訓交互平臺采用“理論學習—交互操作—反饋”的方式實現輸網無人機巡檢作業培訓教學，一是結合輸配電網無人機巡檢作業標準化作業方法完成課程學習，并進行網上測評；二是通過人機互動裝置打造立體化的仿真操作演練區，充分展示無人機巡檢作業仿真環境、操作流程和作業方法，供用戶發現操作流程中的薄弱環節并熟悉預警機制，掌握標準化輸配電線路運行檢修作業技能，使培訓效果達到最優。實際應用案例表明，本系統在在無人機巡檢作業培訓中具有較好的發展前景。