基于語義本體的無人機人機交互控制方法研究

徐巍峰 徐非非 王文軍 潘明華 孟繁東

1(浙江省麗水市正好電力實業集團有限公司 浙江 麗水 323020)2(浙江省麗水市正陽電力建設有限公司 浙江 麗水 323020)

0 引 言

通過自然語言交互[1]方法對智能機器進行遠程操控，已被廣泛應用于應急救援、危險作業、電力巡線檢測等場景中。小型無人機能夠通過傳感載體對高空態勢進行有效的探測和數據采集，尤其在電力巡線中可以減少人工檢測的復雜度，但目前對于特殊專業無人機的操控仍需專業訓練的操作人員，通過自然語言的形式發出指令，當操作人員對態勢環境不熟悉的情況下需要大量專家經驗或重新了解地面環境知識，以作出進一步的分析和實施。與地面機器人人機交互不同，無人機在保證飛行安全的同時，要完成更加精準和穩定的復雜動作，針對不同領域環境狀態調整無人機人機交互方式及如何融合各種狀態下無人機的應對能力，是無人機智能可控研究面臨的挑戰[2-3]。

對于人機交互系統，操作人員對智能機器的操控很大程度上取決于機器對指令用意和周邊環境的語義理解[4]，語義本體[5-6]建模對自然語言的領域概念結構及相互關系進行定義推理是目前較為成熟的技術，它采用標準化的統一格式能夠實現人機交互的語義理解，進而達到人機交流的共識標準。由于語義交互方法大部分用于地面機器人的導航系統[7-9]，較少涉及無人機人機交互操控方法的研究和應用。已有方法大致可分為兩類：(1) 集中于在模型框架的方法。如文獻[10]采用多層認知框架的知識表示方法，描述無人機個體行為規劃和聯盟形成的過程，在高級認知活動和反應控制信號方面生成一個中介應用于無人機控制中；文獻[11]在預測模型中融入語義知識表示方法刻畫物理環境實體，提供無人機交互控制的工具。(2) 集中于在建立自然語言接口的方法。如文獻[12]設計了基于領域自然指令方法，建立了面向自然語言接口的無人機交互控制系統；文獻[13]借助層級式空間表達方式將地圖信息和環境實體抽取為概念圖，并用邏輯本體語言存儲相關領域知識推理環境實體，實現機器人或飛行器的人機交互的語義理解；文獻[14]將postGIS[15]空間數據庫的數據融入到語義地圖框架，提出了在幾何空間約束下的定性目標推理方法，為無人機飛行器提供基于postGIS和語義地圖的3D操控框架。

基于上述研究，結合認知框架和自然語言接口的優勢，本文以電力巡線為領域背景，將語義本體引入無人機人機交互，以電力環境信息作為先驗知識和本體推理的基礎，構建關于概念本體的知識庫和多元語義關系模型，通過標簽稀疏拓撲圖推理語義位置關系，為無人機電力巡線提供軌跡控制和語義導航服務。

1 語義交互模型

1.1 系統框架

為提供人機交互控制的統一機制，系統框架由本體事實庫、多元語義關系結構和語義解釋接口組成。(1) 本體事實庫是標準化的概念模型，為無人機環境感知提供統一的標準化接口，將語義Web框架Apache Jena[16]的原型集成，提供邏輯表達語言能力，以支持SPARQL[17]查詢語言，從而實現空間數據鏈接到本體知識庫的過程。空間數據平臺采用postGIS，可以有效地支持2D和3D幾何圖形，其數據建立在PostgreSQL[12]關系數據庫基礎上，符合開放地理空間聯盟的標準。(2) 多元語義關系結構是基于本體事實庫構建，在無人機傳感器上裝載SLAM[18]程序記錄航行軌跡的每個位置，采用OWL語言描述以謂詞邏輯的表達方式對每個位置上的實體單元進行定義，并對本體事實庫的OWL-DL[19]進行語義擴充，針對每個實體單元和幾何圖形等位置關系，為無人機局部探測的信息進行動態概念的實時更新，形成案例事實庫。(3) 語義解釋接口是在無人機感應器和本體事實庫之間建立的操作接口，為演示在無人機上的實際應用，提供了與無人機操控系統綁定的語義接口并標準化為統一的本體結構模式。

無人機語義交互系統框架如圖1所示。通過規則導入將postGIS數據庫中的數據形式化為本體概念，無人機通信網絡和傳感設備與本體事實庫連接，基礎數據存儲于postGIS中，根據已有的本體事實庫實現初步位置連接和軌跡控制，當無人機傳感設備檢測到新的數據時，共同更新postGIS數據和本體事實庫信息，并觸發多元語義關系的拓撲結構動態擴充本體實體概念、關系和實例，語義解釋接口運用OWL語言描述為語義導航和軌跡控制提供服務。

圖1 無人機語義交互系統框架

1.2 本體事實庫構建

將postGIS數據庫的字段抽取為本體事實庫的概念集，UAV_Control為本體事實庫的頂點，通過is_a關系集將概念集有效連接，每個概念集又存在實例集，從而形式化為一個五元組O_facts=(C,I,R,F,A)。本體事實庫模型如圖2所示。采用protégé軟件平臺，以電力巡線為應用背景，對某一檢測區域在一定時間范圍內的電力設施信息和地圖信息進行本體建模，共有350個實體概念，2 000余個實例，并通過SWRL調試形成具有圖結構的知識庫模型。

圖2 本體事實庫

本體事實庫中，C表示事實概念集合，分為基礎環境類、事實事物類和巡線操控類。其中，基礎環境類包括點、線、多邊形等概念，同時包含共6層子類。圖2中左邊為事實概念集合的樹形分布，通過自頂向下的方式構建成父類、子類節點，如Polygon概念類包含Telepole(電線桿)、TSwitch(刀閘)、Tower(桿塔)、Transmission(輸電設備)等子類，更具體地還包含了這些子類下的實例，如Tower的編號、名稱、面積、位置等。I的數據來源于postGIS數據庫數據字段內的數據，通過Apache Jena將postGIS數據封裝成支持SPARQL查詢語言的OWL模型。R表示關系集，集成了所有概念集之間的關系，包括包含關系、組成關系、因果關系等，通過關系表示使概念集之間相互連接，如is_a關系集成了各概念之間的子類與父類，connect_of關系集成了兩個實體之間的位置關系，consist_of關系集成了點、線、多邊形之間的組合關系，而move_to關系集成了無人機操控交互的因果關系，這些關系集作為多元語義提供語義解釋接口，添加可解釋語義標簽后可為無人機提供路線控制和位置連接等功能。F為概念集上的函數集，定義了語義操控的交互動作，通過標簽稀疏拓撲圖的方式集成了無人機在巡線過程中對每個動作狀態的轉移、變更和存儲功能。A為公理集合，集成了多元語義圖模型的各種連接關系，包括諸如謂詞邏輯、規則和搜索引擎，能夠實現語義位置連接、動態概念擴充等功能。

2 多元語義構建

構建了本體事實庫以后，完成了對postGIS空間數據向本體知識的圖形轉換，通過OWL語言構建多進一步抽取人機交互狀態。多元語義結構分為拓撲關系生成T-Box和多元語義解釋接口S-Box兩部分，所有數據均來源于本體事實庫的基礎概念，通過語義解釋接口進行連接，生成一個可讀寫的owl文檔，用于為無人機操作人員提供動態的語義操控模式，從而提高導航對位置、線路、關系的可解釋性。

2.1 生成拓撲關系

目前無人機傳感器獲取的環境信息通過本體事實庫connect_of關系進行了靜態連接，隨著交互操控的動態變化、飛行狀態區域與區域之間的快速變化和實體的移動，生成拓撲地圖觸發本體事實庫并動態更新本體事實庫知識，通過OWL語言描述并生成拓撲地圖T-Box，通過以下代碼實現兩個區域的實時連接：

? Environment rdf: type Environment: Polygon

? Polygon rdf: type Polygon: Area

? Polygon semap: connect_of ? Area1, Area2

? Polygon semap: hasObjectModel ? Area_object

? Area_object semap:hasConvextHull2D? Area_abstr2D

? Building rdf: type area: TelepoleAttributes

? BuildingAttributes semap: hasObjectModel ? Telepole_object

? Building_object semap:hasConvextHull2D ? Telepole _abstr2D

? Building _abstr2D semap: hasCoordinate ? Area_abstr2D

代碼描述為無人機飛行連續探測到區域Area1和Area2時，自頂向下Environment-Polygon-Area構建概念類，通過connect_of關系集將Area1和Area2進行連接，當Area范圍內有建筑物Telepole時，記錄Telepole上的屬性及結構，包括坐標值、編號、特性、附屬實體等。然后借助save_facts由本體事實庫O_facts生成一個擴展事實庫T-Box_facts，用流寫入O_facts，代碼如下：

save_facts:-%

open(‘T-Box_facts’, Write, Out)

findall(connect_of(Area1,Area2), O_facts)

writefact(O_facts,Out)

close(Out)

擴展事實庫extends_facts描述了將所有區域位置進行相連，從而生成拓撲圖數據庫。如圖3所示，T-Box進一步說明了拓撲地圖在本體事實庫基礎上生成的關系，對于某一個Telepole而言，通過線路(has_line)、形狀(has_shape)、近鄰(is_Near)等關系不僅可以將無人機實時感知的地圖知識寫入到本體事實庫中，還可以將本體事實庫內部的邏輯關系進行擴展和更新，提供語義接口的導航服務。

圖3 拓撲關系圖生成

2.2 語義解釋接口

對于無人機自身而言，可以根據本體事實庫的坐標和實際感知位置相似或一致的情況，推理出當前位置及該區域內的實體信息。以下代碼描述了無人機通過簡單的深度搜索方法，在Polygon—Area—Tower_object中檢索到AreaObject所有的屬性值，包括其坐標位置參數、路線參數等：

? Environment rdf:type Environment: Polygon

? Polygon rdf: type Polygon: Area

? Polygon semap: hasObjectModel ? Tower_object

? Area_object rdf: type area: TowerAttributes

? Tower semap: hasCoordinate ?(125 363, 47 528, 19,600)

? Tower semap: hasHTcable ?((125 363, 47 528, 20 600)(135 363, 49 558, 20 600))

獲取當前位置及位置信息后，為操控人員提供行為模式的語義選擇，在拓撲關系圖基礎上，構建一個語義空間結構S-Box，描述為無人機如何針對目標位置進行線路規劃和位置選擇。如圖4所示，將S-Box的特征實例與T-Box的概念相對應，當Polygon中的Area1與Area2相連，依據生成的拓撲關系圖，Area1通過at關系連接實體對象Object1和Object2，Area1通過at關系連接實體對象Object3、Object4、Object5和Object6，這些對象的實例通過Nav_Object函數擴充概念的屬性，包括特征集Features(f1,f2,…,fn)和關系集Relations(r1,r2,…,rn)，這些集合標注了兩個實體之間連接的初始概率，提供了感應設備對環境的語義解釋接口。因此，語義解釋接口可認為是將本體事實庫中的感知特征和初始概率進行編碼化的實例。通過語義解釋接口，U1表示為{(Object1 is_a Tower1),(Area1 has_a Coor), 0.1}，U2表示為{(Object1 is_a Route),(Area1 has_a HTcable), 0.05}，而在每個Object或Area概念類中均擴充了語義文本實例。

圖4 語義解釋接口

3 語義推理

3.1 位置狀態推理

多元語義結構為無人機在動態環境下提供了可解釋的語義接口，可以根據位置判斷該區域的語義信息，在動態未知環境下飛行時，感知器裝載的SLAM程序以連續幀方式形成了一個具有三維增量運動圓柱形子集hsi，該子集由連續位置采集點構成，而位置采集點形成拓撲點集。為提高位置節點的利用率，將hsi轉換為標簽稀疏拓撲圖[20](Labeled Sparse Topological Map,LSTM)，用于位置導航和軌跡控制時被調用。

(1)

(2)

3.2 軌跡控制

位置的語義連接將采集的數據形成局部軌跡，而軌跡的控制實質上是通過對多元語義模型的頂點和線路的檢索及選擇。由于在位置狀態推理中，位置上均加載了一個語義標簽，為語義解釋接口提供了連接本體事實庫概念集的方式，具有位置與位置的局部語義連接，為得到最佳的全局軌跡控制，采用語義距離和空間距離進行線路的檢索。

(3)

算法1目標語義搜索算法

輸入：O_facts，查詢Q，已檢測位置序列Qu，期望位置結果數量k。

輸出：k個最優LSTM位置節點。

1.Qu.Enqueue(root,0)

//初始化優先隊列

//將查詢Q稀疏化為LSTM

3. while notQu.isempty() do

4. ifvCi是葉子節點 andi≤kthen

7. end for

8. elsevCi為下一條結果

9. (RQ,vCi)←Qu.Deqeue()

//根據式(1)對Qu隊列中

//采用式(2)計算局部位置節點連接，逐步形成

//三維增量為圓柱形子集hst并獲取k個LSTM節點

10. if 已找到k條結果且滿足結果集RQ條件

11. return

12. end if

13. end while

4 實驗分析

4.1 系統實現

結合研究內容研發設計了一個基于語義本體的人機交互模擬演示系統(Semantic Interaction for UVA and Human System，SIUHS)，在電力巡線中初步實驗仿真，其圖形界面如圖5所示。系統采用Visual Studio 2010開發，地理數據源于山區電力路線數字地圖，通過protégé 中OWL SPARQL查詢語言返回所有結果；用戶終端采用小型四旋翼無人機使飛行高度在50米至100米范圍之間，考慮到安全性所有飛行情景按規定模式執行，仿真實驗環境下保持外部環境良好狀態。

圖5 基于語義本體人機交互模擬演示系統圖形界面

由圖5可知，設定目標塔桿，無人機A位置起點逐步檢測當前的語義信息，首先觸發本體事實庫的概念集，通過多元語義邏輯關系關聯當前位置的語義信息，包括到達目的地的所有位置信息，如Tower2(塔桿2)概念集下的Tower2_L1(塔桿2電線)、Tower2_HTcable1(塔桿2高壓線)、Tower2_LS1(塔桿2刀閘)，Tower4(塔桿4)概念集下的Tower4_Insulator1(塔桿4絕緣子)、Tower4_TP1(塔桿4桿線)、Tower4_HTcable1(塔桿4高壓線)，而這些概念集又包含了具體的屬性值和實例集，如塔桿高壓線的位置坐標值、通信設備、線路長度等屬性，均可在系統中顯示；然后，對當前的語義信息進行LSTM表示，推理出位置狀態和時間轉換概率進行語義位置連接，采用語義距離和空間距離進行歸一化處理，為高空電力巡線提供了豐富的可視化語義服務。

4.2 位置狀態變化分析

圖6 位置狀態變化

4.3 語義推理分析

語義推理結果從實際距離變化、目標位置誤差和控制精度三個方面分析，結果如圖7所示。

(a) 實際距離變化

(b) 目標位置誤差

(c) 基于PPK導航定位的精度控制圖7 語義推理結果分析

(1) 實際距離變化由實際距離與期望目標的距離變化曲線得出，由圖7(a)可知，本文方法的實際距離與期望位置相對距離較小且振幅變化穩定在2 m以內，說明了即使在postGIS圖上測量數據存在誤差及在實際飛行中傳感器成像需要一定時間的情景下，本文方法仍滿足穩定的期望位置狀態估計。(2) 采用目標位置誤差測量說明與傳統密集航點模式的優勢，由圖7(b)可知，本文方法相比傳統密集航點模式在每5 s的采集點內的平均誤差低10%。這是由于本文方法采用LSTM統一描述圓柱形子集hst及位置狀態之間的變化，降低了目標位置節點的計算開銷，使誤差結果較小；而密集航點模式的位置節點零散不統一，雖然可以得出豐富語義信息，但會給提供操作人員的信息過載。(3)采用PPK[22-23]的定位導航方式進一步說明本文方法控制精度的可行性。由圖7(c)可知，本文方法通過與人工蟻群方法[24]和Agent方法[25]比較，隨著路程和時間的增加，本文方法在GPS接收器所采集的定位數據測量處理后，平面精度控制在2.50±0.05 mm，這些性能得益于通過多元語義關系，為每個位置加載了語義標簽并計算語義空間距離，匹配本體事實庫O_facts的實體位置點，推理形成了語義關聯的位置連接，從而提高了控制的精度。而人工蟻群方法平面精度測量相對處于較大值，Agent方法精度測量值較低，但是在20 km后陷入跳躍不穩定狀態，說明不能夠達到交互控制的全局最優。

5 結 語

無人機的人機交互很大程度上取決于機器對周邊環境概念的理解，而實現這一點的基礎是構建有效的概念本體知識庫。本文以電力巡線為領域知識背景，以自然語言的方式實現無人機的遠程操控，要求無人機能夠理解構建的概念本體事實庫指令術語，并生成關于位置節點的拓撲關系圖和語義解釋接口，與地面機器人密集位置采集模式控制方式不同，在基于標簽稀疏圖的語義位置推理和軌跡控制的基礎上，實現人機在統一的概念內涵和位置推理基礎上的交互控制。研發了語義本體人機交互模擬演示系統，通過實驗證明本文方法的有效性，能夠幫助用戶更準確地計劃、模擬和控制無人機的飛行軌跡和巡線路徑。然而，在現實環境中發現，本文方法未考慮電力巡線過程中復雜環境下的交互控制，且傳感器成像的誤差也給數據的不確定性帶來了挑戰。未來將充分考慮復雜環境下的語義控制，不僅對外部的復雜巡線信息進行處理，而且研究無人機自身的飛行狀態信息，以提供更高效的語義交互服務。