面向無人機作戰的虛擬孿生系統設計方案

紀廣， 郝建國， 張振偉

(國防科技大學 智能科學學院, 湖南 長沙 410073)

0 引言

無人機(UAV)憑借其操作便攜高效、行動靈活多變、傷亡有效避免的卓越性能，近年來一直是軍事領域的研究熱點之一，面對缺少實戰體驗的作戰仿真體系和復雜多變的真實戰場環境，傳統的作戰仿真技術難以支撐智能化作戰需求，主要原因在于，傳統作戰仿真對戰場要素的構建僅僅依據一定的現實條件做出想定，多取決于人為想法，與實際作戰條件沒有直接聯系，模型精度高低基本取決于建模人員的知識儲備，且傳統作戰仿真多采取離線仿真形式，仿真推演結果只能為現實作戰場景提供借鑒，無法根據作戰態勢實時響應，不過分注重仿真推演畫面增強的方式也很難在仿真作戰中帶給指揮員高效的體驗感。無人機作戰虛擬孿生系統的建立有助于加強真實戰場和仿真體系之間的信息融合，借助人工智能的強大推演能力，創建更加全面的數據庫，輔助指揮員做出科學合理的指揮決策。

作為2020年重大科學問題之一，虛擬孿生技術的提出本質上是基于數字孿生技術，提出的宗旨意在智能制造等現實領域突破物理世界與信息世界交互與共融所面臨的瓶頸。對無人機作戰仿真系統而言，虛擬孿生技術的內涵是指利用戰場傳感器、互聯網、虛擬現實、數據挖掘、知識圖譜、神經網絡等技術，對無人機真實作戰環境各實體對象的行為、特征、性能和行為過程等進行描述和建模的過程和方法。

就軍事應用領域而言，虛擬孿生和數字孿生在技術內涵上是統一的，都以打造精準的交互式高逼真度數字模型為核心理念，并力求構造一個與現實世界作戰元素一一對應的虛擬仿真世界，在作戰行為過程中，虛擬孿生與數字孿生在實時性、同步性和交互性上的追求保持一致，但是虛擬孿生更強調對智能實體的關注，如無人機等在仿真作戰環境下的智能化軍事應用與開發。與數字孿生強調的基于物理實體的多維度多尺度數字孿生體構造不同，為了能夠滿足對新型軍事武器裝備的創造性設計和便攜式調試，物理實體之于現實世界的存在也可以后于數字孿生體之于仿真世界的存在，通過在高置信度仿真環境下對新型軍事武器裝備數字孿生體的精細打磨以及仿真對抗運行，指導現實世界的實裝生產，提升裝備開發效率。相比數字孿生，虛擬孿生更能滿足智能實體的設計與開發。

虛擬孿生技術的運用對于無人機作戰仿真系統的研制發揮著重要作用，而人工智能各項技術的合理規劃與運用又對虛擬孿生技術的進展有著巨大的推動作用，如何有效利用虛擬孿生技術對無人機作戰仿真中物理戰場和孿生戰場進行高效的融合與拓展，并對新型武器裝備等進行預研與開發，成為當前無人機作戰領域的一大創新點。本文以陶飛等提出的數字孿生五維模型為理論基礎對無人機作戰虛擬孿生系統架構進行設計和分析，陶飛等將數字孿生系統根據規模分為個層級，即單元級、系統級和復雜系統級，本文提出的作戰仿真系統論規模可以理解為虛擬孿生技術支撐下的系統級系統。

針對作戰仿真和輔助決策支持系統的研究，國外方面，影響力較大的是美國對“深綠”計劃的啟動，其主要依賴于動態數據驅動應用系統(DDDAS)提供的技術支持，該技術是Darema于2000年3月的一次專題學術討論會上正式確立的。與2002年國際建模與仿真會議上Fujimoto等提出的共生仿真(S3))不同，從作戰仿真和指揮決策支持系統的角度而言，DDDAS強調對真實戰場或戰場的建模精準度，S3強調指揮員的決策對于仿真系統的有效反饋。國內方面，最早由王飛躍提出平行系統方法，其在作戰研究方面意在提供更加有效和逼真的戰爭模擬，平行仿真技術的提出讓仿真系統和實際系統的平行執行成為理論上的可能，面向指揮決策支持平臺的平行仿真系統研究也取得一定進展，能夠實現在線仿真輔助決策。平行系統和平行仿真概念存在區別，平行系統強調仿真系統中任何現象應該視為現實中可能出現事件，即“虛”與“實”的地位平等，而平行仿真強調動態數據的實時更新，并實現模型和參數的演化調整。對于在2016年—2018年連續三年被世界著名咨詢公司Gartner列為十大戰略科技發展趨勢的數字孿生技術，其理念最早可追溯到美國國家航空航天局(NASA)于1969年在阿波羅項目中提出的在軌裝配技術。之后Grieves等對該技術深入研究，豐富了數字孿生的內涵要義。2010年, 美國國家航空航天局 (NASA) 在太空技術路線圖中首次引入數字孿生概念，旨在刻畫和映射物理系統的全生命周期過程，有效實現對物理系統運行狀態、使用壽命、任務可行性的診斷和預測，基于此，數字孿生技術在發展中逐漸成型，其也可以被視為平行系統的特例或子集。相較于DDDAS和S3，數字孿生技術能夠實現虛實交互和數據映射功能，更能夠滿足無人機作戰仿真系統的實時性要求。相較于平行系統和平行仿真，數字孿生的核心要義在于多維度多尺度的數字化建模，更能夠滿足無人機等裝備模型的精準化要求。

雖然現階段數字孿生技術還沒有運用到軍事作戰領域，但鄧燁等提出了數字孿生戰場的建設方案，從數字孿生的內涵要義出發，構建了相應的體系架構，對數字孿生運用于軍事領域進行了初步探討。在無人機作戰領域，數字孿生技術的應用同樣還沒有相關研究與應用，但美國NASA和美國空軍研究實驗室曾合作提出未來飛行器的數字孿生體范例。國內，廣東工業大學介紹了一種關于多旋翼無人機的數字孿生仿真平臺，利用Unity、Ros、MATLAB等工具軟件實現對無人機的多尺度仿真。吳東陽等對四旋翼飛行器的數字孿生系統做出初步設計，對系統可行性進行了分析，從工程應用上體現了數字孿生技術對無人機飛行仿真的重要作用。這些研究為無人機的數字孿生體構造及其系統開發提供了有效的借鑒。

隨著虛擬孿生技術的提出，其在軍事領域的應用相較于數字孿生而言，更能體現對無人機等智能實體的兼容性與創造性，結合人工智能相關先進技術的融合，擁有較為廣闊的發展前景。本文基于虛擬孿生技術，針對無人機作戰仿真系統的設計進行探討。

1 無人機作戰虛擬孿生系統框架

根據虛擬孿生技術的相關要義，其在框架設計原則上遵循數字孿生對系統框架的虛實交互以及數據映射等要求，并利用五維模型原則，設計無人機作戰虛擬孿生系統框架如圖1所示，其主要由物理層、虛擬層、數據層和服務層4部分組成。五維模型中涉及的連接，在本文系統框架下可以等價為各模塊之間的數據流。

1.1 物理層

物理層是系統構成的基礎。物理層中，以真實無人機戰場為主模塊。必要前提是搭建較為完善的戰場傳感器系統，能夠實時捕捉戰場關鍵信息，并將其及時傳遞給數據層中基于神經網絡的目標識別系統，進行數據上的初步處理。無人機作戰檔案庫基于歷史作戰數據構建，能夠將數據傳遞給基于圖神經網絡的態勢評估系統，并實時更新系統新的態勢評估。

物理層的構建高度依賴物理設施的完善性，相較于文獻[20-21]等對無人機的數字孿生系統構造方案而言，本文方案除了注重對實體無人機的仿真構建，還強調對無人機作戰戰場的孿生構建，意在打造要素全面的仿真系統。

1.2 虛擬層

虛擬層是在物理層基礎上構建的虛擬對象。以虛擬孿生無人機戰場為主模塊，其在無人機虛擬孿生仿真系統的支撐和增強現實模塊的渲染下，能夠將增強式可視化戰場場景傳遞給戰場指揮員，提升指揮員的作戰體驗。戰場決策仿真庫能夠存儲服務層實時傳遞的智能化決策和作戰計劃智能化生成模塊生成的實時方案，并實時傳遞給仿真環境搭建系統進行推演平臺的實時更新。同時，作戰計劃智能化生成模塊在獲取新的智能化決策以后，實時將數據傳遞給孿生仿真環境進行驅動更新。

虛實環境交互主要基于增強現實技術。增強現實(AR)的三大特征是虛擬世界與現實世界的信息融合、虛擬與現實實現實時交互、三維空間上虛擬物體的添加。增強現實的引入主要用于兩個方面：

圖1 無人機作戰虛擬孿生系統框架Fig.1 Virtual twin system framework for UAV combat

1)無人機戰場場景下，利用Gazebo等仿真軟件構造全景仿真場景，不僅提供面向無人機作戰目標、作戰任務、作戰環境的全景仿真能力，而且實現實裝、模擬器與仿真模型的互聯互操作，從而不斷提高無人機受訓人員駕駛操控能力和指揮員隨機應變判斷力。提供無人機模擬作戰的仿真平臺較多，如ROS，該平臺強大的交互能力有望為構建更加貼近實戰的作戰場景提供借鑒。除此以外，對于無人機作戰場景的數字孿生構造，可以從數字孿生智慧城市發展建設的理念中，借鑒其利用GIS打造大數據融合的孿生城市、利用綜合性的感知設備支撐數字孿生系統運行、利用區塊鏈建立數字孿生系統的大數據平臺等思路，從現實世界出發，分別就戰場三維地理特征、城市感知設備和數據網絡連通進行設計，為虛擬孿生技術下軍事仿真戰場的開發與應用提供技術支撐。

2)無人機作戰場景下，重點實現現實世界與虛擬世界的實時交互，無人機作戰場景要求全面可靠的真實戰場信息與數據。經過處理采集到的戰場信息后，將真實戰場的重點軍事行為對象信息與虛擬孿生戰場的模型信息相互融合，為虛擬孿生戰場提供更加飽滿的信息量。最后，通過可視化的手段將作戰場景信息以更具沖擊效力的三維空間表達方式傳遞給指揮員，不僅能夠幫助指揮員掌握更加全面的戰場信息，而且有利于幫助指揮員捕捉因機器數據處理局限性而忽略的一些關鍵信息，以更形象化的方式增加指揮員決策的科學性與可靠性。

與現階段數字孿生系統構造方案相區別的是，本文方案的虛擬層強調引入增強現實等技術加強對虛擬環境的仿真構造，意在提升指揮員的作戰體驗。通過身臨其境的作戰體驗，強化指揮員的作戰意識，提升作戰效率。

1.3 數據層

人工智能的手段已經廣泛運用于各領域，數據層意在借助研究前沿的人工智能技術增強系統運行可靠性，主要包含數據處理、仿真引擎和數據挖掘3個模塊。

數據處理模塊主要包含基于神經網絡的目標識別系統和基于圖神經網絡的態勢評估系統，圖神經網絡是可以有效揭示深層拓撲信息的模型，基于圖神經網絡的鏈路預測問題即給定一些點和邊的特征，從而學習一個預測邊的模型。其核心思想是將知識圖譜中的點或邊映射為向量空間的點，從而對向量空間中的點做處理。圖神經網絡的引入，能夠充分挖掘無人機操控專家知識圖譜拓撲結構的特征信息，并就預測鏈路問題作出相應的態勢評估。目標及事件識別作戰數據庫能夠為系統提供較為豐富的作戰模型資源，提升數據處理模塊識別精準度和效率，基于圖神經網絡的態勢評估系統意在識別戰場目標，并就雙方形式作出評估；仿真引擎模塊主要包含仿真環境搭建系統、推演系統和無人機虛擬孿生仿真系統，在仿真環境搭建和仿真系統運行下，使推演系統生成人工大數據，并驅動無人機虛擬孿生仿真系統的運行，該模塊意在充分運用實時數據推動戰場景的演化；數據挖掘模塊主要包含關聯規則及序列模式挖掘系統，該模塊將戰場傳感器系統采集的實時數據和基于神經網絡的決策知識系統產生的決策數據傳遞給數據挖掘層形成小數據庫，關聯規則及序列模式挖掘系統將從戰場實時采集的小數據進行離散化處理，并挖掘仿真推演系統生成的人工大數據，將挖掘的數據傳遞給關聯規則及序列模式庫，意在將結果不斷用來優化無人機操縱專家知識圖譜。

知識圖譜在補充挖掘知識的基礎上，可以為圖神經網絡提供非歐幾里得結構特征信息，提高數據的準確性和可解釋性，圖2所示為基于數據挖掘與知識圖譜的行為學習流程。

圖2 基于數據挖掘與知識圖譜的行為學習流程Fig.2 Behavior learning process based on data mining and knowledge graph

數據層引入的知識挖掘、神經網絡等人工智能技術，是在數字孿生技術基礎上，虛擬孿生技術對仿真系統構造的擴展與補充，其對數據的處理效率和精度高于傳統數字孿生系統建設方案，對系統的可靠性具備更強的支撐作用。

1.4 服務層

服務層中，知識決策模塊主要包含人機操縱專家知識圖譜和基于神經網絡的決策知識系統，無人機戰術庫與行為規則庫對無人機操縱專家知識圖譜做初始化處理，并驅動無人機虛擬孿生系統的運行，同時將知識分類傳遞給基于神經網絡的決策支持系統，決策知識庫為決策知識系統提供具體的數據支撐。該模塊意在態勢評估的基礎上智能輔助決策，并將智能化決策實時傳遞給戰場指揮員，為其提供決策較優方案。除此以外，服務層還提供定制化服務的接口，能夠根據作戰需求定制編隊訓練、意圖識別、路徑規劃和態勢感知等智能化作戰服務。

決策支持系統采用深度神經網絡模型進行搭建。決策知識庫包含數據庫、模型庫、方法庫和知識庫4個子庫，在前期態勢評估和知識圖譜決策的基礎上，基于神經網絡的決策支持系統經過演算并根據決策知識庫已有知識做出最終決策，并由智能化決策生成模塊作為人機接口與指揮員交互。圖3為決策支持系統流程圖。

圖3 決策支持系統流程圖Fig.3 Flow chart of decision support system (DSS)

與文獻[20-21]等面向無人機仿真的單一服務相區別，本文設計方案的服務層支持面向用戶的多功能服務開發，提供標準交互接口，具備一定的普適性。

2 案例研究

以單兵作戰四旋翼無人機作戰過程為例，分析其在虛擬孿生系統下的運行流程，為虛擬孿生系統開發多樣化的軍事作戰需求提供可行性思路。

2.1 設計方法

為了實現對虛擬孿生系統的有效開發，本文案例基于機器人操作系統ROS進行研究。具體方法步驟為：

1)對硬件架構進行設計，基于現實條件搭建物理實體，通過調試，保證物理實體的有效運行與控制。基于系統開發需求，選擇支持二次開發的飛行控制硬件，并在架構邏輯上支持指揮員對系統的操作控制；

2)基于ROS操作系統的相關功能支持，對軟件架構進行開發，以傳感器采集的數據為輸入，以智能化輔助決策為輸出，軟件架構的各功能模塊需要依據需求單獨進行設計；

3)通過對系統的基礎運行，驗證系統相關功能。

2.2 硬件架構

考慮現實作戰需求，硬件架構的構建需要滿足：

1)無人機應當配備攝像頭，以滿足日常巡航，及時發現敵情；

2)無人機應當攜帶一定載荷，以實現作戰任務；

3)無人機應當支持開發，以滿足不同功能的作戰需求。

硬件層是虛擬孿生系統下孿生模型構建的物理對象，如圖4所示。根據以上需求分析，選擇深圳市大疆創新科技有限公司生產的DJI F450型自組裝無人機，其中組件包含電機、電調、飛控、GPS、螺旋槳、電池等。無人機上還將搭載信號接收與傳送裝置，包括電臺和遙控接收器。地面電臺連接地面控制設備，指揮員可以通過地面控制設備監測無人機狀態、觀察孿生無人機同步運行界面、給無人機定制化功能下達指令，同時也可以通過無人機操縱遙控控制無人機機動動作。

圖4 硬件架構Fig.4 Hardware architecture

采用該硬件架構的優勢在于：1)自組裝無人機的飛控開源，能夠有針對性地進行開發，以實現相關任務需求；2)該組裝無人機成本較低，能夠節約作戰開支；3)該組裝無人機體積適中，能夠較為輕松地滿足編隊化作戰需求；4)該組裝無人機方便組裝攝像頭，也能夠在支架上安裝彈倉，攜帶小量載荷。

2.3 軟件架構

在硬件架構的基礎上，軟件架構的構建應當滿足：1)支撐硬件的建模與仿真運行；2)能夠實現無人機作戰虛擬孿生系統框架的各項功能；3)能夠為指揮員實時輸出智能決策。

軟件層涉及到虛擬孿生系統下孿生模型的構建、數據處理、仿真環境搭建、數據挖掘、智能化輔助決策、可視化界面顯示等。如圖5所示，系統輸入為傳感器在戰場實時采集的數據，經過各軟件模塊對數據的處理，最終單兵作戰四旋翼無人機作戰過程中的可行性輔助決策將傳遞給戰場指揮員，同時指揮員能夠根據可視化仿真環境界面觀察孿生無人機同步運行情況。

圖5 軟件架構Fig.5 Software architecture

2.3.1 孿生模型構建方法

孿生模型的構建是對實體無人機的孿生構造，需要從幾何、物理、行為和規則等多個方面進行模型構建。幾何模型是對無人機三維幾何特征的可視化描述，可利用Solidworks等建模軟件進行建模；物理模型是對無人機動力學仿真的描述，可采用常規四旋翼動力學模型；行為模型是對無人機回路控制的描述，可采用常規PID控制回路；規則模型是對無人機執行各項任務的規則描述，可根據任務進行構建。

2.3.2 數據處理方法

數據處理模塊主要對無人機采集圖片進行預處理。無人機巡航過程中實時航拍上傳畫面，對不同時刻圖像按幀進行批量化導出，借助已建數據庫標定可疑作戰對象，通過卷積神經網絡進行目標檢測，并利用圖神經網絡進行態勢評估。

2.3.3 仿真環境搭建及界面顯示方法

仿真環境是對無人機作戰可視化環境的虛擬構造，可利用ROS支持的仿真軟件如Gazobo、UE等進行仿真構建，同時能夠滿足系統的調用，并提供基礎仿真運行界面，以實現對無人機作戰過程的可視化顯示。

2.3.4 數據挖掘技輔助決策方法

基于數據挖掘與知識圖譜的行為學習流程如圖2所示，通過對數據的后期處理，并基于一定的人為構建規則，可以為系統挖掘更多智能化決策方案。并通過神經網絡和決策知識庫的篩選，為指揮員實時輸出智能決策。

2.4 虛擬孿生系統下無人機作戰流程

通過對無人機硬件架構和軟件架構的構建，完成了對案例系統的初步設計方案，將該系統運用于無人機作戰，其流程如圖6所示。指揮員在地面控制設備劃定作戰路線，地面控制設備將規劃航線實時上傳給無人機，實體無人機將航拍得到的情報實時傳遞給系統，系統及時識別敵情并作出態勢評估，經過數據挖掘處理，將知識傳遞給知識決策模塊，最后輸出智能化決策，孿生無人機與實體無人機同步運行，數據傳遞給仿真推演系統，仿真推演系統同時接收實體無人機和孿生無人機的數據，在進行數據融合以后，將仿真預測結果傳給數據挖掘系統。仿真系統下的運行同時也通過三維可視化傳遞給指揮員。

圖6 虛擬孿生系統下無人機作戰流程Fig.6 UAV combat process under virtual twin system

2.5 相關功能及數據分析

現階段工作中，已經對實體無人機和孿生無人機的基礎運行進行了聯合實驗，能夠從可視化仿真界面獲取孿生無人機虛擬的狀態運行顯示界面，即完成了無人機作戰虛擬孿生系統下的數據處理模塊和仿真引擎模塊。相關數據挖掘模塊和知識決策模塊下的模型構建還有待在后續工作中進一步開發與實現。

從2.4節無人機作戰流程來看，本文案例實現了下行支線功能，滿足了無人機作戰虛擬孿生系統的基礎運行，如圖7紅框所示，具體實現的功能包括戰場環境的虛擬構建、孿生無人機仿真運行、指揮員遠程監測等。

圖7 虛擬孿生系統實現功能Fig.7 Implementation of virtual twin system

2.5.1 戰場環境的虛擬構建

功能需求上首先對無人機作戰虛擬孿生系統仿真環境進行搭建。本文案例戰場虛擬環境基于Gazebo軟件構建，該軟件包含一些基本環境元素模型，也支持導入自建環境模型，具有較強的兼容性，支持對虛擬環境的可視化輸出。

如圖8所示，從視覺效果和維度特征上可以判斷出仿真環境存在較高的逼真度。盡管相比真實環境而言，虛擬環境無法做到完全意義上的細節構建，但對重點要素能夠基本呈現。

圖8 虛實環境對比圖Fig.8 Comparison of virtual and real environments

2.5.2 孿生無人機仿真運行

在ROS系統下導入孿生無人機模型以后，指揮員可在指令窗口啟動系統。通過對實體無人機狀態信息進行獲取，孿生無人機可基于虛擬環境同步仿真運行。

相關運行界面如圖9所示，可以顯示無人機在孿生戰場下的相關視圖，為指揮員提供可視化操作界面，并支持通過對孿生體的運行控制，達到對實體無人機反饋精準控制的目的。

圖9 仿真運行界面Fig.9 Simulation operation interface

2.5.3 指揮員遠程監測

無人機在操作運行的過程中，可以通過ROS系統對無人機的數據狀態進行監控，某架無人機相關數據運行如圖10所示，通過數據狀態監測無人機運行健康狀態，方便對無人機方案的實時調整和數據推演。從數據狀態來看，無人機空間位置和姿態值較為穩定，系統對無人機的控制較為精準。

圖10 某無人機數據運行圖Fig.10 Data operation diagram of a UAV

從案例各項功能實現可以看出，單兵作戰四旋翼無人機在虛擬孿生系統技術支撐下，能夠實現對孿生體的虛擬驅動，并且具備較為精準的控制效果，可視化界面的輸出也增強了指揮員對無人機的實時控制體驗感與便攜度，無人機作戰虛擬孿生系統具備基本的可行性。

2.6 方法比較

針對無人機作戰的虛擬孿生系統研究比較少，但針對無人機的數字孿生仿真系統有學者進行了相關研究，如文獻[20]介紹的關于多旋翼無人機的數字孿生仿真平臺和文獻[21]對四旋翼飛行器的數字孿生系統相關設計。設計方法上的區別在于：

1)相比于文獻[20-21]基于數字孿生技術設計，本文提出利用虛擬孿生技術進行仿真系統的設計，從內涵要義上，虛擬孿生是對數字孿生的擴充與完善；

2)相比于文獻[20-21]面向無人機的數字孿生仿真系統開發，本文設計系統是面向軍事領域的無人機作戰應用；

3)相比于文獻[20-21]對旋翼無人機的仿真研究，本文設計系統在數字孿生體可建的前提下，可選擇一種或多種無人機進行配合仿真研究。

通過研究比較，可以得出本文方法的優勢在于：

1)本文設計方案更具有普適性，能夠滿足對各類型無人機的仿真運行與推演；

2)本文系統從基本原理上也實現了對孿生無人機的仿真運行，并在此基礎上利用虛擬現實、數據挖掘、知識圖譜、神經網絡等人工智能相關技術，能夠擴展對無人機作戰過程中的仿真推演和可視化輸出，以此達到對戰場指揮員輔助決策的目的；

3)本文設計系統具備較強的二次開發性能，能夠針對無人機的不同作戰需求，開發定制化服務內容，從而提升系統的利用率。

3 結論

本文以無人機作戰為問題需求，通過研究虛擬孿生技術內涵，提出面向無人機作戰的仿真系統設計方案。借助人工智能的手段，推演戰場態勢，輔助指揮員指揮決策，并通過案例研究初步實現了系統功能。得出以下主要結論：

1)本文案例中相關功能的實現及數據分析表明，所提方案對無人機作戰仿真研究具備較高的精準度，能夠為指揮員提供可靠的實時仿真工具，提升指揮效率。

2)本文研究無人機作戰的虛擬孿生技術，是適應當前人工智能技術發展背景下，打造智能化軍事的戰場新興技術，其內涵相比數字孿生技術，更能適應動態戰場的構建與仿真。

3)本文虛擬孿生系統設計方案對虛擬現實、數據挖掘、知識圖譜、神經網絡等技術的應用，極大程度地提升了仿真系統對數據的處理能力，其作戰效能優于傳統作戰仿真系統。