意圖識別與態勢感知驅動的路由策略系統研究

摘 要：航空通信網絡服務按需拓展、網絡環境動態多變、網絡對象異構多樣與網絡干擾強度和樣式急劇增加，要求通信網絡系統具備自動性和智能性。本文構建意圖識別和態勢感知聯合驅動的路由策略系統，為指揮人員提供路由策略方案，提升決策的時效性和準確性，提高系統在復雜環境下的適應性。所述系統包含網絡態勢感知、用戶意圖識別和路由輔助決策等模塊。網絡態勢感知模塊通過分析航空通信網絡拓撲結構，利用收發數據包，獲取網絡中鏈路時延、帶寬、丟包率等網絡服務質量指標；意圖識別模塊依據海量的航空通信數據，利用機器學習算法，實時對已經接入網絡的航空單位依據其通信數據特征進行識別分類，給出其在通信網絡中需要的服務質量指標權重；輔助決策模塊以提供最方便快捷的航空通信網絡服務為目的，利用前兩個模塊所提供的實時數據，使用強化學習算法為端到端的網絡通信提供最佳路由，保障信息高效無失真地傳輸。

關鍵詞：意圖識別； 態勢感知； 輔助決策； 強化學習

中圖分類號：E96 文獻標識碼：A DOI：10.19452/j.issn1007-5453.2024.08.011

基金項目： 航空科學基金（2018ZG81002）

高效的航空通信網絡系統既要精準識別用戶的行動意圖，又要實時感知網絡態勢情況，能夠迅速對路由策略調整，以保障信息傳輸的時效性。孫鵬飛等[1]提出零樣本學習能力，能夠快速應對場景中未知情況下的策略選擇。Niem？ller等[2]將用戶的高級意圖轉化為可執行的網絡策略和配置，使網絡自動化管理成為可能。本文所提出的路由策略系統，通過結合意圖識別與態勢感知來驅動路由策略的制定，從而生成更為完善和全面的決策方案。

在實際網絡環境中，態勢感知[3]被定義為對環境中實體的認知、對其含義的理解以及對其未來狀態的預測。Endsley[4]在1995年將動態系統中的態勢感知模型分為三個層面：感知層、理解層和預測層。在航空領域中，張耕強等[5]將軟件定義網絡（SDN）技術應用在移動自組織網絡中，通過SDN控制器感知網絡狀態為網絡中可能發生的擁塞/中斷預先采取預防措施。Anicho等[6]在無人機網絡中利用態勢感知影響路由決策從而提高網絡資源的利用率。在航空數據鏈方面，Link16[7]能夠交換安全、抗干擾的通信，包括實時態勢感知數據以及命令和控制信息，有利于共享數字語音、數據、文本信息等。基于模糊層次分析法的Link16[8]，利用態勢質量評估模型，通過對近距離空中支援典型場景的模擬，驗證了該方法的簡單性和有效性。通過上述分析，網絡態勢感知對航空通信網絡的安全性提供了保障。基于此，本文利用收發數據包以感知獲取網絡中鏈路時延、帶寬、丟包率等網絡服務質量（QoS）指標，為安全高效的決策提供依據。

意圖識別是場景態勢的綜合分析和場上情報信息的特征抽取，推斷出用戶可能采取的下一步行動。Lee等[9]提出利用深度學習和人工智能技術實現敵我識別、威脅評估等，以支持快速而準確的決策。王偉剛[10]從收集到的環境信息中進行知識推理，讓指揮員了解網絡態勢，再通過多種因素的篩選得到可實施的最優方案。周揚等[11]從環境、任務狀態等多方面的態勢感知，設計分布式智能保障系統，利用智能化技術使系統具備學習、自動推理、輔助決策等能力，提升航空裝備的運維效率、可靠性和安全性。基于以上分析，本文通過使用強化學習算法為端到端的網絡通信提供最佳路由，保障信息高效無失真地傳輸。

本文從以下三個方面展開研究：（1）設計融合用戶意圖識別、態勢感知和路由輔助決策的航空網絡系統架構；（2）設計基于深度學習的意圖識別模型；（3）研究基于強化學習的路由策略生成方法，快速形成備選決策方案。

1 系統架構設計

本文介紹了一種新穎的航空網絡系統架構，包括意圖識別、態勢感知和路由輔助決策模塊。該架構利用SDN控制器，增強了網絡靈活性、可編程性和集中控制，如圖1所示。意圖識別模塊對接入用戶的通信數據包進行解析分類，不同接入用戶對通信網絡的服務質量有不同的要求，以輔助決策模塊中策略的制定，驅動網絡服務適應不斷變化的需求。路由輔助決策模塊根據不同用戶的需求以及感知的網絡狀態信息，制定出符合用戶意圖的可執行的策略，進而通過流表處理模塊下發到物理網絡進行具體實施。態勢感知模塊監控并收集網絡上每個節點的資源使用情況以及網絡拓撲變化等信息，并將感知到的信息傳輸給意圖識別模塊和路由輔助決策模塊，以確保系統中各模塊實時了解網絡狀態。

2 應用場景及態勢感知方法

2.1 應用場景

本文聚焦于航空通信網絡中，多型號和多部隊的聯合協作應用場景。在此網絡中，地面支持設施（如地勤人員）被抽象為固定節點；具有通信樞紐功能的空中指揮機和預警機等被視為機動節點；而執行具體任務的殲擊機、強擊機等航空單位則被劃分為終端節點。網絡的拓撲結構被簡化為如圖2所示，其中，骨干鏈路具有較高的帶寬，優于支線鏈路。在時延設定上，為簡化仿真過程，終端與機動節點間的鏈路時延不予考慮，而其他鏈路的時延則設定在0.5～8ms之間的隨機值。

2.2 網絡態勢感知模塊

網絡態勢感知模塊旨在通過SDN控制器處理上傳報文以進行測量和網絡中相應參數的計算，并將參數傳遞給網絡意圖識別模塊和路由輔助決策模塊，以支持更加精準和高效的網絡管理與決策制定。態勢感知模塊主要采用Ryu控制器測量鏈路帶寬、鏈路時延、丟包率等參數。

（1）鏈路帶寬獲取

在Ryu控制器中，通過發送OFPT_STATS_REQUEST和OFPT_FEATURES_REQUEST請求統計信息，可以分別獲取交換機端口的流量統計和端口特征（如帶寬和工作方式），并記錄特定時間t1到t2的間隔的總字節數變化，其中，b1為t1時刻的總字節數，b2為t2時刻的總字節數，當前時刻的流量帶寬記為Bt，其計算公式為

3 基于深度學習的意圖識別

在航空通信網絡場景下，意圖的精準識別對策略制定是至關重要的，是影響獲勝的關鍵因素。意圖識別模塊主要是對接入用戶的身份識別。具體來說，意圖識別模塊通過解析接入用戶的通信數據包參數進行解析分類。不同接入用戶對通信網絡有不同的要求。面對多層次意圖的識別，通過場景態勢特征識別出敵方意圖，形成局部敵方意圖概念集合，再對概念集合進行分析抽象，完成對敵意圖精準識別。該模塊實現流程如圖3所示。設計采用離線和在線相結合的方式來完成意圖的準確剖析。離線數據訓練可充分結合歷史數據信息做出準確的識別，在線數據訓練能更實時地反映當前情況。

3.1 規則定義

網絡用戶根據其QoS需求被劃分為三個主要類別：WWW、FTP-DATA和MAIL。具體而言，WWW類別的用戶主要關注于實現低延遲，以優化遠程控制和交互式頁面加載的體驗；FTP-DATA類別的用戶則注重獲得高帶寬，以支持大量數據的快速傳輸；而MAIL類別的用戶對于時延和帶寬都有一定的要求，這對于視頻會議和直播等應用尤為重要。此外，用戶角色通過{IP，級別，類型}的組合進行定義，支持基于（級別，類型）的查詢以確定角色值。在代理訓練的強化學習過程中，延遲、帶寬和丟包率的權重參數被用作相應的獎勵權重，以指導學習過程。

3.2 訪問控制

該模型以用戶類S（發送用戶）、用戶類D（接收用戶）以及任務為輸入，并讓角色集、權限集和任務集以數據庫形式錄入處理單元進行處理。在此模型中，角色集與任務集和用戶類相關聯，且最終的QoS需求與任務相關。用戶以IP地址輸入，匹配其對應的角色種類和等級，從而確定角色值。利用用戶S和用戶D的角色值，在權限表中確定權限，進而在任務集中獲取相應的任務列表。任務列表包括可執行和不可執行任務，其中可執行任務可以匹配相應的QoS指標，而不可執行任務則無法獲得該指標。

3.3 特征提取

本模塊中，采用監督學習算法利用網絡流量數據集對訪問用戶身份進行分類。特征選擇遵循特定原則，以提高準確性并降低訓練復雜性。該原則包括選擇與用戶行為高度相關的特征，確保SDN網絡內特征測量的簡便性以及優先考慮從數據流初始階段提取的特征，避免依賴于全流程觀察851043ebc5d4d267103f6897996e5af6ceb83ec75e0daacf7532913da9cbed45。特征選擇在粗粒度和細粒度兩個層面上進行。粗粒度選擇通過互熵和信息增益的比值來確定特征重要性系數；細粒度選擇基于重要性閾值和互信息閾值的特征子集中進行降維和冗余減少。

3.4 分類識別

該部分采用Tri-training算法對接入用戶5e0bd0a90252df7046be6b2964b45eed59b4a3adb03fdb73a81056a2ff31bc2b進行分類。Tri-training是對Co-training算法的改進，使用三種不同的基分類器：決策樹、隨機森林和樸素貝葉斯。這些算法在網絡流量分類中表現出較高的準確率。訓練數據集包含少量有標記的樣本和大量無標記樣本。算法通過這些數據學習生成分類模型。在協同訓練階段，通過基于分類器的測試誤差比較來評估未標記樣本的標記置信度。預測階段，通過集成所有成員分類器的決策來進行用戶類別的輸出。

4 基于強化學習的路由策略生成

采用強化學習設計路由策略生成。該部分利用數據分析快速生成替代決策解決方案，增強人員的策略響應能力。采用Dyna-Q算法[12]，該算法在強化學習領域將學習與規劃的過程巧妙結合。通過利用現實世界的經驗與模擬獲得的經驗，使用Q-Learning來更新相同的價值函數，從而實現對動作選擇策略和動作價值估計的系統性改進。航空通信網絡中，通過強化學習尋找最佳路由時，綜合考慮延遲、帶寬和丟包率等QoS指標對于準確的信息傳輸至關重要。

5 仿真與性能分析

5.1 網絡態勢感知仿真實現

仿真實現中，使用Mininet網絡仿真工具進行網絡拓撲的搭建，為每一個交換機添加一個主機，使得拓撲可以模擬用戶從任何一個節點接入，并與任意一個節點進行通信。網絡控制器采用Ryu控制器，通過與Mininet連接實現網絡拓撲可視化；并借助Ryu模塊化開發特性，實現對上文提到的網絡拓撲、時延、丟包率和帶寬等參數的測量。基于Ryu模塊化的開發，使用Ryu-manager命令啟動network_ awareness.py、network_delay_detector.py、network_monitor.py三個Ryu APP，分別獲取拓撲圖的連接情況、發送數據包的時延、收發速率、帶寬等信息。由于使用單臺計算機進行仿真，因此只測量帶寬和時延，丟包率暫時不考慮。

5.2 QoS意圖識別模塊仿真實現

本部分旨在根據目標和源報文特征分析網絡流類型，提供計算獎勵函數的參數。輸入用戶為拓撲圖1號節點，向14號節點發送若干數據包，同時采用Wireshark軟件進行抓包分析。所得特征值見表1。將特征值送入分類器中，得到識別結果為WWW類別，得到最終的權重參數見表2。

5.3 路由輔助模塊仿真實現

該部分強化學習被用于在特定網絡拓撲環境下尋找最佳路由。采用了Q-learning和Dyna-Q-learning兩種強化學習方法進行仿真，目的是從1號節點到14號節點傳輸/執行。設置帶寬和時延的權重各為0.5，學習率為0.1，折扣率為0.1，以及最大迭代次數為100。通過不斷迭代，系統逐漸找到最優路徑并保存在路徑列表中。在SDN環境下，通過編寫Ryu控制器腳本，實現了將強化學習與流表下發結合，從而在靜態拓撲網絡中選擇基于時延和帶寬的最佳路由。通過在Mininet上運行自建拓撲并采用ping工具發包，實現在Ryu終端觀察到最佳路由。

5.4 仿真性能分析

（1）流量提取算法的選取

在選擇流量分類算法的過程中，常用的數據集是來自劍橋大學的Moore數據集，由249個流量統計特征組成。本文選擇數據覆蓋率較好的Data01數據集。它結合并選擇性地采樣流量統計特征來構建Moore測試數據集。該數據集通過包含ATTACK、P2P、DATABASE、MULTIMEDIA和SERVICE類別的所有樣本以及從較大的WWW、MAIL、FTP類別中隨機抽樣來確保相對平衡。使用WEKA平臺中的各種算法進行特征選擇，然后使用C4.5決策樹方法進行建模和分類。WEKA是一款開源數據挖掘軟件，提供各種數據分析和建模工具。我們對比分析了6種方案，得到了不同方法下的建模時間和準確率，見表3，CFS表示一種特征選擇方法；BF是一種搜索策略；IGA是交互式遺傳算法；GRA和RANKER均是特征選擇方法。

由表3分析可以看出，經過特征選擇后各方案的整體準確率較原始數據集都有大幅度提高，且建模時間大大減少。其中采用IGA+RANKER方案所選取的特征子集的整體準確率最高，采用IGA+RANKER+CFS+BF方案所選取的特征子集的建模時間最少。IGA+RANKER方案比IGA+ RANKER+CFS+BF慢0.02s，準確率增加了2.0901%。

（2）輔助決策模塊算法性能分析

為了比較所采用的強化學習方法與傳統路由算法的優缺點，本節試驗中選取經典的Yen’s算法，該算法屬于非強化學習方法，作為對比算法用強化學習方法與非強化學習方法在算法時延性能方面進行對比分析。選取10組源節點和目的節點，分別運用強化學習算法和Yen’s算法尋找最佳路由，得到結果如圖4所示。其中x軸代表10組試驗序號，y軸為路徑端到端總時延。

圖4分析結果表示，強化學習算法得到的端到端時延在多數情況下明顯小于運用Yen’s算法所得到的端到端時延，因此強化學習的性能明顯優于Yen’s算法。

6 結束語

本文在航空通信網絡場景下，設計融合用戶意圖識別、網絡態勢感知和路由輔助決策三個模塊的航空通信網絡架構。通過態勢感知獲取網絡中帶寬、時延和丟包率數據；進而引入深度學習采用離線和在線相結合的方法實現用戶分類識別；通過強化學習計算出最優路由輔助策略，輔助增強指揮人員的決策能力。最后，仿真試驗驗證了引入智能方法給網絡帶來的性能增益，論證了本文所提出的航空通信網絡架構的可行性和有效性。

參考文獻

[1]孫鵬飛， 歐陽亞文， 戴新宇， 等. 基于隱式網絡和顯式網絡相似性學習的零樣本意圖識別[J].中國科學： 信息科學， 2021， 51（11）： 1853-1866. Sun Pengfei， OuYang Yawen， Dai Xinyu， et al. Similarity learning with implicit-network and explicit-network for zeroshot intent detection[J]. Scientia Sinica Informationis， 2021， 51（11）：1853-1866. （in Chinese）

[2]Niem？ller J， Mokrushin L， Mohalik S K， et al. Cognitive processes for adaptive intent-based networking[J]. Ericsson Technology Review， 2020， 2020（11）： 2-11.

[3]Munir A， Aved A， Blasch E. Situational awareness： techniques， challenges， and prospects[J]. AI， 2022， 3（1）： 55-77.

[4]Endsley M R. Toward a theory of situation awareness in dynamic systems[J]. Human factors， 1995， 37（1）： 32-64.

[5]張耕強， 謝鈞， 楊章林. SDN在戰術MANET路由中的應用[J].計算機系統應用， 2022， 31（4）： 309-321. Zhang Gengqiang， Xie Jun， Yang Zhanglin. Application of SDN in tactical MANET routing[J]. Computer Systems & Applications， 2022， 31（4）：309-321. （in Chinese）

[6]Anicho O， Charlesworth P B， Baicher G S， et al. Situation awareness and routing challenges in unmanned HAPS/UAV based communications networks[C].2020 International Confer‐ence on Unmanned Aircraft Systems （ICUAS）. IEEE， 2020： 1175-1182.

[7]寧曉燕， 王影， 孫志國， 等. 多音干擾下Nakagami-m信道傳輸 Link16數據鏈的性能分析[J]. 系統工程與電子技術， 2023， 45（2）： 566-571. Ning Xiaoyan， Wang Ying， Sun Zhiguo， et al. Performance analysis of Nakagami-m channel transmission Link16 under multi-tone interference[J]. Systems Engineering and Electron‐ics， 2023， 45（2）：566-571. （in Chinese）

[8]Chen L， Wang S， Zhao L. Confidence-based fuzzy assessment model of LINK16 situational quality[C]. International Conference on Computer Application and Information Security（ICCAIS 2022）. SPIE， 2023.

[9]Lee C E， Baek J， Son J， et al. Deep AI military staff： Cooperative battlefield situation awareness for commander’s decision making[J]. The Journal of Supercomputing， 2023， 79（6）： 6040-6069.

[10]王偉鋼. 戰場決策過程中輔助決策功能分析[J]. 航空科學技術， 2017， 28（6）：4-8. Wang Weigang. Function analysis for decision aid during the process of battlefield decision[J]. Aeronautical Science & Technology， 2017， 28（6）：4-8. （in Chinese）

[11]周揚， 曾照洋， 周巖， 等. 航空裝備智能保障系統研究[J].航空科學技術， 2020， 31（12）：68-73. Zhou Yang， Zeng Zhaoyang， Zhou Yan， et al. Research on intel‐ligent support system of aviation equipment[J]. Aeronautical Science & Technology， 2020， 31（12）：68-73. （in Chinese）

[12]李芃. SDN網絡中基于機器學習的網絡資源分配研究[D]. 南京：東南大學， 2018. Li Peng. Research on network resource allocation based on machine learning in software define network[D]. Nanjing： Southeast University， 2018. （in Chinese）

Intent Recognition and Situation Awareness Driven Routing Decision System

Huang Jiaorui1，Zhou Shan2， Yang Chungang1， Mi Xinru1

1. Xidian University， Xi’an 710071， China

2. People’s Liberation Army 93658， Beijing 102300， China

Abstract： Aerospace communication network service on-demand expansion， dynamic and changeable network environment， heterogeneous and diverse network objects and sharp increase in network interference intensity and style require communication command decision-making system with automaticity and intelligence. This paper constructs an intent recognition and situation awareness jointly driven routing strategy system to provide solutions for commanders， enhance the timeliness and accuracy of decision-making， and improve the adaptability of the system in complex environments. This system contains modules of network situation awareness， user intent recognition and routing assisted decision-making. The network situation awareness module analyzes the topology of the aerospace communication network， and uses sending and receiving packets to obtain network service quality indicators such as link delay， bandwidth， packet loss rate， etc.； the intent recognition module， based on the huge amount of aerospace communication data， utilizes machine learning algorithms to identify and classify aerospace units that have already accessed the network in real time based on the characteristics of their communication data， and gives the weights of the service of quality indicators that are needed for their communication network； the assisted decision-making module provides the most convenient and fastest aerospace communication network services for the purpose of utilizing the real-time data provided by the first two modules， using reinforcement learning algorithms to achieve optimal routing for end-to-end network communication， and guaranteeing efficient and no-distortion transmission of information.

Key Words： intent recognition； situation awareness； assisted decision-making； reinforcement learning