空間環境態勢感知技術研究進展*

侯鵬榮, 王哲龍, 武強, 仇森, 褚慶浩, 曾梓康

(1. 大連理工大學, 大連 116024; 2. 北京衛星環境工程研究所, 北京 100000)

1 引言

空間目標是指所有外太空物體, 包括非功能性航天器、 火箭上面級、 空間碎片等[1]。 隨著人類空間探索活動的逐漸增多, 空間碎片環境日益惡化, 嚴重威脅著在軌航天器的安全運行。 同時, 空間碎片的持續增加, 對有限的軌道資源構成了嚴重威脅。 由于級聯碰撞效應, 即便大幅減少發射活動, 執行嚴格的空間減緩措施, 仍無法有效減少空間碎片。 因此, 空間目標探測、 跟蹤對于避免空間碰撞, 保障航天器運行安全至關重要。 空間環境態勢感知對于碰撞預警、 機動跟蹤、 碎片清除等具有重要意義。 圖1 為已知空間碎片的分布概況。

圖1 已知空間碎片的分布概況Fig.1 The distribution of space debris known

空間環境態勢感知旨在對空間目標開展全面的、 準確的、 實時的探測、 跟蹤、 表征的過程,從而確定可能對合作目標構成威脅的非合作目標的行為、 意圖。 空間環境態勢感知技術依賴于空間目標監測平臺和自主感知算法。 其中, 美國空間監視網絡(SSN) 是目前世界上技術最先進且覆蓋范圍最廣的空間目標探測系統。 該系統具備主動和被動的協同探測能力, 擁有天地一體的監測平臺以及遍布全球的控制操作中心[2]。 SSN 的數據支持美國空間作戰部隊的任務, 也為世界其他國家的空間監測提供重要參考。 通過空間環境監測網絡產生的傳感數據, 具有多模態、 多時空、 多平臺特點, 亟待發展面向復雜空間環境的多源數據融合、 態勢全面感知、 空間事件推理和在線智能決策等技術。

AI 的高速發展將從根本上推動空間感知領域向智能化方向邁進。 首先, AI 可以大幅提高空間環境態勢感知系統的性能和效率。 態勢感知涉及海量的數據處理和分析工作, 例如, 圖像解譯、星座識別、 天體測量等。 AI 通過強大的計算能力和智能算法, 快速處理和分析海量數據。 其次,AI 將促進空間感知領域的自主學習和自適應能力。 通過機器學習, 從大量的歷史數據中學習和推理, 并不斷提升性能和精度。 這將支持更高效的軌道分析、 碎片預警和風險評估能力, 有助于實現實時監測和快速響應。 此外, AI 將提供更全面、 多維度的空間態勢信息。 通過整合地基的雷達、 光學與激光測距和天基的雷達、 光學與碰撞探測等多種探測手段, 以提高航天感知系統的感知能力和準確性。 這將進一步提升空間環境態勢感知的綜合能力和智能化水平。

綜上所述, 回顧和討論AI 在空間環境態勢感知的應用進展對于空間環境可持續性具有重要價值。 本文旨在探索空間環境態勢感知的相關背景研究和適用的AI 算法, 并進一步討論多源信息融合、 自主協同感知等未來研究方向。

2 典型空間環境態勢感知系統

空間環境狀態信息的感知和評估通常依賴傳感器的高質量追蹤。 美國、 俄羅斯、 中國、 歐盟在全球空間環境態勢感知系統的建設中處于領先地位。 表1 粗略地給出世界各國和地區建立的空間目標監測平臺清單[3-5]。

表1 SSA 數據來源Table 1 SSA data source

截止到2023年9月, 美國SSN 已編目包括有效載荷、 分析對象和空間碎片在內的空間目標數量超過4.4 萬。 其探測范圍覆蓋低軌到高軌, 對特征尺寸在10cm 以上的中低軌目標跟蹤分辨率達5cm, 24h 定軌精度達1km, 特征尺寸在30cm以上的高軌目標跟蹤分辨率達50cm, 24h 定軌精度達3km[5]。

由表1 可知, 空間目標監測平臺分為地基和天基兩種方式。 地基監測平臺不受體積、 質量等限制, 可以實現較高的空間目標分辨率和較遠的探測距離。 然而, 由于地基監測平臺的空間覆蓋范圍受其部署數量和分布位置影響, 而探測性能受地球大氣衰減特性影響, 單獨依靠地基監測平臺難以滿足近地空間環境日益復雜的監測需求。天基監測平臺作為地基監測平臺的有力擴展和補充, 彌補了地基監測存在的盲區問題。 相比地基監測平臺, 天基監測平臺具有全天候、 長時間連續觀測的優勢, 可進一步提升對空間目標監測的靈活性、 時效性以及覆蓋范圍。

綜上, 兩種監測方式各有利弊, 只有統籌兼顧實現天地一體協同監測才能更全面高效地掌握近地空間動態變化情況。 除此之外, 空間環境態勢感知還需考慮部署位置和設備配置優化問題、傳感器網絡布設問題、 探測性能提升問題, 其核心是發展先進的空間目標感知算法。 只有充分融合發揮軟硬件技術優勢, 才能構建全天候、 多層次的空間環境感知體系, 實現長期可持續地利用空間資源。

3 數據層面

空間環境態勢感知的核心是準確獲取空間目標數據以及必要的數據處理。 在此過程中, 海量多源異構實際探測數據是不易獲得的, 特別是對于天基監測平臺的開發, 由于實際安裝成本較高, 難以在短時間內獲取所需的傳感數據進行相關驗證。 因此, 用于空間環境態勢感知數據主要來自美國SSN 發布的兩行根數(TLE)、 各天文站以及仿真成像。 表2 整理了空間環境態勢感知在數據層面的研究。

表2 SSA 數據層面的相關研究Table 2 Related research on SSA data level

3.1 數據獲取

到目前為止, 空間環境態勢感知的主要來源是美國的SSN, 通過Space-Track. org 有選擇性地公布空間目標的TLE。 除此之外, TLE 并沒有包含軌道精度信息, 并根據物體位置和軌道的不同而變化, 使其應用受到限制。 同時, 空間目標范圍廣, 受地緣政治影響, 全天候持續監測面臨巨大挑戰。 在空間感知領域, 獲得完整、 有標簽、高質量的空間探測真實數據依然十分困難且昂貴, 特別是光學圖像數據。 缺乏足夠的空間注釋數據限制了空間環境態勢感知的研究工作。

目前, 研究學者對空間目標可見光成像的仿真進行了相關研究, 用以支持動態模擬目標跟蹤和識別任務。 在空間可見光成像模擬中, 需要充分考慮空間目標光學特性和傳感器成像特性。 針對研究重點的不同(如傳感器種類[7]、 是否發生抖動[8]、 圖像信噪比[9]、 靜態或動態跟蹤[10]、 照明角度、 超亮星拖尾[11]), 自定義模擬和生成空間目標的光學圖像、 光變曲線以及軌跡數據。 據我們所知, 對于6D 航天器姿態估計任務, 公開可供科學研究的包括航天器姿態估計數據集SPEED[12]、 虛擬渲染航天器在軌數據集URSO[13]; 對于空間目標檢測和識別任務, 包括SPARK[14]; 可用于3D 軌跡估計的數據集包括SPARK-T[15]。

此外, 已經有研究學者關注到空間感知中的數據共享和數據欺詐問題。 大多數衛星運營商無法獨立獲取SSA 數據, 必須依賴幾個由主要太空強國運營的集中存儲庫。 考慮到各國在空間軌道上的合作競爭關系不斷加深, 濫用共享信息進行攻擊的威脅也日益增加。 因此, 在實現數據共享的同時, 如何避免欺詐行為成為一個更為迫切的問題。 James Pavur 首次提出了針對SSA 欺騙的防御技術, 進而開發了基于機器學習的異常檢測工具, 使防御者在沒有空間探測傳感條件的情況下依然可以檢測到90% ～98%的欺騙企圖[16]。 Robert J 提出一個關于空間目標的本體架構, 用于空間領域數據共享、 互操作和知識發現, 從而促進空間環境態勢感知社區之間的數據交換和知識共享[3]。

3.2 數據處理

數據處理是空間環境態勢感知的前置環節。空間目標具有運行軌跡長、 飛行速度快等特性,僅靠單一傳感器無法對其整個軌跡進行有效覆蓋和精確跟蹤[17]。 通過多探測系統組網協同探測,可滿足對新目標、 動態目標快速發現的需求。 因而, 探測數據通常具有異站、 異時、 海量、 多模態、 探測精度不一等特點。 對各傳感器獲得的數據信息進行有效融合與處理, 能最大限度地提升空間態勢感知的作用和能力。

數據融合旨在對來自多個同構或異構傳感提供的局部不完整信息加以整合, 消除傳感器間存在的冗余和矛盾, 形成更全面、 準確、 可靠的融合信息, 從而增強對空間態勢的認知和理解。 數據融合難點和痛點在于數據格式的差異性、 數據質量的均衡性以及數據整合的復雜性。 傳統的數據融合無法適應日益復雜的空間傳感數據環境和多樣化的應用需求, 需要通過引入新的方法和技術來提升數據融合的能力和適應性。

數據融合包括數據層融合、 特征層融合和決策層融合三個層次。 數據層融合涉及對來自不同傳感器如雷達、 光學以及紅外等的數據進行配準、 校正和歸一化, 實現不同數據源之間的信息補償和數據增強。 基于卡爾曼濾波的軌跡預測是最典型的數據融合的案例[18]。

特征層融合是在提取數據源的特征后進行分析并支持后續決策。 特征可以是軌道參數、 位置坐標、 面質比、 投影面積等手動提取的特征, 也可以是算法自動提取的特征。 基于多源信息融合的空間碎片檢測就是利用神經網絡自動提取RGB圖像和深度圖像的深層特征后進行融合, 最后利用分類頭來實現目標檢測, 這是一種端對端的特征層融合的方法[19]。

在決策層面, 不同的傳感器和算法可能會產生關于目標的不一致結論。 利用貝葉斯推理[20]、DS 證據理論[21]、 神經網絡等方法, 可以將不同數據源的單個決策綜合得到更全面、 更可靠的結果, 增強空間感知的智能和決策支持能力。

4 感知層面

本節主要是圍繞如何去收集、 整合、 分析和理解來自空間環境中各種數據和信息, 來獲得對空間狀態和態勢的全面認知和理解的過程。 其核心任務

包括遠距離跟蹤測量和運動狀態識別, 以及獲取待測目標從整體到局部的屬性、 軌道參數及運動姿態等, 進而對目標特性數據進行評估以支持太空交通管理。 圖2 給出空間環境態勢感知的一般流程。

圖2 空間環境態勢感知的一般流程Fig.2 General process of situational awareness of space environment

4.1 目標檢測和識別

目標檢測旨在識別和定位太空中的目標物體, 包括在軌衛星、 載人航天器、 火箭發射級、空間碎片以及小行星等。 實施空間目標檢測任務時, 面臨著多個挑戰, 如復雜背景和遮擋、 尺度變化、 復雜光照和氣象條件以及目標類型多樣性等因素的影響。 這些挑戰對于確保準確性、 效率和可靠性提出了要求。 為了克服這些挑戰, 需要不斷發展和改進適應性強、 魯棒性好的空間目標檢測算法。

目前已經開發了許多用于空間目標檢測的技術。 Liu 提出一種基于拓撲掃描的多目標檢測技術, 利用了幾何對偶性, 支持在大量雜波和噪聲中提取目標的近似線性軌跡[22]。 卷積神經網絡(CNN) 在目標檢測任務中較為常見, 這歸功于其對圖像特征的有效學習能力。 它可以自動學習圖像的局部特征和全局特征, 并且具有平移不變性的特性, 使得它能夠在圖像中找到目標的位置和邊界框。 然而, 將CNN 用于空間目標檢測的復雜性在于: (1) 真實數據的信噪比有所不同;(2) 缺少標準的仿真數據集。 其中, CSAU-Net網絡[23]、 EfficientDet + EfficientNet-v2 網絡[19]等是通過模糊和添加噪聲進行數據增強, 從而提高了模型的精度, 減少了漏檢、 誤檢的事件發生。針對小碎片檢測場景下存在誤報而可能產生噪聲標簽的情況, Li 提出一種新的噪聲標簽學習范式-協同校正算法, 目的是在高噪聲標簽率下保持較高的空間碎片檢出率[24]。

4.2 目標跟蹤

目標跟蹤旨在準確追蹤和持續監測目標運動狀態, 為后續分析和決策提供關鍵性數據支持。同時, 目標跟蹤技術必須克服空間環境的復雜性和空間目標運動的不確定性, 如遠距離探測下的目標信號微弱、 目標間可能存在遮擋與交叉運動等困難[25]。 因此, 審查與目標跟蹤相關的關鍵技術對于空間態勢感知的后續研究開展至關重要。

4.2.1 軌道確定

軌道確定問題可視為一個回歸問題, 其關鍵在于如何充分利用多段極短弧觀測數據, 與之對應的是目標在不同時間點的位置和速度信息。Feng 提出一種加權分布回歸方法用于地球同步軌道(GEO) 的空間目標定軌, 該方法在白噪聲和有色噪聲干擾下優于Laplace 方法[26], 而支持向量機則被用于減少空間目標在定軌和傳播過程后的位置誤差[27]。

4.2.2 軌道預測

軌道預測對于空間環境態勢感知相關任務(例如空間碰撞預警) 至關重要[28]。 然而, 由于觀測稀疏且精度低、 目標幾何特征未知以及對受力的簡化, 傳統基于軌道力學理論或者基于物理模型的軌道預測在較長時間內誤差快速增長, 直接面臨不可用的問題[29]。 通過機器學習從歷史數據中學習軌道預測誤差的潛在模式[30-33]或者直接用于軌道預測[34-36], 可以大幅提高軌道預測精度。 更進一步, 將機器學習方法和傳統的軌道預測方法進行融合, 建立混合解析- 機器學習框架, 軌道預測的精度獲得極大提升[37,38]。

4.2.3 機動檢測

機動檢測是通過對空間目標的運動和軌跡進行分析, 確定其機動的類型和特征, 實現對目標運動狀態的動態監測, 從而更好地了解目標意圖和行為模式。 LIU 等人通過假設檢驗實現對目標軌道數據分析, 判斷目標是否處于機動狀態。 這種方法可以有效地降低目標軌道機動檢測的誤報率, 提高檢測的準確性和可靠性[39,40]。 而后, 針對傳統的卡爾曼濾波器算法無法工作在非合作目標的機動檢測任務這一不足, JIANG 等人提出了改進的擴展卡爾曼濾波器、 增廣的無偏最小方差輸入和狀態估計等方法用于未知的機動檢測[41]。此外, LI 提出了兩種自適應的基于Unscented 信息濾波器, 用于追蹤具有機動和有色量測噪聲的目標[42]。

4.3 目標表征

部分研究集中在對空間目標進行建模和表征, 目的是提取目標關鍵信息, 了解目標可能來源、 軌跡和特征, 進而確定其威脅程度, 并制定相應的對策。

軌跡估計在空間目標軌道預測中起著重要作用, 特別是在觀測數據有限或不準確的情況下。軌跡估計的目標是對目標歷史軌跡數據進行分析和建模, 以預測目標未來可能的運動軌跡。 由于空間軌跡在時間和空間維度上具有強相關性, 僅憑單張目標圖像的視角無法確定其三維位置[43]。研究表明, 通過單一攝像機連續捕捉空間目標的動態圖像, 并通過兩階段的計算可以獲得具有時間一致性的三維位置軌跡。 此外, Dave 提出了一種基于遞歸卷積神經網絡的方法, 在低分辨率成像條件下實現了空間目標位置和速度的估計[44]。

姿態估計旨在推斷目標的朝向和姿態參數,如目標的姿態角、 旋轉角速度等。 迄今為止, 已經開發了很多針對空間目標的姿態估計方法。 現階段空間目標在軌姿態的精確測量依賴于雷達與光學高質量連續高分辨成像感知, 目標狀態參數的估計依賴于目標觀測數據與歷史積累觀測數據庫的特征匹配, 缺乏觀測物理模型的支撐, 估計精度有限, 無法推廣至具有復雜運動的目標、 非合作目標等實際應用場景。 基于深度學習的空間目標姿態估計方法具有潛在優勢。 例如, 通過單站逆合成孔徑雷達(ISAR) 觀測目標, 隱馬爾可夫模型描述目標投影變化, 采用不同優化算法進行求解計算[44,45]。 融合光學和ISAR 等不同測量手段實現空間目標的準確瞬時姿態[46,47]。 此外,多站ISAR 協同用于自旋航天器的動態估計[47]。深度學習在空間目標姿態估計的應用不多但潛力巨大, 已成功應用在光變曲線[48]、 單目視覺[49]、視頻幀[50]等不同觀測條件下的空間目標姿態估計, 實現了空間目標的姿態變化的精確捕捉和分析, 為碰撞預測和軌道博弈提供了更可靠的支持和指導。

特別地, Xu 等人提出了一種基于光度反射特性的衛星工作狀態檢測方法, 可以作為快速檢測GEO 衛星工作狀態的依據[51]。

5 決策層面

空間環境態勢感知的決策部分實質是將感知到的空間環境信息轉化為行動的過程。 決策可能涉及資源調度、 避免碰撞、 軌道博弈等。 本文對空間感知中的資源調度、 避免碰撞和軌道博弈等關鍵技術進行了回顧和討論。 表3 整理了空間環境態勢感知在決策層面的研究。

表3 SSA 決策層面的相關研究Table 3 Related research on SSA data level

5.1 資源調度

由于空間碎片的爆炸性增加、 巨型星座的任務實施, 導致空間監測任務較之前更為繁瑣復雜, 需要新的資源調度方法來滿足新需求。 在早期研究中, 調度問題被視為如何將傳感器的探測時間有效地分配到空間目標的收集和測量上。Bussy-Virat 等人提出了NICO 調度器, 該調度器通過考慮氣象和天文限制來協調各用戶的請求。其核心思想是利用遺傳算法來解決資源調度問題[52]。 此外, 其他學者還開發了基于禁忌遺傳算法[53]、 基于假設和協方差[54]等調度方法, 旨在提高求解速度和推理精度。

此外, 博弈論在解決資源調度方面具有很大潛力。 Jaunzemis 等人提出一種自組織的空間目標跟蹤方法, 將資源調度問題轉化成潛在博弈問題, 參與者需要遵循同步最優反應準則來更新其動作, 獲得了較大的跟蹤精度提升[55]。 類似地, Peng 等人將因果關系考慮在內, 提出基于深度強化學習的資源調度解決方案, 在提高跟蹤精度的同時, 使模型具有潛在的解釋學習策略的能力[56]。

5.2 避免碰撞

避免碰撞技術的關鍵在于通過準確的碰撞預測和靈活的機動策略, 從而實現對在軌航天器的安全導航。 碰撞預測的核心是碰撞概率計算, 而機動規避算法則是機動策略的精髓。

5.2.1 碰撞概率計算

計算碰撞概率是避免碰撞的前置階段。 Fan等人提出一種基于蒙特卡羅協方差演化的碰撞概率計算方法。 該方法精度高但計算極慢, 僅適用于少量受控的、 重點監測的空間目標間的碰撞演化計算, 不足以應對更加復雜的空間環境導致的大批量的軌道碰撞預警[57]。 Fernandez-Mellado 等人在僅提供初始開普勒參數的前提下, 用一組ANN 來預測衛星在一段時間內的分點參數。 該方法不依賴任何動態模型, 在傳播中不涉及積分,因而執行速度更快[58]。 在實際應用中, 需要根據實測數據動態校正軌道預報協方差, 進行快速高精度的軌道誤差傳播, 以提供及時可靠的碰撞預警。

5.2.2 機動策略

機動規避策略旨在通過靈活的機動行為來避免潛在的碰撞風險。 在相對距離計算和機動策略的設計中, Ni 等人提出基于人工勢函數的滑模控制策略, 在保證相對位置和姿態誤差的收斂的同時避免發生碰撞[59]。 Qu 等人還提出一種自適應探索深度確定性策略梯度(DDPG) 算法, 這一訓練控制策略相較于上述人工勢函數方法能夠在近距離階段能耗減少16.44%。 此外, 引入元學習, 可以在短時間內訓練出適用于其他受擾動場景的控制策略[60]。

5.3 軌道博弈

軌道博弈是兩個(含) 以上空間運動目標在各自允許的控制能力和所獲得的信息支持下, 通過施加主動控制實現相對位姿的動態變化的過程。 其中, 追逐-逃逸作為空間軌道博弈的典型代表, 旨在支撐整體空間博弈戰略, 獲得空間優勢。

Zhang 等人提出將原始的追逐-逃逸問題等效為一個四維的單邊最優控制問題(OCP), 利用深度神經網絡建立OCP 和其解的映射關系, 進而解決自由時間橢圓軌道追逐- 逃逸的博弈問題[61]。 Zhang 等人將追逐-逃逸問題建模為差分博弈, 并給出一個閉合形式的邊界解。 通過深度強化學習得到了軌道追逐-逃逸中近乎最佳的攔截策略[62]。 Zhao 將追逐- 逃逸問題轉化為雙邊優化問題, 為了確定博弈雙方的最優脈沖動作,設計了基于多代理強化學習框架的PRD-MADDPG算法[63]。 結果表明, 即使是在更復雜的約束下,該算法仍能有效地找到適用的策略。

6 研究前景

6.1 數據層面

準確的空間探測數據是不可或缺的。 這些數據來源包括地基的雷達、 光學、 激光測距以及天基的紅外、 光學以及被動感知等, 對于目標的檢測、 跟蹤、 識別以及機動策略等至關重要。 為應對數據量少且涉及數據安全, 可以考慮

(1) 數字孿生技術的運用: 基于數字孿生技術建模空間場景, 進而提供高保真的空間目標仿真數據, 但需要注意數據與真實場景的匹配程度。

(2) 分布式機器學習的運用: 在保障數據安全的前提下, 建立國際間協作機制, 共同開展空間碎片的監測和跟蹤工作。 聯邦學習等先進技術的引入, 能夠在不犧牲隱私的前提下, 促進全球范圍內的合作, 實現信息共享與技術創新, 從而更好地應對不斷增加的太空碎片問題。

6.2 感知層面

當前的空間環境態勢感知系統在小目標和高軌目標的監測能力方面存在局限性, 需要進一步優化以提升性能。 此外, 對于空間目標的電磁和光學特性的監測與識別也需要精細化改進。 為了有效解決這些問題, 需進一步發揮人工智能在知識表示和遷移學習等方面的潛力

(1) 知識圖譜的運用: 知識圖譜可用于空間態勢的知識表示與推理, 從而更好地組織表示空間物體、 行為事件之間的聯系, 進行基于知識的目標檢測、 跟蹤、 識別等高級推理。

(2) 遷移學習的運用: 遷移學習可以將源域學習到的知識遷移到目標域, 空間環境態勢感知涉及多樣化的環境和場景, 對應的探測數據分布也存在差異。 通過域自適應技術, 將在一個空間場景獲得的知識和模型遷移到另一個場景, 以提高跨場景的空間目標識別的一致性。 運用弱監督遷移學習提高對新發現空間目標的檢測能力。

6.3 決策層面

現有地基雷達和光學等探測設備對空間的覆蓋范圍有限, 且受到地理條件的限制, 接收到的信號強度與被觀測目標的距離成反比。 為了彌補地面監測網的不足, 基于天基光學的傳感器被用于高軌目標探測。 為了提高跟蹤性能, 需要使用多顆衛星來執行任務。

如何最大限度地降低消耗并獲得更好地感知是需要進一步思考的方向。 構建多智能體協同算法,協調地面的雷達和光學傳感器以及衛星上的紅外和光學設備, 進而實現更為高效的分布式空間監測。

7 結論

在過去的幾年里, 以深度學習和強化學習等關鍵技術為驅動, 以大數據和云計算為基礎, 人工智能呈現出爆炸性的增長, 并在空間環境態勢感知方面表現出卓越的能力。 因此, 將人工智能新技術應用于空間科學領域具有良好的發展前景。 可以預見, 數字孿生、 分布式機器學習、 知識圖譜、 遷移學習、 多智能體協同將是未來空間環境態勢感知的主要研究方向。 在此, 總結了本文關鍵結論和見解:

1. 在天地一體空間監測網絡協同感知的背景下, 為了進一步強化空間態勢感知能力, 通過多傳感器的動態優化管理, 使系統取得整體性能最優。 通過數據融合, 將來自不同傳感器的數據整合, 從而提供更豐富、 詳盡的態勢感知信息。

2. 在空間目標檢測和識別任務中, 面臨特征不確定性和樣本稀缺性的雙重難題。 因此, 需要針對典型目標的特征變化, 提出自動數據增強方法, 用于改進空間目標檢測和識別的模型, 以提高其對空間目標特征變化的適應性。

3. 針對在空間復雜環境的不完全信息條件下的軌道博弈問題, 單個智能體的知識和計算能力有限, 難以有效應對各種不確定因素。 為了應對這一挑戰, 可以考慮結合深度強化學習技術, 開展多智能體大規模博弈問題的建模和求解研究,以充分利用多智能體之間的交互信息, 并自適應地調整環境參數, 從而提高全局策略學習能力。