深空探測任務智能規劃技術發展綜述

師明 高宇輝 崔云飛 張弓

(北京航天飛行控制中心,北京 100094)

我國探月工程四期任務將在2030年前后建成月球科研站基本形態,由月球軌道器和月面探測器共同構成基礎設施,初步具備月面科考作業、技術驗證和資源開發能力。與前期任務相比,后續深空探測任務并發密度高、技術狀態新、工程實施難度大。研究針對航天器的任務智能規劃方法,是滿足后續任務實時性、魯棒性和安全性的關鍵技術之一,也是未來深空探測技術發展的方向。

航天領域較早的引入人工智能算法,在地面飛控中心部署專用規劃器,用來輔助人工生成航天器行動序列,提高任務規劃效率。早期的規劃器通常考慮全行動序列,這種線性規劃的方法很快被發現是不完備的,不能求解一些非常簡單的問題,如麻省理工大學杰拉爾德·薩斯曼教授在1973年所提出的不規則積木問題[1]。1974年愛丁堡大學Warren教授首次使程序邏輯設計語言(Prolog)完成Waldinger規劃器的代碼編寫,其中所引入的偏序規劃思想,影響了之后將近20年的規劃器設計方法,包括行動層次網絡(NOAH)、非線性網絡層次規劃器(NONLIN)以及分布式實現的非線性系統規劃器(SNLP)、通用約束偏序規劃器(UCPOP)等。偏序規劃的思想發展至今,依然有借鑒學習的之處。之后,隨著狀態空間規劃思想興起,逐漸發展出圖規劃(Graphplan)[2]、約束可滿足技術(CSP)[3]、分層任務規劃(HTN)[4]、動作網絡[5]等技術。

NASA艾姆斯研究中心、戈達德空間飛行中心等機構,一直致力于研究和開發規劃前沿技術,并在月球大氣與粉塵環境探測器(LADEE)、鳳凰號火星巡視器(Phoenix mars lander)、“國際空間站”(ISS)、哈勃望遠鏡(Hubble)等各類航天任務進行推廣應用。國內在這方面的研究起步較晚,但是發展較快,如北京理工大學深空探測技術研究所在深空探測器自主規劃方面取得多項研究成果;華中科技大學管理學院的王紅衛團隊重點關注復雜約束的層次任務網絡(HTN)規劃方法;國防科技大學羅亞中團隊對多任務約束的空間站問題建模和運營規劃進行研究;北京航天飛行控制中心、中國空間技術研究院等任務相關單位則以任務需求為牽引,突破多項關鍵技術。因此,開展航天器智能任務規劃技術研究,將為后續我國航天任務的高效執行提供核心能力支撐。

本文總結了我國深空探測任務工程經驗,結合前沿技術發展趨勢,提出飛控任務規劃處理的通用處理流程,針對其中的關鍵技術進行分析綜述,以期對提升我國任務規劃智能決策能力提供技術支撐。

1 任務智能規劃內涵

1.1 定義與內涵

深空探測任務具有探測目標遠、空間環境復雜等特點,需要地面飛控中心具備實時跟蹤測量、程遙統一規劃的能力。任務智能規劃技術,即采用通用規劃理論構建復雜航天器本體領域知識模型,處理軌道計算、測控通信、科學探測等復雜的事件約束關系,根據航天器的遙測狀態、測控通信條件、科學和工程目標等要求,制定航天器未來一定周期內的任務計劃。規劃的過程,就是在時間線上將航天器相關事件進行組合排列,生成滿足各種約束條件的指令計劃。約束類型包括時間約束、數值約束、因果約束,以及人機協同引入的條件約束等。

本文采用狀態空間規劃建模思想對飛控活動進行本體建模,將任務規劃定義為一個廣義活動。

定義:一個廣義活動為一個六元組為

g=〈TGa_Name,xp,tst,tdur,tend,R,Lt〉

(1)

式中:TGa_Name表示廣義活動的名字;xp表示該廣義活動的參數向量;tst、tdur、tend分別表示該活動的起始時間、持續時間和結束時間,并滿足0≤tst0;R表示該廣義活動所需資源,包括資源的類型和使用量;Lt表示該廣義活動所屬的狀態時間線。

廣義活動集可以定義該狀態所有可能取值的集合,即

G={g1,g2,…,gn}

(2)

式中:gi表示一個廣義活動,即狀態向量一種取值。

從上述定義可以看出,廣義活動能夠描述時間信息、資源信息以及對這些信息的處理函數。

1.2 規劃技術面臨的挑戰

任務規劃的約束條件具有典型的工程特性,使得智能技術在應用中面臨諸多挑戰,具體如下。

(1)時間約束的強制性。受限于天體運行力學規律,航天器活動都有著嚴格的時間窗口限制,且活動序列之間有著較強的耦合關系。

(2)約束條件的強一致性。環境、能源、測控等條件的約束,加上時態等要素共同構成任務求解的約束條件,規劃結果需要滿足各個分系統和地面飛控的要求。

(3)任務的不確定性。受到不確定環境的影響,任務安排和計劃執行都有可能面臨動態調整,如巡視器通過立體相機雙目測量技術恢復地貌,而科學探測目標的選擇或任務整體規劃是建立在月面環境信息的基礎上的,地形地貌最終會影響巡到視器休眠喚醒等多個工作模式。

為應對上述挑戰,需要充分考慮飛控任務的特點,綜合使用建模、求解的相關技術,在一個相對統一的架構和流程內進行軟件實現。

2 通用處理流程設計和分析

本文結合工程實踐經驗,將深空探測中目標航天器的任務規劃處理過程劃分為4個步驟,如圖1所示。

(1)進行領域知識建模,進行問題分析,定義航天器本體知識、行動約束條件、任務執行時機,以及相互間的邏輯關系。航天領域規劃問題規模越來越大,需要重點關注復合任務分解的方法,提出清晰的邏輯關系來體現任務目標的層次特性,便于記錄任務分解的關鍵節點。領域知識建模是任務規劃的首要條件,在3.1節中結合工程任務經驗進行詳細論述。

在嫦娥三號任務中,把任務規劃的廣義活動定為整體規劃、周期規劃和單元規劃的三層體系,并把工作模式作為最小規劃單元[6]。工作模式通過預置配置模板,把巡視器的行為序列固化下來,以支持地面飛控中心根據遙測信息進行快速判斷。

(2)根據航天器行為序列特征和工作要求,用建模語言對領域知識模型進行語義描述,用表達式定義操作、狀態、資源和時間等約束條件,完成問題的實例化。

建模語言通過嚴格的定義,把現實工程問題轉化為程序可以判讀的輸入條件,但是對現實世界問題的限制過強,阻礙了智能規劃在實際生活中的應用。對于問題松弛后的假設條件,在現實問題中多數是不成立的,例如,涉及數值變量的問題狀態空間通常是無限的;外部世界的信息可能是無法觀察的;當動作無法給出確定效果時,狀態轉移的結果可能是隨機的;外部世界可能受到偶然事件的影響;現實世界的很多問題都不要求系統到達某一個目標狀態后立即停止運轉,而是循環執行一段動作序列或要求在行動過程中避開某些特殊的狀態;規劃解的形式也并不局限于線性的動作序列,很多實際運行的設備允許動作的并發執行,并且動作的執行帶有不同的持續時間;當外部世界發生緊急事件時,規劃求解過程也應根據環境信息的變化進行調整。

McDermott在1998年提出規劃領域定義語言(PDDL),指出一種語言的主要任務是表達世界的物理屬性。PDDL從1998年起被用作國際規劃競賽的標準語言,之后發展出多個擴展版本,最新的3.0版本支持定義使用偏好。NASA在可擴展通用遠程操作規劃框架(EUROPA)中提出新領域定義語言(NDDL)[7],在自動化調度和規劃平臺(ASPEN)提出ASPEN建模語言(AML)[8]。表1對上述3種主流建模語言的分析比較。為避免生成不合理的活動序列,建模中需要結合任務特征進行具體分析,適當進行語言功能拓展。

表1 主流規劃建模語言比較分析

我國遙操作任務中針對巡視器的科學探測行為,均采用了PDDL進行建模表示。圖2所示是對天問一號移動行為的建模描述。在建模實例文件中定義了巡視器科學探測的一個完整過程,包括起點(?from)、狀態約束(>=energy80)、開始時間(at start)、持續時間(?duration)、終點(at end)以及引入外部計算進行能源消耗的動態計算(proc2)。

圖2 天問一號移動行為的PDDL建模描述

(3)根據問題特性設計智能算法。適用深空探測任務的算法有3種:第1種是由卡耐基梅隆大學的Blurm和Furst在1995年提出的圖規劃方法;第2種是將規劃問題看作是CSP問題進行求解;第3種是啟發式搜索方法。算法問題在3.2節中進行詳細論述。

(4)調用規劃器進行問題求解。領域相關的規劃器在求解過程中,通過人機交互方式定制領域知識、規則或常識,從而避免一些不必要的動作或推理,以達到提高規劃求解效率的目的。這類領域相關的規劃器在設計時加入了特定的領域知識,一般都具有較高的規劃效率,但這也限制了規劃器的通用性,如用于火星快車(MEX)任務的MEXAR2系統,基于時間演化構建領域相關的約束能力模型和時間函數,有效減少了數據處理量級。

與領域無關的規劃器通常是采用與領域無關的規劃策略來指導問題求解。一般情況下,同一啟發式函數很難對所有規劃領域都能產生出高效的指導作用,因此,這類規劃器的效率和規劃質量會因應用領域的不同而有所差異,細化求解分支策略可以達到最佳或接近最佳的計算程序效率。

在航天器活動計劃安排過程中,時間信息是必備的要素。因此,目前在航天領域主流的規劃器多是時態規劃器。表2比較了基于時態規劃建模的任務規劃器的差異。

表2 基于時態規劃建模的任務規劃器比較分析

北京航天飛行控制中心作為深空探測任務地面運控中心,采用經典動作規劃思想構建智能規劃系統,解決了約束條件下多分支作業選擇困難和事件屬性設置復雜等難題,并應用于嫦娥三號、嫦娥四號、首次火星探測等多次任務[5]。為提升測控效率,需要進一步完善領域知識模型,以支持巡視器活動序列的動態調整。

3 關鍵技術分析

3.1 基于HTN的領域知識建模技術

本文結合飛控領域知識,對工程任務進行逐層分析,自上而下分為任務、周期作業、動作序列、原子動作和指令計劃5個層級,完成任務目標確定、約束傳播與狀態一致性判定,最后通過指令展開獲得指令計劃。每個層級都包含特有的領域知識,通過HTN的范式定義統一起來。與經典規劃類似,在HTN中系統狀態用一個原子命題集合表示,動作對應于確定的狀態轉換;不同的是HTN規劃的目的不是要達到某一目標狀態,而是要完成某一任務集合,規劃系統的輸入不僅包含與經典規劃器類似的動作集合,還包含一個方法集合。

以月面巡視器進行說明。具體定義如下。

定義1:科學探測任務P=〈D,S0,T〉,其中D表示領域知識模型;S0表示任務初始狀態;T表示任務約束網絡。一個HTN的規劃問題可以用上述三元組來表示。科學探測任務從工程總體文件中,通過專家分析獲得巡視器科學探測的目標。

定義2:狀態集合S=〈Q,C〉,其中Q表示巡視器本體相關的狀態,包括主體坐標、桅桿指向、天線指向、電量等;C表示外部約束條件集合,包括太陽高度角、通信鏈路、載波切換計劃等。每個目標命題都具有Si={s′∈S,?s∈G},其中G為廣義活動集合,即任務目標狀態集合。

定義3:領域知識模型D=〈O,M,δ〉,其中O表示動作序列的集合;M表示方法集合;δ表示狀態轉移函數。

下面對領域知識模型中的3個元素進行詳細描述,所涉及到變量定義中,均滿足條件?i∈N,N為自然集數。

用三元組〈h(oi),p(oi),e(oi)〉表示動作序列集合O,oi表示第i個動作序列;h(oi)為oi的頭部文件,包含了動作序列名稱和缺省參數;p(oi)表示執行oi需要滿足的前提條件;e(oi)是執行oi產生的效果。動作序列集合O將任務進行分解為帶參數選項的工作模式,每個模式包含了缺省的動作序列,同時還定義了一些與規劃計算相關的屬性或約束,在領域模型中,動作序列執行的前置條件即當前巡視器本體狀態需要滿足的約束條件,判斷條件即p(o)={S(Q),S(C)}。

綜合分析探測點可達性評估方法、測控跟蹤條件計算方法、太陽高度角/方位角的預報方法、不同路況下能源消耗估算策略以及科學探測需求,使用PDDL建模語言將巡視器動作序列實例化表示為工作模式,具體包括:!perceive表示感知模式,即巡視器獲取導航信息數據,并將導航信息數據下傳到地面控制中心;!move表示移動模式,即巡視器接收地面控制中心指令,達到目標位置;!detect表示探測模式,即巡視器所攜帶的有效載荷設備加電工作,獲取科學探測數據,并在通信窗口內將數據下傳到地面控制中心;!charge表示充電模式,即巡視器調整太陽翼,按規定實現對日定向后保持靜止狀態,蓄電池組開始充電;!sleep表示休眠模式,巡視器其他設備完全斷電不工作。工作模式的名稱、前提條件和動作效果,作為參數寫入巡視器配置文件。工作模式構成了HTN的原子任務,動作序列則用來完成原子任務并改變當前狀態,當序列數量N=1時,表示該工作模式僅包含一個動作。

用四元組〈h(mi),p(mi),l(mi),k(mi)〉表示方法集合M,mi表示第i個方法;h(mi)表示mi的頭部文件,包含了方法名稱和傳遞參數;p(mi)表示使用mi需要滿足的前提條件,所有采用該方法的任務所傳遞的參數需保持一致;l(mi)表示mi所對應的復合任務及其子任務;k(mi)表示執行mi需要引入的外部計算,包括能源消耗估算、本體坐標時間轉換2個獨立的計算子程序。

狀態轉移函數δ可以表示為M×O→S,δ(s,o)表示在某個狀態si下應用某個操作符oi的后繼狀態,δ(si,oi)=si+1,δ(si+1,oi+1)=si+2,可知:規劃問題的求解是一個任務分解的過程,不斷利用方法分解任務網絡中的復合任務直到得到一個原子任務網絡。

3.2 智能求解算法

3.2.1 啟發式搜索技術

啟發式搜索的效率依賴于需要優化的目標函數。在經典規劃器中,僅考慮動作數量或者規劃的并行執行時間,之后發展的擴展規劃框架支持處理動作的資源消耗,目標函數中也加入其他一些質量指標,如最大完成時間、規劃中的松弛量和資源的消耗量。包含更多目標函數的啟發式函數能夠同時引導規劃和調度,控制動作的選擇和動作的執行時間[22]。

啟發式函數一般都是從松弛問題中得到的,放松的約束越多,啟發式的信息就越少。松弛問題包括動作的前提和效果、動作邏輯間的相互作用、資源約束和和時間區間約束等。從這個角度出發來構建規劃器,需要重點考慮的問題是應該放松哪些約束,因為問題松弛簡化了建模難度,也會造成模型的失真。

3.2.2 圖規劃技術

圖規劃(Graphplan)先從規劃圖中產生出可選的動作集序列,然后根據動作之間的互斥性進行分析和逆向搜索,將規劃的隱式約束作用于規劃圖的生成和互斥關系傳播過程之中,以此構建出一個高效搜索空間。圖規劃技術使規劃效率有了極大的改善,在處理經典動作規劃的(Benchmark)問題,比以前的非線性規劃系統(SNLP)、反向搜索規劃器(Unpop)等快了幾個數量級。隨著以目標為導向的后規劃技術的發展,圖規劃搜索大幅縮小了需要占用的存儲空間,進一步提高了效率。

Smith和Weld等人在1999提出了帶有互斥推理的時序圖規劃(TGP)技術;Miguel、Jarvis等人在2000年引入軟約束的思想處理用戶使用偏好問題;2001年Cayrol等人引入限制更少的核準準則設計實現最小承諾規劃器。隨著PDDL2.1引入數值的概念,數值圖規劃技術也在2002年發展起來。

3.2.3 約束可滿足問題的剪枝技術

在常規的狀態空間搜索中,算法只能做一件事即搜索。在CSP中則有了選擇:算法可以搜索(從幾種可能性中選擇新的變量賦值),也可以做-種稱為約束傳播的特殊推理。約束傳播與搜索可以交替進行,從沖突集中找出問題沖突的最小變量集合,同步更新約束記錄,并使用獨立緩存來保留取值。典型代表是快速前向搜索規劃器(FF)將Graphplan的啟發式搜索用在貪婪算法中,采用了兩種技術:一是空動作優先,它保證了放松規劃的最低標準;二是關于啟發式的最優化技術,取得很好的實驗效果[23]。

3.2.4 算法應用分析

表3總結3種算法的特點和局限性,以適配不同的應用場景。表3總結了3種算法的特點和局限性,以適配不同的應用場景。啟發式算法因具備更好的靈活性,獲得更廣泛的應用,近年來與人工智能技術相結合以提升求解效率。研究熱點包括:與強化學習技術結合,通過學習模型對搜索空間中的節點進行優選評估;與深度學習技術結合,直接從大量數據中學習任務規劃的策略,代替傳統的手工制定的啟發式規則;與知識圖譜技術集合,融入知識表示和推理技術,改進問題表述,從而使算法能夠更有效地找到解決方案。

表3 規劃求解算法的比較

4 任務智能規劃技術發展趨勢

4.1 發展需求

在我國首次火星探測活動中,天問一號采用多種工作模式嵌套組合和星上自主判斷的方式,使得我國地外天體巡視器具有一定的自主規劃能力。后續我國將開展更多航天工程,在軌航天器呈現數量多、多頻段測控等新的特征,當前工程任務的技術積累已經不能滿足后續任務的技術支撐,需要把理論研究與工程需求緊密結合,充分采用人工智能技術,為飛控任務提供技術支撐。隨著任務復雜度的增加,任務規劃呈現如下的特征。

(1)在軌航天器由單目標向多目標發展。在未來5年內深空探測任務在軌航天器將超過16個,同時兼顧航天器長期管理需求,測控資源申請和分配等將呈現緊張的競爭態勢,各器之間形成相互耦合的時間窗口約束關系。

(2)單一目標指令級協同規劃向復雜約束狀態空間規劃發展。單一任務模態下航天器協同需求相對簡單,通過指令級協同即可完成控制工作。隨著在軌控制目標的增多,任務間相互耦合關系復雜,需要從任務設計、策略控制、任務實施等多個層面進行任務狀態空間分析,解決多器復雜協同規劃問題。

(3)單一領域模型向多維度多尺度的數字化工程發展。單一的模型描述語言難以充分刻畫系統間的耦合約束條件。所以,需建立多維度、多尺度的規劃知識模型,既能夠提高規劃解的可行性,又能降低規劃算法的計算需求。

(4)人機協同的地面規劃向不確定性的動態任務規劃發展。未知的飛行環境、突發的科學目標等會經常導致預定規劃難以正常執行。為了盡可能地完成任務目標,必須快速應對和解決規劃失效的情況。所以,需要重點研究不確知環境下,預定規劃序列執行失敗時的快速重規劃方法。

4.2 研究方向

考慮到后續航天任務系統耦合性、資源有限和約束復雜等特殊性質,從當前亟需解決的問題和發展趨勢來看,建議在飛控任務智能規劃技術方面重點開展以下研究,以提升我國深空探測智能決策的水平。

1)復雜空間環境下的約束表示

任務規劃知識模型是自主規劃技術基礎并影響規劃搜索技術的應用。開源的PDDL、NDDL都存在弊端,如何有效結合各種建模語言的優勢,構建復雜約束的合理表示和科學規范,是當前建模工作面臨的一個關鍵技術挑戰。

2)基于強化學習的多器協同規劃

以強化學習為代表的人工智能技術在理論和應用上都取得了突破性發展,已經成功應用到機械臂規劃、車輛路徑規劃等各類控制決策系統中。強化學習通過不斷與環境的交互,得到狀態空間對應動作的評價,作為搜索進程中選擇搜索分支的引導模型,以更快地達到搜索完成狀態。目前對強化學習的研究主要集中在狀態空間和動作空間表示、狀態-動作獎勵值更新機制、適合的動作選擇策略等方面。應用強化學習的建模和優化方法,為自動規劃中的搜索求解過程建立高效決策引導模型,是提高復雜任務規劃問題規劃求解效率的重要途徑。開展多器協同規劃,需要從層次劃分、任務分配、多器協同等角度指定分解策略,構建強化學習決策模型,提高復雜規劃問題求解的自動化水平,解決后續任務中強資源、高時效、動態時變等約束難題。

3)復雜環境下的不確定規劃

不確定規劃是在時態規劃基礎上發展起來的一種問題模型,航天工程任務中的不確定性包括動作執行狀態、地外天體位置環境、載荷突發性工況、事件完成時間等多個因素,處理帶有條件分支的規劃任務和應急規劃,需要在航天器上部署快速規劃器來重新進行規劃;或者在地面提前制定應急計劃,以處理不確定性。這方面的研究工作包括:通過選擇條件,在規劃中添加應急分支;處理不確定持續時間、不確定資源消耗、不確定動作效果的規劃技術等。

4)分布式多智能體自主規劃技術

分布式多智能體規劃具有充分利用多航天器的規劃能力、避免系統單點失效等優點,輔以合理的系統架構、規劃協商模式及信息一致性策略,能提高規劃效率、提升系統可靠性。啟發式搜索、元啟發式算法、組合優化技術、機器學習等理論都可作為分布式多智能體規劃的技術基礎。應用到具體工程任務,則需要選擇與場景需求相匹配的規劃方法,并結合任務特點進行擴展和改進。

5 結束語

隨著計算機技術的蓬勃發展,采用人工智能技術提升飛控任務規劃的智能化和自動化水平已經成為大勢所趨,既有的設計模式、組織方式等都需要適應新技術應用帶來的變化。本文提出飛控任務智能規劃的內涵,分析在工程任務背景下學科發展所面臨的技術挑戰;提出通用型軟件處理流程,針對知識建模和求解算法兩個關鍵技術進行詳細研討,并總結了當前工程任務中最新理論研究成果向工程實踐的應用轉化現狀;立足后續國家重大工程任務,提出發展需求和研究方向,以推動深空探測任務核心技術的自主化和智能化發展。