脈沖推力下多星協同搬運的預測博弈控制

柴源，羅建軍，王明明

1. 西北工業大學 航天學院，西安 710072

2. 西北工業大學 航天飛行動力學技術重點實驗室，西安 710072

為了滿足深空探測、戰略偵察等未來空間任務的需求，諸如空間望遠鏡[1]、大型通信天線[2]等大型空間設施的建設至關重要。然而，大型空間設施的大體積、大跨度特征限制了利用運載工具以獨立單元發射的可能[3]。為了解決這一難題，研究人員提出了在軌裝配的大型空間設施構建方式，即在空間中進行裝配結構的搬運和組裝[4]。美國鳳凰計劃項目[5]和德國在軌衛星服務和裝配的智能建造模塊(iBOSS)項目[6]等研究表明，利用一些低成本的微小衛星與裝配結構形成組合體，通過互相協同將裝配結構搬運至裝配主體結構附近的期望位置，遞交給裝配機器人進行安裝，是空間在軌自主裝配的重要方式。然而，多星協同搬運過程的軌道轉移過程中存在如下挑戰：① 微小衛星在行為上存在協同需求；② 微小衛星在控制過程中存在多種約束；③ 微小衛星的星載資源寶貴且有限。

多星協同搬運涉及到微小衛星間的協同。目前，大多數多星協同的研究是面向編隊和集群任務。中心式協同控制通過中心衛星進行衛星狀態的收集、控制指令的解算和分發[7]，而分布式協同控制通過每個個體進行局部信息的感知和獨立的控制計算[8]，來實現多微小衛星的長期在軌飛行。然而，不同于編隊、集群任務中的每個微小衛星能夠獨立飛行，多星協同搬運任務的多微小衛星與裝配結構固連，在動力學上存在輸入耦合。針對此類問題，傳統集中式方法是結合單剛體航天器控制和控制分配來得到每個微小衛星的控制量。Han等[9]針對多星協同姿態接管控制問題，首先利用自適應控制方法進行總控制力矩解算，之后將力矩分配描述為二次規劃問題進行求解。為避免將計算負擔集中在中心節點上，Chang等[10]研究了基于市場法的分布式控制分配方法。由于傳統方法均要求中心節點進行總控制量解算，當中心節點出現故障時，整個協同任務會失效，因此其容錯性差。微分博弈提供了一種交互式決策框架，其中，基于博弈系統的整體動力學模型，每一位參與者通過對各自局部目標函數的優化獲得控制策略[11]。這是解決多智能體協同的一種有效思路，已廣泛應用各種工程問題中，如編隊飛行[12]、軌跡規劃[13]、空間突防[14]、多微小衛星接管失效目標[15]。通過將裝配結構的多星協同搬運問題描述為多個微小衛星間的微分博弈，各個微小衛星可獨立優化各自局部目標函數來獲得控制策略，避免控制分配以提高容錯性。

然而，在多星協同搬運過程中需要考慮控制幅值約束以及為避免干擾姿態的力矩約束，這使得博弈的納什均衡求解變得復雜。典型求解微分博弈問題的方法是基于動態規劃法將原二次型博弈問題轉化為一組耦合的哈密爾頓-雅可比 (HJ) 方程進行求解，無法處理約束[16]。Zhang等[17]對二次型形式的局部目標函數進行改進，并利用強化學習算法逼近HJ方程的數值解得到納什均衡策略，能夠有效處理控制幅值約束。但是該方法要利用大量的數據進行在線學習，較為耗時。韓楠等[18]將帶有控制幅值約束的微分博弈問題轉化為約束優化問題，在通信達到一致的全局態勢感知后，各個微小衛星均在各自的處理器上進行全局約束優化問題的求解。雖然該方法可以處理約束，但全局約束優化問題的計算復雜性高，各個微小衛星的計算負擔重；而且該方法求得的是一種開環控制策略，魯棒性差。進一步，韓楠[19]設計了基于模型預測控制的分布式納什均衡求解方法，能夠有效實現對控制幅值約束的處理。相較于全局優化方法[18]，該方法將計算負擔分布在各微小衛星之間，減輕計算壓力；且該方法是閉環控制策略，魯棒性較好。然而，該方法無法直接解決本文問題。一方面該方法需要在每個采樣時刻多次通信獲取其他微小衛星的策略并迭代求解納什均衡，通信負擔重，計算實時性要求較高。另一方面，該方法僅考慮了微小衛星各自解耦的控制幅值約束，無法直接處理多星協同搬運中微小衛星之間耦合的力矩約束。

本文針對多星協同搬運過程中的軌道轉移控制問題，為滿足多種控制約束以及減少星上通信消耗，提出了脈沖推力下的預測博弈控制方法。在多星協同方面，以相對軌道動力學為模型、以控制精度和能量消耗的二次型為局部目標函數構建多星博弈問題，個體能夠通過局部目標函數的優化獲得控制策略，避免了傳統集中式方法所需的控制分配，提高了方法的容錯性；在控制約束處理方面，以模型預測控制為框架構建預測時域上的優化問題，便于對約束的顯式處理，將耦合的力矩約束從絕對約束轉化為目標約束再處理，便于微小衛星分布式逼近納什均衡策略；在星載資源的利用上，引入脈沖推力形式并將其與控制幅值約束合并描述為存在周期及幅值限制的力約束，使得微小衛星僅在脈沖施加時刻進行分布式控制策略求解，降低了控制更新次數和通信次數，節省了燃料消耗。

1 問題描述

為了實現裝配結構的搬運，多個微小衛星利用自己的執行機構實現對裝配結構的軌道和姿態控制。假設微小衛星能夠通過飛輪的控制保持裝配結構的姿態穩定，本文重點研究多個微小衛星的軌道轉移控制問題。圖1給出了多個微小衛星協同搬運的示意圖，其中，微小衛星在除了與裝配結構相接的面以外的每個面均安裝有推力器。

本文為滿足多種控制約束以及減少星載資源消耗，進行了脈沖推力下的預測博弈控制方法設計。首先，通過多星協同搬運軌道動力學的構建、局部目標函數的設計以及考慮脈沖推力的力約束和力矩約束的描述，建立多星協同搬運的博弈模型；其次，基于模型預測控制思想，通過對博弈模型進行離散化和連續迭代得到預測時域下的多約束多星博弈模型；最后，通過對上述模型的解耦處理得到僅優化微小衛星自身策略的二次規劃問題，并通過預測博弈控制算法的設計實現均衡策略的逼近。

圖1 微小衛星協同搬運示意圖

所涉及的坐標系定義如下：

1) Clohessy-Wiltshire-Hill(CWH)坐標系Ocxcyczc。該坐標系以期望位置為原點，xc軸沿軌道徑向，yc軸垂直于xc軸指向前，zc軸由右手定則確定。

2) 微小衛星本體坐標系Oixiyizi。該坐標系以微小衛星的質心為原點，微小衛星的3個慣量主軸分別為坐標軸xi、yi、zi。設微小衛星與搬運結構的相接面與+zi垂直，則微小衛星只能沿±xi、±yi和+zi方向產生推力。

3) 組合體本體坐標系Obxbybzb。該坐標系以組合體的質心為原點，其坐標軸與任一微小衛星的慣性主軸平行。

2 多星協同搬運的博弈建模

為了實現微小衛星控制策略的獨立優化，本節基于動力學模型的建立、局部目標函數的設計以及多種約束的表述，將多星協同搬運問題建模為多約束多星博弈。其中，脈沖推力被描述在力約束中。

2.1 協同搬運系統動力學模型

考慮包含N個微小衛星的協同搬運系統。微小衛星按順序標記為1，2，…，N，并假設微小衛星之間的通信拓撲是無向連通結構。由于組合體的初始位置和期望搬運位置之間的距離遠遠小于軌道半徑，因此組合體相對于期望位置的軌道運動可由CWH方程描述

(1)

2.2 多星博弈建模

面向多星協同搬運的需求，將多個微小衛星視為博弈參與者，通過各個微小衛星的決策互動進行策略優化。為實現期望位置的接近，每個微小衛星的局部目標函數定義為

(2)

微小衛星在力施加過程中可能會產生力矩，對組合體姿態運動造成不必要的擾動。為了在搬運過程中不改變裝配結構的姿態，要求所有微小衛星產生的合力矩為零,即

(3)

式中：rbi為組合體質心指向微小衛星質心Oi的矢量，右上角標a×表示叉乘運算。該力矩約束為耦合約束。

圖2 脈沖推力示意圖[20]

為了提高燃料利用率和減少通信及計算次數，采用脈沖推力形式[20]，其具體形式如圖2所示。軌道運動由多個脈沖周期組成，每個脈沖周期包括一個脈沖作用段和一個自由運動段。脈沖作用時間為一個采樣周期τ，且脈沖幅值限制為umax。自由運動段為相鄰2個脈沖推力之間沒有推力作用的時間段。一個脈沖周期時長為T=nτ，其中n為一個脈沖周期的采樣次數。首先，脈沖推力只在脈沖作用段施加，且具有控制幅值限制

(4)

ui(t)=03×1, ?t∈[twn+1,t(w+1)n)

(5)

式中：twn+1為第w個脈沖周期的自由運動段開始時刻；t(w+1)n為第w個脈沖周期的自由運動段結束時刻。

因此，針對式(1)所示的多星系統，考慮局部目標函數(2)以及力矩約束(3)、力約束(4)-(5)、初始邊界約束的情況下，微小衛星的協同搬運問題可以描述為如下的多約束博弈問題

(6)

在每個控制時刻，各個微小衛星通過優化求解上述問題進行博弈策略的調整，實現各自局部目標函數的優化。當如下N個不等式成立時，各個微小衛星則獲得ε-Nash均衡策略[21]

(7)

即一旦微小衛星的博弈策略達到ε-Nash均衡狀態，則任意微小衛星無法通過單方面的策略調整使其局部目標函數的優化量超過ε。

3 預測博弈控制器設計

模型預測控制以預測模型為基礎，在控制過程中處理多種約束，通過滾動優化的方式實現閉環控制。本節利用模型預測控制處理約束的優勢，期望通過多星之間的局部信息交互實現均衡策略的逼近。

3.1 預測時域的博弈模型

為了建立預測時域的博弈模型，需要將建立的博弈模型(6)進行離散化和連續迭代。定義多星協同搬運任務的開始和結束時間分別為t0和tf，采樣周期為τ，則根據采樣時間將[t0,tf]分為Ns個時間段[t0,t1,…,tl,…tNs-1,tf]。其中，tf=tNs。定義預測時域的步長Np為一個脈沖周期采樣次數n的p倍，控制時域的步長Nq為一個脈沖周期采樣次數n的q倍，預測時域等于控制時域。

首先對動力學約束進行處理。在tk處，式(1)可離散化為

(8)

式中：k={0,Nq,2Nq,…}為每次進行新的策略求解的時刻下標;xk=x(tk);ui,k=ui(tk)，且

在預測時域[tk,tk+Np-1]，通過對離散動力學模型的連續迭代，可以得到預測時域內的動力學模型

(9)

式中：Xk表示預測狀態向量；Ui,k表示預測時域內各微小衛星的控制向量。具體形式如下

其次，對局部目標函數進行處理。在tk處，局部目標函數式(2)的離散形式為

(10)

則在預測時域內，局部目標函數具有如下形式

(11)

其中：Qi,k=INp?Qi;Rij,k=INp?Rij。

最后，對力矩約束和力約束進行處理。式(3)在預測時域內可表示為

(12)

式中：?表示克羅內克積。由于脈沖作用段為一個采樣周期，因此力約束式(4)和式(5)在預測時域內可表示為

(13)

綜合式(9)～式(13)可得預測時域內博弈模型為

(14)

式(14)描述了多星協同搬運在一個預測時域內的博弈?；诙嗖筋A測思想，利用未來Np步的預測信息來求個體的博弈策略；基于滾動優化思想，各個微小衛星施加控制序列中前Nq控制作用來進行裝配結構搬運過程中的軌道控制。然而，由于式(14)中耦合的動力學模型和耦合的力矩約束，無法進行微小衛星的獨立求解。

3.2 二次規劃建立

為了使微小衛星能夠獨立優化各自的策略,分別對式(14)中耦合的動力學模型和力矩約束進行處理。

針對耦合的動力學模型，將式(9)代入式(10)中，可得個體的局部目標函數為

(15)

通過這樣的處理，個體的目標函數中可消除Xk項，其自變量僅包含各微小衛星控制序列。進一步考慮到每個微小衛星僅能優化自身的控制序列Ui,k，因此式(15)中不包含Ui,k的項可舍去，得到如下局部目標函數

(16)

式中：

同時，將力矩約束式(12)從約束約束轉化為目標約束

(17)

同時，考慮到每個微小衛星僅能優化自身的控制序列Ui,k，將式(17)改寫為如下形式

(18)

式中:

∈R(3Np+1)×(3Np+1)

綜合式(16)和式(18)，微小衛星的優化問題表示如下二次規劃問題

(19)

式中：

在協同搬運過程中的每個tk處，微小衛星i基于其他個體的優化序列Uj,k求解這樣一個優化問題，解得控制序列Ui,k只施加前Nq個控制作用。

3.3 預測博弈控制算法

微小衛星在每個tk處求解式(19)所示二次規劃問題時，需要知道其他所有微小衛星的優化控制序列。但是，其他個體的控制序列在一開始求解時也都是未知的。因此，需要進行初始策略的求解和均衡策略的調整。

(20)

在得到所有微小衛星的初始序列后，各個微小衛星依次求解式(19)的二次規劃問題來對初始策略進行連續調整，記為

(21)

EJk=maxEJi,k≤ε

(22)

綜上，本文設計多星協同搬運的預測博弈控制算法流程如算法1所示, 各個微小衛星通過局部信息交互實現了在線優化。

算法1 預測博弈控制算法輸入tk,xk,U0i,k=03Np輸出Uiteri,k的前Nq個控制作用1.iter=12.初始化U1i,k:微小衛星i根據式(20)計算初始控制序列3.iter=24.While iter≤itermax or EJi,k>ε do5. 微小衛星i根據式(21)計算本輪控制序列Uiteri,k6. iter=iter+1;EJi,k=maxEJi,k7.End

4 仿真分析

本節通過數值仿真對所設計的脈沖推力下的預測博弈控制方法進行驗證分析，同時對比不同脈沖周期對控制效果的影響。

不失一般性，假設有4個微小衛星參與多星協同搬運任務，微小衛星之間的通信為環形拓撲結構。期望位置的軌道半徑為r0=42 164 km，軌道角速度為ω0=7.292 2×10-5rad/s，軌道傾角為30°，升交點赤經為20°。組合體的初始位置為r=[0,-20,0]Tm，組合體質量為m=100 kg。4個微小衛星在Obxbybzb下的坐標分別為r1=[0,-1,1]T，r2=[0,1,1]T，r3=[0,-1,-1]T以及r4=[0,1,-1]T。各微小衛星的轉換矩陣分別為

目標函數中的加權矩陣設置為

Q1=Q2=Q3=Q4=0.001I6

R11=R22=R33=R44=0.001I3

微小衛星的脈沖推力幅值為umax=0.5 N。采樣周期為τ=0.5 s，脈沖周期的采樣次數為n=10。預測時域參數為p=20，即Np=200，控制時域等于預測時域。最大更新次數為itermax=3。

4.1 多星協同搬運的軌道控制

為了說明本文方法的優勢，本節分別從約束處理、容錯性以及魯棒性3個方面進行仿真分析，并與傳統集中式方法進行對比。

4.1.1 對約束處理的有效性分析

基于上述參數設置，圖3和圖4是組合體的相對軌道位置和相對軌道速度隨時間變化曲線。在多個微小衛星的控制作用下，組合體的軌道位置可以在200 s左右達到期望位置，軌道控制精度優于1×10-3m。

圖3 組合體相對軌道位置變化曲線

圖4 組合體相對軌道速度變化曲線

圖5給出了4個微小衛星的控制力隨時間的變化情況?？梢钥闯?，在協同搬運過程中，各個微小衛星的控制力始終滿足力約束要求。隨著組合體的軌道位置逐漸逼近期望位置，各個微小衛星的控制力逐漸趨于0 N。

圖6為所有微小衛星產生的各坐標軸的總力矩隨時間變化情況。從圖中可以看出，合力矩被約束在3×10-4N·m以內，完全能夠通過姿態控制系統的魯棒性進行抑制。

為說明本文方法的先進性，將所提出的預測博弈控制方法與傳統集中式方法進行比較，其中，以微小衛星4為中心節點進行計算和分配，總控制量解算采用傳統的線性二次型調節器(LQR)控制方法，控制分配采用基于序列二次規劃的動態控制分配。如圖7所示，通過對LQR控制的加權矩陣Q和R的調節，使得傳統方法能夠在200 s左右達到期望位置，以便于其他性能的對比。圖8為采用傳統方法得到的微小衛星1的控制力變化圖，可以看出傳統方法在初始控制階段違反了控制幅值約束。這是因為在總控制量解算時LQR方法無法處理控制約束，總控制量的大小會影響分配后的微小衛星控制力大小。圖9為采用傳統方法得到的微小衛星的各坐標軸的力矩，能夠滿足合力矩約束。這是由于多個微小衛星對稱排布，對應的構型矩陣決定了合力矩能夠滿足要求。上述對比分析說明了本文所設計的方法在約束處理上的顯著優勢。

圖5 4個微小衛星的控制力

圖6 微小衛星產生的各坐標軸的總力矩

圖7 傳統方法下組合體相對軌道位置變化曲線

圖8 傳統方法下微小衛星1的控制力

圖9 傳統方法下微小衛星產生的各坐標軸的總力矩

4.1.2 對個體失效的容錯性分析

為了驗證所設計方法的容錯性，設置微小衛星4在仿真的第50 s發生故障，無法通信和提供控制力。其他仿真參數與4.1.1節相同。

圖10給出了微小衛星4失效時組合體的相對軌道位置隨時間變化曲線，可以看出，在微小衛星4失效的情況，其他微小衛星仍舊能夠控制組合體到達期望位置。圖11給出了其中一個正常的微小衛星1的控制力變化情況，表明微小衛星能夠在單個個體失效情況下正常進行控制力的更新，這是因為剩余正常微小衛星的通信拓撲仍為全連通圖。圖12給出了失效微小衛星4的控制力變化情況，表明該個體在50 s后無法提供控制力。圖13給出了各微小衛星產生的總坐標軸的總力矩變化圖，可以看出正常微小衛星在非對稱排布的情況下，各坐標軸的力矩仍能夠被約束在3×10-4N·m以內。

圖12 微小衛星4失效下控制力變化

圖13 微小衛星4失效下各微小衛星產生的各坐標軸的總力矩

而傳統方法是以微小衛星4為中心節點進行計算和分配的，一旦微小衛星4失效，整體系統癱瘓，無法進行組合體的控制，導致任務失敗。上述結果說明了相較于傳統方法，本文所提出的方法對個體失效具有較好的容錯性。這是因為博弈模型避免了中心式解算和控制分配，環形通信結構保證了在一個個體失效的情況下其他個體仍舊能夠正常通信，分布式優化保證了微小衛星獲取信息后的獨立計算。

4.1.3 對不確定性的魯棒性分析

為驗證所獲得的預測博弈控制策略對擾動引起的軌道控制誤差的補償能力，在多星協同搬運過程中引入如下的干擾力矩同時，設置位置測量誤差為均值為0、標準差為3×10-3的白噪聲[22]。其他參數與4.1.1節相同。

圖14給出了組合體的相對軌道位置變化曲線。可以看出，在不確定存在情況，所提出方法能夠實現對組合體軌道位置的有效控制。圖15(a)表明在不確定存在情況下本文所提出方法仍能夠滿足控制幅值約束，且脈沖推力形式便于執行。而圖15(b)表明傳統方法下所得到的控制力無法滿足控制幅值約束以及在-zi軸控制力為零的要求，而由于不確定的存在控制力也存在抖振現象，不利于執行。圖16的結果說明了不確定性存在情況下本文所提出的方法能夠將各坐標軸的總力矩約束在期望的范圍內。上述結果說明了本文所提出的控制器對不確定性因素不敏感，具有魯棒性。

圖14 不確定性存在下組合體相對軌道位置變化曲線

圖15 不確定性存在下微小衛星1的控制力

圖16 不確定性存在下微小衛星產生的各坐標軸的總力矩

4.2 不同脈沖周期對控制效果的影響

考慮不同脈沖周期對控制效果的影響，取兩組不同的脈沖周期來進行仿真。第1組仿真中，取脈沖周期的采樣次數為n=1，即連續控制的情況，控制時域對應設置為Nq=1。第2組仿真中，取脈沖周期的采樣次數為n=20，控制時域為Nq=20。其他仿真參數與4.1節相同。

圖17分別給出了不同脈沖周期下的組合體相對軌道變化曲線。結合圖3的結果可得，在相同采樣時長和預測時域步長的情況，脈沖周期的采樣次數越小，超調量就越小，穩定速度就越快。

圖17 不同脈沖周期下的組合體相對軌道位置變化

圖18分別給出了不同脈沖周期下的微小衛星1的控制力變化。結合圖5(a)的結果可得，脈沖周期的采樣次數越小，則兩脈沖之間的間隔越小，控制收斂速度更快。特殊地，脈沖周期n=1時，脈沖控制變成了連續控制。

表1為不同脈沖周期下的燃料消耗和單個微小衛星總通信次數情況。從表中可以看出，在相同采樣時長和預測時域步長的情況下，脈沖周期的采樣次數n越小，所消耗的燃料越大，其中，連續推力控制即n=1時的燃耗評價值是脈沖推力n=20時燃耗評價值的3.6倍，所需要總通信次數也越多，其中，連續推力所需單個微小衛星總通信次數是脈沖推力n=20時通信次數的20倍。由于星上資源在航天中較為寶貴，高燃耗和頻繁通信對于航天任務的執行是不利的。因此，在實際工程應用中，可以根據任務時間窗口、燃耗情況和通信設備情況進行脈沖周期采樣次數n的調整，以滿足需求。

圖18 不同脈沖周期下的微小衛星1控制力

表1 不同脈沖周期下的燃料消耗及通信次數

5 結 論

1) 針對多星協同搬運中的行為協同、多約束滿足以及星上資源節約問題，設計了脈沖推力下的預測博弈控制方法。在建模方面，考慮脈沖推力在通信開銷上和燃料開銷上的優勢以及博弈論在多個體決策互動方面的優勢，建立了多約束多星博弈模型，避免了控制分配。在求解方面，利用模型預測控制顯式處理約束的能力，設計了分布式博弈均衡策略求解方法，能夠有效處理耦合約束。

2) 通過與傳統集中式方法進行數值仿真對比可以得出：本文所提出的方法能夠處理多種約束，其分布式優化的特征提高了系統的容錯性，其滾動優化的特征使得方法具有一定的魯棒性，脈沖推力的形式減小了通信和燃料開銷且便于執行，適用于多星協同在軌搬運的情形。

3) 在控制策略的在線計算過程中，各個微小衛星通過多次迭代來逼近納什均衡，需要在計算精度和計算時長上進行折中。在后續的研究中可以進一步優化迭代算法，提高收斂效率。另外在脈沖周期的選擇上，本文僅對不同脈沖周期所得到的仿真結果進行分析，在后續的研究中可以通過優化方法得到滿足要求的脈沖周期，進一步提高燃料利用率。