航天器姿態控制群體博弈分布式分配方法

劉浩然，葉東，肖楠，孫兆偉

（哈爾濱工業大學航天學院，哈爾濱 150001）

0 引言

隨著微小衛星技術的不斷發展，人們對小型化、集成化的衛星產生了較濃厚的興趣，這種衛星可批量生產與快速響應［1］。但是這種小衛星由于體積與質量的限制，有時不能達到任務需求的性能指標。人們進而將注意力轉移至由微小衛星構成的細胞星組合體。這種細胞星組合體由結構相同的眾多獨立細胞星組成，可根據任務的需要進行在軌組裝［2］，并通過重構來替換功能失效的細胞星。細胞星組合體不僅可以組合成為一個新的個體執行任務，還能夠附著在無法進行姿態控制衛星上，利用細胞星的執行機構進行姿態輔助控制［3-4］。這一功能有效地延長了失效衛星的使用壽命，使有效載荷能夠發揮更大的效益。

每個細胞星自身都具有執行機構，如飛輪、推力器等。因此在對細胞星組合體進行姿態控制的時候，產生控制力矩的執行機構數目大于航天器的自由度［5］。這是一種冗余的力矩控制，這種控制方式具有魯棒性強、提供的控制力矩大等優點。但是隨著組合體中細胞星數目的增多，組合體結構不斷變化，細胞星通間訊鏈路也愈加復雜，需要設計一種能夠適應組合體結構變化的分布式力矩優化分配方法。

常用的冗余力矩控制分配法有：廣義逆法，這種方法將執行機構構型矩陣的逆矩陣作為分配矩陣，是力矩最小的分配策略；鏈式遞增法，這種分配方式考慮了執行機構的最大力矩輸出限制［6］。另外，郭延寧等［7］研究了在執行機構最大力矩限制條件下的能量最優情況；何光宇等［8］使用遺傳算法解決了力矩分配最優問題；張眾正［9］在考慮能量消耗的同時，優化了執行機構的角動量裕度。近年來，博弈論方法也被用于多智能體的控制分配問題：Xiao等［10］將冗余控制力矩分配問題轉化為多個模塊衛星之間的微分博弈問題，通過求解二次優化問題實現力矩分配；柴源等［11］通過李雅普諾夫迭代法求解耦合狀態相關黎卡提方程，組得到狀態反饋控制器，從而實現及控制力矩分配；韓楠等［12］和羅建軍等［13］通過各細胞星之間的合作博弈，達到了控制失效衛星的目的；常海濤等［14］提出了一種分布式能量均衡的冗余力矩分配方式，解決了集中通信信息負載大等問題；劉偉星等［15］給出了一種考慮飛輪角動量均衡的細胞星分布式力矩分配方法。上述分布式分配方法中，只考慮能量或角動量均衡度單一優化指標，并未考慮細胞星力矩輸出能力。在本文構造非合作博弈的分布式群體博弈分配方法中，每個細胞星都輸出相對較小的力矩使總輸出力矩達到要求，并在分配過程中考慮到了輸出能力及角動量裕度的限制。

不同于一般博弈，群體博弈不研究單個博弈參與者的策略選擇，而是研究整個群體中的策略選擇分布［16］。近年來它的主要研究領域是優化控制器設計［17］和資源分配問題［18］。例如，在無線通信網絡中，在提供客戶滿意的服務質量的同時，盡量減少功耗［19］。同時群體博弈的動態資源分配方法還被廣泛應用到城市供水系統［20］與電網系統的資源分配中［21］。Nash 均衡（NE）描述了群體中沒有一方愿意單方面改變其策略的狀態。群體博弈的最終目標是求解群體Nash 均衡，常用群體動力學求解群體博弈Nash 均衡。常用的群體動力學有復制器動力學、Smith動力學以及logit動力學。群體動力學充分利用了群體博弈中群體質量不變這一特點，能夠對分配總量進行限制，但是無法直接對選擇每種策略的群體質量進行限制。Sandholm［22］系統地總結了群體動力學與Nash 均衡之間的關系。Barreiro-Gomez等［23］建立了分布式群體動力學的廣義形式，在分布式群體動力學下，群體博弈的Nash 均衡仍然是穩定的。Tan等［24］介紹了基于圖論拓撲的復制動力學，總結了分布式Smith 動力學和logit 動力學的平衡點與Nash 均衡點之間的聯系。群體博弈是解決分布式分配問題的一個有效手段。

本文將細胞星組合體力矩分配問題建模為群體博弈問題，提出一種基于群體動力學解決細胞星冗余力矩分配問題的方法。相較于傳統群體博弈只利用群體質量對分配總量進行限制，本文通過收益函數的設計增加對每個策略分配量的限制，在考慮能量消耗的同時利用細胞星輸出力矩能力與角動量裕度對細胞星分配到的力矩進行限制。同時本文設計的分布式力矩分配方法可以適應細胞星數目變化的情況。

1 組合體運動學與動力學

為方便后續描述引入如下坐標系：OΙXΙYΙZΙ表示慣性坐標系，是固連于慣性空間的坐標系；OiXiYiZi表示第i個細胞星的本體系；ObXbYbZb表示組合體本體系，即計算力較強的動力學計算衛星的本體系。

本文采用四元數對姿態進行描述，四元數q=[q0]∈R4表示每個航天器相對慣性系的姿態。qv∈R3是單位四元數矢量部分，q0∈R是標量部分。星群組合體的姿態運動方程為：

四元數qd=[q0]∈R4表示組合體期望姿態四元數，ω=[ωx ωy ωz]Τ為組合體慣性系下角速度。q×為q的叉乘算子，表示為：

引入誤差四元數qe=[qe0]∈R4，計算公式如下：

式中：A為星群體系相對于期望系的坐標變換矩陣，

細胞星組合體動力學方程描述為組合體繞其質心轉動的方程，每個細胞星都是剛體，引入剛體運動歐拉方程：

式中：ω×為ω的叉乘算子；J∈R3×3代表星群組合體的慣性矩陣；Ci∈R3×3表示由各細胞星參考系到慣性系的坐標變化矩陣；ui∈R3表示細胞星i提供的控制力矩。推導得出基于誤差四元數的動力學與運動學方程：

為了實現細胞星組合體的姿態控制，本文設計了如圖1的雙層細胞星組合體姿態控制方案。

圖1 姿態控制及力矩分配過程圖Fig.1 Attitude control and torque distribution process

第1 層為控制力矩計算層，由1 個計算能力較強的衛星擔任，它根據控制律計算出星群姿態控制所需要的總力矩uc。第2 層為基于群體博弈的冗余力矩分配層，該層對計算得到的總力矩依據衛星通信拓撲連接關系進行群體博弈力矩分配。每個細胞星只需向與其有連接關系的衛星傳遞總力矩uc、當前細胞星收益f、當前細胞星的群體狀態p。

本文的重點為對冗余力矩分配方法的探討，在控制律計算時采用基于PD控制的組合體控制律：

式中：kp，kd分別為PD控制的比例和微分參數。

2 力矩分配層群體博弈模型的建立

不同于傳統形式的博弈，在群體博弈中，每一個參與者不被單獨地對待，他們被視為組成一個連續的群體的一部分。在建立群體博弈模型時，本文將力矩分配系數作為博弈參與者，這個群體的總數用群體質量m=1 表示。細胞星作為策略集，用S={1，2，…，n}表示。系數分布作為群體狀態，用矢量p=[p1，…，pn]Τ表示，其中p1，p2，…，pn為非負的標量，pi表示分配到細胞星i∈S的系數。選擇每一個細胞星都有一定的收益，fi(p)表示選擇細胞星i∈S的收益，那么群體博弈的收益非負向量表示為F(p)=[f1(p)，…，fn(p)]Τ。每一個細胞星是一個策略，分配系數在不同的細胞星之間進行選擇，最后達到Nash 均衡。群體博弈模型與力矩分配概念關系如表1所示。

表1 群體博弈與力矩分配概念對照表Table 1 Concept comparison table of population game and torque distribution

當細胞星數目多的時候，并不是每個細胞星都能與其它所有細胞星進行通信。在群體博弈模型構建中，用帶有策略限制的群體博弈模型來描述部分細胞星間存在通信障礙的情況。策略的限制可以用無向圖G={ν，ε}來表示，其中節點集合v表征著可用的策略集，即v=S。邊的集合ε?ν×ν描述了可以進行策略互動的策略。也就是說，若(i，j) ∈ε，則選擇細胞星i的參與者可以與選擇細胞星j的參與者進行博弈互動，反之則不能。

在本文所討論的方案中，姿態控制力矩在時刻變化，導致群體博弈模型時刻變化。為了使群體更長時間處于Nash 均衡狀態且減少細胞星間通信量，設計姿態控制力矩計算層，以一個T周期的時間間隔更新力矩。或者說，本地博弈模型的改變要有一定的時間間隔，在這個間隔內，總控制力矩大小不變，博弈模型不變。

群體博弈的收益函數是連續的。本文在設計收益函數時依據實際的應用，綜合考慮了力矩輸出裕度、能量消耗和飛輪角動量裕度。

首先，考慮飛輪力矩輸出能力：

式中：pi表示分配到此細胞星的力矩分配系數為細胞星i坐標系到組合體坐標系下的坐標轉換矩陣；uc為控制力矩計算層計算得到的所需總力矩；λi為分配增益系數；uimax為此力矩執行機構能夠提供的最大力矩值；ucil為當前細胞星本體系下3 個軸中提供力矩的最大值。

其次，考慮飛輪能量的消耗：

式中：ki為一個足夠大的常數，保證fi2(uci)的值始終大于0。λ2i表征該細胞星能量轉換效率，值越大表明產生單位力矩所需能量越大，能量轉化效率越低。

最后，考慮飛輪角動量裕度：隨著力矩的產生，飛輪的角動量時刻變化，收益函數會產生一個關于群體狀態的積分項，Nash 均衡值時刻變化，導致最后的群體狀態在演化過程中無法達到Nash 均衡。用力矩更新時刻的角動量代替整個控制周期的角動量可以解決這個問題，設計的收益函數如下：

式中：Li表示控制力矩更新時的角動量絕對值；Limax代表飛輪最大的角動量；ci為確定正常數。第1 個式子表示的[0，Lu]段為期望工作范圍，其收益是一個確定常數ci；第2 個式子表示的是飛輪角動量在一個比較大的區間中，收益隨著角動量的增大而減小。當飛輪角動量達到最大值Limax，飛輪不能繼續提供力矩，φi=0 可以有效避免這種情況。在一個控制周期0.5 s內，若飛輪以最大力矩輸出，其角動量變化量為ΔLi，令Lui≤Lmaxi-ΔLi即可保證在該0.5 s 控制周期內角動量不能從期望工作范圍達到飽和。

綜合多個收益，令每個策略的收益函數為：

設計如式（11）的收益函數，可以避免輸出力矩大于最大輸出限制，以及角動量飽和等問題。

此外，細胞星在軌通常有數目及構型的變化，針對此情況，在細胞星數目增多時，可直接進行博弈分配；但當細胞星數目減少時，直接分離會導致該細胞星帶走部分群體質量，導致分配系數的和小于1。故在細胞星脫離整體前，該細胞星的收益變為固定值0 而不是通過公式（8）-（11）計算得到，在此基礎上細胞星再脫離組合體。

3 群體博弈模型的求解

本文利用群體動力學求解Nash 均衡，利用演化的思想求解群體博弈模型。群體動力學中一個重要的概念就是修訂協議。修訂協議可以看作一組允許參與者做出決定的規則，或者說，修訂協議確定了個體改變其策略的條件。修訂協議用ρ=[ρij]表示，它表示了不同策略之間的條件轉換速率。給定一個群體狀態p和一個收益向量F(p)，ρij(F(p)，p)表示了由策略i到策略j的條件轉化率。可以得到這個群體狀態的動力學方程：

等號右邊第1項表示流入策略i的人數（從其他策略轉化為策略i），第2 項表示從策略i中流出的總人數（從策略i轉化到其它策略）。兩者之差表示了策略i的群體狀態變化量。根據不同的修訂協議，群體動力學的微分方程也不一樣。常用的群體動力學有Smith動力學和復制器動力學。

3.1 基于分布式Smith動力學的博弈模型求解方法

Smith動力學是兩策略比較動力學，也就是在得到博弈機會時，隨機選擇一個策略進行比較，更改策略的速度只與策略之間的收益之差有關。換言之，只要對方策略的收益比當前策略收益大，那么博弈參與者就有機會改變其策略。Smith 動力學的修訂協議為：

式中：[·]+=max(·，0)。將上述修訂協議代入公式（1）中，得到關于此修訂協議的動力學方程：

本文中，每個細胞星，即每個策略之間不是都相互連通的，采用限制策略的群體動力學方程變為：

式中：Ni={j∈S：(i，j) ∈ε} 表示在拓撲圖中與策略i可以進行互動的策略。那么分布式Smith 動力學表示為：

引理1［23］.在Smith 動力學下，如果沒有限制的群體動力學是漸近穩定的，同時策略之間拓撲關系是連通的，那么有策略限制的動力學也是漸近穩定的。且當動力學穩定時，當前群體狀態就為群體博弈的Nash均衡解。

定理1.針對以式（8）-（11）為收益函數構建的群體博弈冗余力矩分配模型，基于Smith 動力學的修訂協議構建如式（16）的分布式群體動力學，該動力學穩定且收斂于群體博弈的Nash均衡。

證.首先構造Lyapunov函數：

對Lyapunov函數求導：

為了描述?Ψ(p)，給出下式：

式（19）表示Lyapunov 函數對pl求導。將式（19）代入式（18），得到：

式中：D(p)為fi1fi2的雅可比矩陣，形式為：

所以，D(i，i) ＜0，式（20）左側第1 項小于0。在第2項中，根據修訂協議ρji=[fi-fj]+，如果fi＞fj，那么fk-fi＜fk-fj恒成立；如果fi＜fj，那么修訂協議ρji=[fi-fj]+=0。因此Lyapunov函數（p) ＜0，這個群體動力學是漸近穩定的。根據引理1，本文構造的收益函數所形成的分布式Smith 動力學是穩定的，且穩定值是群體博弈的Nash均衡解。

3.2 基于分布式復制器動力學的博弈模型求解方法

復制器動力學修訂協議：

與式（13）相比，復制器動力學的修訂協議不僅考慮不同衛星間收益函數之差，還考慮分配到對方衛星的力矩分配系數大小，也就是分配到更多分配系數的衛星更適合提供控制力矩。這個修訂協議也被叫做兩策略模仿。將上述修訂協議帶入群體動力學中得到關于此修訂協議的動力學方程為：

采用策略限制的復制器動力學方程可以表示為：

引理2［22］.對于任意的x，y∈P，都滿足(x-y)(fi(x) -fi(y)) ＜0 的群體博弈稱為穩定博弈，穩定博弈以復制器動力學為群體動力學時，存在可收斂到唯一的Nash均衡解p*。

引理3［23］.在復制器動力學下，如果沒有限制的群體動力學是漸近穩定的，同時策略之間拓撲關系是連通的，那么有策略限制的動力學也是漸近穩定的，且有策略限制動力學收斂于Nash均衡解。

定理2.針對以式（8）～（11）為收益函數構建的群體博弈冗余力矩分配模型，基于復制器動力學的修訂協議構建如式（25）的分布式群體動力學，該動力學穩定且收斂于群體博弈的Nash均衡。

證.由式（11）及式（22）可得：

收益函數是關于群體質量負相關函數。對于任意的x，y∈P，都有(x-y)(fi(x) -fi(y)) ＜0，根據引理2 構造的群體博弈是一個穩定博弈，存在唯一的Nash 均衡解p*，并且該博弈策略之間的拓撲關系是連通的。根據引理3，所構造的群體博弈在有策略限制的復制器動力學下是漸近穩定的，且收斂于Nash均衡。

4 仿真校驗

以分配系數作為群體質量，針對不同種類動力學修訂協議進行仿真。考慮如圖2的衛星拓撲圖。

圖2 衛星連接拓撲圖Fig.2 Communicate topology among cellsats

系統總體轉動慣量為：

細胞星的安裝矩陣為：

給定初始姿態四元數為q1=[0.801 3 0.272 7 0.514 5 -0.136 9]T；初始角速度ω0=[0.01 0.02-0.03]Trad s；給定期望四元數qd=[1 0 0 0]T；期望角速度ωd=[0 0 0]T。力矩計算層更新力矩的周期為0.5 s；分配層各星之間通信間隔為0.02 s；給定各衛星最大輸出力矩分別為6、5.5、6.5、6、7 N·m；飛輪角動量裕度分別為35、30、40、35、45 N·m·s；Lu=80%Lmax，λi=1，λ2i=1，ki=100，ci=1，kp=40，kd=90。1 號細胞星負責控制力矩計算。組合體輸出力矩仿真結果如圖3 所示，1 號細胞星輸出力矩如圖4所示。

圖3 組合體輸出力矩Fig.3 Torque of combined body

為進一步剖析不同動力學對群體博弈收斂情況的影響，本文采用分布式Smith 動力學與分布式復制器動力學分別求解Nash 均衡，并對其進行比較。圖5、圖6 分別為復制器動力學與Smith 動力學求解過程中各個細胞星策略中的收益及其局部放大圖。

圖5 復制器動力學下收益Fig.5 Benefits under replicator dynamics

圖6 Smith動力學下收益Fig.6 Benefits under Smith dynamics

由圖像可以看出Smith 動力學與復制器動力學都收斂于同一個收益值，即同一Nash 均衡。但是兩者的收斂速度有明顯區別：在Smith 動力學下，收斂到Nash 均衡的時間要遠遠小于復制器動力學的時間。這是因為，在其它條件都相同的情況下，兩種動力學的唯一區別就是二者的修訂協議不同，Smith動力學的修訂協議為ρij=[]fj(p) -fi(p)+，復制器動力學的修訂協議為ρij=pj[fj(p) -fi(p)]+。修訂協議可以看作一個博弈參與者在得到博弈機會時改變其策略的驅動力，驅動力與改變策略的概率成正比，即兩者之間收益之差越大，這個驅動力越大，其策略改變的概率就越大，收斂越快。根據上述理論，Smith 動力學只需要考慮兩者之間的收益之差，在一定范圍內這個差越大收斂速度越快。而復制器動力學的收益不僅考慮策略間的收益差，同時還要考慮選擇策略的群體，群體數多的策略可能更優，是一種從眾模仿狀態。本論文群體博弈中群體質量為分配系數，滿足群體質量的和為1。所以對于任意pj＜1，在相同收益差的時候，驅動力減小會導致收斂速度變慢。另外由于可能存在次優策略有較多群體的情況，也會導致復制器動力學收斂速度較慢。

圖7 是各細胞星分配系數與時間的關系，可以看出在前15 s 由于需要總力矩較大，收益函數之間差較大，細胞星會提供較大的驅動力。群體動力學收斂較快，分配系數變化明顯。在15 s 后由于總力矩較小，各個細胞星分配到的力矩較小，導致收益函數之差較小，分配系數變化不明顯。

圖7 各細胞星分配系數Fig.7 Distribution coefficient of each cellsat

為了體現本文方法的先進性，將本文算法與集中式能量最優的偽逆法和文獻［14］的算法對比。相較于集中式能量最優算法，本方法細胞星在計算分配時只和與它相連的部分細胞星做信息交流，不用知道所有細胞星的狀態信息，降低集中控制通信壓力與通信延遲帶來的誤差。文獻［14］給出了一種能量均衡的分布式控制力矩分配方法，通過優化能量平衡因子實現分布式力矩分配。評價細胞星提供控制力矩消耗能量指標為：

式中：ui為細胞星i輸出力矩。在上述仿真條件下3種分配方法能量消耗指標如圖8所示。

圖8 3種分配方式能量指標圖Fig.8 Energy index of three distribution methods

由仿真結果可以看出，在滿足力矩輸出能力限制的條件下，采用本文提出的方法與文獻［14］所提出的方法能量消耗都近似于集中式能量最優分配方法，且在本文的工況下，本文方法的能量消耗小于文獻［14］的分配方法。本方法相較于集中式能量最優方法能量多消耗0.41%，因為所設計博弈收益函數（11）利用力矩輸出能力與角動量裕度對能量消耗進行加權，可以根據細胞星輸出能力與角動量裕度對分配力矩大小進行限制，在滿足限制的前提下，當消耗相同能量時，由可產生較大力矩的細胞星輸出更多的力矩。而文獻［14］與能量最優分配方法都沒有考慮細胞星輸出力矩的限制，細胞星分配到力矩存在大于最大輸出力矩的情況，導致期望力矩與實際輸出力矩間存在誤差，定義細胞星組合體控制力矩輸出誤差：

式中：τ為細胞星組合體實際輸出力矩。考慮細胞星間執行機構的差異，當1 號細胞星只能提供最大1.2 N·m 的力矩時，其它條件不變，圖9、圖10、圖11分別為文獻［14］、能量最優方法、本文方法細胞星組合體控制力矩輸出誤差圖。

圖9 文獻［14］方法力矩誤差圖Fig.9 Torque error of the method in reference ［14］

圖10 能量最優方法力矩誤差圖Fig.10 Torque error of energy optimal method

圖11 本文方法力矩誤差圖Fig.11 Torque error of the method in this paper

由仿真結果可以看出，文獻［14］及能量最優方法都未考慮細胞星輸出力矩能力限制，組合體中存在輸出能力較差的細胞星時，會存在較大的輸出力矩誤差。本文方法的仿真結果誤差是由于初始化分配系數過大，1 號細胞星初始期望力矩大于u1max帶來的力矩輸出誤差，但是在博弈過程中該細胞星的期望輸出力矩快速減小。此外，文獻［15］給出另一種分布式力矩分配方法，該方法在分配過程中以角動量均衡作為優化指標，考慮了飛輪卸載速度問題，但是同樣在分配時沒有考慮到飛輪輸出能力的限制。當細胞星輸出能力差異較大或對細胞星有嚴格的輸出力矩要求時，會導致較大的輸出力矩誤差，本方法可以有效地解決這類問題。

接下來仿真細胞星數目變化的情況，設立如下場景：基于前文的仿真條件，在控制開始5 s后，第5顆細胞星脫離組合體，不參與力矩分配。第5 s時令5號細胞星收益為0，所得到的期望控制力矩如圖12所示。

圖12 5號細胞星期望輸出力矩示意圖Fig.12 Expect torque of No.5 cellsat

可以看出5號細胞星期望輸出力矩很快降到0，實現了細胞星數目減少的目的。同理，此種方式也可適用于細胞星控制力矩執行機構失效的問題。在這種情況下，將失效細胞星收益調為恒定值0。

5 結論

本文主要研究了細胞星組合體的姿態控制力矩分配問題。

1）提出一種基于群體博弈的冗余力矩分布式分配方法，在對輸出力矩無限制要求的前提下，能量消耗近似集中式能量最優分配方法，當組合體中細胞星輸出力矩能力差異較大或存在輸出能力較小的細胞星時，提出方法在分配時有較小的輸出誤差。

2）分析了求解力矩分配問題時，比較和模仿兩種不同的演化策略，兩種演化策略形成的不同的群體動力學可以收斂到同一Nash 均衡值。但在力矩分配系數之和為1的前提下，基于Smith動力學的分配收斂速度快于基于復制器動力學分配收斂速度。