基于深度增強(qiáng)學(xué)習(xí)的衛(wèi)星姿態(tài)控制方法

西安微電子技術(shù)研究所，西安 710065

良好的姿態(tài)控制方法對(duì)空間衛(wèi)星的穩(wěn)定在軌運(yùn)行至關(guān)重要。衛(wèi)星在軌運(yùn)行中，由于燃料的長(zhǎng)期消耗、載荷的在軌捕獲與釋放(如從宇宙飛船上釋放衛(wèi)星,捕獲目標(biāo)、清除軌道垃圾等)、與其他航天器的對(duì)接等，且星體本身具有非線性、高階、時(shí)變等特性[1]，都會(huì)導(dǎo)致系統(tǒng)的運(yùn)動(dòng)狀態(tài)及質(zhì)量特性發(fā)生變化，且很多變化是劇烈的(如捕獲、釋放衛(wèi)星,與目標(biāo)的對(duì)接等)、無(wú)法確知的(如對(duì)非合作目標(biāo)的操作、軌道垃圾的清理等)[2]。現(xiàn)有的姿態(tài)控制算法大部分依賴被控對(duì)象的質(zhì)量參數(shù)(包括質(zhì)量、轉(zhuǎn)動(dòng)慣量等)，需要通過(guò)各種手段辨識(shí)其質(zhì)量參數(shù)，此種情況下難以給出準(zhǔn)確的參數(shù)辨識(shí)[3-4]，且此類系統(tǒng)動(dòng)力學(xué)模型復(fù)雜，具有較強(qiáng)的非線性，容易導(dǎo)致現(xiàn)有的姿態(tài)控制系統(tǒng)失效[5]。因此,迫切需要一種高自主的具備高度智能化程度的姿態(tài)控制技術(shù)，解決傳統(tǒng)控制難以對(duì)付的航天器質(zhì)量特性在軌變化情況下的航天器高性能控制問(wèn)題。

目前，衛(wèi)星姿態(tài)控制的實(shí)際問(wèn)題是外部干擾、轉(zhuǎn)動(dòng)慣量的不確定性和模型的非線性問(wèn)題[6]。針對(duì)此類復(fù)雜情況下的姿態(tài)控制問(wèn)題，文獻(xiàn)[7]基于Backstepping法，設(shè)計(jì)能解決轉(zhuǎn)動(dòng)慣量不確定的自適應(yīng)控制律，可以解決系統(tǒng)Lyapunov函數(shù)構(gòu)造困難的問(wèn)題。Yoon等人針對(duì)航天器姿態(tài)控制中存在慣量的不確定性，提出了一種非線性哈密頓MIMO系統(tǒng)新型控制律[8]。Queiroz等人利用完整系統(tǒng)的動(dòng)力學(xué)模型設(shè)計(jì)了非線性自適應(yīng)控制，證明了在干擾為未知量的情況下閉環(huán)系統(tǒng)的跟蹤誤差全局漸進(jìn)收斂[9]。苗雙全利用一種自適應(yīng)滑模控制策略解決了大型撓性航天器機(jī)動(dòng)過(guò)程中出現(xiàn)的振動(dòng)問(wèn)題[10]。總的來(lái)看，目前面向空間飛行器姿態(tài)控制的算法智能化程度低，且通常都是針對(duì)具體應(yīng)用進(jìn)行設(shè)計(jì)，不具備普適性。所以，隨著航天探索任務(wù)復(fù)雜程度的不斷提高，需要設(shè)計(jì)一種具備高度智能化程度的姿態(tài)控制技術(shù)。

深度增強(qiáng)學(xué)習(xí)是直接從高維原始數(shù)據(jù)學(xué)習(xí)控制策略的一項(xiàng)技術(shù)[11]，為了解決從感知到?jīng)Q策的計(jì)算機(jī)控制問(wèn)題，從而實(shí)現(xiàn)通用人工智能。它在過(guò)去兩年中得到了迅速發(fā)展，并在視頻游戲和機(jī)器人領(lǐng)域取得了突破性進(jìn)展[12]。而DQN(Deep Q Network)是深度增強(qiáng)學(xué)習(xí)的典型算法之一，它將神經(jīng)網(wǎng)絡(luò)和Q-Learning結(jié)合起來(lái)，輸入是原始圖像數(shù)據(jù)，輸出則是每個(gè)動(dòng)作對(duì)應(yīng)的價(jià)值評(píng)估(Q值)[13]。2013年Google公司的DeepMind團(tuán)隊(duì)在NIPS的深度學(xué)習(xí)研討會(huì)上提出DQN算法[14]，在Atari游戲平臺(tái)展示了此類算法在智能決策方面的巨大應(yīng)用潛力。

本文擬采用深度增強(qiáng)學(xué)習(xí)算法，針對(duì)空間衛(wèi)星智能姿態(tài)控制問(wèn)題，提出一種通過(guò)自主學(xué)習(xí)實(shí)現(xiàn)衛(wèi)星智能姿態(tài)控制的方法，突破現(xiàn)有方法被控對(duì)象依賴復(fù)雜動(dòng)力學(xué)模型和嚴(yán)格質(zhì)量參數(shù)的局限，解決遭遇突發(fā)隨機(jī)擾動(dòng)的衛(wèi)星姿態(tài)不穩(wěn)定問(wèn)題，提高姿態(tài)控制算法的姿態(tài)穩(wěn)定度和控制精度。

1 姿態(tài)控制方法

本文將衛(wèi)星智能姿態(tài)控制問(wèn)題定義為：軌道坐標(biāo)系上保持穩(wěn)定姿態(tài)角速度運(yùn)轉(zhuǎn)的空間衛(wèi)星，在遭遇突發(fā)擾動(dòng)姿態(tài)發(fā)生變化后，如何操作控制力矩以穩(wěn)定衛(wèi)星的姿態(tài)為初始狀態(tài)。已有的傳統(tǒng)解決方法PD控制器由于依賴嚴(yán)格的質(zhì)量參數(shù)條件，往往使得輸出的姿態(tài)角速度發(fā)散。為此這里使用深度增強(qiáng)學(xué)習(xí)技術(shù)解決這一問(wèn)題，過(guò)程分為如下兩步：1)搭建隨機(jī)擾動(dòng)下控制力矩與姿態(tài)角速度互相反饋的動(dòng)力學(xué)環(huán)境；2)使用DQN算法進(jìn)行控制力矩的深度增強(qiáng)訓(xùn)練。設(shè)計(jì)流程如圖1所示。

圖1 基于深度增強(qiáng)學(xué)習(xí)的衛(wèi)星姿態(tài)控制方法示意Fig.1 Sketch map of satellite attitude control method based on deep reinforcement learning

1.1 動(dòng)力學(xué)環(huán)境搭建

為了研究衛(wèi)星姿態(tài)控制問(wèn)題，本文基于空間衛(wèi)星的動(dòng)態(tài)特性建立了軌道坐標(biāo)系; 也就是說(shuō)，坐標(biāo)原點(diǎn)位于衛(wèi)星的質(zhì)心，Z軸指向地球中心，Y軸位于衛(wèi)星軌道平面的負(fù)法線，X，Y和Z軸構(gòu)成一個(gè)右手系統(tǒng)。 同時(shí)為描述衛(wèi)星姿態(tài)在力矩作用下的運(yùn)動(dòng)情況，需建立正確的姿態(tài)動(dòng)力學(xué)和運(yùn)動(dòng)學(xué)模型[15]。

(1)建立姿態(tài)動(dòng)力學(xué)模型方程

衛(wèi)星的動(dòng)力學(xué)模型由單剛體的歐拉動(dòng)力學(xué)方程描述如下：

(1)

式中：T為作用于剛體質(zhì)心上的控制力矩;I為剛體的轉(zhuǎn)動(dòng)慣量矩陣;ω=[ωxωyωz]T為剛體的姿態(tài)角速度。若已知姿態(tài)角速度的初值為ω0，給定控制力矩T，將I設(shè)為定值，則能夠通過(guò)積分式(1)得到任意時(shí)刻衛(wèi)星的姿態(tài)角速度。

(2)建立姿態(tài)運(yùn)動(dòng)學(xué)模型方程

由于衛(wèi)星的姿態(tài)可通過(guò)姿態(tài)四元數(shù)來(lái)表征。下式為衛(wèi)星基于四元數(shù)的姿態(tài)運(yùn)動(dòng)學(xué)方程，ω=[ωxωyωz]T為衛(wèi)星的姿態(tài)角速度，若已知衛(wèi)星在初始時(shí)刻的姿態(tài)四元數(shù)為Q0，則可通過(guò)積分表示衛(wèi)星在任意時(shí)刻的姿態(tài)。

(2)

(3)搭建動(dòng)力學(xué)環(huán)境

搭建動(dòng)力學(xué)環(huán)境過(guò)程如下：

第1步，初始化衛(wèi)星的姿態(tài)角速度ω0及姿態(tài)四元數(shù)Q0；

第2步，給定一個(gè)隨機(jī)擾動(dòng)力矩Tr，設(shè)定周期為I；

第3步，依次對(duì)式(1)(2)積分，求解第i(i=1,…,I)個(gè)周期內(nèi)的姿態(tài)角速度ωi及姿態(tài)四元數(shù)Qi，循環(huán)輸出整個(gè)周期的姿態(tài)(ω,Q)；

第4步，以(ω,Q)作為衛(wèi)星的初始姿態(tài)輸入到神經(jīng)網(wǎng)絡(luò)中，返回至第3步，不斷循環(huán)。

作為對(duì)比，引入PD控制的方法，同樣以此向量作為衛(wèi)星的初始姿態(tài)輸入到PD控制器中，輸出控制力矩。

1.2 深度增強(qiáng)訓(xùn)練

本節(jié)在動(dòng)力學(xué)環(huán)境的基礎(chǔ)上，以衛(wèi)星姿態(tài)為輸入，使用DQN算法智能輸出衛(wèi)星的控制力矩[16]，并送入動(dòng)力學(xué)環(huán)境中獲得衛(wèi)星姿態(tài)，繼續(xù)輸入到神經(jīng)網(wǎng)絡(luò)中訓(xùn)練權(quán)重。

(1)離散化控制力矩的連續(xù)輸出

DQN是一個(gè)面向離散控制的算法，即輸出的Action是離散的，無(wú)法輸出連續(xù)的Action，因?yàn)镼值的更新需要通過(guò)求最大的Action來(lái)實(shí)現(xiàn)。然而在要解決的衛(wèi)星控制問(wèn)題中，控制力矩的輸出是連續(xù)高維的，無(wú)法使用傳統(tǒng)的DQN解決，故此處對(duì)輸出的控制力矩進(jìn)行離散化。

衛(wèi)星的控制力矩是一個(gè)三維向量T=[TxTyTz]T，設(shè)定控制力矩中每一個(gè)方向分量的取值范圍，如Tx∈[ax,bx]，Ty∈[ay,by]，Tz∈[az,bz]，分別等分Tx、Ty、Tz為5等份，為每一份設(shè)置標(biāo)志向量，分別為[1 0 0 0 0]、[0 1 0 0 0]、[0 0 1 0 0]、[0 0 0 1 0]、[0 0 0 0 1]，以此向量代表控制力矩進(jìn)行Q值迭代。

(2) 定義reward函數(shù)及終止條件

深度增強(qiáng)訓(xùn)練的目標(biāo)是輸出衛(wèi)星的控制力矩，使得衛(wèi)星的姿態(tài)角速度與期望姿態(tài)角速度之間的誤差越來(lái)越小，衡量的標(biāo)準(zhǔn)是得到盡可能多的回報(bào)，因此獎(jiǎng)勵(lì)(reward)函數(shù)需要具有角速度差值(定義為error)越小，reward越大的性質(zhì)，適用的高斯函數(shù)如下：

(3)

前述DQN算法中提到了訓(xùn)練中需要設(shè)置任務(wù)的終止條件，要為每一次輸出的控制力矩進(jìn)行是否完成任務(wù)的判斷，即此力矩能否使衛(wèi)星姿態(tài)恢復(fù)穩(wěn)定。此處根據(jù)衛(wèi)星姿態(tài)角速度的取值范圍，定義每次迭代姿態(tài)角速度與期望姿態(tài)角速度之間的誤差處于某個(gè)確定范圍時(shí)，任務(wù)繼續(xù)訓(xùn)練，反之任務(wù)終止。

(3) 神經(jīng)網(wǎng)絡(luò)訓(xùn)練流程

本文使用兩層的全連接神經(jīng)網(wǎng)絡(luò)，以衛(wèi)星當(dāng)前的姿態(tài)角速度和姿態(tài)四元數(shù)作為輸入，輸出一個(gè)數(shù)值指示控制力矩大小的概率。與卷積神經(jīng)網(wǎng)絡(luò)不同，每個(gè)神經(jīng)元僅連接到少量神經(jīng)元[17]，全連接神經(jīng)網(wǎng)絡(luò)連接到上層的所有神經(jīng)元。綜上，基于DQN的深度增強(qiáng)訓(xùn)練流程如下：

1)初始化經(jīng)驗(yàn)池D的容量為N，用于存儲(chǔ)訓(xùn)練的樣本。

2)用一個(gè)深度神經(jīng)網(wǎng)絡(luò)作為Q值網(wǎng)絡(luò)，初始化權(quán)重參數(shù)θ。

3)設(shè)定控制任務(wù)訓(xùn)練總數(shù)M，初始化網(wǎng)絡(luò)輸入狀態(tài)x1，并且計(jì)算網(wǎng)絡(luò)輸出a1。循環(huán)開(kāi)始：

②在環(huán)境中執(zhí)行at后，得到獎(jiǎng)勵(lì)rt和下一個(gè)網(wǎng)絡(luò)的輸入xt+1；

③將4個(gè)參數(shù)(xtatrtxt+1)作為此刻的狀態(tài)一起存入D中(D中存放著N個(gè)時(shí)刻的狀態(tài))；

④當(dāng)D積累到一定程度，每次執(zhí)行完①～③步后再隨機(jī)從D中取出minibatch個(gè)狀態(tài)；

⑤計(jì)算每一個(gè)狀態(tài)(xjajrjxj+1)的目標(biāo)值yj=

⑥通過(guò)SGD更新網(wǎng)絡(luò)權(quán)重參數(shù)，使用均方差定義損失函數(shù)[yj-Q(xj,aj;θ)]2,返回①，循環(huán)執(zhí)行，不斷訓(xùn)練模型。

4)多次訓(xùn)練，獲得模型。

2 仿真試驗(yàn)

為驗(yàn)證所提出方法的有效性，本節(jié)進(jìn)行了仿真試驗(yàn)。首先利用動(dòng)力學(xué)模型模擬衛(wèi)星在太空中的運(yùn)動(dòng)狀態(tài)，然后為模擬衛(wèi)星執(zhí)行的目標(biāo)捕獲或載荷釋放等任務(wù)，在上述動(dòng)力學(xué)模型的基礎(chǔ)上對(duì)衛(wèi)星施加一個(gè)隨機(jī)擾動(dòng)力矩，并同時(shí)隨機(jī)改變轉(zhuǎn)動(dòng)慣量以模擬衛(wèi)星質(zhì)量參數(shù)變化。所提出的方法應(yīng)在此狀態(tài)下不斷輸出控制力矩，以控制衛(wèi)星恢復(fù)穩(wěn)定的飛行姿態(tài)。

具體來(lái)說(shuō)，定義隨機(jī)擾動(dòng)力矩Tr=10-8×[0.5 -0.5 0.5]T×r，其中r為隨機(jī)數(shù)。初始化衛(wèi)星的姿態(tài)角速度ω0=[0.001，0.001，0.001]Trad/s及姿態(tài)四元數(shù)Q0=[1 0 0 0]T。姿態(tài)控制算法在此擾動(dòng)后，不斷輸出控制力矩，使衛(wèi)星的姿態(tài)角速度能夠收斂到一定值，且此值與期望姿態(tài)角速度ω0之間的誤差趨于零時(shí)，說(shuō)明姿態(tài)控制算法具有有效性。作為對(duì)比，本文同樣仿真基于PD控制器的傳統(tǒng)姿態(tài)控制方法，并輸出了控制結(jié)果。算法在Anaconda3軟件包和TensorFlow深度學(xué)習(xí)軟件框架的基礎(chǔ)上實(shí)現(xiàn)。

2.1 基于PD控制器的姿態(tài)控制

PD控制器嚴(yán)格依賴于被控對(duì)象的質(zhì)量參數(shù)即轉(zhuǎn)動(dòng)慣量I，當(dāng)I隨機(jī)取一定值時(shí)，衛(wèi)星遭遇干擾后迭代30次的姿態(tài)角速度及其誤差如圖2所示。圖2表明，隨著迭代次數(shù)的增加，姿態(tài)角速度與期望姿態(tài)角速度的誤差均逐漸增大未能收斂，這一發(fā)散的姿態(tài)角速度誤差表明衛(wèi)星不能保持姿態(tài)穩(wěn)定。

2.2 基于DQN訓(xùn)練的姿態(tài)控制

定義循環(huán)次數(shù)為3 000，訓(xùn)練前觀測(cè)的時(shí)間步為1 000，經(jīng)驗(yàn)池的容量為500，觀測(cè)的衰減率為0.99，將遭遇干擾的動(dòng)力學(xué)模型作為環(huán)境，轉(zhuǎn)動(dòng)慣量矩陣隨機(jī)取值，進(jìn)行基于DQN算法的深度增強(qiáng)訓(xùn)練。每迭代100次記1次衛(wèi)星的姿態(tài)角速度及誤差向量，并展示其迭代3 000次的變化趨勢(shì)如圖3～圖5所示。

圖2 姿態(tài)角速度及其誤差的發(fā)散曲線Fig.2 Divergent curve of the attitude angular velocity and its error

圖3 姿態(tài)角速度及其誤差的x分量變化曲線Fig.3 Varying curve of attitude angular velocity and its error of x

圖4 姿態(tài)角速度及其誤差的y分量變化曲線Fig.4 Varying curve of attitude angular velocity and its error of y

圖5 姿態(tài)角速度及其誤差的z分量變化曲線Fig.5 Varying curve of attitude angular velocity and its error of z

姿態(tài)角速度3個(gè)方向分量的變化曲線表明，隨著迭代次數(shù)的增加，衛(wèi)星的姿態(tài)角速度收斂于[0.000 985 37，0.001 004 03，0.001 002 19] rad/s，與期望姿態(tài)角速度的誤差收斂于[1.463 389 90×10-5，4.029 654 22×10-6，2.192 512 30×10-6] rad/s，誤差變化曲線表明，3個(gè)分量的值均減小并收斂，說(shuō)明衛(wèi)星姿態(tài)達(dá)到穩(wěn)定狀態(tài)，基于DQN的姿態(tài)控制方法具有有效性。與圖2的對(duì)比也驗(yàn)證了這一算法在隨機(jī)參數(shù)變化下仍具有穩(wěn)定衛(wèi)星姿態(tài)的性能優(yōu)勢(shì)。

每迭代100次記錄1次reward的平均值，并繪圖如圖6所示。由圖6可以看出reward函數(shù)遵循減函數(shù)的性質(zhì)，從快速提升到基本達(dá)到了高峰，說(shuō)明增強(qiáng)學(xué)習(xí)取得了最優(yōu)決策。

圖6 reward的變化曲線Fig.6 Varying curve of reward

綜上，當(dāng)轉(zhuǎn)動(dòng)慣量隨機(jī)取值時(shí)，DQN能夠獲得控制力矩的最優(yōu)智能輸出，也即DQN并不依賴于被控對(duì)象的質(zhì)量參數(shù)，能夠在衛(wèi)星受到突發(fā)的隨機(jī)擾動(dòng)后自主地對(duì)衛(wèi)星姿態(tài)進(jìn)行穩(wěn)定，可以解決傳統(tǒng)的PD控制器無(wú)法解決的復(fù)雜任務(wù)中的衛(wèi)星姿態(tài)穩(wěn)定問(wèn)題。

然而，本文提出的姿態(tài)控制方法的系統(tǒng)穩(wěn)定性目前還不能保證，盡管模擬的仿真動(dòng)力學(xué)環(huán)境中能夠很好地在衛(wèi)星受到突發(fā)隨機(jī)擾動(dòng)后控制衛(wèi)星的姿態(tài)，但真實(shí)星上環(huán)境復(fù)雜，干擾眾多，計(jì)算資源有限，在模擬環(huán)境中訓(xùn)練好的智能體還不能直接應(yīng)用于真實(shí)空間環(huán)境中的星上姿態(tài)控制，還需要進(jìn)一步模擬更加完善的空間環(huán)境，以便進(jìn)一步訓(xùn)練更好的智能體，從而保證系統(tǒng)的穩(wěn)定性。

3 結(jié)束語(yǔ)

本文提出的基于深度增強(qiáng)學(xué)習(xí)的衛(wèi)星姿態(tài)控制方法是一種基于學(xué)習(xí)(訓(xùn)練)的方法，學(xué)習(xí)階段是在地面上進(jìn)行的。在學(xué)習(xí)階段之后，獲得一個(gè)訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)模型作為智能體，直接將其應(yīng)用于衛(wèi)星，智能體將充當(dāng)大腦來(lái)控制仿真動(dòng)力學(xué)環(huán)境中的衛(wèi)星的飛行姿態(tài)。在本文中，訓(xùn)練好的智能體的有效性在仿真動(dòng)力學(xué)環(huán)境中已經(jīng)得到了驗(yàn)證。

目前僅在仿真動(dòng)力學(xué)環(huán)境中驗(yàn)證了本文所提方法的有效性，還未開(kāi)展應(yīng)用于星上的研究，暫未考慮快速性。下一步的工作，計(jì)劃搭建地面半實(shí)物仿真試驗(yàn)系統(tǒng)，利用二維伺服轉(zhuǎn)臺(tái)模擬衛(wèi)星在軌飛行真實(shí)姿態(tài)，仿真過(guò)程中將傳感器(陀螺儀、加速度計(jì)等)安裝在轉(zhuǎn)臺(tái)上以采集控制系統(tǒng)所需輸入信息，以伺服控制技術(shù)模擬控制器輸出，從而對(duì)在動(dòng)力學(xué)仿真環(huán)境中提出的姿態(tài)控制方法進(jìn)行訓(xùn)練和測(cè)試。待到智能體訓(xùn)練得足夠好時(shí)，最終將訓(xùn)練好的智能體直接應(yīng)用于星上，根據(jù)衛(wèi)星當(dāng)下的姿態(tài)在線實(shí)時(shí)得到控制序列，并作用于衛(wèi)星的發(fā)動(dòng)機(jī)上，達(dá)到控制衛(wèi)星姿態(tài)的目的。