變體飛行器智能自主決策與控制

王青，劉華華

(北京航空航天大學(xué)，北京 100086)

0 引言

隨著航空航天技術(shù)的發(fā)展，近年來人們對新一代飛行器在可靠性、自主性、適應(yīng)性等方面提出了越來越高的要求，要求飛行器在能適應(yīng)不同的飛行環(huán)境來執(zhí)行不同任務(wù)的同時，也能夠很好地保證飛行器飛行性能。顯然，固定翼飛行器無法滿足這些多變環(huán)境下的嚴苛要求。在這種情況下，可變形飛行技術(shù)成為研究熱點。變體飛行器旨在進行大規(guī)模飛行器外形的改變以改善飛行器空氣動力學(xué)，使飛行器可以執(zhí)行多項任務(wù)。

與現(xiàn)有飛行器相比，變體飛行器具有許多優(yōu)勢和潛力：首先，變體飛行器通過主動變形改善氣動特性，降低飛行能耗，擴大飛行包線范圍；其次，變體飛行器可通過主動變形輔助操縱，增強控制能力；再次，變體飛行器能夠通過改變構(gòu)型適應(yīng)多種飛行環(huán)境與飛行任務(wù)，擴大應(yīng)用范圍。上述優(yōu)勢使得變體飛行器有望成為未來高性能飛行器實現(xiàn)突破性發(fā)展的基礎(chǔ)，具有極高的發(fā)展?jié)摿褪褂脙r值[1-3]：

可變形能力在給飛行器帶來性能提升的同時，也給其決策與控制提出了全新的要求和挑戰(zhàn)：變體飛行器需要在復(fù)雜戰(zhàn)場環(huán)境中具備自主變形能力；變形過程使得飛行器系統(tǒng)呈現(xiàn)出多模態(tài)、強非線性和強耦合的特點；飛行器在變形飛行過程中極易受到各種內(nèi)外部擾動的影響，飛行穩(wěn)定性難以得到保證。傳統(tǒng)的針對固定外形飛行器的分析設(shè)計方法已很難滿足變體飛行器的需求。而人工智能的出現(xiàn)為變體飛行器系統(tǒng)設(shè)計提供了新的思路。

人工智能是計算機科學(xué)的一個分支，是研究使計算機來模擬人的某些思維過程和智能行為(如學(xué)習(xí)、推理、思考、規(guī)劃等)的學(xué)科，近30年來獲得了飛速的發(fā)展。在飛行器控制等領(lǐng)域，人工智能的諸多方法如深度學(xué)習(xí)、強化學(xué)習(xí)、深度強化學(xué)習(xí)、生成對抗網(wǎng)絡(luò)等也受到了廣泛的關(guān)注。深度學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域的一個重要研究方向，它的核心在于感知和表達，具有強大的處理復(fù)雜識別任務(wù)能力[4]，目前已成功應(yīng)用于控制目標識別、狀態(tài)特征提取、系統(tǒng)參數(shù)辨識等方面。強化學(xué)習(xí)是智能體以“試錯”的方式進行學(xué)習(xí)，通過與環(huán)境互動來獲得獎賞指導(dǎo)行為，以期獲得最大獎賞的學(xué)習(xí)方式，它的核心在于策略選擇，通過環(huán)境的評價性反饋信號在線修改自身策略，從而實現(xiàn)決策優(yōu)化[5]，已成為解決控制策略計算問題的一種重要方法，在包括基礎(chǔ)理論中的不確定非線性系統(tǒng)、未知模型零和博弈在內(nèi)的問題中得到了應(yīng)用。深度強化學(xué)習(xí)汲取深度學(xué)習(xí)和強化學(xué)習(xí)各自優(yōu)點，兼具感知能力與決策能力，為實現(xiàn)復(fù)雜控制問題提供了解決方法。生成對抗網(wǎng)絡(luò)是一種結(jié)合零和博弈思想的無監(jiān)督學(xué)習(xí)算法，具有強大的近似與決策能力，在作戰(zhàn)模擬仿真，提高模型精準度等方面具有良好的前景。由于人工智能方法的諸多優(yōu)點，故而在傳統(tǒng)的控制系統(tǒng)設(shè)計方法中加入人工智能的方法受到廣泛的關(guān)注，新型智能變體飛行器是在現(xiàn)代與近未來飛行器的研究發(fā)展中亟待突破與進步的技術(shù)點。

1 變體飛行器發(fā)展歷程與發(fā)展趨勢

在變體飛行器技術(shù)的探索歷程中，人類總是能夠展示他們超凡的智慧與想象力，形態(tài)多樣的變體飛行器概念設(shè)計層出不窮。科學(xué)技術(shù)的發(fā)展，讓很多曾經(jīng)的“異想天開”變成現(xiàn)實，各種變體技術(shù)逐漸走進人們的視野，甚至很多技術(shù)已經(jīng)在驗證機上進行了飛行驗證和應(yīng)用研究。變體飛行器現(xiàn)存主要的變形設(shè)計都是基于機翼外形的改變而展開的[6]，主要的變形策略包括自適應(yīng)機翼、折疊機翼變形、滑動蒙皮后掠角變形，以及人們較為感興趣的撲翼變形。

自適應(yīng)機翼技術(shù)通過主動改變機翼彎矩以獲取更為理想的飛行性能。1985年，美國國家航空航天局將機翼設(shè)計成柔性，并采用傳統(tǒng)控制面從氣動上誘導(dǎo)機翼變形。將主動氣動彈性翼技術(shù)應(yīng)用在F/A-18A改裝試驗機上進行試飛，驗證了該技術(shù)對于提升飛機的機動性能和生存能力具有較為明顯的效果。

折疊機翼變形技術(shù)是將飛行器機翼設(shè)計成可折疊的形態(tài)，在飛行中，飛機或主動或被動地改變機翼的折疊角，從而得到變化范圍較大的機翼面積、展弦比等參數(shù)特性，從而有效提升飛機的多任務(wù)適應(yīng)性。俄羅斯“圖-160”是目前仍在服役的折疊機翼轟炸機，該飛行器采用變后掠翼結(jié)構(gòu)，在起降飛行時將后掠角減小至20°，巡航飛行時后掠角增加至35°，高速飛行時則將后掠角增大至65°，以適應(yīng)不同的飛行狀態(tài)。

滑動蒙皮機翼是由美國NextGen航空公司提出的一種飛行器變形技術(shù)，使用“火蜂”(Fire-bee)飛機作為設(shè)計平臺。它是通過沿機翼方向分布的微型驅(qū)動裝置，使得機翼后掠角大幅變化，結(jié)合柔性蒙皮技術(shù)，進而飛機的機翼面積、展弦比等參數(shù)也發(fā)生相應(yīng)的改變。

撲翼機可算是人類對于飛行器變形技術(shù)探索的起點，為了實現(xiàn)人類“像鳥兒一樣自由自在地飛翔”這一最初的夢想，前赴后繼的學(xué)者開展了漫長而卓越的探索。德國科技公司Festo的科學(xué)家聲稱“破譯了鳥飛行的原理”，成功研制出仿生機器鳥——SmartBird。SmartBird能夠自動起飛、飛行和降落。它的翅膀不僅可以上下拍打，同時也能按特定角度扭動。不但在外觀上與真正的鳥極為相似，而且其移動與拍打翅膀的方式均具有極高的仿真性，堪稱仿生撲翼飛行器的代表作。

近些年來，變體飛行器朝智能方向發(fā)展，即飛行器的外形能夠根據(jù)飛行任務(wù)、飛行速度、飛行環(huán)境等自主地發(fā)生改變。一方面，在執(zhí)行不同飛行任務(wù)時、在不同飛行速度下，飛行器外形布局可能有很大差異，在近空間復(fù)雜飛行環(huán)境時更是如此，飛行器需要改變外形以更好地自主適應(yīng)飛行環(huán)境。另一方面，自然界中的飛行生物進行盤旋、俯沖、加速時都會采用適合的外形來獲取最佳飛行姿態(tài)。因此，實際任務(wù)需求與自然界的啟示都指向智能變體飛行器，變體飛行器逐步走向智能化、自主化。

目前，變體飛行器亟待解決的關(guān)鍵技術(shù)有針對飛行器變形控制的智能變形決策，以及針對飛行器飛行控制的智能自主控制。下面將分別分析這些問題。

2 變體飛行器智能變形決策

變體飛行器的外形取決于飛行環(huán)境與作戰(zhàn)任務(wù)，設(shè)計合適的自主變形策略可以有效提高變體飛行器對不同飛行環(huán)境和復(fù)雜作戰(zhàn)任務(wù)的自適應(yīng)能力。

目前,關(guān)于變體飛行器變形控制的研究大多集中在智能材料與結(jié)構(gòu)的設(shè)計與應(yīng)用，其中包括受到廣泛關(guān)注與大量應(yīng)用的形狀記憶合金與壓點復(fù)合材料[7-8]，此類方法具有很大局限性，不能解決復(fù)雜控制策略計算問題。此外，也有部分研究人員將人工智能相關(guān)算法引入變形控制中去，從而實現(xiàn)了智能變形控制或智能變形決策。文獻[9]基于Q學(xué)習(xí)方法建立了非監(jiān)督學(xué)習(xí)算法，根據(jù)針對于不同飛行條件下的最優(yōu)飛行外形的諸如升力系數(shù)、拉力系數(shù)和動量系數(shù)等參數(shù)，設(shè)計相應(yīng)的獎賞函數(shù)并得到最優(yōu)外形。文獻[10]以一種抽象化的變體飛行器為對象，給出其外形變化公式與最優(yōu)外形函數(shù)等，并結(jié)合深度學(xué)習(xí)與確定性策略梯度強化學(xué)習(xí)，設(shè)計深度確定性策略梯度學(xué)習(xí)步驟，使飛行器經(jīng)過訓(xùn)練學(xué)習(xí)后具有較高的自主性和環(huán)境適應(yīng)性，提高其在戰(zhàn)場上的生存、應(yīng)變和攻擊能力。文獻[11]基于強化學(xué)習(xí)理論，提出一種新型的變體飛行器翼型自適應(yīng)控制方法，可以很好地滿足變體飛行器在多任務(wù)狀態(tài)下保持最優(yōu)性能的需要，設(shè)計的高度子系統(tǒng)的三回路法向過載控制器和速度子系統(tǒng)的滑模控制器可以確保飛行器在變體過程中保持穩(wěn)定。然而現(xiàn)有的飛行器智能變性策略大多基于簡單模型給予驗證，并且考慮的作戰(zhàn)任務(wù)單一，泛化能力差。因此，智能變體飛行器的自主變形決策問題亟待進一步的深入研究。

基于人工智能框架的變體飛行器變形決策過程可以概括為：首先，結(jié)合變體飛行器飛行性能、變形策略、任務(wù)需求、作戰(zhàn)環(huán)境等,選擇并建立智能算法模型；其次，設(shè)計變體飛行器變形策略訓(xùn)練模型；最后，生成合適的數(shù)據(jù)集并進行智能算法的訓(xùn)練與驗證。因此，需要加強在人工智能算法選擇、變形策略訓(xùn)練模型、智能算法訓(xùn)練框架等方面的研究。

2.1 人工智能算法選擇

變體飛行器復(fù)雜的變形決策過程對于智能算法的感知能力、決策能力等均有極高的要求。人工智能中的深度確定性策略梯度算法(deep deterministic policy gradient，DDPG)是一種基于策略梯度的深度強化學(xué)習(xí)算法，兼具深度學(xué)習(xí)的感知能力和強化學(xué)習(xí)的決策能力。DDPG采用經(jīng)驗回放機制和單獨的目標網(wǎng)絡(luò)，減少數(shù)據(jù)之間的相關(guān)性，增加算法的穩(wěn)定性和魯棒性。并采用執(zhí)行-評價機構(gòu)，能夠處理高維和連續(xù)空間的復(fù)雜任務(wù)。因此，以深度確定性策略梯度算法為例，設(shè)計飛行器智能變形決策算法。

2.2 智能變形策略訓(xùn)練模型

選擇合適的智能訓(xùn)練模型是變體飛行器變形決策設(shè)計中的重要環(huán)節(jié)。需要兼顧智能算法的設(shè)計流程與實際飛行器的飛行過程。對于智能算法，深度強化學(xué)習(xí)模型需要設(shè)計相關(guān)要素使其系統(tǒng)符合馬爾科夫決策過程，其中包括狀態(tài)空間、動作空間、獎賞函數(shù)、狀態(tài)轉(zhuǎn)移概率以及折扣因子。而在變體飛行器的變形決策問題中，對上述要素的設(shè)計需要結(jié)合實際飛行任務(wù)需求。其中，狀態(tài)空間由飛行高度、速度、迎角等與飛行器縱向相關(guān)的狀態(tài)向量以及舵偏控制量與后掠角組成；動作空間為狀態(tài)空間下期望獲得的后掠角；將任務(wù)目標分為：巡航、盤旋、機動、脫戰(zhàn)，不同的任務(wù)目標將有不同的獎賞函數(shù)權(quán)值側(cè)重，將變體飛行器3項飛行性能，升阻比、最大速度、穩(wěn)定性，外加給定飛行任務(wù)獎賞，設(shè)計成關(guān)于后掠角的4項分獎賞函數(shù)，并針對不同的任務(wù)需求設(shè)計不同的各分獎賞函數(shù)的權(quán)值，從而得到一個綜合獎賞函數(shù)；以上設(shè)計包括了馬爾可夫決策過程中的狀態(tài)空間、動作空間、獎賞函數(shù)，再加上建立的環(huán)境交互模型，得到在任一狀態(tài)下給定的狀態(tài)轉(zhuǎn)移概率；最后，再對此系統(tǒng)設(shè)計相應(yīng)的折扣因子，該系統(tǒng)就具備了馬爾可夫決策過程的全部要素，變體飛行器智能變形決策訓(xùn)練模型即可建立完成。

2.3 智能算法訓(xùn)練框架

以DDPG算法的執(zhí)行-評價網(wǎng)絡(luò)結(jié)構(gòu)為例，需分別設(shè)計合適的執(zhí)行網(wǎng)絡(luò)與評價網(wǎng)絡(luò)結(jié)構(gòu)。

可設(shè)計如圖1所示的執(zhí)行網(wǎng)絡(luò)，網(wǎng)絡(luò)的輸入量由飛行器狀態(tài)量給出，隱層神經(jīng)元個數(shù)一般由三層隱層組成，每層隱層需要采用合適的激活函數(shù)，目前常用的是Relu函數(shù)，可以有效避免梯度消失等問題。前2層的數(shù)據(jù)在經(jīng)過激活函數(shù)后，可以采用批標準化層以在降低網(wǎng)絡(luò)參數(shù)初始化的同時提升訓(xùn)練速度。最后的隱層連接到一個一維的輸出層，輸出層的激活函數(shù)一般采用Tanh函數(shù)，該函數(shù)可以使輸出能夠限制在一定的后掠角需求范圍內(nèi)，與倍率系數(shù)相乘再經(jīng)過線性變換即可得到當(dāng)前狀態(tài)下的后掠角選擇。

圖1 執(zhí)行網(wǎng)絡(luò)結(jié)構(gòu)圖

在執(zhí)行網(wǎng)絡(luò)得到的動作基礎(chǔ)上，可進一步設(shè)計評價網(wǎng)絡(luò)如圖2所示，由狀態(tài)向量與動作向量作為網(wǎng)絡(luò)的輸入，網(wǎng)絡(luò)由隱層神經(jīng)元個數(shù)同樣由三層隱層構(gòu)成，同執(zhí)行網(wǎng)絡(luò)一樣，各個隱層依次連接Relu函數(shù)激活層與批標準化層，不同之處在于最后的隱層直接連接到一個一維輸出層且輸出層數(shù)據(jù)不經(jīng)過激活函數(shù)，直接得到評價值，用于強化學(xué)習(xí)中的貝爾曼方程的迭代更新。

圖2 評價網(wǎng)絡(luò)結(jié)構(gòu)圖

另外，執(zhí)行網(wǎng)絡(luò)和評價網(wǎng)絡(luò)需要利用損失函數(shù)來優(yōu)化算法模型，Adam優(yōu)化器是實際學(xué)習(xí)中最常用的算法，優(yōu)點在于每一次迭代學(xué)習(xí)率都有一個明確的范圍，參數(shù)變化平穩(wěn)，因此采用該優(yōu)化器來訓(xùn)練損失函數(shù)。最后選取合適的學(xué)習(xí)率，就完成了深度學(xué)習(xí)智能算法框架的設(shè)計。

2.4 智能算法訓(xùn)練與優(yōu)化

考慮到學(xué)習(xí)成本與訓(xùn)練時間，需要結(jié)合一定的訓(xùn)練數(shù)據(jù)來縮短訓(xùn)練過程。數(shù)據(jù)的生成方式可以采用如下形式：將變體飛行器的后掠角固定為一定的數(shù)值，對不同的時間段設(shè)計不同的任務(wù)需求，并實現(xiàn)各個時間段內(nèi)高度與速度的跟蹤控制，獲得航跡各個采樣時刻的所有縱向飛行狀態(tài)量，將所有數(shù)據(jù)進行標準化處理后得到可以使用的訓(xùn)練數(shù)據(jù)。多次設(shè)計并獲得大量不同航跡的狀態(tài)數(shù)據(jù)后組成訓(xùn)練與驗證數(shù)據(jù)集，在構(gòu)造的數(shù)據(jù)集的基礎(chǔ)上進行深度強化學(xué)習(xí)的訓(xùn)練。進一步為了解決算法收斂過慢、過擬合、梯度消失或爆炸等問題，需要進行算法的優(yōu)化。常見的優(yōu)化方法有正則化、批標準化、優(yōu)先權(quán)掃描方法等。正則化通過限制參數(shù)的規(guī)模來限制模型的學(xué)習(xí)能力，使模型趨向于權(quán)值更小的目標函數(shù)，同時相當(dāng)于給模型加入了一定的先驗信息，從而限制了參數(shù)的分布，能夠大大提高模型的泛化能力，減少泛化誤差。批標準化針對訓(xùn)練中每一批數(shù)據(jù)，在深度網(wǎng)絡(luò)每一層輸入之前增加了歸一化處理，能夠有效地防止深度網(wǎng)絡(luò)發(fā)生過擬合的情況，并提升訓(xùn)練速度。優(yōu)先權(quán)掃描方法相比于隨機選取數(shù)據(jù)更新的方法能夠大大提升更新效率，使得訓(xùn)練更高效。優(yōu)化后的變體飛行器智能變形策略訓(xùn)練模型能夠在同數(shù)據(jù)分布的驗證數(shù)據(jù)集中針對不同的飛行環(huán)境與飛行任務(wù)選擇相應(yīng)合適的飛行外形，增加變體飛行器的環(huán)境適應(yīng)能力與作戰(zhàn)性能。

3 飛行器智能自主控制技術(shù)

變體飛行器變形過程中存在質(zhì)量分布和氣動特性的較大變化，包括氣動力和力矩的變化，這些變化甚至可能導(dǎo)致飛行器不穩(wěn)定，給飛行器控制帶來很大難度，這也對變體飛行器智能自主飛行控制算法的設(shè)計提出了更高的要求。

現(xiàn)有關(guān)于變體飛行器的控制器設(shè)計方法主要有線性參數(shù)時變控制[12]、神經(jīng)網(wǎng)絡(luò)控制[13]、滑模控制等[14]，這些控制方法取得了一定的進展，但是還存有不足之處，例如通常只在變形簡單、小擾動情況可行，此外，還有部分學(xué)者將變體飛行器的變形結(jié)構(gòu)作為輔助控制手段進行研究[15]，其主要思想在于通過飛行器的主動變形改變自身的氣動力和力矩，從而提升飛行器控制系統(tǒng)性能。而對于變形輔助控制，其對變形機構(gòu)要求過高，因此目前僅僅作為一種理論上的探討。可以看出，上述方法仍具有未能準確反映變體飛行器的飛行特性等不足之處，因此變體飛行器的智能自主控制問題需要進一步深入研究。

由于具有強耦合、強非線性、強不確定性等特點，變體飛行器一般不滿足常規(guī)飛行器建模時的小擾動、小偏差假設(shè)，飛行器在變形過程中，其動態(tài)特性會發(fā)生很大改變，采用單一的非線性系統(tǒng)設(shè)計的控制器具有很大的局限性。所以研究變體飛行器智能自主控制時一般采用非線性切換系統(tǒng)。目前對于變體飛行器的控制需要重點考慮的方面有：強耦合、強不確定性下的主動抗擾動控制、非線性切換系統(tǒng)全局穩(wěn)定控制和高適應(yīng)性、高自主性的智能控制等。

3.1 變體飛行器主動抗擾動控制

目前針對變體飛行器的抗擾動控制的研究多屬于對擾動的被動抑制，與變體飛行器通過變形提高飛行性能的初衷相悖。主動抗擾動控制的核心思想在于構(gòu)造觀測器對系統(tǒng)總的擾動進行估計，在控制器中對估計的擾動進行實時補償，從而達到主動抗擾動控制的目的。故而可采用“擾動觀測+補償”的開放式設(shè)計框架進行變體飛行器非線性切換子系統(tǒng)主動抗擾動控制器設(shè)計。可將飛行器狀態(tài)變量分為2個回路，其中一個回路為姿態(tài)角速率和變形速率，另一個為姿態(tài)角和變形量回路。在變體飛行器快慢2個回路中分別利用擾動觀測器來估計系統(tǒng)擾動，并在前饋通道加以補償。

主動抗擾動控制的核心在于擾動觀測器的設(shè)計。可使用擴張狀態(tài)觀測器進行變體飛行器非線性切換系統(tǒng)的擾動觀測。使用擴張狀態(tài)觀測器的優(yōu)點在于只利用被控對象的輸入輸出信息，通過積分器逼近系統(tǒng)高階微分狀態(tài)，不僅能實現(xiàn)對系統(tǒng)狀態(tài)與“總擾動”精確估計，且不依賴模型本身信息，具有強魯棒性。擴張狀態(tài)觀測器本質(zhì)上具有高增益的特性，觀測誤差動態(tài)與被觀測系統(tǒng)動態(tài)之間存在較明顯的時間尺度分離特性，即觀測誤差為快動態(tài)，被觀測系統(tǒng)為慢動態(tài)。因此，可采用奇異攝動理論對擴張狀態(tài)觀測器的收斂特性進行分析，保證觀測器的收斂性。

3.2 變體飛行器變形全包線穩(wěn)定控制

由于變體飛行器變形過程中質(zhì)量分布和氣動特性會發(fā)生較大變化，故而切換系統(tǒng)的所有子系統(tǒng)選用公共李雅普諾夫函數(shù)是不合適的。所以考慮到變體飛行器在廣義飛行包線內(nèi)的某一區(qū)域動力學(xué)特征較為相似，容易通過設(shè)計觀測器參數(shù)與控制器參數(shù)使得局部重疊切換系統(tǒng)各自具有公共李雅普諾夫函數(shù)，同時在公共子系統(tǒng)工作的時間充分長，可以設(shè)計具有局部重疊切換律的切換系統(tǒng)。使用此穩(wěn)定性分析方法可以推廣至平均駐留時間約束的情況，允許在某些公共子系統(tǒng)內(nèi)的工作時間小于平均駐留時間，從而適應(yīng)工程系統(tǒng)中必須切換的情況。上述方法不要求切換系統(tǒng)的所有子系統(tǒng)具有公共李雅普諾夫函數(shù)，適用范圍更廣，另一方面，僅要求公共子系統(tǒng)滿足時間約束，局部重疊切換系統(tǒng)內(nèi)除了公共子系統(tǒng)外的所有子系統(tǒng)之間均可任意切換而不失穩(wěn)定性，具有更低的保守性，從而充分發(fā)掘變體飛行器自身性能，應(yīng)對更為復(fù)雜的飛行條件和任務(wù)需求。

3.3 變體飛行器智能自適應(yīng)控制

變體飛行器系統(tǒng)往往具有復(fù)雜的系統(tǒng)特性與多變的飛行環(huán)境，這也為變體飛行器的自適應(yīng)性和自主性提出了更高的要求。自適應(yīng)動態(tài)規(guī)劃(adaptive dynamic programming，ADP)是人工智能技術(shù)目前在控制領(lǐng)域應(yīng)用較為廣泛的方法。該方法結(jié)合了強化學(xué)習(xí)的自適應(yīng)特性與動態(tài)規(guī)劃的最優(yōu)特性，具有優(yōu)秀的自適應(yīng)調(diào)節(jié)能力。利用自適應(yīng)規(guī)劃設(shè)計變體飛行器飛行控制系統(tǒng)可以提高變體飛行器的自適應(yīng)性與自主性，提高控制性能。

基于自適應(yīng)動態(tài)規(guī)劃的變體飛行器飛行控制系統(tǒng)設(shè)計一般分為如下步驟：首先定義狀態(tài)向量為各子系統(tǒng)的誤差信號，設(shè)計效能函數(shù)和代價函數(shù)，代價函數(shù)應(yīng)滿足貝爾曼方程。自適應(yīng)動態(tài)規(guī)劃的目標是尋找控制輸入使得代價函數(shù)取最小值，由于很難獲得方程的精確解，所以可利用深度強化學(xué)習(xí)的執(zhí)行評價機構(gòu)，在自適應(yīng)動態(tài)規(guī)劃中采用評價網(wǎng)絡(luò)與執(zhí)行網(wǎng)絡(luò)2個神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來求解，如圖3所示。評價網(wǎng)絡(luò)的輸出為代價函數(shù)的估計值，執(zhí)行網(wǎng)絡(luò)根據(jù)代價函數(shù)的估計值計算控制策略。在自適應(yīng)動態(tài)規(guī)劃中，評價網(wǎng)絡(luò)和執(zhí)行網(wǎng)絡(luò)均由具有單隱層的感知器神經(jīng)網(wǎng)絡(luò)組成，隱層的激活函數(shù)可選為常用的雙曲正切函數(shù)。

圖3 評價網(wǎng)絡(luò)(左)與執(zhí)行網(wǎng)絡(luò)(右)示意圖

當(dāng)系統(tǒng)的狀態(tài)向量偏離零點時，自適應(yīng)動態(tài)規(guī)劃會產(chǎn)生補充控制輸入以減小狀態(tài)向量的幅值，使系統(tǒng)狀態(tài)可以更好地跟蹤期望值，提高控制性能。因此，加入基于自適應(yīng)動態(tài)規(guī)劃的變體飛行器飛行控制系統(tǒng)補充控制之后，系統(tǒng)具有更好的變體飛行器高度跟蹤性能，并且能夠保證高度誤差收斂到0。

4 結(jié)束語

變體飛行器通過適應(yīng)性的主動變形保證在不同飛行環(huán)境下的最優(yōu)飛行性能，已成為各國關(guān)注與研究的焦點。由于變體飛行器在變形過程中會引起質(zhì)量分布和氣動特性的明顯變化，變體飛行器的控制顯得十分困難。同時，多樣的飛行任務(wù)也對飛行器變形自主性提出了更高的要求。將人工智能方法引入變體飛行器中可實現(xiàn)飛行器的智能變形決策和智能自主控制，有效提高自主性與適應(yīng)性。此外，文中提到的若干關(guān)鍵問題，值得進一步深入研究。