一種求解最優(yōu)控制問題的變時間節(jié)點控制向量參數(shù)化方法

李國棟，劉興高

?

一種求解最優(yōu)控制問題的變時間節(jié)點控制向量參數(shù)化方法

李國棟，劉興高

（浙江大學控制系，工業(yè)控制技術(shù)國家重點實驗室，浙江杭州 310027）

控制向量參數(shù)化方法是求解最優(yōu)控制問題的一種常用數(shù)值方法。它通過離散化控制時域，將控制向量近似地表示成一組參數(shù)化的函數(shù)。離散化后的時間網(wǎng)格通常是固定的，其劃分會影響到最優(yōu)控制問題數(shù)值求解的精度和效率。為了同時優(yōu)化控制參數(shù)和時間網(wǎng)格節(jié)點，提出了一種時間節(jié)點可變的控制向量參數(shù)化方法。推導出了最優(yōu)控制性能指標對時間參數(shù)的導數(shù)與對時間分段長度導數(shù)之間的關(guān)系，得到了性能指標的梯度表達式。用兩個經(jīng)典最優(yōu)控制實例對所提出的方法進行了測試，結(jié)果表明所提出方法能夠更好地逼近最優(yōu)控制軌跡。

過程控制；控制向量參數(shù)化；變時間節(jié)點；優(yōu)化；算法

引 言

最優(yōu)控制問題又稱為動態(tài)優(yōu)化問題，在化工領(lǐng)域廣泛存在[1-4]。目前，最優(yōu)控制問題的數(shù)值求解算法可分為兩大類：間接法[5-6]和直接法[7-8]。間接法通過求解原問題的最優(yōu)性條件（即必要條件），間接地獲得原問題的最優(yōu)解，而直接法則是通過離散化，將無限維的最優(yōu)控制問題轉(zhuǎn)化為有限維的非線性規(guī)劃（nonlinear programming, NLP）問題進行求解。僅離散化控制向量而保持狀態(tài)向量不變的直接法又稱為控制向量參數(shù)化（control vector parameterization，CVP）方法，它是當前求解最優(yōu)控制問題的一種主流數(shù)值方法。

在CVP方法中，時間網(wǎng)格的劃分通常是事先確定的，并且在優(yōu)化過程中不會改變。網(wǎng)格的劃分直接關(guān)系到求解結(jié)果對最優(yōu)控制軌跡的逼近程度。有時為了較好地逼近最優(yōu)控制軌跡，需要將時間網(wǎng)格劃分得很細，但這樣會增加NLP問題的維數(shù)和計算時間。而且，如果時間網(wǎng)格劃分不當還會導致病態(tài)的NLP問題，影響收斂速度。針對固定時間網(wǎng)格CVP方法的缺點，國際上許多學者對時間網(wǎng)格的劃分和優(yōu)化展開了研究。

Marquardt等[9-11]提出了自適應(yīng)網(wǎng)格劃分的CVP方法，在迭代過程中通過對上一步解的小波分析來調(diào)整時間網(wǎng)格的劃分，對某些時間網(wǎng)格進行細化或合并，從而獲得比均勻劃分網(wǎng)格的CVP方法更高的優(yōu)化效率。Srinivasan等[12]基于最優(yōu)控制的必要條件研究了最優(yōu)控制的各段軌跡與必要條件的對應(yīng)情況，將必要條件劃分為約束和靈敏度兩部分，提出了一種具自適應(yīng)控制向量參數(shù)化方法。Szymkat等[13]給出了控制和狀態(tài)約束最優(yōu)控制問題的結(jié)構(gòu)估計方法，通過不斷增減網(wǎng)格節(jié)點和弧段來實現(xiàn)結(jié)構(gòu)調(diào)整。這些是屬于時間網(wǎng)格精細化調(diào)整的方法。另一類方法則是對時間節(jié)點的位置進行優(yōu)化。如Teo等[14-16]提出的一種控制參數(shù)化增強轉(zhuǎn)換（control parameterization enhancing transform，CPET）方法，把原時間節(jié)點映射到一個新的時間尺度上，并將原有網(wǎng)格的寬度作為優(yōu)化變量，在求解得到最優(yōu)控制參數(shù)的同時獲得最佳的網(wǎng)格劃分。該方法有效實現(xiàn)了可變時間節(jié)點問題到固定時間節(jié)點問題的轉(zhuǎn)換，但這種轉(zhuǎn)換僅具有一種時間網(wǎng)格劃分，使得所有的控制變量均基于同一時間網(wǎng)格進行參數(shù)化[17]。

對于含有多個控制變量的最優(yōu)控制問題，各控制分量的最優(yōu)軌跡往往是不同的，每個控制分量在參數(shù)化時應(yīng)當對應(yīng)各自的網(wǎng)格劃分。本文針對這一情況提出了一種變時間節(jié)點控制向量參數(shù)化（variable time nodes CVP, VTNCVP）方法，該方法為每個控制分量分配獨立的參數(shù)化網(wǎng)格，不同于Teo等將時間分段長度作為優(yōu)化變量，在參數(shù)化時直接將時間節(jié)點作為優(yōu)化變量，并且在求解最佳控制參數(shù)的同時完成對各控制分量時間網(wǎng)格節(jié)點的優(yōu)化。

1 問題描述

本文考慮的最優(yōu)控制問題P1的數(shù)學描述如下

設(shè)是()的可行控制集，則最優(yōu)控制問題[式(1)～式(7)]可以簡單描述為：在可行初始條件[式(5)]下，從可行控制集中求得針對系統(tǒng)[式(2)～式(4)]的最優(yōu)控制策略，使得目標函數(shù)[式(1)]的值最小。

2 理論推導及算法描述

2.1 CVP

圖1 分段常量參數(shù)化

對問題P1采用分段常量參數(shù)化，記第個控制分量的表征參數(shù)依次為，并記向量，則在時間段上，可近似地表示為

這樣控制向量()的邊界約束可以直接轉(zhuǎn)換為控制參數(shù)的邊界約束。通過分段常量參數(shù)化，原始的求解最優(yōu)控制軌跡的最優(yōu)控制問題P1就轉(zhuǎn)化為如下所示的確定控制參數(shù)的NLP問題P2

2.2 VTNCVP

當最優(yōu)控制問題中存在多個控制時，各控制分量所適合的網(wǎng)格劃分往往是不同的。因此，在進行分段常量參數(shù)化時，各控制分量可在不同的時間網(wǎng)格上進行。設(shè)第個控制分量的控制時域被時間節(jié)點分為了個階段，其中，為可變時間節(jié)點參數(shù)。記各控制分量的時間節(jié)點參數(shù)共有個，并將它們記作向量，則參數(shù)化后的控制向量由控制參數(shù)和時間節(jié)點參數(shù)共同確定（圖2）。

圖2 變時間節(jié)點分段常量參數(shù)化

因此，問題P1在經(jīng)過變時間節(jié)點控制向量參數(shù)化后就轉(zhuǎn)化為求解控制參數(shù)和時間節(jié)點參數(shù)的NLP問題P3

2.3 梯度計算

為了求解參數(shù)化后的NLP問題P3，需要獲得目標與約束函數(shù)對控制參數(shù)和時間節(jié)點參數(shù)的梯度信息。

其伴隨方程可表示為

利用Teo等[14-16]給出的CPET方法中目標與約束函數(shù)對時間分段長度的梯度計算公式，可推導得到對時間節(jié)點參數(shù)的梯度。將時間節(jié)點參數(shù)由小到大進行排序并依次記為，其中時間節(jié)點的序號為。通過這些時間節(jié)點可將整個控制時域劃分成個階段，記各階段的區(qū)間長度依次為，并令和，那么時間節(jié)點和區(qū)間長度之間可通過式(24)、式(25)相互表示

其中，函數(shù)對時間節(jié)點參數(shù)的梯度和對時間分段長度的梯度之間的關(guān)系，用如下定理來表示。

證明：如式(25)所示，各階段的區(qū)間長度可由時間節(jié)點進行表示，因此有

基于定理1和Teo等[14-16]給出的對時間分段長度的梯度公式，可得到函數(shù)對時間節(jié)點參數(shù)的梯度表達式，如定理2所示。

具體的推導過程見文獻[14]。將式(31)代入式(26)中，即可得到函數(shù)對時間節(jié)點的梯度表達式(30)。

2.4 算法描述與分析

基于以上推導，變時間節(jié)點控制向量參數(shù)化方法的算法實現(xiàn)步驟如下。

②計算微分方程組的初值問題式(2)和式(5)，得到狀態(tài)()的值。

⑤基于獲得的函數(shù)和梯度信息解非線性規(guī)劃問題P3，直至得到優(yōu)化后的參數(shù)和。

與CPET方法相比，所提出的VTNCVP方法具有以下幾點優(yōu)勢。

① 時間網(wǎng)格的劃分更加自由、靈活。CPET方法中，時間節(jié)點被映射并固定在新的時間尺度上，迫使不同的控制分量均在同一時間網(wǎng)格上參數(shù)化；而本文所提出的方法，對各個控制分量采用不同的時間網(wǎng)格劃分，各分量之間的網(wǎng)格劃分不會相互限制和干擾（圖3）。

圖3 VTNCVP與CPET時間網(wǎng)格對比

②對最優(yōu)控制軌跡的逼近能力更強。由于VTNCVP方法的時間網(wǎng)格劃分更加靈活，各控制分量的參數(shù)化表示能夠更好地逼近最優(yōu)控制軌跡，因此，在同等分段數(shù)下，VTNCVP方法所得到的最優(yōu)值優(yōu)于或等于CPET方法所得到的最優(yōu)值；在取得相同最優(yōu)值的條件下，VTNCVP方法所必需的參數(shù)數(shù)目要少于或等于CPET方法。

③具有更好的收斂能力和數(shù)值表現(xiàn)。由于在設(shè)置初始參數(shù)時，最優(yōu)控制問題解的結(jié)構(gòu)通常是未知的，因此，在優(yōu)化計算的過程中，難免會對控制分量間的時間節(jié)點順序進行調(diào)整。因為CPET方法將時間節(jié)點映射并固定在新的時間尺度上，各節(jié)點的順序是固定的，所以，當節(jié)點順序需要調(diào)整時，待調(diào)整的節(jié)點只能相互靠近而不能交換位置（圖4），容易導致求解過程陷入局部最優(yōu)。而VTNCVP方法則能克服此種缺陷，各控制分量間的節(jié)點順序可以自由調(diào)整，從而能夠更好地收斂到最優(yōu)解。

圖4 VTNCVP與CPET時間節(jié)點優(yōu)化對比

3 算例測試

3.1 集裝箱起重機問題

這是一個經(jīng)典的復雜機械工程最優(yōu)控制問題：用起重機將集裝箱從貨輪轉(zhuǎn)運到卡車上，如何操作使得性能指標最優(yōu)[19]，含有6個狀態(tài)變量、2個控制變量、6個微分方程、2個初值/終值等式約束、8個控制變量/狀態(tài)變量不等式路徑約束。該問題的數(shù)學模型為

表1 集裝箱起重機問題的求解結(jié)果

圖5 集裝箱起重機問題的最優(yōu)控制軌跡

3.2 復合Nishida問題

這是一個經(jīng)典的化工過程最優(yōu)控制問題[21]，其數(shù)學模型為

表2 復合Nishida問題求解結(jié)果

圖6 復合Nishida問題的最優(yōu)控制軌跡

4 結(jié) 論

本文著重考慮控制向量參數(shù)化方法求解最優(yōu)控制問題時，時間網(wǎng)格的劃分對非線性規(guī)劃問題的維數(shù)和求解效果的影響。所提出的變時間節(jié)點控制向量參數(shù)化方法的優(yōu)點在于可以通過優(yōu)化時間節(jié)點使不同的控制具有不同的網(wǎng)格劃分，該方法能夠在較少的時間分段下獲得更好的結(jié)果，比傳統(tǒng)方法具有更大的靈活性和更好的控制軌跡逼近效果。

符 號 說 明

Gi，gi——分別為參數(shù)化后、參數(shù)化前的第i個目標或約束函數(shù) Hi——第i個目標或約束函數(shù)的哈密爾頓函數(shù) J——性能指標 Li——第i個目標或約束函數(shù)的積分項 N，Nj——分別為控制向量的分段數(shù)、第j個控制分量的分段數(shù) nu，nx——分別為控制向量、狀態(tài)向量的維數(shù) p——時間節(jié)點參數(shù)數(shù)目 t——時間節(jié)點參數(shù)向量 U——可行控制集 u，，，——分別為控制向量，最優(yōu)控制向量，控制向量上界、下界 x，x0——分別為狀態(tài)向量及其初值 ——控制參數(shù)向量 ——伴隨狀態(tài)向量 ——排序后的時間節(jié)點參數(shù)向量 下角標 f——終端 i——目標或約束函數(shù)的序號 j——控制分量的序號 k——時間分段的序號 0——起始

References

[1] Zhou You (周游), Zhao Chengye (趙成業(yè)), Liu Xinggao (劉興高). An iteratively adaptive particle swarm optimization approach for solving chemical dynamic optimization problems [J].(化工學報), 2014, 65 (4): 1296-1302

[2] Peng Xin (彭鑫), Qi Rongbin (祁榮賓), Du Wenli (杜文莉), Qian Feng (錢鋒). An improved knowledge evolution algorithm and its application to chemical process dynamic optimization [J].(化工學報), 2012, 63 (3): 841-850

[3] Zhou Y, Liu X. Control parameterization-based adaptive particle swarm approach for solving chemical dynamic optimization problems [J]., 2014, 37 (4): 692-702

[4] Liu X, Chen L, Hu Y. Solution of chemical dynamic optimization using the simultaneous strategies [J]., 2013, 21 (1): 55-63

[5] Kirk D E. Optimal Control Theory: An Introduction[M]. New York: Dover Publications, 2004

[6] Peng Haijun (彭海軍), Gao Qiang (高強), Wu Zhigang (吳志剛), Zhong Wanxie (鐘萬勰). A mixed variable variational method for optimal control problems with applications in aerospace control [J].(自動化學報), 2011, 37 (10): 1248-1255

[7] Qi Rongbin (祁榮賓), Liu Chenxia (劉趁霞), Zhong Weimin (鐘偉民), Qian Feng (錢鋒). A multi-objective optimization algorithm based on gradient information [J].(化工學報), 2013, 64 (12): 4401-4409

[8] Sun Yong (孫勇), Zhang Maorui (張卯瑞), Liang Xiaoling (梁曉玲). Improved Gauss pseudospectral method for solving nonlinear optimal control problem with complex constraints [J].(自動化學報), 2013, 39 (5): 672-678

[9] Binder T, Cruse A, Cruz Villar C A, Marquardt W. Dynamic optimization using a wavelet based adaptive control vector parameterization strategy [J]., 2000, 24 (2-7): 1201-1207

[10] Schlegel M, Stockmann K, Binder T, Marquardt W. Dynamic optimization using adaptive control vector parameterization [J]., 2005, 29 (8): 1731-1751

[11] Assassa F, Marquardt W. Dynamic optimization using adaptive direct multiple shooting [J]., 2014, 60: 242-259

[12] Srinivasan B, Palanki S, Bonvin D. Dynamic optimization of batch processes (Ⅰ): Characterization of the nominal solution [J]., 2003, 27 (1): 1-26

[13] Szymkat M, Korytowski A. Method of monotone structural evolution for control and state constrained optimal control problems//Proceedings of the European Control Conference [C]. University of Cambridge, UK, 2003

[14] Teo K L, Jennings L S, Lee H W J, Rehbock V. The control parameterization enhancing transform for constrained optimal control problems [J].,,, 1999, 40 (3): 314-335

[15] Loxton R C, Teo K L, Rehbock V. Optimal control problems with multiple characteristic time points in the objective and constraints [J]., 2008, 44 (11): 2923-2929

[16] Loxton R C, Teo K L, Rehbock V, Yiu K F C. Optimal control problems with a continuous inequality constraint on the state and the control [J]., 2009, 45 (10): 2250-2257

[17] Zhang Xiaodong (張曉東), Li Shurong (李樹榮), Lei Yang (雷陽), Zhang Qiang (張強). Control vector parameterization approach with variable time nodes [J].(化工學報), 2012, 63 (9): 2805-2811

[18] Biegler L T. Nonlinear Programming: Concepts, Algorithms, and Applications to Chemical Processes[M]. Philadelphia: Society for Industrial & Applied Mathematics,U.S., 2010

[19] Sakawa Y, Shindo Y. Optimal control of container cranes [J]., 1982, 18 (3): 257-266

[20] Hu Yunqing (胡云卿), Liu Xinggao (劉興高), Xue Anke (薛安克). A penalty method for solving inequality path constrained optimal control problems [J].(自動化學報), 2013, 39 (12): 1996-2001

[21] Nishida N, Liu Y, Lapidus L, Hiratsuka S. An effective computational algorithm for suboptimal singular and/or bang-bang control (Ⅱ): Applications to nonlinear lumped and distributed systems [J]., 1976, 22 (3): 513-523

A variable time nodes control vector parameterization approach for solving optimal control problems

LI Guodong, LIU Xinggao

(State Key Laboratory of Industry Control Technology, Department of Control, Zhejiang University, Hangzhou 310027, Zhejiang, China)

Control vector parameterization (CVP) is a frequently used numerical method for solving optimal control problems, where the control vector is approximated by a group of parametric functions through time discretization. Usually, the discretized time grid is fixed, and its partition will affect accuracy and performance of the numerical solution of optimal control problem. To optimize both the control parameters and the time grid nodes, a CVP method with variable time nodes was proposed. Based on the derived relationship between the gradients of time nodes and the ones of interval lengths, the gradient equations for parameters were presented. The proposed method was demonstrated to have better approximation ability for the optimal control trajectories on two classic optimal control problems.

process control; control vector parameterization; variable time nodes; optimization; algorithm

2014-07-28.

Prof.LIU Xinggao, lxg@zju.edu.cn

10.11949/j.issn.0438-1157.20141128

TQ 021.8

A

0438—1157（2015）02—0640—07

國家自然科學基金項目（U1162130）。

2014-07-28收到初稿，2014-11-13收到修改稿。

聯(lián)系人：劉興高。第一作者：李國棟（1988—），男，博士研究生。

supported by the National Natural Science Foundation of China (U1162130).