參數未知系統的多模型對偶控制算法?

楊恒占 高韻 付月園

（西安工業大學電子信息工程學院西安710021）

參數未知系統的多模型對偶控制算法?

楊恒占 高韻 付月園

（西安工業大學電子信息工程學院西安710021）

論文針對參數未知的隨機系統提出一種多模型對偶控制算法。首先使用多個子模型代替參數未知的系統模型，然后以傳統的線性二次型高斯控制（LQG）為理論依據，引入后驗概率，在多個模型中篩選出綜合的參數模型，最后利用該模型對系統進行控制，獲得一種新的多模型對偶控制策略。仿真結果表明了該文算法的有效性。

隨機系統；對偶控制；多模型

Class NumberTP301.6

1 引言

不確定性無處不在。不確定性的存在使得在很多領域都不能用簡單的模型進行分析，例如在實際工業生產、航天航空、經濟等領域等，而必須采用隨機理論方法進行控制。系統長期運行或運行于不同環境導致的參數變化，使得系統不僅會受到外界的隨機噪聲干擾（濕度、溫度、風速等），而且系統模型參數本身也可能存在不確定性（零件的磨損程度、質量變化、壓強等），即同時存在噪聲的不確定性和模型參數的不確定性這兩種不確定性［1］。

當系統模型中已知時，經典的隨機理論現在可通過成熟的算法求出系統的最優解，但是經典控制理論的系統為簡單的系統，即系統僅僅只有外部的噪聲，當系統的模型未知時，經典理論不能求出最優解，因此，需尋求一種新算法對未知參數模型系統進行控制。從20世紀50年代開始，自適應控制問題已經開始進入研究者的視線，在其控制中，需要對兩個方面需求進行滿足：一是對被控對象的學習功能，即就是在控制的過程中累積有關對象特性的知識；二是控制功能，即在累積知識的同時對系統施加控制，使系統輸出達到期望值［2～3］。

針對雙重不確定性系統，傳統自適應控制方法大致有兩種思路：一是讓均值取代未知參數，未知系統構造出一個已知系統，這種方法為確定性等價原理。但是此方法誤差太大，且不能靈活地調節系統。二是首先對系統進行激勵，收集系統運行信息，然后對收集的信息進行處理，辨識出未知參數，最后再依據辨識結果進行控制［4～7］。在這個過程中，一方面，信息收集過程對生產過程而言是一個消耗過程，本身不產生正向收益；另一方面，如果系統運行過程中參數發生變化，則控制效果必然會發生偏差甚至無法控制［8］。

對偶控制的出現，有效地解決了上述自適應控制存在的問題。對偶控制把對未知參數的辨識學習和對系統的目標跟蹤綜合一起，對系統邊一邊控制，一邊辨識。即使系統運行過程匯總參數發生漂移或突變，也能夠跟蹤辨識參數變化并完成既定控制目標。相比傳統的先辨識后控制的方法，對偶控制不僅具有閉環系統穩定性，而且對系統變化的參數可實時更新［9～10］。

本文針對一類參數未知的隨機系統，將系統在不同情況下的系統結構和參數采用不同的辨識模型描述，以傳統的線性二次型高斯控制（LQG）為理論基礎，采用“簡化分割，分而治之”的思想，根據每個子系統的模型分別設計各自的子控制器，以各子系統的后驗概率為協調變量整合各子模型的控制率，對系統進行控制的同時進行模型辨識，設計出一種多模型對偶控制算法。

2 問題描述

參數模型未知且是多模型時，系統模型為

其中y(k)為m×1觀測向量，x(k)是n×1狀態向量，u(k)為r×1控制向量；{w(k)}，{v(k)}為模型噪聲向量和量測噪聲向量，且相互獨立，均值都為0，協方差為高斯白噪聲，分別為Q(k)和R(k)。θ為p×1向量，在參數空間Θθ內取值，可以認為參數未知且有多個模型。

狀態轉移陣Φ，增益陣G，量測陣H未知，在空間Θθ={Φi，Gi，Hi}，i=1，…，M內取值，由多個模型構成，模型的組數為M，θ在確定的或假定的先驗概率密度函數p(θ)下是不確定的，系統參數真值是未知的。

控制目標是取得控制量{} u(0)，u(1)，…，u(N-1)，讓性能指標為最小：

其中，Q0(N)，Q1(k)是半正定矩陣，Q2(k)是正定矩陣(k=0，1，…，N-1)。

3 控制器設計

當系統中參數包含未知的參數θ，即Φ，G，H參數未知的情況下，并且都由多個模型組成，因此要解決的問題為多模型參數未知的對偶問題。而經典的LQG問題中參數為已知，因此，在參數模型未知的情況下，原有的控制器不能繼續使用。但是，從經典LQG問題求解的思路可以得到啟示，通過在線計算和離線計算把各獨立的函數乘積而得到的控制器，這種分離在對任意的閉環系統中都是可取的。因此，針對此問題，也可以對多模型進行設計：

根據動態規劃可知，其中Jm是一個在k每一次取值都會利用前一時刻的值計算得到的最優性能指標。

因此，根據動態規劃性質可知：

根據式（1）求出的u(k)為最優控制策略。但是由于維數災問題，不能獲得上式中的最小閉合解，因此，可對上式進行近似等價變型，可以最小化每一步的性能指標，從而求出一個問題次優解。因此，對式（1）進行近似，J1(k)的值可用下面的J2(k)給出，如下：

上式給出的J2(k)認為是一個加權平均值，當模型中的每一組參數為系統模型時，這時問題就成為經典的LQG問題，后驗概率作為加權系數，具有以下特征：當參數模型為真實模型時，后驗概率趨近于1，而當參數模型為非真實參數模型時，后驗概率趨近于0。

后驗概率是基本的信息理論，在實際中也有很多實例，在控制系統中，傳感器接收到反饋的信息之后，測量端通過所了解到信息得出發送的概率就稱為后驗概率。后驗概率在得到信息之后重新對概率進行修正，如貝葉斯公式中的反向推理問題，就是后驗概率問題。而先驗概率和后驗概率有著密切的關系，先驗概率可作為后驗概率的基礎［28］。

因此，對于多模型的加權控制問題，設計出多模型自適應控制系統框圖如圖1。

如圖1所示，可以先通過動態規劃離線計算狀態增益矩陣K(k，θ)和濾波增益F(k，θ)，此過程是離線過程；然后針對每一個模型θ組成的系統，通過卡爾曼濾波預測出狀態向量x(k|k，θ)和協方差矩陣，并通過LQG經典算法求出每一個模型的控制量u(k|k)，接著在根據后驗概率P(k，θ)的公式求出每個模型的后驗概率，最后，把每個模型的控制量乘以自己的后驗概率，再通過加權的方式求出最終的控制器。在此過程中，離線的計算過程減小了在線計算的工作量，從而對運算速度有很大提高。

因此，針對參數未知的多模型自適應控制完整的算法流程給出如下步驟：

Step1：離線計算狀態增益：

Step2：對第i個模型，利用Kalman濾波方法求解狀態估計x(k/k，θi)：

Step3：第i個模型后驗概率的求解：

其中，

Step4：求出自適應控制器：

4 仿真分析

為了更好地驗證本文算法的可行性，通過仿真實例來進行分析說明，并分別在兩種情況下進行仿真：一種是參數為多模型未知參數，并且運行過程中參數不變；二是參數為多模型未知參數，但在運行過程中會發生切換。

考慮如下參數未知且為多模型的一階系統：

其中，未知參數a和b為常數。狀態噪聲和測量噪聲w(k)和v(k)分別是均值為0，方差為σw2=0.25，σ2=0.04，高斯白噪聲，步數N=100。性能指標

v

為：

要做的就是尋找控制律u(k)，使上述性能指標最小。

1）多模型參數不發生切換：

模型不切換，認為參數模型一：a=0.8，b=0.5，為真實參數模型；

模型二為：a=0.4，b=1.0，為非真實參數模型。兩個后驗概率初始值都為0.5，仿真步數100步，后驗概率仿真情況如圖2所示。

圖2后驗概率圖

從圖2中可以看出兩個模型開始的后驗概率都是1/2，隨著仿真步數的增加，真實參數模型一的后驗概率逐漸趨近1，而非真實模型二的后驗概率逐漸趨近于0，說明對偶自適應算法在針對不同模型有一定的識別能力。

當系統中的參數模型為已知的真實模型時候，對系統進行控制成為最優控制，圖3是最優控制與多模型的控制率比較。

圖3最優控制與多模型的控制率比較

圖3是真實參數模型的經典LQG最優控制率與多模型基于后驗概率的控制率的比較，可以看出，多模型后驗概率基本和最優控制率形態保持一致，波動較大的原因為系統在識別參數模型時，需要有一定控制率進行識別控制，從而篩選出真實的參數。

2）多模型參數發生切換

基于仿真一多模型系統參數不切換的情況下，在此基礎設定系統參數模型在運行過程中發生切換，當系統在運行過程中，參數模型不僅是一個有限集合，而且參數會發生切換，在基于上述仿真結果的前提下，設定真實參數不是一個定值，而是不斷切換，為了更好的對上述情況進行對比，認為系統模型為式（2），參數在第二階段發生切換，基于這種情況下，多模型自適應算法對這種情況同樣進行分析，仿真步數為200步。

前100步：真實參數為模型一，取a=0.8，b=0.5，非真實參數為模型二，取a=0.4，b=1.0；

后100步：真實參數為模型二：取a=0.4，b=1.0，非真實參數為模型一：取a=0.8，b=0.5。

結果如圖4所示。

圖4參數模型切換后驗概率圖

從圖4中可看出來，100步之前，當系統真實參數為模型一，從圖中看出，模型一的后驗概率為隨著仿真步數的增加，逐漸趨近于1，而非真實參數模型二的后驗概率逐漸趨近于0；在100步之后，系統真實參數切換為模型二，非真實參數模型切換為一，從圖中可以看出，經過短暫的調整之后，模型一的后驗概率由原來的1又慢慢的趨近于0，而模型二的后驗概率又逐漸趨近于1，可見此方法不僅可以對多模型參數系統中的真實參數進行識別，而且對于多模型參數切換的系統同樣可以進行有效的控制識別。

5 結語

本文針對系統未知參數的多模型隨機系統進行分析，通過傳統的LQG模型的求解，加入后驗概率來識別模型，針對每一個模型進行去求控制器時，就成為經典LQG問題，每個模型的控制器乘以它所對應的后驗概率，最后在把每個模型的乘積加權在一起，就得出多模型未知參數隨機系統的控制器。通過仿真圖可以看出，系統的后驗概率有很強的識別能力。

從仿真結果也可以看出，針對參數模型發生切換的情況，盡管在參數發生切換之后系統的后驗概率能進行有效的切換更改，但是響應速度不夠迅速，后續研究可從這方面入手進行進一步的優化。

［1］Li D，Qian F C，Fu P L.Optimal nominal dual control for discrete-time LQG problem with unknown parame-ters［J］.Automatica，2008，44（1）：119-127.

［2］D.O.Brian，etc.Twenty-five seminal papers in control［J］.IEEE control systems magazine，2002，20（1）：69-70.

［3］郭尚來.隨機控制［M］.北京：清華大學出版社，1999：97-117. GUO Shanglai.Random Control［M］.Beijing：Tsinghua University Press，1999：97-117.

［4］Sokolov V F.Model evaluation for robust tracking under unknown upper bounds on perturbations and measurement noise［J］.IEEE Transactions on Automatic Control，2014， 59（2）：483-488.

［5］Deshpande J G，Upadhyay T N，Lainiotis D G.Adaptive Control of Linear Stochastic Systems［J］.IEEE Transac?tions on Automatic Control，1973，18（9）：107-115.

［6］He W G，Howard K，Rob R.Multiple Model Adaptive Con?trol Procedure for Blood Pressure Control［J］.IEEE Trans?actions on Biomed Eng，1986，33（1）：10-19.

［7］Watanabe K.A hierarchical Multiple Model Adaptive Con?trol of discrete-time Stochastic Systems for Sensor and Ac?tuator Uncertainties［J］.Automatica，1990，26（5）：875-886.

［8］Filipe N，Tsiotras P.Adaptive position and attitude-track?ing controller for satellite proximity operations using dual quaternions［J］.Journal of Guidance，Control，and Dy?namics，2014，38（4）：566-577.

［9］Li D，Qian F C，Fu P L.Variance minimization approach for a class of dual control problems［J］.IEEE Transactions on Automatic Control，2002，47（12）：2010-2020.

［10］楊恒占，高韻，錢富才.雙重不確定隨機系統對偶控制與RLS辨識控制比較分析［J］.西安工業大學學報，2016，36（10）：843-847. YANG Hengzhan，GAO Yun，QIAN Fucai.The analysis of dual control and RLS identification control for system with dual uncertainties［J］.Journal of Xi'an Technologi?cal University，2016，36（10）：843-847.

Dual Control Algorithm for System with Parameters Unknown

YANG HengzhanGAO YunFU Yueyuan
（School of Electronic and Information Engineering，Xi'an Technological University，Xi'an710021）

A multi-model dual control algorithm is presented for stochastic system with parameters unknown.Multiple models are used to describe the system model first，and then the integrate model is identified from multiple models via joining the posterior probability based on the LQG control theory.Finally，the integrate model is uesd to control the system.Simulation results illustrate the effectiveness of the algorithm.

stochastic system，dual control，multi-model

TP301.6

10.3969/j.issn.1672-9722.2017.07.004

2017年1月14日，

2017年2月17日

國家自然科學基金（編號：61273127）資助。

楊恒占，男，博士，講師，研究方向：隨機控制、最優控制、故障診斷等。高韻，女，碩士研究生，研究方向：控制理論與控制工程。付月園，女，碩士研究生，研究方向：控制理論與控制工程。