基于粒子群-蒙特卡羅的PDF形狀控制策略

梁思敏,王玲芝,張 坤,李晨陽

(西安郵電大學 自動化學院,陜西 西安 710121)

在實際應用中,大多數控制系統會受到各種形式的隨機干擾,例如由于環境變化或不確定性導致的參數變化、控制對象運動過程中的隨機干擾以及測量和傳感器誤差等[1-3]。這些隨機干擾因素使得系統極其復雜,導致使用傳統的確定性控制方法難以取得良好的控制效果。為了提高控制性能,隨機控制理論提供了一種通過建立數學模型描述隨機干擾因素對系統產生影響的方式。因此,研究隨機控制方法對實現復雜動態系統的高效控制、提高系統性能和穩定性尤為重要。

常見的隨機控制方法主要是以均值和方差為控制目標,但其只能控制隨機變量的一階矩和二階矩,不能控制更高階矩,因此不能更準確全面地實現隨機控制[4-5]。盡管風險敏感控制可以控制各階矩的加權和,但僅通過一個風險敏感系數將性能指標的各階矩控制到期望的形式,具有一定的難度[6]。以上均值控制、方差控制和風險敏感控制均存在控制不全面或者控制困難的問題,而解決這一問題的途徑就是控制概率密度函數(Probability Density function,PDF)的形狀。PDF包含了隨機變量的各階矩,可以更全面地描述隨機變量的統計特征,因此控制PDF的形狀就意味著隨機變量的各階矩均得到了控制[7]。

PDF形狀控制的本質是設計一個控制器使得隨機變量的PDF形狀盡可能地與期望的PDF形狀逼近。而控制器增益的求解是獲得最優控制器的一個關鍵問題,通常采用非線性最小二乘法、共軛梯度法、遺傳算法和粒子群算法等[8-11]。粒子群算法作為一種常用的優化算法,可以用于搜索函數的最小值或最大值。與遺傳算法、模擬退火算法等優化算法相比,粒子群算法具有收斂速度快、參數少、算法簡單等特點,被廣泛應用于機器學習、數據挖掘和信號處理等領域[12-14]。蒙特卡羅方法也稱統計模擬方法,是將求解問題轉化為一個隨機過程,并通過大量的隨機抽樣估算隨機變量的期望值,從而得到問題的近似解。蒙特卡羅方法可以處理其他方法不能解決的復雜問題,目前已被廣泛應用于物理、化學、生物和經濟等領域[15-20]。

針對傳統的隨機控制方法不能控制隨機變量的高階矩問題,擬提出一種基于粒子群-蒙特卡羅的PDF形狀控制策略。通過設計多項式形式控制器和誤差平方積分目標函數,求解PDF形狀控制器增益的最優值。即用粒子群算法優化控制器增益的同時,用蒙特卡羅方法計算目標函數,以期使得非線性隨機系統狀態變量的PDF形狀與期望的PDF形狀一致。

1 問題描述

假設在時刻t的一維非線性隨機動態系統的狀態方程為

dx(t)=[φ(x)+u(x)]dt+dε(t)

(1)

式中:x∈Rn為狀態變量,x(0)為初值;φ(x)為非線性項函數;u(x)為控制器;ε(t)∈Rn為系統的隨機干擾;ε(t)為單位維納過程。

非線性隨機系統的狀態變量的概率密度函數[11]表示為

(2)

式中,D為歸一化常數。

為了使非線性隨機系統的概率密度函數pa(x)盡可能地接近期望的概率密度函數pd(x),設計優化目標函數為

(3)

式中,a和b分別代表隨機變量x的最小值和最大值。

當目標函數J取極小值時,可以實現實際的概率密度函數無限接近期望的概率密度函數。式(2)中含有控制器u(x),那么存在一個最優的u(x)可使得目標函數J最小。設計控制器u(x)為多項式,其表達形式為

u(x)=c0+c1x+c2x2+…+cnxn

(4)

式中,c0,c1,c2,…,cn分別為控制器增益,n為控制器的階數。

2 粒子群算法

粒子群算法通過模擬鳥群捕食行為中的尋食過程,將待求解問題轉化為一個多粒子系統的協同尋優過程。在迭代過程中,每個粒子沿著當前已知最優解和自己歷史上的最優解進行移動,直到找到全局最優解或達到迭代次數的上限。

假定S維的目標搜索空間中,有N個微粒組成一個粒子群,則第j個微粒的空間位置表示為

Xj={Xj1,Xj2,…,XjS}

式中,Xmin≤Xj≤Xmax。

微粒的空間位置Xj就是求解優化問題式(3)中的一個解。根據空間位置向量可以計算出相應的適應度值,從而判斷每個微粒的優劣。每個微粒的飛行速度記為

Vj={Vj1,Vj2,…,VjS}

式中,Vmin≤Vj≤Vmax。

在第j個微粒飛行過程中,計算出具有最好適應值的位置被稱為個體歷史最優位置,表示為

bj={bj1,bj2,…,bjS}

在整個微粒群飛行過程中,經歷過的最好位置被稱為全局歷史最優位置,表示為

q={q1,q2,…,qS}

粒子群中第k代微粒的速度方程和位置方程分別表示為

Vj(k+1)=Vj(k)+C1R1[bj(k)-Xj(k)]+C2R2[q(k)-Xj(k)

(5)

Xj(k+1)=Xj(k)+Vj(k+1)

(6)

式中:R1～U(0,1)和R2～U(0,1)均為隨機函數,相互獨立;C1和C2分別為速度更新時的加速常量,通常取值為(0,2)。調節C1可以使微粒朝著自身最優位置方向前進,調節C2可以使微粒朝著全局最優位置前進。

3 蒙特卡羅方法

蒙特卡羅方法可以實現定積分的求解或者估算。當被積函數形式比較復雜時,采用傳統積分方法往往難以求解或者計算精度明顯降低,可以考慮蒙特卡羅方法求出復雜定積分的值。基于蒙特卡羅方法求解定積分,是使用隨機抽樣模擬函數在積分區間上的取值,從而估算出定積分的值[21-23]。蒙特卡羅法求解定積分的方法包括隨機投點法和期望法,期望法求解原理如圖1所示。

圖1 期望法求解原理

f(x)是隨機變量x的函數,其數學期望的表達式為

(7)

如果x服從[a,b]區間內的均勻分布,即p(x)=1/(b-a)。取N個隨機樣本x1,x2,…,xN,可得到

(8)

隨著采樣數n的增大,估計值會越接近準確值。然而大多數情況下,x并不服從[a,b]上的均勻分布,從而導致上述方法存在較大的誤差。

(9)

(10)

根據式(7)和式(10)可進一步推導得到

(11)

式(11)就是蒙特卡羅期望法計算定積分的一般形式。

4 PDF形狀控制策略

基于粒子群-蒙特卡羅的PDF形狀控制策略采用粒子群算法進行參數優化,并引入蒙特卡羅積分方法對目標函數J進行求解,從而獲得最優的控制器。該策略的具體流程如圖2所示。

①在立模上用墨線彈出標高線。以人工均勻攤鋪，虛鋪厚度一般為實際厚度的1.05～1.20倍。攤鋪時應找準平整度與排水坡度，施工時對邊角處特別注意有無缺料現象，要及時補料進行人工壓實。

圖2 PDF形狀控制策略流程

基于粒子群-蒙特卡羅的PDF形狀控制策略求解控制器增益的具體步驟如下。

步驟1設定粒子數N和最大迭代次數k,初始化每個粒子的初始位置Xj和速度Vj。將優化問題(3)的目標函數J作為適應度函數,初始化全局最優位置q,即參數最優值。

步驟2采用蒙特卡羅方法計算適應度函數J,即目標函數的值,根據當前粒子群中所有粒子Xj的適應度值,更新全局最優解q和局部最優bj。其中,全局最優是全部粒子歷代適應度最好的粒子對應的位置,而每個粒子記憶的歷代最佳位置則為其所在鄰近范圍內的最好位置。

步驟3根據式(5)和式(6)更新粒子位置Xj和速度Vj。根據當前粒子的位置、速度、全局最優和局部最優更新下一代粒子的運動狀態。

步驟4判斷Vj和Xj是否達到速度邊界[Vmin,Vmax]和位置邊界[Xmin,Xmax]:若Vj≤Vmin,則Vj=Vmin;若Vj≥Vmax,則Vj=Vmax;若Xj≤Xmin,則Xj=Xmin;若Xj≥Xmax,則Xj=Xmax。當達到最大迭代次數k,則輸出當前全局的最優解q。

采用優化算法得到控制器增益的最優解后,將最優解q代入式(4)中的u(x),再將u(x)代入式(2),從而得到非線性隨機系統狀態變量最優的概率密度函數pa(x)。

5 仿真實驗及結果分析

考慮某一維非線性隨機系統的非線性項函數為

φ(x)=1-0.5x-x2

(12)

假設期望的概率密度函數pd(x)是標準的正態分布,即均值μ=0,方差σ=1,則其數學表達式為

(13)

u(x)=c0+c1x+c2x2

(14)

將式(12)、式(13)和式(14)代入目標函數式(3)中,得到關于控制器增益的函數的表達式為

J=

(15)

在Matlab環境下進行仿真實驗。實驗中設置粒子群的參數分別為:群體粒子個數j=2 000;粒子維數S=3;最大迭代次數k=30;加速常量C1=C1=1.5;速度邊界Vmin=[-1,-1,-1],Vmax=[1,1,1];位置邊界Xmin=[-100,-100,-100],Xmax=[100,100,100]。

通過粒子群-蒙特卡羅的PDF形狀控制策略獲得式(14)中控制器增益的最優值分別為c0=-7.072 7,c1=0.500 2,c2=0.499 6。在群體粒子個數和最大迭代次數相同的情況下,分別使用傳統的數值積分方法和蒙特卡羅方法計算定積分形式的目標函數(適應度函數),其適應度進化分別如圖3和圖4所示。

圖3 數值積分方法的適應度進化

圖4 蒙特卡羅方法的適應度進化

分別對比粒子群算法和引入蒙特卡羅方法后粒子群算法的計算時間,結果如表1所示。

表1 兩種算法計算時間對比

同時觀察圖3、圖4和表1可以發現,在不影響適應度函數曲線的情況下,粒子群-蒙特卡羅算法計算時間由56 s降低到3 s,計算速度明顯變快。這是因為將蒙特卡羅方法引入粒子群算法求解定積分后,避免了傳統數值積分方法存在的誤差累積問題,從而提升了粒子群算法在非線性隨機系統PDF形狀控制器增益求解中的性能。

當算法結束時,目標函數J=7.256 5×10-9是一個極小的一個值,說明狀態變量的PDF和期望的PDF近乎相同。基于粒子群-蒙特卡羅的PDF形狀控制策略的PDF形狀控制結果如圖5所示,可以看出,狀態變量的PDF可以很好地跟蹤期望的PDF。因此,該控制策略達到了非線性隨機系統PDF形狀控制的目的。

圖5 PDF形狀控制結果

6 結語

針對非線性隨機系統PDF形狀控制問題,提出了一種基于粒子群-蒙特卡羅的PDF形狀控制策略。設計了多項式形式控制器和誤差平方積分性能指標,利用粒子群算法優化控制器增益的同時,采用蒙特卡羅方法計算目標函數,從而獲得了PDF形狀控制器增益的最優解。實驗結果表明,該控制策略不但解決了PDF形狀控制問題,而且計算時間明顯減少,提升了粒子群算法在PDF形狀控制器增益中的優化性能。