應(yīng)用于AQM的神經(jīng)網(wǎng)絡(luò)PID控制器優(yōu)化設(shè)計(jì)

周雪寒

（桂林電子科技大學(xué)，廣西 桂林541004）

0 引言

近年來人們對(duì)計(jì)算機(jī)網(wǎng)絡(luò)的服務(wù)質(zhì)量要求越來越高，路由器的主動(dòng)隊(duì)列管理（AQM）是一項(xiàng)減少端到端的時(shí)間延時(shí)和吞吐量的重要技術(shù)。隨機(jī)早期檢測算法（Random Early Detection，RED）是最早提出的符合主動(dòng)隊(duì)列管理思想的算法，它的基本思想是在緩沖區(qū)溢出或網(wǎng)絡(luò)擁塞發(fā)生之前隨機(jī)的丟棄數(shù)據(jù)包。對(duì)于不同的網(wǎng)絡(luò)條件，RED算法的參數(shù)很難調(diào)整，同時(shí)RED算法的參數(shù)對(duì)不同網(wǎng)絡(luò)負(fù)載非常敏感。

隨著TCP協(xié)議和模擬計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展，基于控制理論的AQM成為了一個(gè)研究熱點(diǎn)。相比RED算法，在AQM中基于經(jīng)典控制理論的P與PI控制器都有很好的隊(duì)列穩(wěn)定性，但它們的響應(yīng)速度較慢。文獻(xiàn)1基于增益和相位裕度提出了一種PID控制器，它比RED算法具有更好的隊(duì)列穩(wěn)定性，但PID控制器的參數(shù)很難調(diào)整，尤其是在不確定的時(shí)變網(wǎng)絡(luò)環(huán)境中更難調(diào)整。為了解決AQM和ECN標(biāo)記的問題，文獻(xiàn)[2]提出了一種基于神經(jīng)網(wǎng)絡(luò)的自適應(yīng)PID控制器，為了克服PID控制器在AQM中的不足，本文基于神經(jīng)網(wǎng)絡(luò)提出了一種改進(jìn)的PID控制算法，新算法結(jié)構(gòu)簡單易于實(shí)現(xiàn)。

1 TCP/AQM系統(tǒng)模型

根據(jù)流體流動(dòng)理論，Misra[3]利用非線性微分方程對(duì)TCP窗W（t）和隊(duì)列行為函數(shù)q(t)進(jìn)行了描述，

上式中W˙（t）表示W(wǎng)（t）對(duì)時(shí)間的導(dǎo)數(shù)，且W（t）是預(yù)期的TCP窗口大小，q（t）是期望的隊(duì)列長度，R（t）是往返時(shí)間，p（t）是丟包概率，C是鏈路容量大小，Tp是傳輸延遲，N是TCP連接數(shù)。

為了分析系統(tǒng)的穩(wěn)定性，在圖1中給出了線性化的AQM控制系統(tǒng)框圖

圖1 線性AQM控制系統(tǒng)框圖

傳輸函數(shù)C（s）表示AQM的控制策略，例如RED算法或PID控制器。圖1中對(duì)象傳輸函數(shù)P（s）可以表示為網(wǎng)絡(luò)參數(shù)，即P（s）=Ptcp（s）Pqueue（s）。

2 基于神經(jīng)網(wǎng)絡(luò)PID控制器的設(shè)計(jì)

文獻(xiàn)[4]首先提出了基于神經(jīng)網(wǎng)絡(luò)的PID控制器，本文基于在線自學(xué)習(xí)和任意函數(shù)近似表示性能，利用PID控制器解決網(wǎng)絡(luò)擁塞問題。在AQM中，我們根據(jù)網(wǎng)絡(luò)的變化對(duì)損失概率進(jìn)行調(diào)整，由于信息源能根據(jù)丟包程度不同隨時(shí)間進(jìn)行響應(yīng)，因此我們采用一個(gè)簡單的基于神經(jīng)網(wǎng)絡(luò)的PID控制器（SPIDNN）作為輸出。SPIDNN是三層前饋神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)設(shè)定為2*3*1。神經(jīng)網(wǎng)絡(luò)的輸入層有兩個(gè)神經(jīng)元，可以接收兩個(gè)輸入信息。隱含層有三個(gè)神經(jīng)元，它們分別是比例、積分、微分神經(jīng)元，這些神經(jīng)元可以實(shí)現(xiàn)比例、積分、微分操作。輸出層只有一個(gè)神經(jīng)元作為控制器的輸出，圖2是一個(gè)基于神經(jīng)網(wǎng)絡(luò)的PID控制器框圖。

圖2 SPIDNN控制器

在圖2中，qref是期望隊(duì)列長度，q是真實(shí)的隊(duì)列長度，P是損失概率。虛線框中部分是新的AQM控制器，p（s）e-sR0是對(duì)象傳輸函數(shù)。

SPIDNN的前向反饋算法如下：輸入層可以輸入兩個(gè)信息，一個(gè)是預(yù)期隊(duì)列長度，另一個(gè)是控制系統(tǒng)中的實(shí)際隊(duì)列長度。在采樣時(shí)刻t輸入可以表示為：，輸入神經(jīng)元對(duì)應(yīng)比例的輸出為：xi（k）=neti（k），根據(jù)典型的PID控制規(guī)律，設(shè)置輸入層到隱含層的初始權(quán)值為1和-1，隱含層的輸入為，表達(dá)式中j=1,2,3；e（k）=qref-q，在隱含層中比例神經(jīng)元的輸出為：

隱含層中積分神經(jīng)元的輸出為：

隱含層中微分神經(jīng)元的輸出為：

為了加快收斂速度，我們給出從隱含層到輸出層的權(quán)值，它們分別是通過PID控制器得到的比例、微分、積分系數(shù)。因此輸出層的輸入可表示為：，最終隱含層的活化函數(shù)為一個(gè)比例閾值函數(shù)，AQM控制器的輸出通過神經(jīng)網(wǎng)絡(luò)的輸出來確定：

SPIDNN的反向傳播算法具有學(xué)習(xí)和記憶能力，能夠自適應(yīng)更新網(wǎng)絡(luò)權(quán)值等多種功能，SPIDNN訓(xùn)練學(xué)習(xí)的目的是最小化目標(biāo)函數(shù)E（k）=12[qref-q（k）]2。通過采用梯度下降法，便可以對(duì)從隱含層到輸出層的網(wǎng)絡(luò)權(quán)值進(jìn)行一步步的調(diào)整。經(jīng)過n0次學(xué)習(xí)訓(xùn)練后，便可得到下式：

上式中

最后通過（7）、（8）、（9）式便可以得到合理的權(quán)值。

3 兩種提高SPIDNN學(xué)習(xí)率的方法

一種是附加動(dòng)量法。在從輸入層到輸出層網(wǎng)絡(luò)權(quán)值學(xué)習(xí)的過程中，我們不僅要考慮誤差在梯度中所起的作用，同時(shí)還要考慮誤差的影響趨勢。為了避免在學(xué)習(xí)過程中的權(quán)值振蕩，收斂速度慢和目標(biāo)函數(shù)陷入局部極小值，我們可以用附加動(dòng)量法。該方法從本質(zhì)上考慮先前的權(quán)值在當(dāng)前權(quán)值中所起的作用，因此它能確保權(quán)值調(diào)整方向的正確性，最終通過反響傳播算法得到新的權(quán)值。權(quán)值調(diào)整的新規(guī)則如下：

在上式中K是訓(xùn)練次數(shù)，α為動(dòng)量因子。另一種是自適應(yīng)學(xué)習(xí)速率法。在SPIDNN算法中η是學(xué)習(xí)速率，它的值影響SPIDNN的學(xué)習(xí)速度，如果學(xué)習(xí)率小，該算法的收斂性較好，但學(xué)習(xí)速度慢。如果學(xué)習(xí)率大，學(xué)習(xí)速度快，但該系統(tǒng)易于振蕩。在學(xué)習(xí)速率固定的情況下，很難在收斂和學(xué)習(xí)速度間得到一個(gè)平衡。通常人們根據(jù)根據(jù)經(jīng)驗(yàn)來選取學(xué)習(xí)率。對(duì)于一個(gè)固定的學(xué)習(xí)率，訓(xùn)練開始是更好的，但在后面的訓(xùn)練中可能就不適合了。為了解決這個(gè)問題，可以在訓(xùn)練過程中不斷調(diào)節(jié)學(xué)習(xí)率。

自適應(yīng)學(xué)習(xí)速率法的基本思想是：將當(dāng)前誤差與先前誤差進(jìn)行對(duì)比，如果誤差反彈或上升，表明過調(diào)制，然后我們就減少學(xué)習(xí)率。如果誤差一直在下降，表明學(xué)習(xí)率較小應(yīng)該增大，當(dāng)誤差再次反彈時(shí)，我們?cè)俅螠p小學(xué)習(xí)速率，從而反復(fù)對(duì)收斂速度進(jìn)行調(diào)整，這種方法也避免了自適應(yīng)學(xué)習(xí)陷入局部極小。自適應(yīng)學(xué)習(xí)率的計(jì)算公式如下：

4 小結(jié)

本文提出一種新的應(yīng)用于AQM的神經(jīng)網(wǎng)絡(luò)PID控制器算法，提出了兩種學(xué)習(xí)率改進(jìn)方法，本文算法結(jié)合了PID控制和神經(jīng)網(wǎng)絡(luò)算法兩者的優(yōu)點(diǎn)，同時(shí)在時(shí)延、吞吐量和穩(wěn)定性方面均優(yōu)于一般的PID控制器。

［1］Chu SY,Teng C C.Tuning of PID controllers based on gain and phase margin specifications using fuzzy neural network[J].Fuzzy sets and systems,1999,101(1)：21-30.

［2］Zhou C,Zhang L,Chen Q.An adaptive PID controller for AQM with ECN marks based on neural networks[C]//Asian Control Conference,2009.ASCC 2009.7th.IEEE,2009：779-783.

［3］Misra V,Gong WB,Towsley D.Fluid-based analysis of a network of AQM routers supporting TCP flows with an application to RED [C]//ACM SIGCOMM Computer Communication Review.ACM,2000,30(4)：151-160.

［4］Shu huailin.PID controller based on neural networks and its control system[M].Nation Defense Industry Press.Beijing.2006.