基于改進單神經元梯度學習的無線網絡主動隊列管理

戚愛春,徐 磊

(1.上海大學機電工程與自動化學院,上海 200444;2.南京中興力維軟件有限公司動環與智能運維產品開發部,南京 211153)

主動隊列管理(active queue management,AQM)是鏈路算法的重點內容,也是主要的研究熱點.文獻[1]提出了三區域隨機早期檢測(three-section random early detection,TRED)算法,以便實現時延及網絡負載吞吐量之間的均衡.Ko 等[2]提出了fairness-aware delaycontrolled 主動隊列管理技術,實現對基于802.11 s 的網絡的性能優化.與源端控制算法不同,鏈路算法主要考慮的是中間節點的情況,考慮到現有網絡結構中網絡節點眾多的特點,鏈路算法的優越性更加明顯[3].

但是隨著網絡規模的不斷擴大,特別是無線局域網(wireless local area network,WLAN)、無線網狀網絡(wireless mesh network,WMN)等網絡類型的增加,網絡的服務質量令人堪憂,傳統的擁塞控制算法已經無法滿足用戶需求[4].于是,為了滿足不斷提高的主動隊列管理需求,很多先進的控制理論被應用到AQM 中,如模糊控制[5]、信息壓縮[6]、模型預測控制[7].

人工神經網絡是通過對神經元系統處理事務的過程進行深入研究得到的,并以計算機為媒介展現出來.人工神經網絡具有自適應、自學習、分布并行式處理等優勢,不僅被生物學家看作研究生物現象的工具,還被工程師作為解決非線性時變復雜系統的新方法,如今已被廣泛應用于各個領域[8].考慮到無線局域網絡是非線性、多變且復雜的系統[9],相比于有線網絡,在網絡擁塞控制方面存在著諸多挑戰.此外,由于主動隊列管理算法主要應用于傳統有線網絡,很少應用于無線網絡,針對這一現象,本工作首先描述傳統有線網絡TCP/AQM 數學模型,然后結合無線局域網絡的特性,對傳統模型進行改進,得到適用于無線局域網絡的TCP/AQM數學模型.

在傳統的主動隊列管理算法中,大部分控制輸入均為網絡的瞬時隊列長度,而瞬時隊列長度只能反映當前的網絡擁塞狀況,忽略了下一時刻網絡的擁塞發展趨勢.考慮到網絡擁塞的真正原因是數據包到達鏈路的速率高于當前的網絡帶寬,本工作以此為出發點,增加數據包到達速率作為AQM 算法的輸入量,用來反映下一時刻網絡擁塞的持續狀態,從而提出基于單神經元梯度學習[10]的AQM 改進算法,即改進單神經元梯度學習(improves single neuron gradient learning,ISNGL)算法.本算法通過梯度學習算法動態調整網絡參數,并在原算法的收斂速度和穩定性方面加以改進,使得控制效果進一步提升.

1 系統描述

1.1 研究對象及數學模型

本工作主要研究對象是無線局域網絡.考慮TCP 的加性增加、乘性減少和隊列長度的動態特性,Zheng 等[11]提出了如下TCP/AQM 數學模型,

式中:W(t)表示TCP 在t 時刻的擁塞窗口;P(t)表示路由器丟包率；τ(t)表示往返時間;Tp為傳輸延時;q(t)表示t 時刻的隊列長度;N(t)表示網絡負載數量;C(t)表示瓶頸鏈路的容量;上行鏈路和下行鏈路的丟包率Pul=Pdl=γ ?1.

假設在同一時刻,發送端、路由器和接收端之間只有一個鏈路成功,再結合無線局域網絡的特性,對原有模型進行修改,得到以下非線性微分方程:

假設在上述模型中,網絡負載N(t) 和瓶頸鏈路容量C(t) 分別為常數N 和C,對平衡點(W0,q0,P0)采用小信號法進行局部線性化和Laplace 變換得到如下傳遞函數:

于是,由無線局域網絡數學模型可以得到控制系統框圖如圖1 所示.

圖1 TCP/AQM 控制系統Fig.1 TCP/AQM control system

由于實際無線網絡的非線性、時延、參數多變等問題會導致無線TCP/AQM 數學模型不夠精確,為此需要設計一個具有動態學習能力的控制器,以提高實際情況中隊列長度的收斂性和收斂速度(見圖2).

圖2 動態學習TCP/AQM 控制系統Fig.2 Dynamic learning TCP/AQM control system

1.2 單神經元AQM 控制器

單神經元AQM 控制器以瞬時隊列長度q(t)與期望隊列長度qref的誤差q(t)?qref作為第一輸入,以數據包到達速率x(t)與鏈路帶寬C 的差值x(t)?C 作為第二輸入,則可以得到單神經元的輸入為e(t)=[e1(t),e2(t)]=[q(t)?qref,x(t)?C].為了采用梯度學習算法來影響輸出,本工作為單神經元的輸入加上動態調整的網絡參數w(t)=[w1(t),w2(t)]T,則單神經元的總輸入為

由于無線局域網絡的數學模型是非線性的,需要為神經網絡引入非線性因素,使其擁有任意逼近任何非線性函數的能力.于是,使用激活函數激活神經元,考慮到存在符號問題,選擇與Sigmoid 函數屬性相類似的Tanh 函數,則神經元的輸出為

丟棄概率為

綜上所述,單神經元AQM 控制器框圖如圖3 所示.

圖3 單神經元AQM 控制器Fig.3 Single neuron AQM controller

下面采用梯度學習算法動態調整網絡參數w(t).首先,定義系統的目標函數E(t)為

為使隊列長度趨于穩定,需要使式(7)取最小值,于是經反向傳播學習,系統網絡參數w(t)為

式中:η為學習速率.為了計算梯度方向,可將梯度方向擴展為

考慮到無線網絡的非線性和不確定性,無法直接計算出?q(t)/?y(t)的值,于是采用q(t)和y(t)變化值的符號函數來代替,

接下來計算y(t)對z(t)的偏導數,得到

于是網絡參數w(t)調整為

1.3 控制器改進

雖然單神經元控制器相比于傳統AQM 控制器在動態調節、控制效果等方面均具有優越性,但是依然存在一些不足.

(1) 平坦區域收斂速度慢.

由于激活函數采用的是Tanh函數,當z(t) →+∞或z(t) →?∞時,f(z(t)) →1 或f(z(t))→?1,這導致f(z(t))′≈0,即進入了平坦區域.而由式(11)和(12)可知,此時無論如何改變學習速率η,權值的調整效果將不再顯著,最終導致收斂速度變慢.

(2) 學習時間較長.

由于采用梯度學習算法進行參數動態調整,在學習的過程中,梯度的下降方向一直朝著最快的方向.然而,相對于網絡這種實時多變系統,誤差值一直都在變化,缺少前期知識的累積,想要達到最優值就需要多次學習,這樣往往會增加單神經元的學習時間.

針對上述不足,對單神經元控制器作出以下改進.

(1) 設置帶有位移參數的新激活函數.

由式(11)和(12)可知,當學習速率η 一定時,激活函數的導數值越大,權值的調整效果越明顯.于是設置帶有位移參數的新激活函數為

式中:a 為位移參數;σ 為界限值,通常σ 的值比較小.

從改進后的方法可知,當目標函數的變化值小于σ,即進入平坦區域時,使用帶有位移參數的激活函數可以使控制器加速越過平坦區域;當處于陡峭區域時,依舊使用原來的激活函數.這樣處理有效緩解了平坦區域權值調整效果不佳的問題,從而提高了參數收斂的速度.

(2) 增加權值調整動量.

針對梯度學習算法總是沿著最陡梯度下降,缺少知識積累的問題,本工作引入增加權值調整動量的改進方法.在考慮本次誤差調整的梯度方向外,增加上次的調整梯度,使原本沿最陡梯度方向調整改為沿誤差曲面的平均方向調整,并不斷累加調整動量,為后續學習提供知識積累,縮短學習時間.于是權值調整公式為

式中:β(t)?w(t)為權值調整動量;β(t)為動量系數,通常0<β(t)<1.

在實際網絡中,當誤差逐漸變小并接近期望值時,說明誤差修正的方向是正確的;反之,當誤差逐漸變大并偏離期望值時,說明誤差修正的方向是錯誤的.為了使權值調整動量更加精確,考慮到并非所有的梯度方向都是完全正確的,本工作將權值調整動量中的動量系數進行動態變化,并采用模糊控制來動態調整.

設模糊控制的輸入值為q(t)與qref的誤差值變化de(t)以及目標函數的變化dE(t),

將系統輸入值de(t)和dE(t)的模糊區域設為[–4.5,4.5],將模糊集劃分為7 個子集,分別為負大(NB)、負中(NM)、負小(NS)、零(Z)、正小(PS)、正中(PM)和正大(PB).隸屬度函數采用高斯型,

式中:ci和bi分別為隸屬度函數的中間點和寬.

在t 時刻,模糊控制的輸出為K(t),則其模糊集也劃分為7 個子集,分別為非常小(TS)、很小(VS)、小(S)、中(M)、大(B)、很大(VB)、非常大(TB),對應的論域為{a1,a2,a3,a4,a5,a6,a7},其中ai(i=1,2,···,7)為相應的值.

假設模糊規則之間的關系是局部的,于是建立如下模糊規則:

這里通過max-min 復合運算合成規則,則模糊規則如表1 所示.

表1 模糊規則Table 1 Fuzzy rules

通過重心法去模糊得到輸出,則神經網絡的學習速率為

這樣,權值調整動量將以準確的動量系數進行動態附加,改進了誤差修正方向,同時為后續學習提供了知識積累,縮短了學習時間.

需要說明的是,本工作考慮了上行鏈路和下行鏈路的丟包率遠小于1 的情況.考慮到TCP 的穩定性,當丟包率接近1 時,會導致發包率增加且網絡更早地進入擁塞狀況.此時,本工作所提出的方法仍然可行,為簡要起見,略去相應結果.

2 仿真與分析

為了驗證ISNGL 算法的性能,利用網絡模擬軟件NS2 對算法進行仿真研究.在NS2 中,搭建如圖4 所示的網絡拓撲結構.

圖4 網絡拓撲結構Fig.4 Structure of network topology

圖4 中:BS(base station)為基站;R0 和R1 分別為無線域和有線域路由器;Src1～Srcn為數據發送的源端,這里源端數量為20 個;Dst 為數據接收端.Dst 和R1 之間的鏈路帶寬為10 Mbit/s,時延為10 ms;BS 與R1 之間的瓶頸鏈路帶寬為10 Mbit/s,時延為20 ms.設上下鏈路的丟包概率為0.01,傳輸的數據包大小為500 bytes,最大隊列長度為300 packets,期望隊列長度為100 packets.仿真時間為240 s.

對于ISNGL 算法,設置參數a1=0.4,a2=0.6,a3=0.65,a4=0.7,a5=0.75,a6=0.8,a7=1.0,a=2.0,σ=2.5,w1=0.000 005 601 9,w2=0.000 002 654.

實驗一:為了驗證ISNGL 算法在維持瞬時隊列長度穩定性方面的性能,將ISNGL 與其他算法進行對比,則隊列長度變化如圖5 所示.由于無線路由器先要與基站進行鏈接,所以源端的數據在幾秒鐘以后才開始傳輸.

瞬時隊列長度是鏈路緩存區中等待分組轉發的數據包的數量,在AQM 算法中是檢測網絡擁塞的重要指標.從圖5 可以看出,ISNGL 算法在隊列長度穩定性方面要優于其他算法.由于設置了帶有位移參數的新激活函數并增加了權值調整動量,相較于以往的SNGL 算法,ISNGL 算法隊列長度的收斂速度提高,學習時間縮短.因此實驗結果驗證了ISNGL 算法的有效性.

圖5 ISNGL 算法和其他算法的瞬時隊列長度Fig.5 Instantaneous queue length of ISNGL algorithm and other algorithms

實驗二:為了驗證ISNGL 算法對突發數據流的適應性,考慮如圖6 所示的實驗,n 為源端開始數量.

由圖6 可見,當網絡中出現突發性數據流時,瞬時隊列長度會有明顯的抖動,而當網絡中的數據流減少時,瞬時隊列的長度同樣也會抖動,但是沒有數據流增加時的抖動程度大.即便有明顯抖動,ISNGL 算法還是能夠在較短的時間內將隊列長度收斂于期望值附近.當網絡負載穩定時,隊列長度也能夠保持相對穩定,這說明ISNGL 算法在網絡中出現爆發性增減數據流時有較好的適應性.

圖6 動態負載下的瞬時隊列Fig.6 Instantaneous queue under dynamic loads

3 結束語

本工作針對傳統AQM 算法忽略下一時刻網絡擁塞發展趨勢的問題,引入數據包到達速率作為輸入量,提出了基于單神經元梯度學習的AQM 改進算法.首先介紹了單神經元梯度學習的原理,從中分析其在收斂速度和學習時間方面的不足,提出了帶有位移參數的激活函數和融合模糊控制的權值調整動量項的改進,使算法在控制效果上得到進一步提高.NS2 仿真結果表明,相比于常見的AQM 算法,ISNGL 算法可以更好地將瞬時隊列長度收斂于期望值附近,穩定性更高;同時,ISNGL 算法對于突發數據流也具有較強的適應性,而且在大延時或動態變化的環境下也能夠迅速調整網絡參數,控制效果顯著.