基于神經網絡的云機器人服務質量控制方法研究

高昂, 胡延蘇, 李立欣, 段渭軍, 張會生

(1.西北工業大學 電子信息學院, 陜西 西安 710072; 2.長安大學 電子與控制工程學院, 陜西 西安 710064)

云機器人是云計算與機器人學的結合，機器人本身不需要存儲全部信息或具備超強的計算能力，只在必要的時候連接相關云端服務并獲得所需信息[1-2]。云機器人卸載的任務以會話(session)的形式被分割成多個作業流，由云端多個宿主主機上的虛擬資源并行處理。在網絡接入方面，為了提高機器人節點在復雜環境下的生存能力，往往采用去中心化的自組織網絡，所有節點共享信道并采用CSMA/CA(carrier sense multiple access/collision avoidance)的方式競爭接入[3]。

由于云端應用的實時性差異，對服務質量的需求不盡相同；各類機器人節點基于自身處理能力、任務環境、突發事件等差異，對網絡和云端資源的競爭不可避免[4-5]；尤其是異構的、跨層融合的“瘦客戶端”型機器人的廣泛存在，使得網絡傳輸控制只能由底層的MAC 和物理層收發器來完成。

這方面的研究往往基于多隊列隔離的結構，如QS-MAC[6](QoS-based MAC)，PRIN[7](priority in node)，AS-MAC[8](asynchronous scheduled MAC)，RF-MAC[9](RF energy harvesting MAC), CACC[10](cross-layer based adaptive congestion and contention)，DRAS[11](data rate adjustment scheme)和QoS-OFDMA[12](QoS-orthogonal frequency division multiple access) 等，進而通過控制不同隊列的資源占用，如退避窗口[6]、幀間間隔[7]、活動時間[8]、發射功率[9]、TCP擁塞窗口[10]、數據速率[11]或子信道競爭次數[12]，實現具有區分服務的接入控制。所采用的方法包括參數同步、中心節點調度和資源預留等。無論哪種方法，在特定場景下均可實現一定的吞吐量和延遲性能改善[13-14]。然而，這些研究均是從系統實現或協議設計的角度進行驗證，缺少對系統的穩定性、動態性能等的理論分析。因此，本文針對云機器人系統服務質量差異化需求和資源能量受限等特點，提出一種基于BP神經網絡的雙閉環接入控制方法(BP neuron network based feedback control MAC,BPFD-MAC)，在最大化能量利用率前提下，同時實現絕對服務質量和相對服務質量保證：針對絕對QoS約束，建立活動時間閉環(active time-loop，AT-loop)，根據實測延遲，動態調整節點MAC傳輸的活動時間；針對相對QoS約束，建立退避窗口閉環(contention window-loop， CW-loop)，根據不同優先級實際延遲比，調整它們退避時間的初始上限;同時，設計基于BP神經網絡的PID控制器，利用神經網絡非線性自學習和自訓練的特點，對控制器的參數進行自適應校正；實驗表明，在網絡高負載下，BPFD-MAC具有更高的吞吐量和能量利用率，在網絡低負載下，具有更低的能耗。

1 支持QoS的接入控制模型

基于BP神經網絡的接入控制模型如圖1所示，按照云端卸載任務的不同，MAC層形成的幀流(frame flow)可以被分為“I+J”類不同的優先級;在每個機器人節點上,這些不同的優先級在相互隔離的隊列中按照CSMA/CA 的方式共享信道。其中,I類幀流,要求點對點的性能滿足約束(1)式,稱之為絕對QoS約束;J類幀流,要求點對點性能指標關系滿足約束(2)式,稱之為相對QoS約束。

ζi≤Li,i=1,2,…I

(1)

ζjζj+1=δjδj+1,j=I+1,…I+J-1

(2)

式中,ζ為實際測量的QoS指標(ζ可以是丟包率,節點帶寬,吞吐量等指標。不失一般性,本文采用點對點平均延遲),Lj為期望的QoS指標,δj是固有優先級參數。δj越小, 作業的期望延遲越低,業務類的優先級越高。無論是幀流的分類策略還是QoS指標和固有優先級參數的取值,都可以采用上層協議動態協商或系統提前固化的方式,本文不再贅述。

圖1 基于BP神經網絡的雙閉環接入控制模型

1.1 “N+1”模型

實際上,服從絕對約束的I類幀流和服從相對約束的J類幀流可統一為 “N+1”模型。

由AT-loop控制節點的活動時間,保證最高優先級業務類S的絕對延遲ζS=LS,(按公式(3)選擇最高優先級類);剩余的N(N=I+J-1)類幀流由CW-loop分別控制其退避窗口大小,從而保證相互間的延遲比恒定。故(1)式和(2)式可以重寫為:

ζS=LS,S=min(Li)

(3)

(4)

(5)

式中,(4)式保證了所有絕對QoS約束的延遲等于其約束值Li;(5)式保證了不同優先級的相對QoS約束的延遲比恒定,從而避免了網絡擁塞時低優先級被過分“犧牲”。

1.2 活動時間閉環

活動時間閉環(圖1的藍色虛線方框)通過動態調整活動時間,實現絕對延遲保證和能耗管理。當網絡流量較大,增大活動時間以減小碰撞概率;反之,減小活動時間以節省能耗。AT控制器采用BP神經網絡的方法實現系統反饋和控制器參數自整定。根據絕對延遲偏差eS(k)=ζS(k)-LS,調整下一個采樣周期的活動時間TS(k+1)。同時,偏差eS和活動時間TS作為輸入輸出訓練神經網絡。

需要注意的是,對優先級S來說,其在單一節點傳輸中所占的比例是動態變化的。AT-loop閉環通過對TS的控制消除偏差eS。但是,在競爭窗口閉環里,接入時間的變化量ΔTS,實際上最終會被多個業務類以LD-BEB(見1.3節)的方式消耗,并再次影響測量延遲ζ。盡管如此,得益于負反饋控制的自適應性,可以將活動時間和競爭窗口進行解耦,單獨控制。

1.3 競爭窗口閉環

競爭窗口閉環(圖1的紅色虛線方框)通過控制退避窗口的大小,實現各優先級的差異化接入概率。然而, IEEE 802.11 CSMA/CA協議所采用的二進制指數退避算法(binary exponential back-off,BEB),本身不具備接入概率控制能力。

因此,本文在BEB基礎上提出一種差分二進制退避機制(linear-differ BEB,LD-BEB),為各類優先級引入縮放向量X(k)=[x1(k),x2(k),…xN-1(k)]T:當MAC層有幀發送并且信道空閑時,在競爭窗口[0,xi(k)·Wmin-1],1≤xi(k)≤WmaxWmin內隨機延遲一段時間后,再由物理層發送;若發生碰撞,則窗口大小以指數速率增加[0,Wτ-1]。其中

Wτ=min(xi(k)·2τWmin,Wmax)

(6)

與活動時間閉環類似,CW控制器同樣采用基于BP神經網絡的自適應控制器。神經網絡的輸入為延遲比誤差E(k)=Y(k)-Yr,輸出為縮放向量X(k)其中:

Yr=[y1r,y2r,…y(N-1)r]T

Y(k)=[y1(k),y2(k),…yN-1(k)]T

yir=τi∑Nl=1τl,yi(k)=ζi(k)∑Nl=1ζl(k)i=1,2,…,N

(7)

2 BP神經網絡的自適應控制器設計

由于網絡拓撲的動態變化和任務的突發性,無論是活動時間閉環還是競爭窗口閉環都展現出典型的非線性和時變性。本文利用神經網絡非線性自學習和自訓練的特點,對控制器的參數進行自適應校正,以保證負載變化情況下,控制器的有效性和穩定性。

2.1 控制器結構

以競爭窗口閉環為例,其控制系統由經典的PID控制器和BP神經網絡兩部分組成。經典增量式數字PID的控制算式為:

u(k)=u(k-1)+KP(e(k)-e(k-1))+

KIe(k)+KD(e(k)-2e(k-1)+e(k-2))

(8)

BPFD-MAC通過神經網絡的自學習、加權系數調整,從而獲得某種最優控制規律下PID控制器相關參數KP,KI,KD。此時,(8)式可重寫為:

u(k)=f[u(k-1),KP,KI,KD,e(k),

e(k-1),e(k-2)]

(9)

式中,f(·)是與KP,KI,KD,u(k-1),e(k)等有關的非線性函數。

2.2 神經網絡訓練

機器人節點計算資源有限,神經網絡應能在較低的復雜度下實現參數的快速收斂。本文采用如圖2所示的3層BP結構。

圖2 用于參數自適應的BP神經網絡結構

1) 輸入層的輸出:

,j=1,2,3

(10)

2) 隱含層的輸入輸出:

(11)

3) 輸出層的輸入

取性能指標函數

Q(k)=0.5(rin(k)-yout(k))2

(13)

按Q(k)對加權系數的負梯度方向搜索調整,并附加使搜索快速收斂全局極小的慣性項,則有:

式中,η為學習率,γ為慣性系數。而:

因此,輸出層權計算公式為:

(16)

同理,可得隱含層權重計算公式為:

(17)

綜上,基于BP神經網絡的PID參數自適應算法如表1所示。

表1 基于BP神經網絡的PID參數自適應算法

3 實驗結果與分析

本文針對BPFD-MAC設計了3組對比實驗。分別討論其動態性能,能量消耗和靜態性能。各機器人節點采用ZigBit 900無線模塊(784/868/915 MHz IEEE 802.15.4模塊)實現去中心的自組織網絡。其內部集成了ATmega1281V 微控制器和AT86RF212 射頻收發器。借助于Atmel 提供的AVR2025開發包,在微控制器內部構建多隊列結構進行不同業務流的性能隔離,進而調整射頻芯片內部的隊列選擇、退避窗口大小和活動時間,實現動態AT和CW調整。AVR2025開發包還提供了API回調函數,當幀數據被成功發送時,通過對回調函數的間隔,能夠計算出點對點的平均傳輸延遲。

20個機器人節點隨機部署在直徑100 m的圓形區域內,射頻發射功率1 mW,Wmin=23,Wmax=28,τmax=3。每個節點向其他19個節點(根據唯一不變的地址)發送連續的數據傳輸,數據報文在MAC層被打包為MAC幀流,進行多跳傳輸。各節點根據發送節點和目的節點地址以及自身存儲的路由表,對MAC幀進行接收、存貯和轉發。采用AODV(ad hoc on-demand distance vector)路由協議。在每個節點上,由單獨的進程(定時器)進行路由表的周期性維護(路由維護和路由發現)。MAC幀之間的發送間隔服從均值為-tlog(1-G)的正態分布,其中G為歸一化發送速率(offered traffic),G=tR(0

AT-loop和CW-loop均采用3層BP神經網絡結構,自適應調整PID控制器的參數,相關初始參數的選擇如表2所示。

表2 BPFD-MAC神經網絡初始參數

需要說明的是,文獻[15]中已經將FD-MAC與其他基于QoS區分服務的MAC協議進行了對比,并證明了其優越性。因此,本文僅就BPFD-MAC和FD-MAC進行實驗比較。

3.1 動態性能驗證

動態性能關注QoS指標隨時間變化的情況,用來評價控制器的性能。實驗中采用“off-and-then-on”方式模擬階躍信號。實驗共持續600 s:0～200 s無控制器作用,節點工作在標準IEEE 802.15.4 MAC方式下;200～400 s, 僅CW-loop工作,節點工作在 FD-MAC方式下;400～600 s,AT-loop和CW-loop同時作用,節點工作在BPFD-MAC方式下。

假設網絡中存在3類應用,其中Pri 1為實時應用產生的幀流,Pri 2和Pri 3 分別為BE(best effort)幀流。針對云機器應用場景,設計了2組對比試驗。強約束場景(strong time constraint,STC)和弱約束(weak time constraint,WTC)場景。對前者,絕對QoS約束為ζ1≤LSTC=2 ms,模擬負載變強時,高優先級QoS指標小于實際延遲的場景;對后者,ζ1≤LWTC=6 ms,模擬負載強度降低時,QoS指標要求大于實際延遲的場景。2類場景下BE幀流的相對QoS約束均為ζ2ζ3=δ2δ3=23。

圖3 STC:絕對QoS約束ζ1≤LSTC=2 ms

1) 圖3a)和圖4a)為STC和WTC場景下節點1～5(其余15個節點情況類似)的點對點延遲變化情況。0～200 s(802.15.4 MAC),各類幀流的延遲沒有明顯區別;200～400 s(FD-MAC),盡管不同優先級的平均延遲出現了明顯差異,但Pri 1沒有滿足絕對延遲約束要求,即LSTC=2 ms或LWTC=6 ms;400～600 s(BPFD-MAC),不僅區分的情況仍然顯著,幀流Pri 1的絕對延遲也分別降低到2 ms和增加到6 ms;

2) 圖3b)和圖4b)為STC和WTC場景下2類BE幀流的延遲比。顯見,200～400 s,無論是FD-MAC還是BPFD-MAC,均能很好地保證延遲比恒定;同時BPFD-MAC還具有絕對延遲控制能力。

3) 圖3c)和圖4c)為STC和WTC場景下節點吞吐量情況。在前400 s(802.15.4和FD-MAC),節點的吞吐量沒有明顯變化,這與之前的研究結論相符[15];400～600 s(BPFD-MAC),STC場景下,絕對延遲越小,對應的節點吞吐量越大;WTC場景反之。這說明,相對于802.15.4 MAC和FD-MAC,CSFD-MAC在STC場景下,增加節點的活動時間,能夠提高信道的時間利用率和吞吐量,進而降低延遲;反之,在WTC場景下,降低節點的活動時間以節省能耗,同時吞吐量降低。這與本文的初衷相符。

圖4 WTC:絕對QoS約束ζ1≤LWTC=6 ms

3.2 能量效率

能量效率和生存時間是云機器人節點等自組織智能群體網絡構建時必須考慮的因素。本文采用“均幀能耗”(power consumption per successful transition frame)度量節點的能量效率,均幀耗能越小,能力效率越高;總能量消耗(total power consumption)評價節點的生存時間,在總能量一定的情況下,總能量消耗越少,節點的生存時間越長。

通常,提高能量效率意味著節點在網絡傳輸中應避免不必要的浪費,如碰撞導致的數據重傳和靜態電路消耗等;降低總能量消耗意味著節點應盡可能多地處于休眠狀態。圖5為STC場景和WTC場景下,節點1～5的平均幀能量消耗和總能量消耗。不失一般性,圖5僅顯示了最高優先級(Pri 1)和最低優先級(Pri 3)的幀流能量消耗情況。

圖5 STC和WTC場景下的平均幀能量消耗和總能量消耗情況

1) 200～400 s(FD-MAC),無論STC還是WTC場景(見圖5a)、圖5c)),均幀能耗和總能耗均大于0～200 s(802.15.4 MAC)。原因是過小的競爭窗口增加了碰撞的概率,由此產生的數據重傳浪費了部分的能量并降低了能量利用效率。

2) 400～600 s(BPFD-MAC),STC場景下(見圖5a))均幀能耗降低,能量效率增加;而WTC場景下(見圖5c)),均幀能耗幾乎不變。這是由于STC場景下,增加的吞吐量(見圖3c))遠超過了碰撞概率升高導致的能耗增長;而WTC場景下,吞吐量和總能耗都降低了,且這兩者數值上基本抵消。

3) 400～600 s(BPFD-MAC),STC和WTC場景下,節點總能量消耗也是不同。STC場景下(見圖5b)),總能量消耗要大于WTC場景(見圖5d)),這是由于在WTC場景下,節點活動時間較短,避免了不必要的電路消耗。

4) 值得注意的是:相對于FD-MAC,在STC場景下,BPFD-MAC有更高的能量效率(更低的均幀能耗)和近乎相同的生存時間;在WTC場景下,BPFD-MAC有更長的生存時間(更低的總能耗)和近乎相同的能量效率。

3.3 靜態性能

在STC場景下,BPFD-MAC犧牲生存時間(更高的總能量消耗,見圖5b)),獲取了更高的吞吐量(見圖3c))和更低的延遲(見圖3a))。實際上,云機器人等智能群體自組織網絡中,STC場景更為常見,因此重點針對STC場景,在不同負載強度下,進行統計性能分析。結果如圖6所示。負載強度(offered traffic)沿著Y軸(logarithm scale)增加,X軸方向依次表示為IEEE 802.15.4 MAC, FD-MAC 和 BPFD-MAC,Z軸方向分別為吞吐量(見圖6a))和均幀能耗(見圖6b)):

1) 圖6a)中,相對802.15.4和FD-MAC,BPFD-MAC不僅支持絕對延遲和相對延遲保證,并且能夠同時提高高優先級和低優先級的吞吐量;而 FD-MAC相對于802.15.4 MAC,雖然也能夠實現延遲的區分,但節點總的吞吐量沒有顯著變化(所有優先級吞吐量之和沒有明顯變化)。

圖6 STC場景下,不同MAC協議的靜態性能對比

2) 圖6b)中,在各種負載強度下,BPFD-MAC的均幀能耗明顯低于FD-MAC和802.15.4。這表明,BPFD-MAC有更好的能量效率。在STC場景下,工作在BPFD-MAC方式下的節點活動時間增加,降低了碰撞發生的可能,而碰撞和重傳造成的能量消耗要遠大于電路消耗(收發器發射狀態功耗(10 mW),約為電路功耗的10倍(1 mW))。

4 結 論

本文從控制角度，研究了云機器人動態任務卸載模式下，網絡傳輸的服務質量控制問題，提出并實現了一種基于BP神經網絡的雙閉環接入控制方法(BPFD-MAC)，在最大化能量利用率的同時，實現多種優先級傳輸的絕對服務質量和相對服務質量保證。

通過雙閉環控制結構，將絕對QoS約束和相對QoS約束解耦，一方面，根據高優先級的延遲控制節點活動時間，滿足絕對約束，另一方面，根據不同優先級的延遲比，調整它們退避時間的初始上限，保持相對延遲比例關系恒定，滿足相對約束。最后，采用基于BP神經網絡的PID方法進行控制器設計。

實驗表明，BPFD-MAC相對于FD-MAC，不僅能夠在負載動態變化時同時提供相對和絕對QoS保證，并且在STC場景下，節點具有更高的吞吐量(平均提高了18%)和能量利用率(均幀能耗平均降低了14%)，在WTC場景下具有更低的能耗。

參考文獻：

[1] Wan J, Tang S, Yan H, et al. Cloud Robotics: Current Status and Open Issues[J]. IEEE Access, 2016, 4: 2797-2807

[2] Kehoe B, Patil S, Abbeel P, et al. A Survey of Research on Cloud Robotics and Automation[J]. IEEE Trans on Automation Science and Engineering, 2015,12(2): 398-409

[3] Li F, Wan J, Zhang P, et al. Usage-Specific Semantic Integration for Cyber-Physical Robot Systems[J]. ACM Trans on Embedded Computing Systems, 2016, 15(3):50

[4] Chaisiri S, Lee B S, Niyato D. Robust Cloud Resource Provisioning for Cloud Computing Environments[C]∥IEEE International Conference on Service-Oriented Computing and Applications, 2011:1-8

[5] Pandey P, Pompili D, Yi J. Dynamic Collaboration between Networked Robots and Clouds in Resource-Constrained Environments[J]. IEEE Trans on Automation Science & Engineering, 2015, 12(2):471-480

[6] Saxena N, Roy A, Shin J. Dynamic Duty Cycle and Adaptive Contention Window Based QoS-MAC Protocol for Wireless Multimedia Sensor Networks[J]. Computer Networks, 2008, 52(13):2532-2542

[7] Subramanian A K, Paramasivam I. Prin: A Priority-Based Energy Efficient MAC Protocol for Wireless Sensor Networks Varying the Sample Inter-Arrival Time[J]. Wireless Personal Communications, 2016, 92(3):1-19

[8] Jang Beakcheol, Lim J B, Sichitiu M L. An Asynchronous Scheduled MAC Protocol for Wireless Sensor Networks[J]. Computer Networks, 2013, 57(1): 85-98

[9] Naderi M Y, Nintanavongsa P, Chowdhury K R. Rf-Mac: A Medium Access Control Protocol for Rechargeable Sensor Networks Powered by Wireless Energy Harvesting[J]. IEEE Trans on Wireless Communications, 2014, 13(7):3926-3937

[10] Chang B J, Chen S P. Cross-Layer-Based Adaptive Congestion and Contention Controls for Accessing Cloud Services in 5G IEEE 802.11 Family Wireless Networks[J]. Computer Communications, 2017, 106: 33-45

[11] Zen Y, BandRmal N, BayLm C. Two Tiered Service Differentiation Mechanism for Wireless Multimedia Sensor Network MAC Layers[C]∥Signal Processing and Communications Applications Conference, 2015:2318-2321

[12] 周潤, 李波, 楊懋,等. 面向Qos的下一代Wlanofdma多址接入協議[J]. 西北工業大學學報, 2017, 35(4):683-689

Zhou Run, Li Bo, Yang Mao, et al. QoS-Oriented OFDMA MAC Protocol for the Next Generation WLAN[J]. Journal of Northwestern Polytechnical University, 2017, 35(4): 683-689 (in Chinese)

[13] Natkaniec M, Kosek-Szott K, Szott S, et al. A Survey of Medium Access Mechanisms for Providing QoS in Ad-Hoc Networks[J]. IEEE Communications Surveys & Tutorials, 2013, 15(2):592-620

[14] Barua S, Afroz F, Islam S S, et al. Comparative Study on Priority Based QoS Aware Mac Protocols for Wsn[J]. International Journal of Wireless & Mobile Networks, 2014, 6(5): 175-181

[15] Gao A, Hu Y. A Feedback Approach for Qos-Enhanced MAC in Wireless Sensor Network[J]. Journal of Sensors, 2016, 2016: 1-12