去中心化分布式控制系統設計研究*

白丹丹,劉宜成,周樹橋,涂海燕

(1.四川大學電氣工程學院,成都 610065;2.清華大學核能與新能源技術研究院,北京 101408)

0 引言

面對工廠規模的擴大,系統需要控制上萬個不同類型的設備,且需滿足可及時替換設備和更改設備規模等要求。然而,現階段的分布式控制系統[1-2]的架構不能滿足需求:每個控制柜均有專門控制的現場設備,且無冗余備份,當某個控制柜失效,對應的設備將失控;調整方式不夠靈活加大控制柜的數量和能源消耗,且多個控制柜不利于集中管理[3];現場設備經硬接線或者通信連接的方式與對應的控制柜點對點連接,布線方式復雜且信息資源無法實現共享[4];僅配置雙冗余的實時服務器和歷史服務器,一旦出現服務器故障時,整個系統的數據中心將終止,增大故障覆蓋面[5]。

隨著計算機網絡技術的發展,分布式控制系統利用網絡來傳輸被控對象、傳感器、控制器與執行器之間的信息[6],具有可遠程操縱、各節點可獨立維護等優點[7],因此在工業控制、航空航天等領域得到了廣泛的應用[8]。由于工業控制與信息管理系統的結合,工業網絡控制系統逐漸趨于規模大型化及結構復雜化[9-11]。工業網絡控制系統具有分層結構,包含多個子系統。子系統內部的各個組件通過現場總線的網絡連接形成閉環,而子系統之間通過工業控制網絡與管理系統、監控系統等進行連接[12]。對于大規模且復雜的分布式網絡控制系統來說,單個節點失效就會引起整個系統的癱瘓,造成巨大的損失,而去中心化的網絡控制系統無中心節點,節點之間互為備份,減少故障率,提高系統運行的平穩性。近年來,去中心化的思想被廣泛應用到工業及計算機等領域[13-14]。

本文針對大型網絡控制系統的特點和控制需求,引入去中心化思想,設計一種去中心化分布式控制系統架構。該架構由現場層、控制層、控制網絡和監控層構成,各層通過控制網絡進行通信傳輸。控制層的各個控制器呈對等部署,按動態映射表指定被控對象。通過冗余備份機制進行控制器的動態切換,從而實現控制器的去中心化;監控層的服務器采用多個對等部署的形式,組成集群,利用映射表動態更新機制使服務器對相應的被控對象進行數據運算,從而實現服務器去中心化。基于搭建的控制系統仿真平臺,研究了冗余備份機制對維持該類型網絡控制系統平穩運行的有效性以及驗證該系統的網狀網架構是否支持上萬個電機上百個節點運行。

1 去中心化分布式控制系統結構

1.1 去中心化分布式控制系統結構

鑒于工業網絡控制系統大型且復雜化的發展趨勢,本文設計的去中心化分布式控制系統采用三層一網的分布式結構,分為現場層、控制層、管理層和控制網絡,如圖1所示。該分布式結構將現場層、控制層與管理層利用控制網絡進行多節點傳輸,實現了資源共享,具有便捷性以及實用性。同時由于控制網絡的不穩定性,網絡時延和數據丟包等問題不可避免,并且每層的節點均有發生網絡故障的可能性。如若無備用節點則可導致整個系統無法運行。所以現場層、控制層與管理層均設計了節點的多重冗余機制構建去中心化結構,以提高系統運行的平穩性及可靠性。其中現場層包含近萬個被控對象及傳感器/執行器節點,被控對象可按需靈活增加減少,并且根據對象類型匹配相應控制算法。考慮到傳感器與執行器都與被控對象直接進行信息傳遞,將傳感器與執行器設計為同一個網絡節點,避免了傳感器與執行器之間的網絡時延,從而減少系統的時延,增強了實時性;控制層包含多個控制器節點,每個控制器節點獨立布置,且結構相同,互為備份,其內部包含多種可根據被控對象類型進行針對性分配的控制算法;管理層包含4個服務器和1個操作終端,由于大型控制系統具有至少上百個節點,多節點的數據需要多個服務器去處理,因此在管理層設計了4個服務器,每個服務器所對應的被控對象范圍可隨時調整,具有較為靈活的調試方式,操作終端利用GUI(graphical user interface)設計了一個圖形化的人機交互界面,便于簡單清晰地顯示系統的運行狀態,并且發出控制命令生成預設映射表;中心化分布式控制系統根據操作終端給定的預設映射表得到每個被控對象與之對應的目標控制器、目標傳感器/執行器及目標服務器的編號,通過目標控制器、目標傳感器/執行器及目標服務器之間信息交互來控制每個被控對象,從而形成多個由控制器、傳感器/執行器及被控對象組成的控制回路。

圖1 系統總結構圖

1.2 系統的分層結構

在去中心化分布式控制系統中,現場層、控制層和管理層通過控制網絡進行數據傳輸,形成多個控制回路。下面將現場層、控制層、管理層和控制網絡逐一介紹。

1.2.1 現場層

通常工業網絡控制系統的被控對象有著類型多和數量多的特點。針對該特點,去中心化分布式控制系統的現場層由若干被控對象節點構成,并設計了映射表機制,可以指定被控對象與控制器節點的對應關系。而映射表的動態更新機制,可以靈活改變被控對象節點數量以及選擇多種類型的被控對象,提高了現場層的開放性及靈活性。現場層的被控對象與傳感器/執行器節點連接,通過此連接可利用傳感器從被控對象采集信息傳輸至控制網絡,并且利用執行器從控制網絡獲取相應控制信息傳遞至被控對象。被控對象與傳感器/執行器的連接采用硬連接,可加速信息的傳輸速度以及減輕控制網絡的信息負載。由于被控對象節點數量較多,因此將它們按一定數量規模分配至被控對象節點進行封裝,并包含傳感器/執行器,便于集中管理被控對象。

1.2.2 控制層

去中心化分布式網絡控制系統控制層由若干控制器節點構成,每個控制器節點結構與其內部包含的控制算法均相同,這些控制器節點之間形成多重冗余。控制器節點呈對等部署狀態,不再面對特定的控制對象集合,并且獨立布置,完全按照系統的需求配置控制器節點的數量。一個控制器控制若干(按需擴展)被控對象,每一個控制器里面可包含多種(按需擴展)控制算法,對相應的被控對象選擇合適的控制算法進行控制。并且設計了冗余備份機制,當控制器節點失效時,尋找有效的控制器節點接替,從而實現控制器節點的去中心化。

1.2.3 管理層

當去中心化分布式控制系統的結構變得復雜化,資源變得多樣化,此時對整個系統的運行狀態的監控顯得尤為重要。本文系統利用GUI構建人機交互界面,通過人機交互界面獲得節點數、網絡拓撲、被控對象節點與控制器節點的對應關系、服務器與控制器節點的對應關系等參數設置信息,并將該參數廣播至服務器節點、控制器節點及被控對象節點。服務器節點、控制器節點和被控對象節點將重要參數和映射表進行更新并保存至本地。此時GUI可以將目前的被控對象節點數、網絡拓撲圖及各類資源的實時利用情況顯示到界面,并且可以調用映射表以及設置修改映射表參數。通過GUI人機交互界面,可以清楚地查看與判斷系統基本運行的狀態,有利于快速實時地找到故障的位置。

由于去中心化分布式控制系統網絡節點規模較大,服務器需要處理的數據就偏多,甚至超出負荷。因此在去中心化分布式控制系統的管理層中構建了多個服務器節點,并且結構相同,服務器節點之間互為冗余,實現了管理層的去中心化,將系統的故障覆蓋面大大降低。服務器按照負載均衡的原則,建立動態的負載映射矩陣,對相應控制器節點傳送的相應被控對象的數據進行采集、傳輸、回溯等操作。通過GUI構建的人機交互界面修改映射表參數可使負載映射矩陣發生更改,服務器節點對應的控制器節點范圍也發生相應的變化,具有靈活的調整方式。

1.2.4 控制網絡

去中心化分布式控制系統的控制器節點、被控對象節點、服務器節點均通過控制網絡進行數據傳輸,所有的節點都可相互連接,形成網狀網結構。之所以采用網狀網結構,是因為該系統的節點均采用網絡連接,技術上便于實現網狀網。同時網狀網結構支持各通信點間包含兩條或兩條以上的獨立通信鏈路,便于實現網絡控制系統的去中心化,不易因單節點通信故障而導致整個系統通信鏈路故障,使系統更具穩定性和可靠性。考慮到去中心化分布式控制系統具有較多的網絡節點,而FDMA協議采用的是調頻的多址技術,各個用戶在網絡通道的不同頻段并發傳輸數據,不易造成數據丟失及時延,因此采用FDMA協議為去中心化分布式控制系統的控制網絡協議。并且FDMA協議具有技術成熟、穩定、成本低等特點,應用領域廣泛,所以FDMA協議作為該系統的控制網絡協議具有合理性。

1.3 系統機制設計

1.3.1 映射表動態更新機制設計

整個去中心化分布式控制系統維護一個映射表,該映射表存放在服務器中,用于明確規定每個控制器所控制的被控對象,每個服務器所對應的控制器。映射表動態更新流程機制分為3個階段,分別為:映射表給定階段、映射表查看階段和映射表更新階段。映射表動態更新機制概述為:

(1)映射表給定。初始映射表由運行維護人員或者系統操作員利用操作終端GUI給定。控制層的控制器節點C,現場層的被控對象(傳感器/執行器、被控對象節點)O,被控對象節點單個用P表示,之間的映射關系為:

C=(C1,C2,…,CJ)=F(O1,O2,…,OM)

(1)

O1=(P11,P12,…,P1m1)

(2)

O2=(P21,P22,…,P2m2)

(3)

?

On=(Pn1,Pn2,…,Pnmn)

(4)

C1=F(O1)=F(P11,P12,…,P1m)

(5)

控制層的控制器節點C與管理層的服務器節點S之間的映射關系為:

S=(S1,S2,…,SJ)=L(C1,C2,…,CM)

(6)

S1=L(C1)

(7)

被控對象、控制器、傳感器/執行器和服務器之間的關系一一明確。給定的映射表如表1所示。

表1 給定的映射表

(2)映射表查看。將初始映射表存于服務器中,并且服務器把該映射表的以廣播的方式發送給所有的傳感器/執行器節點和控制器節點。每個控制器節點從表中找到自己所對應的被控對象進行控制:即從對應的傳感器獲取被控對象的信息,向對應的執行器發送控制指令,并與對應的服務器節點進行數據交互。

(3)映射表更新。當控制器節點、傳感器/執行器節點和服務器對應關系發生變化時,控制器節點向對應的服務器讀取映射表并且實時進行關系對比,如不相同,則該服務器申請動態更新映射表,申請成功后便自動寫入新的映射表,動態更新后的映射表如表2所示。

表2 更新的映射表

1.3.2 冗余備份機制設計

在去中心化分布式控制系統中,根據映射表中的被控對象編號、控制器節點編號、傳感器/執行器節點編號、被控對象節點編號及服務器編號找到在系統中的被控對象、控制器節點、傳感器/執行器節點、被控對象節點及服務器。控制器節點通過編號設置查找對應的傳感器/執行器、被控對象節點和服務器。當去中心化分布式控制系統運行平穩時,如圖2實線所示。傳感器由時間驅動,控制器單元和執行器由事件驅動,當任務到時開始執行,傳感器按時鐘周期采集被控對象的數據,將數據通過網絡控制發送給控制器節點,控制器節點按照相應的控制算法計算控制量之后利用控制器節點通過網絡將控制量發送給執行器。并且被控對象節點和控制器節點都將被控量和控制量發送給對應的服務器進行數據存儲。

圖2 冗余備份示意圖

由于系統有了網絡的引入不可避免會出現數據包丟失、網絡延時等問題,當系統發生故障時,便會影響系統的安全性與可靠性。當檢測到控制器節點發生故障會進行自動切換到冗余控制器節點,切換后系統平穩運行,如圖2虛線所示。冗余備份接管機制分為3個階段。分別為:判斷節點失效階段、發送求助階段和接收求助階段。冗余備份接管機制概述為:

(1)判斷節點失效階段。在執行器里面放入計時器,如接收對應控制器節點傳來的控制量數據消息的時間等于或者大于設定的時間閾值,則判斷該控制器節點失效,無法實時控制現階段的被控對象。假設Cr控制器失效,并且該控制器與對應的被控對象的關系為:

Cr=F(Or)=F(Pr1,Pr2,…,Prm)

(8)

假設未控制的被控對象為Prm,則Cr控制器減少被控對象節點:

Cr=F(Or)=F(Pr1,Pr2,…,Pr(m-1))

(9)

(2)發送求助階段。當執行器判斷該控制器失效時,由于一個被控對象的傳感器和執行器在同一傳感器/執行器節點里,因此,該執行器向該被控對象對應的傳感器發出求助消息。當傳感器接收到求助消息時,則把求助信息連同失控的被控對象編號以及傳感器/執行器節點編號發送給下一個控制器節點。

(3)接收求助階段。每個控制器節點均設置接收被控對象數據的最大空間值,每次接收被控對象的數據之后該控制器節點剩下的空間值便會小一些,剩余的空間值便是冗余量。若該控制器的冗余量不足,則控制器把求助消息發送給目前冗余量最大、負載最小的控制器,以達到動態平衡。用ah表示為尋求負載最小的表示值:

ah=min(1m1,2m2,…,nmn)

(10)

則未控制被控對象的Prm加入負載最小的控制器:

Prm=Pa(h+1)

(11)

則接收為控制的被控對象節點的控制器為:

Ca=F(Oa)=F(Pa1,Pa2,…,Pah,Pa(h+1))

(12)

接收求助消息的控制器節點需向初始求助信息發送節點發送接受信號,并且對現階段的被控對象進行控制,而且動態更新映射表。

2 數值仿真

2.1 仿真實例

為驗證該去中心化分布式控制系統的有效性及正確性,利用MATLAB/Simulink仿真平臺及Truetime2.0工具箱進行現場層、控制層、管理層和控制網絡仿真。現場層包含了10 000個被控對象,由于電機廣泛應用于汽車工業、航空航天等工業領域[11],具有響應速度快、時間常數小等特點,所以選擇電機作為去中心化分布式控制系統仿真的被控對象,其傳遞函數表達式如式(13)所示。

(13)

式中:s為拉式變換因子。

現場層中的100個被控對象單元根據預設映射表依次編號,每個被控對象單元包含100個電機節點,因此現場層共建立10 000個電機節點。

控制層中的100個控制器節點均采Truetime2.0內核模塊構建。由于PID控制算法為經典算法且成熟,控制器單元采用常規的PID控制算法,傳遞函數如式(14)所示。

(14)

式中:s為拉式變換因子,kp、ki及kd為PID參數。管理層包含4個服務器和操作終端GUI,利用Truetime2.0中的網絡模塊來模擬控制網絡,并且根據被控對象節點、控制器節點的編號在網絡模塊里構建兩百個網絡信號通道。考慮到現實中的分布式控制系統避免不了白噪聲的干擾,所以在被控對象單元里加入隨機干擾模塊以及在系統回路中加入干擾器節點模塊,模擬白噪聲,加入濾波器,模擬采樣數據處理過程。

在該仿真平臺上驗證分析冗余備份機制對系統平穩性和可靠性的影響,并且在該基礎上驗證網狀網架構是否支持該系統對應的電機規模。仿真實驗平臺仿真圖如圖3所示。

圖3 仿真實驗圖

2.2 測試冗余備份機制對系統的影響

隨著系統規模逐漸擴大,上百電機節點同時運行,由于傳輸的數據較多,對網絡的數據傳輸通道的負荷較大。不可避免出現節點失效的情況,此時冗余備份機制維持控制系統的平穩性和可靠性起著重要的作用。通過模擬某一控制器節點失效來研究冗余備份機制對維持去中心化分布式控制系統的運行平穩的有效性。本文仿真實驗的仿真參數為:網絡數據傳輸速率為800 Mbit/s,網絡協議為FDMA,每個節點帶寬分配設置為1,網絡丟包率設置為0,干擾方差設置為0.01時,最小幀大小設置為60字節,控制給定的跟蹤曲線r設置為幅值為1、周期為2的矩形波,被控對象結果輸出圖如圖4所示。該結果輸出圖是以被控對象單元里的一個被控對象的輸出為例。

圖4 冗余備份機制的結果輸出圖

從圖4可以看出,時間大約為第8 s時系統開始切換控制節點,曲線有明顯的轉折點,實現了控制節點快速切換后,曲線快速平穩跟蹤對照曲線,說明冗余備份機制可以進行有效地系統切換,從而維護去中心化分布式控制系統的平穩性和可靠性。

2.3 測試網狀網架構可支持的節點規模

由于系統網狀網的網絡節點規模較大,容易造成信道上傳輸的數據擁擠甚至堵塞,然而數據的傳遞和信息的交互需要實時性,但同時網絡架構需要支持一定數量的網絡節點規模。故需要測試出合適的網絡節點數量既能滿足數據傳輸的實時性又能適用于大規模系統。設置網絡環境,網絡協議為FDMA,數據傳輸速度設置為800 Mbits/s,每個節點的帶寬分配設置為1,網絡丟包率設置為0,干擾方差設置為0.01,最小幀長度設置為60字節。分別測試5組節點數目不同的架構,每組控制器節點和傳感器/執行器節點相等。每組均需測網絡延時的時間,該網絡時延是傳感器節點從發出消息到對應的控制器節點收到對應消息的時間。每組還需測網絡總通信量/帶寬使用的百分率,當系統所有節點都正常工作后,取一段時間,統計該時間段內所有節點的工作時間之和,然后除以該段時間與所有節點數之積來得到使用百分率的計算,最后將計算值轉換為百分率,得到的結果如表3所示。

表3 通信量與節點個數的關系測試表

從表3中可以看出,節點的數目增多,傳感器從發出消息到對應控制器接收到對應消息的網絡延時呈增長趨勢。這是由于節點數目的增多,導致網絡通道上的消息變多,而數據傳輸速率并沒有變快,所以網絡延時時間就越長。表中網絡總通信量/帶寬使用百分率隨著節點的數目增多而變大,因節點消息任務變多,需要占用網絡通道傳輸數據的時間變長。測試不同節點數目的網絡延時和網絡總通信量/帶寬使用百分率,雖然數值都在變大,但可知最大規模時,網絡延時和網絡總通信量/帶寬使用百分率均處于安全范圍,說明網狀網架構可支持對應的規模節點,帶寬也可承載通信量要求。

3 結論

本文設計了去中心化分布式控制系統,該系統為三層一網結構,實現了層層去中心化。并且建立了映射表動態更新機制和冗余備份機制,使系統具備冗余容錯能力,降低了系統的故障發生率,增強了大型系統的可靠性與安全性。為驗證該系統的穩定性,利用MATLAB/Simulink仿真平臺及Truetime2.0工具箱建立了去中心化分布式電機控制系統仿真平臺。在該平臺上研究分析了冗余備份機制對系統性能的影響,并且測試驗證了所設計的該種網狀網架構的網絡控制系統是否支持該系統的節點規模。研究表明,當系統的某一控制節點失效時,冗余備份機制可對去中心化分布式控制系統中的失效節點進行快速有效切換,切換為一個正常的控制節點保證系統運行穩定;當系統的節點規模為200個節點時,網狀網架構可支持該節點規模及上萬個電機正常運行。