云平臺安全監控大數據集群調度容錯控制仿真

趙 杉

(四川大學錦城學院，四川 成都 611731)

1 引言

集群調度是集群計算的研究熱點，其在固定的集群資源條件中，可對數據快速準確地分析處理，得到所需資源，完成預先設定的執行目標。隨著集群技術的發展，在大數據背景下其調度場景及目標逐漸復雜，傳統集中調度構造的瓶頸被逐漸放大。所以相關學者開始探索新的集群調度構造[1]。

文獻[2]提出負載的自適應調度策略，在進行集群執行節點與提交作業性能監控時，根據得到的監控數據進行建模，量化節點的綜合計算能力，將節點以及作業的性能信息在調節器上進行融合。在調節中啟動評估動態調度方案，識別集群節點的執行能力差異，同時依據作業的任務實時進行細粒度的動態資源調節。因此在對Hadoop YARN資源進行完善調度語義時，可作為子級資源調度的方案構造在上層的調度器中，實現并檢測此策略性能。但該方法存在調度數據切換不流暢的問題。

文獻[3]提出基于云存儲的框架分布式大數據安全容錯存儲算法。設置數據約束條件時，忽略數據存儲節點對中繼數據傳輸鏈路的影響。將中間鏈路作為云特性，構建分布式數據的存儲容錯模型。將數據粒度、數據利用概率以及分布式數據彈性設為已知數據值，同時對數據存儲及存儲強度計算，把分布式數據存儲模型引進數據存儲內，實現分布式大數據的云存儲。但該方法調度過程干擾因素較多、耗時較長。

為此本文提出一種云平臺安全監控大數據集群調度容錯控制方法，該方法利用階梯式構建云平臺安全監控框架，加強容錯控制方法的擴展性和降低容錯率。利用3+1集成法對大數據集群進行計算，確定集群中的不確定非線性切換系統，保證在閉環系統下實現數據切換及容錯控制系統的運行流暢，完成集群調度容錯控制。實驗證明，研究方法能穩定運行，且調度耗時短，數據切換更流暢，具有一定的科學研究意義。

2 云平臺安全監控框架結構

在現階段云平臺安全監控系統中，C/S框架結構使用較多。常見的分布式監控框架有兩種[4]：一是集中式，將監控代理(Agent)安裝至所有監控節點中，以此對各個節點的監控信息進行收集。通過監控服務器將監控代理收集的信息進行匯集處理[5]；二為階梯式，在階梯式框架結構中，需監控節點安裝至所有節點外，同時還需選定集中節點，安裝資源集中代理，而該節點即相當于局部監控服務器[6]。

通過對比兩種安全監控框架發現，集中式方法可以統一安裝監控代理過程較簡單，但可擴展性及容錯性較差；而階梯式監控代理過程較難，但可以將收集的信息和計算任務平均分配至各匯集節點上，對監控服務器負擔較小。即使某個集中節點出現錯誤，也僅限所屬區域，其容錯性能更好。具體框架示意圖如圖1所示[7]。

圖1 云平臺安全監控框架結構

3 大數據集群調度容錯控制

3.1 大數據集群調度分析

利用3+1集成算法中的CPU信號強度波動計算方法，對數據要素引進面延伸優化，再拓寬要素的載入通道。同時需要在底層CPU內對數據進行調度分析，檢測信號強度。通過數據處理消耗處理器的資源量，其動態調整計算邏輯需采用要素，完成通道量載入，以此削弱CPU處理壓力，保證其邏輯運算的平穩性。而在進行設計時，要采用CPU-NT對CPU的信號強度波動計算方法進行輔助運算，可有效增加大數據的處理浮點能力以及滿載狀態中峰值抑制CPU信號強度波動能力，具體計算公式為

(1)

式中：DB代表CPU-NT專用計算方法；其G代表初始數據流；H代表數據流的增量；D代表數據流所增加的峰值系數；而max則代表計算方法動態優化的峰值系數。具體的CPU-NT專用計算方法如下所示

(2)

式中：CPU-NT專用關系的計算方法；K代表輔助點G代表運算增幅量；S代表數據處理增加量的系數；而I則代表動態優化的系數[8]。

經過以上兩級計算方法的優化處理，解決了傳統數據調度方法內存在數據計算邏輯引進面不夠的問題。設計的3+1集成算法，其CPU的信號強度波動計算方法及輔助CPU-NT的專用計算示意圖如下所示：

圖2 算法工作原理

為確保3+1集成法CPU信號強度的波動計算方法在運行流程中的平穩性，需對大數據的數據節點動態進行優化處理。利用數據處理器的動態數據檢測技術，對大數據內部節點進行特征綁定，依據各數據之間的互相交換指數進行判定處理。可對調度數據中噪聲點數據進行抗波噪點分析，以達到數據優化的目地。采用大數據動態Flangt計算方法，作為處理器數據節點的動態監測技術，對調度數據整流度進行優化，提升調度信號的響應速度。其大數據動態Flangt計算方法可以與互聯網大數據信息資源進行互交，可以確保調度方案的最新度[9]。

3.2 集群調度容錯控制實現

確定大數據調度集群的不確定非線性切換系統的穩定性其公式為

i=1，2，…，m

(3)

式中：x∈Rn；u∈Rm；Ai，Bi，Di代表適當維數的已知常規矩陣；ΔAi(t)代表結構擾動的實際值函數；fi(·)：Rn→Rnf代表一個未知的非線性函數；i代表切換信號[10]。

需對非線性系統的穩定性進行證明，具體給出下列引理

引理證明：假如ΔA(t)=MF(t)N，式中的M，N代表適當的維數常規矩陣，并且FT(t)F(t)≤I，即指相對于任意正數ε>0以及正定矩陣的P，其不等式為

ΔATP+PΔA≤ε-1NTN+εPMMTP

(4)

成立。

以下則說明了系統的全局接近穩定性，并且同樣也說明了控制器的設計[11]。

定理1：相對于不確認的非線性切換系統，假如相對于說明了一組正數ai，ε1i，ε2i(i=1，2，…，m)以及正定矩陣Q，可以得到矩陣的不等式為

(5)

其正定解矩陣P，即狀態反饋控制器公式為

(6)

促使切換系統的閉環系統相對于全部允許的ΔAi，進行任意切換的條件中，其全局接近穩定。

首先需要證明不等式

(7)

(8)

接著建立Lyapunov函數V(x)=xTPx，具體公式為

(9)

通過式(6)以及(7)可以得知

(10)

再采用引理以及式(5)可以得到

(11)

以此證明結論成立。

現階段無需對不確認非線性切換系統(3)在執行器失效的情況進行考慮，假設失效的執行器輸出數據為0。

定理2：相對于不確認的非線性切換系統(3)，假設一組給定的正數ai，ε1i，ε2i(i=1，2，…，m)以及正定矩陣Q，其矩陣的不等式為：

(12)

其正定解矩陣P，即狀態反饋控制器(6)能夠使系統(3)的閉環信息，對應全部允許的ΔAi以及執行器失效ωi?Ωi，因此可以隨意切換之后進行全局的接近穩定性。

具體的證明有：因為失效執行器的輸出結果為0，因此只有在工作正常的執行器才能使數據起作用，公式為

(13)

即可得到

(14)

在經過式(12)以及引理，以此實現集群調度容錯控制[12]。

4 仿真與分析

為驗證研究方法的有效性，下面設計一次仿真。實驗分為三部分，第一部分為數據切換性能的檢驗。根據不同狀態下切換系統對應的響應曲線判斷數據切換效果；第二部分為大數據集群調度平穩性能檢測。給定相同測驗數據，對比研究方法、文獻[2]方法及文獻[3]方法的實驗結果，以此判斷研究集群調度效果；第三部分為大數據集群調度耗時檢測。對比三種方法運行給定調度時間內，對相同數據的時長，以此驗證所提方法的性能。

測試一：基于閉環系統的數據切換效果驗證對切換系統進行如下考慮

(15)

有兩個子系統，其系數矩陣分別為

(16)

(17)

為簡化實驗系統，所以在傳感器失效時進行實驗，此系統在原始狀態中x0=[2;-1]非常不穩定，因此需采用研究方法得到的接近穩定結果。其結果如圖3所示。

圖3 閉環切換系統狀態下的響應曲線

其子系統x1、x2在進行切換t=0.5s的作用時，逐漸接近穩定。依據定理2對容錯控制的閉環切換系統采用級點配置時，子系統x′1與x′1的極點配置在圓域C(0，9，5)中接近穩定。

而此閉環切換系統的極點配置為圓域C(0，9，5)、C(0，9，15)時，將控制引進u(t)=Kix(t)系統，得到閉環系統的數據相應曲線，結果如圖4所示：

圖4 閉環切換系統在C(0，9，5)與C(0，9，15)的兩種狀態中的響應曲線

其極點的配置在圓域C(0，9，15)中，子系統x″1與x″2的收斂速度明顯比極點的配置在圓域C(0，9，5)中子系統x′1與x′2的收斂速度快。

通過圖4可以看出，其閉環切換系統的影響狀態曲線，是在原點處收斂的。可以證明系統存在構造不確定以及帶有非線性項是較為穩定的。同時對比圖3與圖4可以看出，采用研究方法可以使系統的極點配置在響應狀態下接近穩定，以此利用選取適當的極點所在區域能夠改善系統的動態性能。而利用該系統可以大數據集群調度進行容錯控制，其閉環系統運行流暢。證明研究方法的效果較好。

測試二：大數據集群調度平穩性測試

在大數據進行集群調度時，存在較多不安全因素，這些干擾會導致大數據調度不穩定。測試結果如圖5所示。

圖5 平穩性實驗結果

分析實驗對比圖可知，文獻[2]方法在測試期間波動幅值最大，在-10dB～10dB之間；文獻[3]方法在測試期間波動幅值較大，在-8dB～8dB之間；研究方法在測試期間波動幅值最小，在-3dB～3dB之間。說明研究方法在大數據集群調度時平穩性極佳。

測試三：大數據集群調度運行時長測試

為驗證研究方法的大數據集群調度耗時性能，對比三種方法運行相同數據量的耗時時長。具體實驗結果如圖6所示。

圖6 大數據調度耗時實驗結果

對比實驗結果可知，三種方法的調度耗時均隨大數據量遞增而減少。文獻[2]方法的調度耗時最長，調度不同數據量的時間介于6～8min；文獻[3]方法的調度耗時次之，調度不同數據量的時間介于3～6min；研究方法調度耗時最短，調度不同數據量的時間均在1min以下。從而驗證了研究方法能高效完成大數據調度，具有實用意義。

5 結束語

1)大數據技術在進行數據調度時，需采用容錯控制系統進行問題數據處理。傳統方法在進行大數據集群調度容錯控制時，流暢性較差，易受干擾因素影響，導致調度耗時長。

2)此次研究提出云平臺安全監控大數據集群調度容錯控制方法，將監控節點安裝至所有節點，選定集中節點安裝資源集中代理，構建云平臺安全框架。利用3+1集成法中CPU信號強度波動計算方法，對大數據集群進行調度。然后確定大數據調度集群中的不確定非線性切換系統的穩定性，以此完成容錯控制的穩定性，實現大數據集群調度容錯控制。

3)實驗證明，在數據調查出現錯誤時，研究方法能較好地完成數據間的調度。同時保證其流暢性，且大數據調度過程中波動幅值介于-3dB～3dB之間，說明運行平穩，不容易受其它因素干擾。縮短了調度耗時，調度不同數據量的時間均在1min以下，為大數據集群調度容錯控制提供了有利依據。

4)今后將從大數據調度過程的安全性角度出發，進行深入研究，完善大數據集群調度容錯控制方法。