擬態通用運行環境的資源管理與調度技術

霍立田,邵培南,徐李定,徐 駿

(中國電子科技集團公司第三十二研究所,上海 201808)

0 概述

擬態信息系統是實現擬態化構造的信息系統,基于鄔江興提出的擬態防御理論[1],為系統運行環境的基礎層、應用支撐層和應用層(下文簡稱三層)軟硬件設施可能遭受的安全威脅攻擊提供主動防御功能[2],確保處于威脅攻擊狀態下的系統功能的正確可靠運行、運行過程數據的完整性和防竊取。擬態信息系統主要由系統客戶端程序、應用服務程序功能等價的冗余異構執行體或包含冗余異構執行體的云容器或虛擬機應用鏡像(下文統稱異構執行體)的集合、擬態防御架構[3]和異構冗余集成化運行環境設施組成。

擬態信息系統按其開發語言可分為腳本和源語言兩類,其中基于腳本的信息系統擬態防御產品已由信大開發[4]并得到了廣泛應用。擬態防御技術面向JAVA和C/C++開發的B/S、C/S信息系統,基于上述組成進行開發和構建,其中擬態防御架構由擬態通用運行環境(Mimic Common Operating Environment,MCOE)實現,異構冗余集成化運行環境由支持N異構執行體、MCOE各服務器運行的具有三層軟硬件異構特征運行節點(如申威、飛騰、兆芯CPU,紅旗、麒麟操作系統,Tomcat、JBoss Web容器)和構造化的擬態軟件產品環境設施組成。

MCOE提供應用服務請求的分發(N異構執行體運行節點)、執行、表決和安全威脅診斷等服務功能,實現了服務請求執行過程的自動化,達到已/未知后門和漏洞主動防御、安全威脅攻擊及時阻斷、數據完整性確保等擬態防御目標。其由擬態分發器、N異構執行體服務請求執行過程的內部和服務請求響應二表決器(下文稱為內部和外部二表決器)、管理者和代理3類服務器組成。擬態分發器面向客戶端應用服務請求,提供其接收、處理、分發以及N個異構執行體運行節點服務器的服務請求響應結果的接收、處理和轉發客戶端等功能。內部和外部二表決器分別針對服務請求執行過程中形成的N個關鍵結果數據(內部)和請求響應結果數據的表決調用,提供相應表決調用服務,實施表決結果的異常診斷和魯棒性處理過程,反饋表決結果。管理者提供了擬態應用管理、擬態資源管理和擬態安全管理等功能。代理執行管理者命令,周期性或心跳地歸集和上報各運行環境節點的軟硬件運行過程形成的數據(如日志和資源狀態)。

本文主要從擬態資源的管理體系架構、狀態管理、調度服務三方面進行論述。為達到調度的N異構執行體、服務器運行節點資源及其資源對象(云容器、虛擬機)的隨機性、動態性和異構性最大化與資源調度負載均衡的目標,具體描述了擬態資源調度的算法設計與實現。

1 擬態資源管理與MCOE框架的交互設計

擬態資源管理提供擬態資源的狀態管理和調度服務[5],主要功能包括創建和實時維護集成化環境的運行節點資源、資源對象異構特征和狀態全局映像(擬態資源狀態管理);提供交互式資源和資源對象的狀態和調度管理;基于實時的異構特征和狀態全局映像,提供相應資源和資源對象異構特征最大化的N個異構執行體、分發器、內部和外部二表決器的運行節點資源和資源對象的調度請求服務。

資源調度[6]服務請求響應結果主要包括N個異構執行體、運行節點、按需云容器或虛擬機。其中,N個異構執行體的源代碼以及相應運行節點三層軟硬件的異構性,決定了擬態系統主動防御[7]三層相應軟硬件后門或漏洞安全威脅的水平[4],異構執行體、運行節點資源和資源對象(如容器、虛擬機)的調度隨機性和動態變化性能有效阻斷黑客對系統的網絡攻擊,上述隨機性、動態性和異構性最大化是擬態資源調度實現的目標。

因此,擬態資源管理(特別是資源調度)[8]是MCOE擬態防御機制實現的基礎和關鍵。作為擬態管理服務的組成,其與N異構執行體、MCOE各服務器、集成化運行環境設施的關系見圖1,其中虛線框表示接口。

圖1 擬態資源管理與MCOE及其外部實體接口的交互關系

擬態資源管理基于B/S架構,為應用客戶端程序和MCOE其他服務器提供Web服務訪問接口組件。擬態資源管理基于擬態管理Web服務器的管理者和管理者代理(M/A)架構,實施基于命令策略文件profile驅動的對象管理和資源狀態的實時歸集。管理者和管理者代理的接口遵循MCOE要求的HTTP通信協議,其與外部主要接口的關系見表1。

表1 擬態資源管理與外部實體的主要接口定義

擬態資源調度現有研究工作主要基于N異構體隨機性和相似度比較方法。文獻[9]提出一種功能等價體調度裝置及方法,采取完全隨機選擇異構功能等價體為外部服務請求提供服務的方式,降低了攻擊者對某些漏洞和后門的探知或利用的可能性。文獻[10-11]提出及改進的隨機種子最小相似度算法(Random Seed and Minimum Similarity,RSMS)先隨機選取冗余體,再進行最小相似性比較。在實際擬態應用場景中,異構執行體和運行環境節點軟硬件的相似度可預先確定,工程上需綜合考慮N異構執行體和運行節點資源的隨機性、動態性和異構性。

2 擬態資源管理服務框架設計

擬態資源狀態管理為客戶端提供資源狀態查詢、監管和調度功能,框架設計如圖2所示。

1)節點資源歸集和上報:管理者代理心跳[12]歸集和上報分發、N異構執行體、內部和外部二表決4類服務器節點以及相應云容器和虛擬機資源運行狀態信息;對于服務器或云集群,基于集群服務器[13-14]API獲取相應節點或云容器和虛擬機資源狀態信息。

2)映像和表維護:擬態資源異構特征和狀態管理基于上報的節點資源狀態與節點資源狀態的變化,同步更新環境節點異構特征和狀態的內存映像和表以及運行節點記錄。

3)資源調度:擬態資源調度管理依據設計的調度算法為分發、N異構執行體、內部和外部二表決服務器調度相應的運行節點或云容器、虛擬機計算資源。

圖2 擬態資源管理框架

3 擬態資源狀態管理

擬態資源狀態管理(如圖3所示)具體功能如下:

1)提供擬態系統運行環境節點資源狀態整體映像和表的創建及實時維護,并提供交互式資源的調度和管理。

2)基于擬態應用定義的運行環境節點異構特征表、節點及云資源分配表,各節點管理者代理心跳上報的上述各節點的資源使用狀態,動態構建和維護系統運行節點資源分配的總量及可分配量(全局資源狀態內存映射,如CPU數量、CPU頻率、內存容量等指標),并基于環境節點配置動態更新運行環境節點異構特征表和節點資源及其索引表,同時更新運行節點記錄。

3)管理者代理服務采用心跳方法上報獲取的OS和云容器資源狀態,由全局映像及表維護線程進行實時或按需的循環處理[15]。表2為擬態系統運行環境下的節點資源狀態映射。

圖3 擬態資源狀態管理流程

表2 擬態系統運行環境下的節點資源狀態映射

4 擬態資源調度服務

擬態資源調度服務主要為客戶端服務請求的執行分別提供N異構執行體服務器、分發服務器、內部和外部二表決服務器的運行資源調度。其調度目標在于最大化地確保N個服務器運行節點三層軟硬件的隨機性、動態性和異構性,并實現資源的調度[16]和負載均衡[17]。

分發、內部和外部二表決服務器的資源調度是單一服務器運行資源的調度,是N異構執行體服務器的N=1特例,下文主要以N異構執行體為對象,描述資源調度的設計與實現。

4.1 擬態資源調度的基礎數據結構

擬態應用為擬態資源管理創建了資源管理所需的基礎數據結構,表3給出了三層軟硬件通用異構特征的8位二進制數字化表示,其中,異構特征表征中1位為1、7位為0,最多表示8個異構特征,多于8個異構特征的情況,依相似度合并為8個表征。實際上大多數軟硬件異構特征個數小于等于3。表4為分類索引構建的運行節點全局特征(其中“/”表示沒有該值),基于此實施相應的記錄分類,形成如表5所示的異構執行體分類索引。

表3 擬態運行環境三層軟硬件通用異構特征定義

表4 擬態系統異構環境下的異構特征映射

表5 異構執行體分類索引

4.2 擬態資源調度準則和資源部署規劃需求

擬態管理資源調度服務基于如下調度準則實現N個異構執行體(部署服務器、云容器或虛擬機)和相應執行體運行節點資源及資源對象的調度算法:

準則1N個異構執行體應符合源代碼異構特征最大化原則,具有調度的隨機性。

準則2N個運行節點基礎層應符合軟硬件異構特征最大化原則,并確保異構執行體均衡分布在不同運行節點上。

準則3在遵循準則1和準則2的前提下,N個運行節點應用支撐層軟件應符合異構特征最大化原則。

準則4高優先級防御的軟硬件異構特征最大化應優先滿足的原則(由擬態系統應用管理給出)。

準則5資源調度動態變化性和負載均衡性。

N異構執行體資源調度應遵循運行節點資源負載均衡,并兼顧客戶端按序服務請求的前后N異構執行體運行節點資源的動態變化性最大原則。

擬態資源管理遵循調度準則,規劃運行節點三層軟硬件異構特征和負載的均衡配置及部署,擬態資源調度算法基于該均衡配置和部署假設的前提下進行優化設計。

4.3 擬態資源調度概要設計

擬態資源調度服務基于構建特定系統應用服務程序的異構執行體N元組表及全局映像按需調度具有異構性和負載均衡的N元組,包括運行節點、云容器和虛擬機。圖4為擬態資源調度功能模塊及交互示意圖,反映了擬態資源調度(擬態資源調度初始化、擬態資源對象調度服務)兩個部分的交互和功能。

圖4 擬態資源調度功能模塊及交互示意圖

Fig.4 Mimic resource scheduling function module and interaction diagram

4.4 擬態資源調度初始化

圖5為擬態資源異構執行N元組的調度流程。

圖5 擬態資源異構執行體N元組調度流程

Fig.5 Scheduling procedure of the heterogeneous executor N-tuple for mimic resources

4.4.1 異構特征分類器構建

構建的異構特征分類器[19]見圖6,其中,層和源代碼異構特征分類索引最大值和標志情況見表6,三層軟硬件異構特征最大值和標志情況見表7,分類索引由[I]、[I,J]、[I,J,K]、[I,J,K,L]表示,每個索引指向運行節點集合和部署的異構執行體集合,分別表示經過上層分類結果形成的具有異構特征組合的分類標志索引,索引所指向的值包括運行節點索引集合和運行節點部署的異構執行體組合。表8～表10表示相應I、J、K索引值所定義的異構特征。

圖6 異構特征分類器分類示意圖

表6 層和源代碼異構特征分類索引最大值和標志

Table 6Maximum values and flags of heterogeneous feature classification indexes for layers and source code

層異構特征索引分類層軟硬件數量標志和數量值異構特征最大值標志數值運行節點/NodeMax9基礎層異構特征索引FLHSAmountFLHMax6源代碼異構特征索引/SCodeHMax3應用支撐層索引ASLHSAmountASLHMax2

表7 三層軟硬件異構特征最大值和標志

Table 7 Maximum values and flags of heterogeneous features of software and hardware resources of 3 layers

層分類異構特征分類異構特征最大數標志數值基礎層CPUCPUHMax3OSOSHmax2云容器CloudContainerHMax2應用支撐層Web容器WebContainerHMax2???應用層編譯+參數CompileParaHMax5異構執行體ExecEntityHMax3

表8 基礎層異構特征索引值和標志

Table 8 Index values and flags of heterogeneous features of the basic layer

分類索引值(I)CPUOS云容器10000000100000001000000012000000100000001000000010????FLHMax………

表9 源代碼異構特征索引值和標志

Table 9 Index values and flags of heterogeneous features of the source code

分類索引值(J)異構特征值100000001200000010??SCodeHMax…

表10 應用支撐層異構特征索引值和標志

Table 10 Index values and flags of heterogeneous features of the application supporting layer

分類索引值(K)Web容器訂閱和分發服務中間件…10000000100000001…20000001000000010…????ASLHMax………

4.4.2 運行節點異構特征分類及N元組構建

運行節點異構特征分類及N元組的構建算法具體如下:

輸入運行節點索引L(L=1,2,…,NodeMax),不同的索引代表不同的IP地址或域名,NodeG[I](I=1,2,…,FLHMax)代表I分類后,具有相同I索引值的運行節點索引值數組

輸出運行節點N元組集合

/*面向服務請求的N異構執行體資源調度需求,優先選擇具有不同基礎層異構特征的運行節點作為N元組元素,構建N元組集合;N大于基礎層異構特征最大數FLHMax時,先構建運行節點M元組集合(M=FLHMax),并基于各Node[I]的運行節點數,按比例均衡擴展集合中的各M元組到N元組;最終均衡擴展N元組集合元素,達到運行節點均衡分布,以便于異構執行體N元組的構建*/

1./*判斷FLHMax與N的大小關系*/

If FLHMax>N then M=N else M= FLHMax;

Repeat

從NodeG[I](I=1,2,…,FLHMax)中各NodeG[I]選擇不同L索引值組成的運行節點M元組;

utill 遍歷完成

2.按比例均衡擴展

計算1:NodeG[I]部署運行節點數比例=NodeG[I]部署運行節點數/部署NodeMax;

For 所有運行節點M元組

{

i=0;

NM=N-M

While i

{

計算2:M元組集合中的NodeG[I]運行節點數比例=屬于NodeG[I]中運行節點總數/(M*集合個數)

i++;

選擇NodeG[I]運行節點計算1與計算2的比例偏差超閾值最大的Node[I],優先選擇Node[I]指向的運行節點數組中不同的運行節點索引L;

添加L(運行節點索引值及標志)成為M+i個運行節點元素,形成運行節點M+i元組

}

}

/*均衡擴展N元組集合元素,達到運行節點比例偏差小于閾值*/

3.計算3:N元組集合NodeG[I]運行節點數比例=N元組集合中屬于NodeG[I]中運行節點總數/(N*集合個數);

While計算1與計算3的比例實際偏差大于閾值

{

針對誤差大于閾值的NodeG[I]集合,按誤差比例選擇確定NodeG[I]的運行節點數目,優先選擇不同[j,k]的運行節點,形成N元組

}

/*針對運行節點服務器部署的多個異構執行體或云容器或虛擬機應用鏡像執行體,計算其應用支撐層和源代碼異構度,用于對運行節點N元組的排序和分層*/

4./*按N元組中的運行節點異構度對運行節點N元組集合排序和分層,其中高優先級的節點N元組優先進行異構執行體N元組的構建*/

For 運行節點N元組集合中的各N元組

{

運行節點N元組異構度=sum(該節點N元組中N個節點各軟硬件異構特征異構度)

(各異構特征的異構度=該節點N元組中節點上的所有異構執行體對應該異構特征的數字化值求AND結果中1的數量)

5.合并相同運行節點N元組,并按照N元組異構度排序;

6.根據異構度對節點N元組進行三層分層:可構成完全異構的N異構執行體的節點N元組為一層(各層異構特征數大于需求數的特征均不同,小于需求數的特征為該特征異構最大值),滿足用戶要求優先級次序的節點N元組為一層,可擴展構成的節點N元組為一層;

7.根據記錄的節點N元組的分層情況,優先調度可構成完全異構的N異構執行體的節點N元組進入下一步異構執行體N元組的構建模塊;

}

8.當增加節點或節點遭到破壞的情況下,直接在該步進行節點N元組的調整和更新分層(當有節點遭到攻擊需要刪除時,實時隱藏所有包含該節點的節點N元組;當有新節點添加時,根據新節點各層異構特征修改現有資源映射和表),以更好地滿足基于現有系統資源和運行狀態的動態調度

4.4.3 異構執行體N元組集合構建

異構執行體N元組集合構建算法具體如下:

輸入[I,J,K,L]組合索引;ExecEntity[EEIJKL]為L運行節點、具有相同I、J、K異構特征值的異構執行體元素構成的數組,EIJKL為異構執行體元素個數,每個數組元素為E,E為異構執行體索引;[I,J,K]定義的各軟硬件異構特征分類、順序和最大異構特征數量XXXMax

輸出異構執行體N元組集合

/* 遍歷形成異構執行體N元組(按照運行節點N元組集合的各N元組優先級順序,優先選擇可構成完全異構的異構執行體層中的節點N元組)*/

1.Repeat

對于節點N元組及其分層結果,優先考慮完全異構的節點N元組,從Li(i=1,2,…,NodeMax,Li為運行節點索引值)指向的ExecEntity[EEIJKL]集合中選擇異構執行體,構建異構執行體N元組;N元組每個元素包括{I,J,K,L,E}(E為異構執行體索引)

/*計算異構執行體N元組的軟硬件異構特征最大化原則符合度*/

{

對N元組中的異構執行體,分別計算I、J、K各軟硬件異構特征數量:對各軟硬件異構特征八位二進制表示值進行AND操作,軟硬件異構特征數量= AND結果的八位二進制中1的數量

軟硬件異構特征最大化原則符合度=軟硬件異構特征數量/軟硬件異構特征XXXMax*100%

/*算法設定了缺省的軟硬件異構特征優先級和權值,如指定優先順序依次為源代碼、CPU、OS、容器、Web容器。其各指標最大值分別為SCodeHMax、CPUHMax、OSHMax、CloudContainerHMax、WebContainerHMax,權值依次為0.3、0.25、0.2、0.15、0.1,如用戶定義了指定的特定一組軟硬件異構特征優先級,其指定的軟硬件按70%總權重和優先級分配、其他30%權重按缺省的優先級分配。*/

按軟硬件異構特征優先級計算I、J、K的異構特征符合度=SUM(各軟硬件的權重*Min(1,異構特征符合度)

}

Until 運行節點N元組遍歷完成

2.合并和去重異構執行體N元組,形成可調度的異構執行體N元組集合,每個N元組包括相應的I、J、K和軟硬件異構特征符合度,N元組中各異構執行體指向的I、J、K、L、E(E為異構執行體索引)

3.按軟硬件優先級和I、J、K異構特征符合度排序并分層

4.5 擬態資源對象調度服務

4.5.1 分類器和N元組一致性更新

基于分類樹,當運行節點資源(增/減)和資源對象(異構執行體:容器/虛擬機增/減)動態變化時,將直接針對其各層特征進行分類器的插入和刪除,對分類器和各層輸出數據進行一致性更新,形成動態變化后的異構執行體N元組集合。

4.5.2 異構執行體N元組運行資源負載均衡與調度

異構執行體N元組運行資源負載均衡和調度算法的輸入為運行節點和異構執行體N元組,輸出為異構執行體N元組負載均衡隊列和調度結果。圖7為N元組運行資源負載均衡和調度活動圖,當資源對象為容器時,需進行容器及其所在節點負載情況的綜合考慮及計算。

圖7 N元組運行資源負載均衡與調度流程

Fig.7 Procedure of load balancing and scheduling of the N-tuple running node resources

4.5.3 異構執行體N元組間資源負載均衡與調度

異構執行體N元組間資源負載均衡和調度具體如下:

1)服務器節點的負載均衡計算

圖8為服務器節點負載均衡與調度流程。

圖8 服務器節點負載均衡與調度流程

Fig.8 Procedure of load balancing and scheduling of the server node

對于N元組中的節點Ni,根據全局資源狀態表可以獲取其CPU數量m、CPU頻率FCi、內存容量CMi、磁盤I/O速率RDi等指標,進而計算其性能PNi:

PNi=k1mFCi+k2CMi+k3RDi

i=0,1,…,n-1,∑kl=1

(1)

其中,kl是各項指標的權值參數,反映不同類型的服務對各個指標的影響程度,其和為1,該參數可以根據系統運行情況進行調節,以期達到更好的效果。

同理,其負載LNi主要從CPU占用率OCi、內存占用率OMi、磁盤I/O占用率ODi等指標進行考慮:

LNi=k1OCi+k2OMi+k3ODi

i=0,1,…,n-1,∑kl=1

(2)

節點的負載權值WNi定義為節點負載LNi與節點性能PNi的比值,采用式(3)進行計算。

(3)

其中,WNi越大,說明節點負載越重,其對應方差越小,說明該N元組中的不同元素負載情況更均衡,執行時異步概率更低。根據負載排序隊列選取各N元組中負載權值及其方差最小的集合作為最終調度結果。

2)云容器和虛擬機的負載均衡計算

云容器、虛擬機均需要基于物理服務器節點進行部署和分配,其負載均衡調度方式類似,本文以云容器為例進行設計。云容器的負載均衡與調度流程如圖9所示。

圖9 云容器負載均衡與調度流程

Fig.9Procedure of load balancing and scheduling of the cloud container

云容器負載均衡計算方法具體如下:

(1)容器負載權值計算

參照物理節點的負載計算公式,面向擬態信息系統訪問程度,根據節點資源對象狀態映射獲取容器CPU占用率O′Ci和內存占用率O′Mi,給出如下簡化的容器負載權值W′Ni計算公式:

W′Ni=kcO′Ci+kmO′Mi

(4)

其中,kc、km分別為兩項指標的權值參數,反映不同類型的服務對各個指標的影響程度,其和為1。

對于基于云容器部署的異構執行體可調度性同時受其所在物理服務器節點的影響,記節點負載權值所占比重為kn,容器負載權值所占比重為ks,其計算公式如下:

Wi=knWNi+ksW′Ni

(5)

(2)N元組負載均衡計算

針對按序輸入的各異構執行體N元組,分別計算各個N元組中元素的負載Wi,取中位數Wm作為該N元組的負載性能,多線程調度時的平衡度、響應度評價指標。

(3)基于負載均衡的隨機調度

選取輸入的異構執行體N元組中同時滿足Wm小于0.7,方差小于0.5的N元組。統計這些N元組當前的調度情況,哈希選取調度次數小于中位數的N元組作為調度結果,并對該N元組的調度次數加1,保證隨機性。

4.6 實例分析

基于本文提出的擬態資源管理和N異構執行體調度方案進行簡單的實例分析與驗證。實例基礎環境為包含4個節點、3個基礎支撐層(包含3種CPU、2種OS、2種容器)的異構特征,異構執行體為3種異構源代碼,應用支撐層考慮現有兩種Web容器(Tomcat、JBoss);對于編譯異構特征,假設已事先進行關聯。

表11為實驗所需的資源狀態基礎信息,其數字化值可關聯到本文資源管理部分的定義。目標為從其中選出3個可調度的滿足異構性最大化的執行體。根據本文設計的調度算法,通過分類器對現有資源狀態進行分類,首先得到3個不同的基礎層異構執行體池,其中1號池包含兩個節點(Node1、Node2),根據節點N元組選擇的方案,本次實驗閾值設為0,得到4個節點N元組,分別是:1)Node1,Node3,Node4;2)Node2,Node3,Node4;3)Node1,Node2,Node3;4)Node1,Node2,Node4。經過異構度計算,元組1和元組2屬于可完全異構層,其優先次序優于元組3和元組4,因此優先基于元組1和元組2的節點N元組構建異構執行體N元組,并根據本文算法輸出12個N元組集合及其異構度排序,其中,2組異構度為1的異構執行體N元組(完全異構),1組異構度為0.95的異構執行體N元組,6組異構度為0.9的異構執行體N元組……,如表12所示為滿足完全異構的N元組。

表11 示例實驗資源狀態信息

表12 滿足完全異構的節點N元組特征

對滿足完全異構的兩組異構執行體N元組進行負載均衡計算,經過實驗建立的復雜場選定多個權值參數kc=0.5、km=0.5、kn=0.4、ks=0.6,得到節點N元組1的負載權值為0.3,方差為0.26;節點N元組2的負載權值為 0.6,方差為0.48;均小于設定的Wm和方差閾值,滿足均衡性調度。當前狀態兩N元組調度次數均為0,因此哈希[20]選取其中任意一組作為調度結果,保證隨機性、動態性和異構性三性最大化,增強攻擊難度。

5 結束語

本文基于網絡安全領域的擬態防御技術,針對MCOE運行環境中資源管理和調度問題,論述擬態通用運行環境的資源管理方案設計與實現,特別是針對現有資源狀態的調度和實現。通過擬態管理服務的簡單示例驗證了對云容器集群上資源管理擬態調度方案的有效性。下一步將結合現有資源狀態與Kubernetes調度機制實現擬態資源調度算法的優化和高效執行。