海洋計算模型協同一體化流程管理系統研究

趙丹楓,劉新陽,戴舒原,黃冬梅,2,梅海彬

(1.上海海洋大學 信息學院,上海 201306; 2.上海電力大學,上海 200090)

0 概述

現有海洋計算模型涉及眾多學科領域,開發環境各不相同,并且使用的數據源結構復雜、規模龐大,不同模型之間的數據格式和數據結構很難匹配,導致其在進行傳統的協同計算時存在較多問題。在傳統海洋計算模型的計算應用方面,不同領域的模型關聯程度很低。如果要完成一次協同計算,需要人工將模型計算結果進行轉換、整理甚至是修補后再復用,如風暴潮預測使用的數值模擬方法[1],首先使用流體力學方法處理初始數據，當臺風中心到達海岸時，再利用風、氣壓模型計算在沿岸引起的風暴潮分布的動力學模式，該方法是基于風暴潮控制方程、計算方法和計算機應用的一種人工計算預測方法。在傳統的業務流程配置方面,海洋業務流程在多數據、多模型之間的連通上存在困難。由于數據在定義標準、格式標準以及信息標準等方面都存在不統一性[2-4],實現海洋業務的流程化管理需要綜合考慮海洋計算模型和數據的特殊性,如地理空間約束下的業務流程建模[5],也需要考慮如何將地理信息引入到業務流程管理中。針對流程優化問題[6],需要采取特殊的建模方式處理流程結構、資源調度和流程的容錯性等問題。

為解決傳統海洋計算模型協同計算時存在的上述問題,本文設計面向海洋計算模型的協同一體化流程管理系統。在該系統中,只需輸入采集到的數據,根據業務流程配置模型運行規則與參數即可完成協同計算。系統通過模型封裝、數據轉換解決模型因關聯度低難以調用的問題,通過引入業務流程配置交互機制實現多粒度流程配置,同時利用搭載額外的資源調度策略保證計算流程的執行效率。

1 系統體系架構

為了使系統具有良好的可擴展性和可維護性,系統的總體架構正交地分為3個層級和3個模塊。在3個層級中:第1層為數據服務層,主要完成數據交換與服務的搭載;第2層為業務邏輯層,主要完成服務集成、監控與業務流程配置的功能;第3層為UI層,主要完成用戶與系統的交互操作以及信息顯示等功能。3個模塊分別為海洋計算模型封裝與數據轉換模塊、服務集成與監控模塊和海洋計算業務流程一體化配置模塊。本文系統依據SOA模式進行設計,其總體架構如圖1所示。

圖1 本文系統總體架構

1.1 海洋計算模型封裝與數據轉換模塊

模型封裝與數據轉換是系統的基礎,對應系統架構中的轉換器與緩存管理,用于實現海洋計算模型服務化封裝集成與數據協同轉換。

1.1.1 海洋計算模型封裝集成

目前,軟件模塊構建或服務構建軟件在迭代開發時并不能提高軟件開發的生產力和質量。模型封裝方式是組件化開發,其中最重要的是集成組件到系統的方法,但組件是黑盒,修改難度大。文獻[7]提出了一種將設計模式應用于組件集成的方法,但該方法只考慮了組件封裝的模式,沒有考慮組件內部與組件之間的多粒度模式。因此,需要在模型封裝時追加考慮模型的粒度問題,包括模型之間的耦合度以及模型內部方法的關聯策略。模型在最小粒度的程度上封裝成黑盒,用戶只需要知道模型用途而不需要關心模型的實現原理。

模型集成分為2個部分,一部分是系統默認,即已經標準化封裝好的模型服務,用戶直接調用需要的服務,上傳數據進行計算;另一部分是用戶自定義,系統設有上傳模塊,用戶可將自己經過編譯的模塊代碼上傳,如上傳一段python圖像識別代碼,在啟動運行時系統會調用os中的運行環境進行編譯組建,運行程序顯示結果。

1.1.2 海洋數據協同轉換

為了使系統適用多樣化的海洋數據,本文設計了一種通用數據轉換接口,加入分類與轉換算法,將轉換后的數據及數據類型全部存儲在數據緩存區,轉換后的緩存數據等待加載消息通知。已經被標準化封裝后的模型腳本作為多個服務分布式地存儲在各個服務器緩存區中,直到發起調用時經過模型解析區調用并在模型服務加載區準備計算。同時,在消息隊列中注冊消息,系統通過消息策略分發注冊的消息,封裝后的海洋計算模型與解析模塊接收消息就會被協同調用,數據與模型在并發器中進行計算服務,同時引入資源調度策略,實現系統負載均衡。

1.2 基于Dubbo框架的服務集成與監控模塊

現有的分布式服務監控系統[8-9]并不能在實現服務器性能、數據情況和服務情況全面即時的監測的同時又能實現調用。因此,系統基于Apache Dubbo框架實現了服務調用集成與快速全面的監控功能,實現分布式解耦服務。

1.2.1 基于Dubbo框架的分布式服務模式

Dubbo框架基于定義服務的形式,指定可以通過參數和返回類型遠程調用的方法。在服務器端,實現注冊接口和數據接口并運行Dubbo服務器來處理客戶端調用并注冊服務信息。在客戶端請求存檔接口,提供與服務器相同的方法,Consumer在請求調用分布式存儲資源時,通過查找注冊信息找到資源所在的服務器進行接口配對,直接獲取分布式存儲系統中的服務資源,通過注冊機制來實現遠程服務調用,從而形成分布式服務模式。

1.2.2 海洋計算模型集成監控

監控主要包括服務器性能監控、數據計算狀態監控以及服務狀態監控。首先把Dubbo-Monitor中的監控信息提取到監控區,用以標記封裝的服務狀態,同時通過反射的方法把模型內部的方法映射到監控接口,實現多粒度服務監控。設計專門針對Povider和Consumer的信息接口,分別集成其他監控功能。其中,性能監控方面,構建了一種性能探針,在服務下發時可以裝載到分布式存儲系統中,從而獲取各個服務器的性能;數據監控方面,設計了一種特殊的消息機制,Provider提供模型計算服務時,可以通過接口返回運行信息,Consumer在調用服務時訪問接口并實時監測,返回的進度信息將直接刷新在服務配置上,構成快速的服務監控方案。

1.3 海洋計算業務流程一體化配置模塊

本系統可多粒度實現流程管理和流程區塊管理。為了應對復雜海洋計算流程,業務流程模塊運用了根據ArtiMate建模方法[10]改良設計的一種面向服務的多粒度協作流程建模方法。該方法可以支持復雜多變的協作關系,搭載一體化流程配置引擎與良好的交互界面,保證流程順利執行。ArtiMate 建模方法是以Artifact為中心[11-13]將多粒度復雜流程分解為一組單粒度協作流程,并通過策略建模解決單粒度流程間的復雜交互。

在模塊加載完畢后,進行業務流程配置時,構造了一個結構標記方法portsEdge()。當進行業務流程配置時,每個服務在拖放配置時會調用portsEdge()用于標記服務調用信息并保存在流程邏輯結構數組中,用于生成流程邏輯結構消息。portsEdge()方法由兩部分組成,一部分用于邏輯操作實現業務流程配置結構化,另一部分用于保存流程邏輯結構信息,包括消息的進棧與出棧。

每個服務之間對應一套統一的消息格式與隊列,在UI層基于bootstrap和javascript實現圖形化的流程配置界面,所有的服務和方法以二級列表的方式顯示,并可直接拖動服務至繪制區域進行業務流程配置。流程圖繪制完成后系統將生成一個流程邏輯結構消息,生成的結構消息可直接被解析在流程配置方案中運行,解析完畢后的流程將驅動服務進行協同計算,同時顯示計算進度信息。

2 關鍵技術

本節介紹系統的3種關鍵技術:適用多類型海洋數據的通用轉換接口用于實現系統數據轉換,解決模型間的數據格式難匹配的問題;改進雞群算法的資源調度策略用于系統負載均衡,解決大規模模型和數據計算時的資源分配問題;面向服務的多粒度協作流程建模方法用于實現業務流程管理,解決多模型協同計算時流程不可控的問題。

2.1 適用于多類型海洋數據的通用轉換接口

本文構建了一種可以將多類型海洋數據轉換為統一標準形式的接口,在接口應用中使用了一種基于隨機森林的數據分類與轉換算法,可用于系統中的海洋數據分類與轉換融合。

2.1.1 隨機森林算法

隨機森林(Random Forest,RF)[14]是一種包含多個決策樹的分類器,它是基于Bagging 的集成學習方法,可以用作分類和回歸。RF采用有放回的采樣來構造不同數據集訓練模型,因此模型的泛化能力通常比單一模型強。

隨機森林訓練多個決策樹弱分類器,通過組合這些弱分類器形成一個強分類器,然后以投票的方式來得到最終的分類結果。與普通的決策樹不同,隨機森林在訓練決策樹時先隨機選擇部分樣本特征,然后再選擇一個局部最優的特征來為決策樹劃分左右子樹,進一步提升了模型的泛化能力。

2.1.2 基于隨機森林的數據分類與轉換算法

基于隨機森林的數據分類與轉換算法分為兩個作用域,分布在數據流的接口中,分別實現海洋數據分類和數據轉換的功能,將原始數據轉換成通用的模型輸入流。算法作用如圖2所示。

圖2 基于隨機森林的數據分類與轉換算法作用示意圖

算法在隨機森林首次分裂前對欲分類的文件進行預處理,通過讀取輸入數據的文件信息,聯系模型輸入格式作為數據標記,以此標記作為數據分類的基礎,在構建隨機森林前將所有數據先做一層篩選,進一步在該層篩選結果中使用隨機森林算法構建分類樹。預處理的目的是更快地得到與相應模型輸入需求相同的數據集,從而提高分類的速度和精度,并且部分所需分類結果在預處理中就可以完成。

在分類完成時,用戶可以根據分類結果對數據進行統一轉換,轉換方法根據不同的數據格式與模型需求嵌入不同的處理操作。以遙感影像為例,對應的基本轉換處理過程有分辨率調整、灰度值調整等。帶有結構的數據類型,如臺風數據在轉換過程中將調用相應的方法被格式化為標準格式。針對不同數據結構,可以根據模型需求定制不同的轉換算法。

基于隨機森林的數據分類與轉換算法描述如下:

算法基于隨機森林的數據分類與轉換算法

輸入數據集d={(x1,y1),(x2,y2),…,(xn,yn)},樣本子集的個數T

輸出最終的強分類器f(x)與轉換器g(x)

1)識別原始樣本中的文件信息,建立分類c,形成按文件信息分類的訓練數據集D={d1,d2,…,dc}。

2)對第t(t=1,2,…,T)次抽樣:

(1)從訓練樣本集中隨機抽取a個樣本點,得到一個訓練集Dt。

(2)用訓練集Dt訓練一個CART決策樹,在訓練的過程中,對每個節點的切分規則是先從所有特征中隨機選擇k個特征,然后再從這k個特征中選擇最優的切分點做左右子樹的劃分。

3)在分類算法中,預測的最終類別為該樣本點所到葉節點中投票數最多的類別。

4)在分類結果中,識別文件信息,調用相應的轉換算法。

算法預處理和轉換的兩次循環只在最外層分別進行,時間復雜度為O(n),n是訓練樣本個數。而隨機森林分類算法的時間復雜度為O(mn),m是特征維數,采用預處理策略后可減少特征子集生成的次數x,x∈[0,m-1],因此算法的時間復雜度為O(n)+O((m-x)n)≈O((m-x)n)

2.1.3 實驗與結果分析

實驗使用海島和中尺度渦的遙感影像等各類圖片數據、溫州臺風網1945年—2017年臺風數據以及其他各類干擾數據作為算法輸入的all_data,假設用戶設定模型需求為遙感影像和臺風數據,實驗過程如圖3所示。

圖3 基于隨機森林的數據分類與轉換算法實驗過程

圖4為通過轉換算法對分類數據進行轉換后的結果,其中圖4(a)為圖片數據的部分轉換結果,圖4(b)為文本數據的部分轉換結果。

圖4 數據轉換結果

將分類實驗結果與人工分類結果進行對比,如表1所示,其中,alu列表示算法分類結果數,per表示人工分類結果數,gis行表示遙感影像的分類結果數,pic-other表示其他圖片類型數據的分類結果數,typh表示臺風數據分類結果數。由表1可以看出,數據量對分類結果有一定的影響。

表1 分類實驗結果

準確率的計算公式為:

(1)

圖5為分類結果準確率的對比,可以看出,隨著數據量的增長,文本類的臺風數據對分類結果不存在影響,分類結果始終準確。而針對圖片類數據的分類隨著數據規模的增大出現了一定的偏差,“≤1 000”和“>1 000”時遙感影像分類的準確率分別下降到94.4%和97.8%,通過對分類結果進行查驗,發現導致準確率下降的原因為一些干擾數據的特征與遙感影像的特征比較接近。經過重復實驗驗證,分類結果準確率均高于91%,分類結果較為準確。

圖5 3種算法的分類準確率對比

將基于隨機森林的數據分類與轉換算法分別與SVM分類算法和原始隨機森林分類算法在不同規模的數據量下進行性能對比,圖6為各算法分類時間對比結果。可以看出,本文基于隨機森林的數據分類算法通過對數據的預處理,顯著提高了分類速度。

圖6 3種算法的分類時間對比

2.2 基于改進雞群算法的資源調度策略

在實際的系統運行中,面對規模龐大的服務群及任務執行數量多的問題,作為提高云計算系統性能的關鍵技術之一,資源調度成為研究重點。由于系統是分布式服務架構,因此涉及的資源調度實際上是在云計算分布式存儲系統中的調度。針對云計算環境中會產生資源不均與能耗過高的問題,本文提出一種改進雞群算法用于云計算低能耗資源調度。

2.2.1 雞群算法

雞群算法(Chicken Swarm Optimization,CSO) 是由文獻[16]提出的一種基于雞群搜索行為的隨機優化方法,CSO模擬了雞群等級制度和雞群行為。整個雞群分為若干子群,每一個子群都由一個公雞、若干母雞和小雞組成。不同的雞遵循不同的移動規律,在具體的等級制度下,不同的雞群之間存在競爭,它是一種全局優化算法。

根據文獻[15-16],在雞群理想化的條件下,假設NR、NH、NC和NM分別為公雞、母雞、小雞和媽媽母雞的個數。在整個雞群中,所有的個體數假設為N,每個個體的位置xi,j(t)表示第i個體的j維在第t次迭代的值。整個雞群有3種類型的雞,雞群中個體位置更新公式隨著雞種類的不同而不同。公雞對應雞群中適應度值最好的個體,它們可以在更廣闊的空間尋找食物,公雞對應的位置更新公式如下:

xij(t+1)=xi,j(t)·(1+Randn(0,σ2))

(2)

(3)

其中,Randn(0,σ2)是均值為0、標準差為σ2的一個高斯分布,ε為一個很小的常數,k(k∈[1,NC],k≠i)為所有公雞中除去i后的任一個體。母雞的位置更新公式如下:

xij(t+1)=xi,j(t)+C1·Rand·(xr1,j(t)-

xi,j(t))+C2·Rand·(xr2,j(t)-xi,j(t))

(4)

(5)

C2=exp(fr2-fi)

(6)

其中,Rand為[0,1]之間均勻分布的隨機數,r1為第i只母雞自身所在群中的公雞,r2為整個雞群中公雞和母雞中隨機選取的任意個體,且r1≠r2。小雞的位置更新公式如下:

xi,j(t+1)=xi,j(t)+F·(xm,j(t)-xi,j(t))

(7)

其中,m為第i只小雞對應的母雞,F(F∈[0,2]) 為跟隨系數,表示小雞跟隨母雞尋找食物。

2.2.2 改進雞群算法

本文對雞群算法的主要改進如下:

1)根據原始雞群算法子群中的個體關系,通過上節中分類算法得到的服務的關聯信息,劃分相關聯的服務類作為初始化的種群,保證算法最優解能夠在空間中均勻分布。

2)通過轉換算法中的計數參數獲取搜索空間大小,確定迭代范圍,以較少的迭代次數完成小雞向母雞和公雞的學習。

3)在迭代過程中增加差分進化算法(Differential Evolution,DE)[17-18]中的變異過程,避免陷入局部最優。在第g次迭代中,從種群中隨機選擇3個個體Xp1(g)、Xp2(g)、Xp3(g),且p1≠p2≠p3≠i,生成的變異向量為:

Hi(g)=Xp1(g)+F·(Xp2(g)-Xp3(g))

(8)

其中,Δp2,p3(g)=Xp2(g)-Xp3(g)為差分向量,參數F的取值自適應調整為將變異算子中隨機選擇的雞群中的三個個體進行適應度從高到低的排序,得到Xb、Xm、Xw,對應小雞的適應度fb、fm、fw,變異算子改為:

Vi=Xb+Fi(Xm-Xw)

(9)

同時,F的取值根據生成差分向量的2個個體自適應變化:

(10)

其中,Fl=0.1,Fu=0.9。

變異策略:

DE/rand/1:Vi(g)=Xp1(g)+F·(Xp2(g)-Xp3(g))

DE/best/1:Vi(g)=Xbest(g)+F·(Xp1(g)-Xp2(g))

DE/current to best/1:

Vi(g)=Xi(g)+F·(Xbest(g)-Xi(g))+F·(Xp1(g)-Xp2(g))

DE/best/2:

Vi(g)=Xbest(g)+F·(Xp1(g)-Xp2(g))+F·(Xp3(g)-Xp4(g))

DE/rand/2:

Vi(g)=Xp1(g)+F·(Xp2(g)-Xp3(g))+F·(Xp4(g)-Xp5(g))

4)融合SJF算法的思想,更迅速地更新小雞的位置。改進后的小雞位置更新公式如下:

xi,j(t+1)=xi,j(t)+F·(xm,j(t)-xi,j(t))+

(11)

其中,n為小雞i對應的公雞,M為小雞的覓食程度,L為小雞在雞群中的學習程度,M/L權重值反應小雞需要覓食的緊急程度,權重值越大,優先權越高,小雞的位置更新越快。

改進雞群算法流程如圖7所示。

圖7 改進雞群優化算法流程

改進后的雞群算法主要針對迭代次數、適應度更新策略進行了優化與自適應調整,在保證原有算法快速收斂的優點的同時,結合上節算法的數據統計結果,減少迭代次數,提高算法執行效率,在模擬調度時更高效。

2.2.3 仿真實驗分析

圖8為原始雞群算法與改進雞群算法的性能分析結果對比,實驗選取迭代次數為100次,隨機取重復實驗的30次數據作為結果統計。圖8(a)和圖8(b)分別為兩次實驗的結果圖,可以看出改進雞群算法更快地達到最優條件。由圖8(c)可得改進雞群算法與原始雞群算法相比,達到最佳適應度的迭代次數減少了29% ～37%,性能有較大的提升。

在Cloudsim3.0平臺上模擬算法對云任務調度的作用情況,實驗選取任務數量為10個～100個模擬結果,算法在調度完成時所需要的時間即為任務調度完成時間,實驗結果采用30次實驗所得的平均響應時間和平均調度完成時間,由圖9可知,較原始雞群算法和SJF,改進雞群算法的平均調度完成時間及平均響應時間較短。

圖8 Matlab實驗結果

圖9 Cloudsim3.0平臺模擬實驗結果

2.3 面向服務的多粒度協作流程建模方法

基于ArtiMate建模方法加以改進,核心思想是將多粒度復雜流程分解為低粒度或單粒度的協作流程,通過組合低粒度或單粒度流程協作建模,實現通用化交互策略建模的方法,減少以Artifact為中心的建模成本,有效提高業務流程建模效率。本節以中尺度渦模型計算業務流程為例,如圖10所示,描述以服務為中心的多粒度協作流程建模方法。

中尺度渦模型計算業務流程如圖11所示,首先依據Artifact具有完整的生命周期的特點,在流程初始化時創建Artifact表單,Consumer每調用一個服務,服務都會產生一個活動,活動對服務進行調用內部方法、返回參數等操作。根據模型運行的實際情況對服務模型進行擴展。

圖10 中尺度渦模型計算流程

圖11 中尺度渦計算業務流轉示意圖

面向服務的多粒度協作流程建模是首先將多粒度海洋計算業務流程分解為一組單粒度協作流程,通過策略建模解決單粒度流程間的復雜交互。從2個方面對proclets方法[19-20]和CorPN[21]進行擴展:1)在業務流程建模中采用以 Artifact 為中心的方法,明確刻畫海洋計算業務目標和業務進展,適應模型計算業務變化;2)使用解耦交互機制和交互策略,允許依據海洋計算模型服務的內容綁定多種類別的流程,通過替換與通用化交互策略增強業務流程對環境的適應性。

流程建模方法依據ArtiMate的建模思想,將復雜的業務流程拆分成一組低粒度或單粒度流程(以下簡稱smallist),這是各個業務的實際業務內容。由圖11中可知其基數約束、多重性約束和復雜交互關系以策略組件的方式介入的交互策略定義(以下簡稱combine),combine存在通用性策略,也可以相互組合關聯,形成新的combine,能夠全面靈活地支持各種海洋計算業務交互情況。combine連接彼此交互的 smallist,共同構成多粒度業務流程應用的模型。

3 系統運行效果

系統根據高級軟件工程架構簡化了環境依賴,將開發與集成落到最底層實現,系統直接部署在Tomcat中,只需以默認選項安裝Redis即可直接在Tomcat中啟動運行。

3.1 運行環境

海洋計算模型協同一體化流程管理系統是基于Web端開發的應用,以Java、JavaScript作為開發語言,結合Apache Tomcat8、Redis等運行所需環境,使用eclipse和webstorm作為開發工具進行開發。系統存在可拓展性,可結合不同開發環境進行擴展開發。

系統客戶端目前主要適配Windows系統各個版本,適用于Chrome、Internet Explorer、Firefox、Safari等瀏覽器。

3.2 交互界面

海洋研究中使用海洋計算模型進行計算的實驗人員在進行操作時需要了解服務中的模型信息,通過模型信息分析所需要調用的服務進行流程配置,完成流程配置后在運行時關注運行情況和服務情況等。以下功能用以協助研究人員提高海洋數據分析與協同計算的效率,快速便利地完成海洋數據復合處理需求。

1)服務信息查看。在進入系統服務界面后,所有的服務及方法以疊加列表的方式展示在右側,點擊各個服務模塊可以在data preview區域里查看相應的服務信息,服務信息包括:服務名和對應的方法名、服務器名、模型來源、數據類型等,通過以上信息判斷計算需求,選取所需服務,如圖12所示。

圖12 系統服務界面

2)業務流程配置。在判斷需要使用的服務及方法后,通過拖拽的形式可以直接把要使用的服務作為流程節點加入到流程編輯區域,流程編輯區域中的初始節點Start和完成節點End已自動加入,Start節點只有輸出標志點,End節點只有輸入標志點。每個節點的輸出標志點可以點擊拖出連接線與要連接的節點的輸入標志點進行連接,從連接線的任意一端的標志點拖離即可刪除連接重新配置,連接完成后即可點擊運行按鈕直接執行,如圖13所示。如果服務有相應的擴展依賴,在拖放流程節點時會自動識別,相應的節點會自動加入擴展功能,點擊對應功能的按鈕即可加入擴展內容,如上傳數據或載入新的模型等。

圖13 流程配置與運行結果界面

3)信息監控。在點擊運行時,被配置調用的服務會以進度條的形式顯示該服務的運行進度,運行結束后服務節點被標記成已完成狀態,計算結果顯示在下方的result viewing區域。在監控區域,系統以圖表的方式動態地將各個服務器的資源使用情況刷新在界面上,供用戶查看情況,同時可以查看負載均衡情況,保證模型計算穩定地運行,如圖14所示。

圖14 信息監控界面

4 結束語

本文結合dubbo框架、工作流等計算技術對海洋計算模型進行服務化封裝和計算業務流程配置。將隨機森林算法用于數據分類與轉換，通過改進雞群優化算法優化計算服務資源調度過程，同時結合多粒度流程建模方法開發海洋計算模型協同一體化流程管理系統，實現海洋計算業務流程的一體化配置和多模型協同計算。該系統可減少分布式服務下的調度負擔，解決海洋計算業務的模型復合困難、流程復雜的問題，提高海洋數據分析人員的工作效率。下一步將構建封裝覆蓋范圍更廣和復雜度更高的海洋計算模型，優化自定義模型的使用方法，同時針對數據通用匹配性和大數據情況下的負載均衡問題探索解決方案。此外，還將優化流程管理的后臺機制，實現流程的持久存儲與服務化調用。