海洋信息云服務平臺資源管理體系架構研究

劉會芳，余 潔，徐凌宇，韓 博，郭晨明

(上海大學 計算機工程與科學學院，上海 200444)

海洋信息云服務平臺資源管理體系架構研究

劉會芳，余 潔，徐凌宇，韓 博，郭晨明

(上海大學 計算機工程與科學學院，上海 200444)

海洋信息化日益重要，然而存在于各個系統的資源缺乏統一部署管理。云計算的發展為大規模數據的處理和海量信息的訪問提供了支撐。所以構建面向用戶的軟件即服務資源管理系統，對存在異構性的資源進行統一管理尤為重要。文中通過對各類資源的分析，提出了云資源管理的體系架構，并從安全性，基于REST架構的可擴展性和底層資源存儲的部署等方面，給出了優化策略。在該平臺上，大規模數據的訪問，高并發的請求也是一種常態，通過初步構建原型系統，證明平臺體系架構的可用性和高效性。

云計算；資源管理；架構；優化策略

0 引 言

隨著中國經濟的高速增長，中國信息化有了顯著的發展，海洋信息化作為國家信息化的重要基礎，在開發和利用海洋信息資源，促進海洋信息交流與共享，提升海洋各項工作效率和效益的過程中發揮著重要作用[1]。于是有大量的專業海洋信息數據庫建立，與此同時海量海洋數據資源和計算模型資源也快速增長。然而各個系統部門之間獨立發展，資源利用共享率低，缺乏統一部署、統一規劃，難以適應目前業務的快速發展的需要，同時系統的維護難度比較大，這些問題嚴重制約了我國海洋資源信息化的可持續性發展。

隨著云計算的發展，云計算技術已成為計算機資源交付使用的一種越來越受關注的方式。云計算平臺是一種功能可動態擴展的虛擬化計算環境，具有計算資源部署的靈活性和資源訪問的低成本優勢。海量信息的存儲、大量云計算和云服務實現，對海洋環境信息中數據、計算模型、虛擬機、存儲等各類資源的集中管理、協同工作提供了支撐。云計算的服務形式主要有:軟件即服務(SaaS)、平臺即服務(PaaS)、基礎設施即服務(IaaS)。云資源即存放在云端的資源，根據服務方式的不同也可分為基礎設施層資源、平臺層資源和軟件層資源。目前，對資源管理的研究主要集中在各個單獨層的資源，然而如何對存儲于不同層的資源進行統一管理和調度，并作為軟件即服務，也是文中研究的重點內容。

1 相關工作

云計算是一個為客戶提供隨需求可變的新興IT服務模式[2]。目前，云平臺的研究主要集中在虛擬機平臺的資源及Hadoop平臺[3]的資源管理。

虛擬機的管理主要指IaaS層的資源管理[4]，包括各種物理資源和邏輯資源的管理。對虛擬機的管理有不同的改進方法。文獻[5]提出了一種基于無監督預測模型的資源配置方法，大幅度減少了能源的消耗。Hadoop主要包括HDFS存儲和MapReduce計算等[6]，然而在MapReduce計算中有很多負載問題，文獻[7]提出利用資源管理中間件去解決它。在云計算中，移動云是一個新的領域，文獻[8]提出了一種新的移動云資源管理模型，在移動云中作為新的基礎服務建模和社會計算。關于云架構，文獻[9]提出了三層云架構，解決從傳統平臺到云平臺的遷移問題。然而更多關于云架構的研究是在基礎設施層架構的研究[10-11]。所以當前學者主要研究的資源管理還是虛擬機的管理，對三個不同服務層的統一集中資源管理的研究還很少，作為一個SaaS服務的資源管理的研究則更少。對于每一層的服務都存在不同的資源，對于存在不同云服務層的資源如何管理，文中提出了一種新的基于三層架構的海洋信息云服務平臺的資源管理體系架構，并且作為一種軟件即服務提供給用戶。

2 海洋云平臺資源管理體系架構

這部分主要分三個方面介紹。首先研究三層云服務平臺體系架構，了解服務所包括的所有資源及資源存放形式；其次根據不同資源的情況，對資源的管理內容進行詳細描述，給出管理方案；再次是整個體系結構的優化。

2.1 云服務體系架構

體系架構是指一組部件以及部件之間的聯系。海洋云平臺的體系架構，按照云計算服務方式的話，總體可以劃分為三個層次：IaaS平臺、PaaS平臺、SaaS平臺。其中，IaaS主要是為用戶按需提供實體或虛擬的計算、存儲和網絡資源等基礎設施部署服務，而PaaS是為云計算應用程序部署及其管理提供服務，SaaS是一種基于云計算基礎平臺所開發的應用程序，在本平臺中主要提供的服務有海洋環境信息聯機分析處理、數據挖掘服務、海洋乘潮水位計算服務、復合式工作流服務等。針對不同服務有不同的服務系統，各個系統都有不同的資源，針對海洋環境信息云中的數據、計算模型、虛擬機、存儲等各類資源，為了把分布于不同系統的資源存在的異構性消除，進行統一管理，首先給出整體的架構模型，見圖1。分析不同層存在的不同資源，同時可以看到，在該架構中資源管理作為一個SaaS服務。

圖1 云服務架構圖

2.2 資源管理分解描述

由云服務架構模型圖可知，不同服務包含不同的資源，資源又包括各種數據資源、計算模型資源和虛擬機資源，對這些資源如何管理，以下給出其具體分解描述。

圖2給出了平臺的設計架構，包括前端、Java后端、Hadoop后端和引擎端。每部分負責不同的功能，完成云資源管理的技術模型。

圖2 平臺設計架構圖

具體管理內容如下：

定義1 數據資源：各個服務中需要的各種Argo數據、乘潮水位數據、插值數據、數據挖掘中需要的數據，以及用戶本身需要的數據等。數據由集合D={k,p,d}組成。其中，k表示數據類型；p表示數據是否加密；d表示資源的描述。

定義2 模型資源：云計算中需要的各種計算模型。模型由集合M={m,r,s}組成。其中，模型M是實現MapReduce或者Spark規則的可執行程序；m表示是Spark模型還是MapReduce模型；r表示不同計算模型需要的類的命名規則；s表示模型的運行狀態。

定義3 服務流：軟件服務流是在將軟件抽象成服務的基礎上，確保定制的軟件服務以流的方式組合。在該平臺中，服務流由集合C={D,M,P,I,O}組成。其中，D是數據資源；M是模型資源；P是模型在云平臺中的存儲路徑；I是模型在一個軟件服務流中的輸入路徑；O是模型在此次軟件服務流中的輸出路徑。

所有的資源可以分為數據資源、模型資源和虛擬機資源，數據可以根據其類型的不同用于不同的應用。數據可以在模型上運行，運行結果又可以在另一個模型上運行，如此構成一個服務流，可以用來監控模型的運行狀態。對于資源管理的詳細內容如圖3所示。Web端需要展示的功能主要有用戶管理，權限管理，資源的上傳、注冊，資源的分類查看，基于語義的資源查詢，資源的刪除、下載、預覽等操作，實現私有云與公有云的機制。另外還有資源的監控功能，根據不同形式的資源分別定制不同的監控機制，包括資源使用情況監控、計算模型的執行狀態監控、虛擬機使用情況的監控、各個數據節點存儲情況的監控，以及集群的CPU、磁盤、內存的使用情況監控等各項功能機制，對整個體系結構中分布于不同應用層不同服務的所有資源進行統一管理。

圖3 資源管理圖

服務引擎為上層的操作提供業務支撐。服務引擎包含的邏輯功能有數據資源的處理功能、模型資源的處理功能、參數操作處理功能、Gis資源操作處理功能、語義服務功能，以及通過Gis資源對虛擬機的調度服務功能。針對資源的監控提供云計算工程中資源狀態的動態更新功能、日志分析功能、集群的監控服務，以及虛擬機監控服務功能。提供資源交互式訪問接口，負責總的資源任務調度，結構化執行模型的接口轉換與控制，以及容錯與錯誤處理等。另外部署在虛擬機上的Gis資源通過資源的注冊，和服務引擎提供的虛擬機轉換接口服務消除不同平臺的異構性，其余應用服務的資源由統一入口存儲在HDFS上，進行統一調度，實現了對海洋環境信息云中數據、計算模型、虛擬機、存儲等各類資源的統一管理。

2.3 優化策略

從三個主要層次實現平臺優化，提高多用戶，大量數據訪問平臺時的穩定性、安全性。

首先，高安全性。Web端采用Flex進行可視化設計。Flex作為客戶端，通過異步通信的方式和服務器進行通信，將獲取的信息通過組件展現給用戶。Flex應用程序框架主要由Mxml、ActionScript及Flex類庫構成，可以通過如HttpService、WebService和RemoteObject與服務器進行通信，完成必要的數據交互。Flex需滿足一定的條件才可以訪問數據源，否則就會出現跨域不能訪問的問題，條件如下：Flex運行時編譯的SWF文件和需要訪問的數據源需要位于同一個域內；如使用代理的話，SWF文件需要放在代理的服務器上；存放數據源的服務器上必須有crossdomain．xml(跨域策略)，并且策略中有允許其他域的SWF文件訪問權限的標識字段[12]。因此使用Flex進行交互，在一定程度上保證了數據的高安全性。

其次，擴展性強。系統利用Restful架構和交互數據庫提高系統的擴展性。傳統的Web服務主要使用SOAP協議交換信息，在交換信息前，不同的系統需要創建契約，契約是對交互過程的抽象。隨著應用規模的擴大，使用SOAP協議的Web服務的很多不足也暴露出來，例如系統臃腫、擴展性不強、復雜性高、性能低下等。為了解決這些問題，REST架構風格Web服務被提出[13]。RESTful Web服務是基于資源定向的架構模式。RESTful架構主要利用HTTP和URL技術，通過HTTP的CRUD(創建、讀取、更新和刪除)的操作訪問資源(一個Web服務)。實際上，為了訪問資源，客戶端給資源發送一個HTTP請求。請求的方法主要是POST、GET、PUT或者DELETE，并且資源是被URL識別。然后資源會執行這個業務邏輯，最后生成響應數據，并將其發送給客戶端[14]，如圖4所示。

圖4 Restful架構圖

前端用戶傳遞的數據信息封裝之后通過Rest傳遞給云平臺，對數據進行存儲，并將相關數據信息填入交互數據庫，服務引擎負責讀取數據，將用戶自己個性化的資源反饋給用戶，用戶實現對自己資源的管理。交互數據庫完全釋放了服務引擎的額外工作壓力，引擎可以專注于處理調度、容錯、優化及錯誤補救等工作，這種模式在處理大規模用戶訪問時尤為重要。

再次，快速訪問底層數據節點。通過分析HDFS存儲模式，為了快速存儲，設計了新的部署方式。底層Hadoop平臺的HDFS集群一般是由一個Namenode和一定數目的Datanode組成。Namenode處于主導地位，是一個中心服務器，主要負責文件系統的名字空間的操作，如打開、新建、關閉和重命名文件或目錄。Namenode以文件系統樹的形式存放所有的文件和文件夾的元數據，這些元數據也會通過命名空間鏡像及修改日志保存在磁盤上。Datanode主要負責處理來自Client端的讀寫請求，是HDFS文件系統中真正存儲數據的地方。Client端主要與Namenode和Datanode交互,進行文件讀寫操作[15]。Datanode通過心跳機制向Namenode匯報自身整體的運行狀況，Namenode會根據Datanode的運行狀態，進行數據塊分配、讀取及負載均衡。為了提高效率，設計了一種新的部署方式，存放節點可以直接向瀏覽器發送數據，加快數據訪問。每臺Datanode服務器都部署了Apache Tomcat，對外提供一個相同的域名服務器，用戶在瀏覽器上直接訪問該服務器，服務器中的分發程序接收來自瀏覽器的請求，并通過HDFS的接口判斷請求的文件是否存放在當前節點上，如果沒有，則會根據地址重定向到存放該文件的節點服務器上,進而提高資源存儲讀取的效率。

3 示范實現

該模型的系統應用已經在國家海洋信息中心海洋環境信息云服務器上完成了部署運行。在實驗環境下，綜合考慮交互頻率和處理負荷，Web服務和數據庫部署在一臺Web服務器上，為Win7操作系統。Hadoop平臺由4臺IBM服務器搭建，虛擬機憑條由4臺IBM服務器搭建，均為CentOS5.6，服務器的配置為CPU8 Inter(R) Xeon(R)2.4 GHz，內存為12 GB，硬盤1.5 TB并做了Raid5備份，平臺支持各種云服務。

響應時間是反映應用程序性能的一個非常重要的參數。響應時間指的是應用或者系統對一個請求數據的回應。

分別對文中架構系統和普通的集群系統，以PlantsByWebSphere網站為對象，用戶登錄、對資源操作為測試場景,隨著虛擬用戶增長，頁面響應時間結果見圖5。

在文中架構系統中，剛開始隨著用戶的增長，響應時間是近似線性增長的趨勢；當用戶使用達到一定數量，系統響應時間趨于穩定，說明文中結構下的系統對高并發的用戶請求穩定性強。與文中架構系統相比，當虛擬用戶數超過4 000后，普通集群系統響應時間變長。因此當有大量用戶訪問時，文中系統架構的響應時間大為提高。

上述的實驗同步獲取了文中體系架構系統的CPU和內存數據，見圖6。

圖6 CPU/內存利用率

通過這些數據進一步量化整個平臺的整體性能。隨著用戶增多，任務數增多，數據集數據量的增加，CPU利用率基本上都處于40%～50%左右，與當前數據集規模基本無關。說明在云環境下，任務完成時間相應增加，而各CPU負載總體穩定。內存的利用率基本上都處于80%以上，與當前用戶數多少關聯不大。說明在云環境下，內存的利用效率較高，平臺的存儲和交換空間處于比較飽和的狀態。同時也說明CPU和內存在執行大規模任務時利用率較高，計算節點負載達到平衡且運行穩定。

4 結束語

文中通過分析海洋數據信息化，提出通過云計算技術管理海洋數據。然而在不同的云服務中包含不同的資源，包括數據、計算模型、虛擬機和存儲數據等。在對這些資源進行統一管理和協同工作方面，提出了基于不同服務層的云平臺資源管理模型，并作為SaaS服務。然后對該模型架構進行詳細的描述和平臺優化，來統一管理這些資源并為其他服務做支撐，進行資源的存儲和管理。最后，通過部署系統，測試系統的響應時間和CPU，內存的利用率表明，系統有很好的穩定性。然而，對資源的調度問題，需要做進一步的研究。總之，它對海洋數據的管理和云計算中SaaS的資源管理研究具有一定的參考價值。

[1] 許莉莉,湯海榮,張燕歌.海洋信息化標準體系研究[J].中國標準導報,2015(1):49-51.

[2] Bernabe J B,Perez J M M,Calero J M A,et al.Semantic-aware multi-tenancy authorization system for cloud architectures[J].Future Generation Computer Systems,2014,32(1):154-167.

[3] Islam M,Huang A K.Oozie:towards a scalable workflow management system for Hadoop[C]//Proceedings of the ACM SIGMOD workshop on scalable workflow execution engines and technologies.[s.l.]:ACM,2012:1-10.

[4] Manvi S S,Shyam G K.Resource management for Infrastructure as a Service (IaaS) in cloud computing:a survey[J].Journal of Network and Computer Applications,2014,41:424-440.

[5] Chihi H,Chainbi W,Ghedira K.An energy-efficient self-provisioning approach for cloud resources management[J].ACM SIGOPS Operating Systems Review,2013,47(3):2-9.

[6] Moise D, Antoniu G. Improving the Hadoop Map/Reduce framework to support concurrent appends through the BlobSeer BLOB management system[C]//Proceedings of the 19th ACM international symposium on high performance distributed computing.[s.l.]:ACM,2010:834-840.

[7] Lim N,Majumdar S,Ashwood-Smith P.Engineering resource management middleware for optimizing the performance of clouds processing MapReduce jobs with deadlines[C]//Proceedings of the 5th ACM/SPEC international conference on performance engineering.[s.l.]:ACM,2014:161-172.

[8] Ikram A,Anjum A,Bessis N.A cloud resource management model for the creation and orchestration of social communities[J].Simulation Modelling Practice and Theory,2015,50:130-150.

[9] Pardeshi V H.Cloud computing for higher education institutes:architecture,strategy and recommendations for effective adaptation[C]//Proc of SIMSARC13.[s.l.]:[s.n.],2014:589-599.

[10] Dukaric R,Juric M B.Towards a unified taxonomy and architecture of cloud frameworks[J].Future Generation Computer Systems,2013,29:1196-1210.

[11] Wang Jianwu,Korambath P,Altintas I.Workflow as a service in the cloud:architecture and scheduling algorithms[C]//Proc of 14th international conference on computational science.[s.l.]:[s.n.],2014:546-556.

[12] 汪 蓉.基于Flex的RIA技術的研究和應用[J].湖北科技學院學報,2014,34(6):1-2.

[13] 李 延.基于REST架構的web服務技術研究[D].武漢:武漢理工大學,2013.

[14] Niu Zhixiang,Yang Cheng,Zhang Yingya.A design of cross-terminal web system based on JSON and REST[C]//Proc of 2014 IEEE 5th international conference on software engineering and service science.[s.l.]:IEEE,2014:904-907.

[15] Luo Yifeng,Luo Siqiang.A RAMCloud storage system based on HDFS:architecture,implementation and evaluation[J].Journal of Systems and Software,2013,86:744-750.

Research on Resource Management Architecture for Marine Information Cloud Services Platform

LIU Hui-fang,YU Jie,XU Ling-yu,HAN Bo,GUO Chen-ming

(School of Computer Engineering and Science,Shanghai University,Shanghai 200444,China)

Marine information is becoming more and more crucial while the resources existing in various systems lack of unified deployment management.The development of cloud computing provides support for large-scale data processing and massive information accessing,so it is particularly significant for heterogeneity-existing resources to build user-oriented cloud resources management system as Software-as-a-Service (SaaS) to do unified management.Through the analysis of all kinds of resources,put forward the cloud resources management architecture.In consideration of security,based on the scalability of REST architecture and the rapid storage parts,give the optimization strategy.On this platform,high concurrency and high-density access are a normal status.By building a prototype system in preliminary,the availability and efficiency of the system architecture is proved.

cloud computing;resource management;architecture;optimization strategy

2015-05-20

2015-08-24

時間：2016-01-26

國家“十二五”規劃項目(201105033)作者簡介：劉會芳(1990-)，女，碩士，研究方向為云計算技術；余 潔，副教授，研究方向為云計算、網絡個性化搜索等；徐凌宇，教授，研究方向為云計算、信息融合、互聯網金融等。

http://www.cnki.net/kcms/detail/61.1450.TP.20160126.1521.054.html

TP302

A

1673-629X(2016)02-0007-05

10.3969/j.issn.1673-629X.2016.02.002