基于部隊訓練任務的數據中心建設

楊 坤，李 旋，安磊磊

(1.中國人民解放軍91404部隊，河北 秦皇島 066001；2.中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

0 引言

隨著軍事斗爭準備的拓展和深化，訓練及保障任務日益增多，各任務保障系統具有跨業(yè)務平臺、多通信體制、高度共享關聯和功能協同應用的特點，需要整體統籌規(guī)劃，才能最大程度地發(fā)揮任務保障能力；另外，隨著任務保障系統功能日益完善，任務演練數據隨之成倍增長，對訓練數據進行綜合處理與應用的能力需求也不斷提高。

傳統數據中心建設均基于單服務器部署，利用服務器本身的計算、存儲和網絡資源，為演練保障系統提供服務器獨占式運行服務。系統可靠性、擴展性較差；通常采用大型機進行計算處理，運維成本及人員要求較高。

目前，云數據中心及云平臺技術以得到了技術人員的廣泛論證、研究與實踐。文獻[1-3]提出了大數據時代數據中心建設需要注意的建設目標、建設方案選擇、數據安全、網絡架構及節(jié)能環(huán)保等事項；文獻[4-6]介紹了分布式計算平臺的建設及分布式服務架構的業(yè)務應用；文獻[7-9]介紹了虛擬化云平臺的建設及虛擬化服務架構的業(yè)務應用；文獻[10]介紹了災備系統的建設及運維管理；文獻[11]提出了依托云數據中心的企業(yè)異地協同研發(fā)的應用案例；文獻[12-14]介紹了云數據中心在地鐵、醫(yī)院、航天測控等領域的應用；文獻[15]梳理了國內外主要IT設備提供商的數據中心技術架構和解決方案。

1 分布式計算平臺

分布式計算平臺通過提供標準的應用程序接口(API)以及與平臺無關的多語言軟件開發(fā)套件，為各任務保障系統提供統一、高效、海量的數據處理服務接口，形成涵蓋實時業(yè)務數據高效處理、離線歷史數據深度挖掘及多場景業(yè)務數據服務能力，為任務保障各系統開展以實時數據為基礎的高效業(yè)務反應能力、以海量離線數據為依托的可靠輔助決策能力提供計算服務支撐。分布式計算平臺服務體系架構如圖1所示。

圖1 分布式計算平臺服務體系架構Fig.1 Service architecture of distributed computing platform

分布式計算平臺依托高速計算服務器、分布式對象存儲服務器、高速56 Gb/s InfiniBand網絡等基礎硬件，構建計算引擎、計算模型及開發(fā)平臺一站式計算服務體系。以實時計算平臺和離線計算平臺作為樞紐，深度整合數據開發(fā)工具、數據集成工具、數據處理工具，形成面向結構化、半結構化和非結構化數據處理服務支撐能力。分布式計算服務包括實時計算服務和離線集成服務2部分。

實時計算服務作為流式大數據實時分析平臺，通過搭建流式數據實時分析計算服務，規(guī)避底層流式數據處理邏輯的重復開發(fā)，提供涵蓋數據采集、數據開發(fā)、數據存儲、數據運維及監(jiān)控告警等完整的一站式流式數據實時處理分析服務，有效縮短全鏈路數據流時延、實時化計算邏輯、平攤計算成本，滿足流式大數據實時化分析需求。

實時計算集成服務以實時計算開發(fā)平臺為樞紐，深度整合數據集成工具及數據存儲工具，借助實時計算開發(fā)平臺集成多種SQL輔助功能，提供SQL語法檢查、智能提示及語法高亮顯示等功能，降低數據開發(fā)門檻，提高開發(fā)便捷性，打通從數據生產到數據消費全鏈路流式數據處理流程，完成數據生產到數據消費一站式實時計算服務平臺，為業(yè)務保障系統提供流式數據支撐，提升業(yè)務保障系統實時數據處理能力。

離線計算平臺采用分布式計算框架，通過統一的可視化建模開發(fā)平臺提供基于SQL，MapReduce，Graph，MPI等多種編程模型的建模設計、開發(fā)測試、優(yōu)化驗證及運行調度等功能，通過數據通道服務提供對來自各任務保障系統的異構數據源的高并發(fā)、高吞吐、持續(xù)穩(wěn)定的數據加載上傳服務。采用基于有向無環(huán)圖的多數據處理作業(yè)并行運行調度模式，實現對各任務保障系統的海量離線大數據的離線高效處理，并通過開放的、統一的編程接口，支持各業(yè)務系統通過Restful API方式對離線數據處理服務進行業(yè)務調用。構建面向多系統、多用戶協同分析、海量離線數據、多計算模型支持、多數據處理作業(yè)運行調度的離線計算基礎服務平臺，為各任務保障系統提供離線數據處理服務支撐。

離線計算平臺作為各任務保障系統離線計算的統一計算分析支撐平臺，面向結構化和非結構化離線數據，整合多種數據采集工具，通過提供圖形化計算工具，為各任務保障系統離線數據處理作業(yè)提供數據加載、數據處理開發(fā)及作業(yè)運行調度等全流程數據處理服務。對數據倉庫整合、數據通用處理、數據特征分析、數據共享服務、數據查詢應用、數據檢索應用及日志數據應用等業(yè)務應用提供離線數據處理基礎平臺支撐。

2 虛擬化云平臺

虛擬化云服務依托高速計算服務器、分布式對象存儲及高速萬兆光纖網絡等基礎硬件，通過計算虛擬化、網絡虛擬化及交互式控制服務，提供處理能力可彈性伸縮的、存儲容量可動態(tài)擴展的、網絡可靈活定制的、高可用高安全的虛擬計算環(huán)境。通過虛擬化云服務為各任務保障系統提供虛擬主機，主要包括CPU、內存等基礎計算組件以及操作系統、網絡、存儲等定制化組件，并通過鏡像、快照、塊存儲、部署集及彈性網卡等技術手段，實現高效存儲、靈活部署、業(yè)務可靠、快速備份、快速恢復的虛擬化云服務，進行各虛擬主機的統一運維管理。虛擬化云服務體系架構如圖2所示。

造成如此強烈的并購需求的主要原因，一是這些公司的儲量替代率已連續(xù)4年下降，可持續(xù)發(fā)展問題日益凸顯；二是近4年的低油價應對措施效果明顯，國際大石油公司的資產組合進一步優(yōu)化，適應低油價能力提升，特別是新技術的引入降低了運營成本，從而使得國際大石油公司重新具備并購優(yōu)質油氣資產的基礎。

圖2 虛擬化云服務體系架構Fig.2 Virtualized cloud service architecture

虛擬化云服務為各任務保障系統提供處理能力可彈性伸縮的計算服務，以簡單高效的方式進行虛擬主機快速創(chuàng)建、磁盤按需擴容、網絡靈活配置及快速備份恢復的能力，實現虛擬化云服務的高可用、強安全和彈性伸縮。主要功能包括虛擬主機實例、塊存儲服務、鏡像服務、快照服務、部署集服務及彈性網卡服務。

虛擬主機實例為虛擬化云服務對外提供的最小服務單位，功能等效于一臺物理主機，包括CPU、內存、操作系統、網絡及磁盤等基礎組件，按需為各任務保障系統提供相應的計算能力。提供對虛擬主機的管理，包括虛擬主機實例的查看、編輯、停止、重啟、刪除、配置變更、密碼管理及網絡配置等功能。

塊存儲服務為虛擬化云服務提供數據塊級別的隨機存儲服務，具備低延時、持久和高可靠的特性，滿足隨機讀寫及按需擴容的使用需求。采用3個副本的分布式存儲機制，為虛擬化云服務提供數據可靠保證，虛擬主機數據文件寫入磁盤會復制出3個副本，并將這些副本按一定策略存放在集群的不同存儲節(jié)點上，當有數據節(jié)點損壞或硬盤故障時，會自動進行副本復制，保證副本數據一致，實現虛擬主機數據文件可靠存儲。塊存儲服務主要功能包括磁盤創(chuàng)建、磁盤查看、磁盤回滾、磁盤屬性修改、磁盤掛載、磁盤分區(qū)及格式化、系統盤擴容及磁盤卸載。

鏡像是虛擬主機實例運行環(huán)境的模板，包括了操作系統信息、預裝的應用程序以及磁盤中的所有數據。鏡像服務提供了通用的公共鏡像和自定義鏡像，公共鏡像支持Windows，Linux和國產操作系統的主流版本。通過鏡像服務，可以進行虛擬主機的快速創(chuàng)建、一致性部署及備份。鏡像服務主要功能包括鏡像查看、鏡像復制、鏡像共享、鏡像導入、鏡像導出、鏡像刪除及鏡像自定義創(chuàng)建等。

快照為某時間點虛擬主機磁盤的數據拷貝，通過有計劃地對磁盤創(chuàng)建快照，可以實現運行于虛擬主機上的業(yè)務可持續(xù)運行。快照采用增量拷貝方式，只有2個快照之間數據發(fā)生變化時，數據才會被拷貝。快照服務支持自動快照策略制定，可以根據業(yè)務需求，配置自動創(chuàng)建快照的時間、重復日志及快照保留時間。快照可以作為其他磁盤基礎數據創(chuàng)建新的數據盤，還可以在磁盤數據發(fā)生錯誤時提供數據恢復能力。快照服務的主要功能包括快照創(chuàng)建、快照查看和快照刪除。

部署集服務為虛擬化云服務提供物理主機、機架及交換機感知能力，通過定制部署策略，提升業(yè)務可靠性和系統整體性能。部署集服務支持物理主機、機架及交換機3種部署粒度，提供盡量聚合、嚴格聚合、盡量分散及嚴格分散4種部署策略。為了避免物理主機、機架或交換機發(fā)生故障對業(yè)務造成的影響，部署集服務支持將相同應用的虛擬主機盡量部署在不同的物理主機、機架及交換機上。當多虛擬主機有較多網絡交互時，為了降低網絡訪問延時、提高網絡訪問帶寬，部署集服務支持將相同應用虛擬主機部署在同一交換機下。部署集服務主要功能包括部署集創(chuàng)建、部署集查看、部署集編輯及部署集刪除。

彈性網卡是一種可以附加到虛擬主機的虛擬網卡，通過彈性網卡服務可以實現多網卡配置、彈性網卡分離復用、彈性網卡安全準則配置，實現高可用集群搭建、低成本故障遷移及網絡精細化管理。彈性網卡服務支持為單個虛擬化云服務配置多個彈性網卡，實現管理數據和業(yè)務數據網絡傳輸隔離，并通過為每張彈性網卡配置精準安全準則，實現安全訪問控制。彈性網卡支持從一個虛擬主機分離并附加到另一臺虛擬主機上，實現業(yè)務流量快速遷移至備用實例，具備服務快速恢復能力。彈性網卡服務主要功能包括彈性網卡創(chuàng)建、彈性網卡便編輯、彈性網卡刪除、虛擬主機綁定、虛擬主機解綁及安全組配置等。

3 數據安全

采用軟件與硬件結合的方式，實現終端與服務器安全管理、分布式存儲及信息安全管理、分布式應用安全管理、網絡與運行平臺安全管理、運維審計管理、架構運行安全管理和備份容災等能力。數據安全存儲從層次上可分為數據集群存儲、數據多副本存儲和數據安全訪問3部分。數據安全服務體系架構如圖3所示。

圖3 數據安全服務體系架構Fig.3 Data security service architecture

① 數據集群存儲

為存儲資源建立分區(qū)的集群系統，配置統一的數據管理服務器群組，支持所轄分布式存儲服務器群組的并行存儲、分布式存儲以及備份恢復處理。數據服務器硬件通過統一網絡架構互聯，包括業(yè)務區(qū)和容災區(qū)，各個分區(qū)都具有宕機保護能力。管理節(jié)點具有高可用能力，采用冗余配置，提供存儲資源管理手段，支持數據訪問優(yōu)化策略、自動容災和備份歸檔，保證數據訪問服務不間斷運行。

② 數據多副本存儲

數據存儲安全指的是數據存入存儲系統情況下，在非自然災害或者人為條件下，數據不能丟失、不能損壞。采用分布式冗余架構，保證存儲系統的本地高可用；采用副本模式，關鍵數據可在場區(qū)內部進行多副本備份，保證一份數據進行3個副本存儲，而且不同的副本數據不保存在同一節(jié)點或者機柜，即使一份數據損壞或者丟失也不會影響數據完整性；采用異地災備系統，進行跨區(qū)的數據同步備份，保證即使本地數據中心完全損壞，數據依然可以大部分保留下來，繼續(xù)支撐各任務保障系統的正常運行。

③ 數據安全訪問

主要是按角色的、可審計的數據權限設計，解決訪問人員的權限邊界問題，非權限內人員不得訪問該數據。通過安全運維體系，將平臺的使用人員權限進行明確劃分，硬件維護人員只能對硬件進行開機、關機和更換操作；管理員只能管理人員賬號數據，為業(yè)務人員開立、注銷賬號以及更改賬戶的權限；系統維護人員只能管理系統數據，管理業(yè)務系統的啟動、關停和升級等。不同職責的人員只能訪問和管理自己權限內的數據。系統提供日志審計功能，可以針對訪問人員的行為進行審計，避免非法操作，保證對操作的可追溯性。

4 統一運維管控

通過統一運維管控系統為運維管理人員提供資源劃撥、硬件狀態(tài)監(jiān)控和環(huán)境監(jiān)控管理，實現對基礎資源服務、服務器設備及虛擬資源的統一監(jiān)控，對于監(jiān)控對象的資源使用情況、運行狀態(tài)進行監(jiān)測。當監(jiān)控對象出現故障時，統一運維管控系統可自動檢測出故障原因并以多種告警形式對運維人員進行及時故障告警，保證業(yè)務系統的正常運行。

統一運維管控系統自動生成運維報告，定期進行系統運行日志的收集、管理和分析，記錄系統運行狀況，通過階段性監(jiān)控、分析和總結，定時提供系統整體運行維護、性能及利用率等方面的系統運維分析報告。

5 結果對比與分析

進行數據中心云技術部署改造后，與原傳統部署方式的系統運維進行了對比，如表1所示。

通過云技術對數據中心進行改造后，各業(yè)務系統部署于虛擬化云平臺，數據處理軟件部署于分布式計算平臺。通過全局服務器資源統一分配機制，提高了硬件資源的利用率、簡化了資源擴展流程、節(jié)約了業(yè)務擴展成本；通過虛擬機高可用機制，自動屏蔽硬件設備故障對虛擬機的影響，降低了硬件故障恢復時間，提升了系統的可靠性和安全性；通過虛擬化平臺快照、鏡像等方式，提升了系統災備能力；通過多服務器并行處理機制，提高了數據處理能力，降低了大型機使用需求，節(jié)約了運維成本；通過云技術統一運維管理機制，節(jié)約了人力成本。

表1 數據中心改造前后對比

Tab.1 Comparison of data center before and after transformation

6 結束語

基于云技術的數據中心建設是一種新的信息系統整合模式，取代傳統數據中心根據各業(yè)務需求不同而部署的型號繁雜、功能各異的業(yè)務獨占式服務器架構。通過對硬件設備進行資源整合，構建具備統一運維管控能力的虛擬化、計算支撐等云平臺，不僅提高了硬件資源利用率、降低了資源擴展成本，而且提高了整個數據中心的可靠性、災備能力，降低了人員運維成本，在全新數據中心建設及老舊數據中心利舊改造方面，均能表現出良好的綜合處理能力及可持續(xù)擴展能力。