淺析軟件定義存儲在油氣行業(yè)的應(yīng)用

張春生，馬　楠，隋永剛

（1.中國人民大學(xué)，北京 100872；2.中國石油規(guī)劃總院，北京 100083）

淺析軟件定義存儲在油氣行業(yè)的應(yīng)用

張春生1，2，馬楠2，隋永剛2

（1.中國人民大學(xué)，北京 100872；2.中國石油規(guī)劃總院，北京 100083）

為解決油氣行業(yè)應(yīng)用高性能計算及大規(guī)模數(shù)據(jù)分析導(dǎo)致的傳統(tǒng)存儲系統(tǒng)性能瓶頸，在介紹軟件定義存儲的含義及特點的基礎(chǔ)上，從油氣公司物聯(lián)網(wǎng)、ERP應(yīng)用集成、云、大數(shù)據(jù)的建設(shè)以及業(yè)務(wù)發(fā)展的角度對存儲的現(xiàn)狀及軟件定義存儲的需求進行了分析，并對軟件定義存儲在油氣行業(yè)的應(yīng)用模式進行了探討并給出相關(guān)建議。

油氣行業(yè)；軟件定義存儲；閃存；IOPS；存儲虛擬化

0　引言

云計算、大數(shù)據(jù)、內(nèi)存計算、移動互聯(lián)等技術(shù)的發(fā)展改變了應(yīng)用程序的交付方式，大大提高了系統(tǒng)的計算性能，使得用戶對OLTP、OLAP功能的需求以及對系統(tǒng)IOPS的要求不斷提高，為傳統(tǒng)的存儲技術(shù)帶來了挑戰(zhàn)。自20世紀80年代以來CPU和基于硬盤的存儲系統(tǒng)在性能上的差距以指數(shù)級逐年提高［1］。為滿足應(yīng)用程序?qū)Ω逫/O性能的需要，IT專業(yè)人員通過使用高速緩存、磁盤陣列方案和智能固件等方法來彌補這一差距，但傳統(tǒng)硬盤（HDD）存儲系統(tǒng)仍難以滿足現(xiàn)代應(yīng)用程序的要求。尤其在油氣行業(yè)，高密度采集已經(jīng)成為油氣勘探整個趨勢，地質(zhì)勘探已經(jīng)進入了大數(shù)據(jù)時代，勘探公司的在線地震數(shù)據(jù)達到PB級，高性能計算HPC集群在地震解釋方面的應(yīng)用更凸顯了底層存儲的性能缺陷?！笆濉逼陂g油氣公司物聯(lián)網(wǎng)、移動應(yīng)用以及ERP應(yīng)用集成建設(shè)持續(xù)推進將產(chǎn)生海量數(shù)據(jù)，同時云的建設(shè)極大提高IT資源靈活部署能力和數(shù)據(jù)計算能力，對底層存儲架構(gòu)的高效性、可擴展性及智能性提出更高的要求。

軟件定義存儲為基于容量的存儲提供了虛擬化和自動化，對內(nèi)部磁盤、閃存系統(tǒng)和外部存儲系統(tǒng)等來自不同地點的物理存儲容量進行聯(lián)邦式管理，通過全面的企業(yè)級功能支持高性能和數(shù)據(jù)密集型工作負載，結(jié)合閃存的高I/O性能以及硬盤智能分層技術(shù)能夠大大提高系統(tǒng)性能［2］。油氣公司開始通過部署軟件定義存儲來解決數(shù)據(jù)量激增和存儲架構(gòu)靈活性的問題。

1　軟件定義存儲概述

1.1軟件定義存儲含義

數(shù)據(jù)中心存儲架構(gòu)從最初的為滿足關(guān)鍵系統(tǒng)的性能與容量需求的豎井式存儲架構(gòu)，發(fā)展到以虛擬化架構(gòu)來整合數(shù)據(jù)中心的存儲資源，提供按需的存儲服務(wù)和自動化運維，并進一步向存儲系統(tǒng)的智能化、敏捷化演進。近年來，軟件定義網(wǎng)絡(luò)、軟件定義數(shù)據(jù)中心等新技術(shù)革新了基礎(chǔ)設(shè)施架構(gòu)，同樣軟件定義的理念被引入到存儲領(lǐng)域，軟件定義存儲架構(gòu)是存儲虛擬化后的進一步發(fā)展［3］。

軟件定義存儲（Software Defined Storage，SDS）基于存儲的虛擬化，將存儲應(yīng)用程序移出每個陣列控制器并移進存儲虛擬機管理程序或者存儲虛擬化服務(wù)器，實現(xiàn)各種存儲資源的軟件定義，以服務(wù)的形式提供給應(yīng)用，滿足應(yīng)用按需自動化使用存儲的需求［4］。從軟件定義存儲的含義可以看出，其以存儲虛擬化為基礎(chǔ)向存儲智能化有了進一步的發(fā)展。存儲虛擬化一般只能在專門的硬件設(shè)備上使用，很多量身定做的設(shè)備才能進行存儲虛擬化，而軟件定義存儲則沒有設(shè)備限制。軟件定義的存儲是現(xiàn)有操作系統(tǒng)和管理軟件的結(jié)合，能夠完整地實現(xiàn)用戶對存儲系統(tǒng)的部署、管理、監(jiān)控、調(diào)整等多個要求，為存儲系統(tǒng)帶來靈活、自由和高可用等特點。其優(yōu)點主要包括：①形成存儲資源池，采用低成本的商用存儲硬件，降低采購成本；②可線性擴展的容量和性能，應(yīng)用閃存技術(shù)最高可達數(shù)百萬IOPS；③彈性基礎(chǔ)架構(gòu)，高可用和安全性，通過跨服務(wù)器的數(shù)據(jù)冗余機制，保障了多臺服務(wù)器同時故障的情況下，數(shù)據(jù)仍然可讀寫、不丟失；④具有高度自動化，易于配置和管理，提供基于服務(wù)的基礎(chǔ)設(shè)施分配，按不同應(yīng)用特征優(yōu)化工作負載和存儲資源。

1.2軟件定義存儲相關(guān)產(chǎn)品

軟件定義存儲產(chǎn)品的廠商排名里既有傳統(tǒng)的硬件供應(yīng)商，如EMC、IBM、HP等，也有新興的初創(chuàng)公司，如Nexenta、Tintri、Solidfire等。以軟件定義存儲技術(shù)為代表的新一代存儲革新需求一方面讓老牌企業(yè)正在走出技術(shù)鎖定的老路，另一方面也使新興企業(yè)憑借開放的創(chuàng)新切入新需求市場。

由于不像軟件定義網(wǎng)絡(luò)那樣較早地建立起了業(yè)界標準，當前各廠商在軟件定義存儲上的技術(shù)發(fā)展表現(xiàn)各異。供應(yīng)商的軟件定義存儲技術(shù)實現(xiàn)可以歸納為數(shù)據(jù)保持、數(shù)據(jù)服務(wù)和數(shù)據(jù)消費三層。數(shù)據(jù)保持層是指存儲媒介對數(shù)據(jù)存儲方法的優(yōu)化，如RAID、糾刪碼等；數(shù)據(jù)服務(wù)層是指存儲媒介對數(shù)據(jù)活動的優(yōu)化，如重刪、備份、壓縮、加密等；數(shù)據(jù)消費層是指數(shù)據(jù)的訪問接口，如塊存儲、文件存儲、對象存儲、Hadoop系統(tǒng)等。

軟件定義存儲要求數(shù)據(jù)控制與管理的解耦表現(xiàn)為這三層服務(wù)的獨立，技術(shù)實現(xiàn)不存在相互依賴關(guān)系。由于經(jīng)過了虛擬化和抽象，數(shù)據(jù)服務(wù)得以從物理存儲設(shè)備中分離出來，可以按需動態(tài)創(chuàng)建，具有很大的靈活性。同時創(chuàng)建的數(shù)據(jù)服務(wù)可以根據(jù)軟件定義存儲控制器統(tǒng)一調(diào)度，運行在任何一個合適的服務(wù)器或存儲設(shè)備上。

2　油氣行業(yè)存儲現(xiàn)狀及需求分析

油氣行業(yè)的海量數(shù)據(jù)不只存在于勘探領(lǐng)域，隨著業(yè)務(wù)的發(fā)展以及信息系統(tǒng)的深化應(yīng)用，煉油與化工、銷售、天然氣與管道等領(lǐng)域的數(shù)據(jù)量也在指數(shù)級增長。油氣行業(yè)的信息系統(tǒng)多采用SAN存儲架構(gòu)，少數(shù)采用NAS存儲架構(gòu)，存儲設(shè)備多為磁盤陣列和磁帶庫。隨著業(yè)務(wù)的發(fā)展，傳統(tǒng)的FC SAN存儲數(shù)量多、組網(wǎng)復(fù)雜、成本高、存儲功能單一等弊端逐漸顯現(xiàn)。一方面，采購的國外供應(yīng)商產(chǎn)品經(jīng)常出現(xiàn)非標準機柜需要改造數(shù)據(jù)中心或FC網(wǎng)絡(luò)的問題，且高端存儲采購周期較長，維護周期較長。其次還存在部分高端存儲系統(tǒng)橫向擴展能力差，支持新業(yè)務(wù)的靈活度差，在業(yè)務(wù)量激增的大環(huán)境下存儲容量和性能的提升時間慢且花費昂貴等問題。

2.1物聯(lián)網(wǎng)、ERP應(yīng)用集成建設(shè)的需求

物聯(lián)網(wǎng)項目在油氣公司各業(yè)務(wù)領(lǐng)域正在有序開展穩(wěn)步推進，建立起包括感知層、傳輸層和數(shù)據(jù)管理平臺層的總體架構(gòu)，部署了RFID等物聯(lián)設(shè)備，實現(xiàn)現(xiàn)場生產(chǎn)數(shù)據(jù)的自動采集、生產(chǎn)運行的實時監(jiān)控。物聯(lián)網(wǎng)系統(tǒng)通過傳感器、視頻、移動終端、電子標簽等數(shù)據(jù)采集工具實時采集設(shè)備狀態(tài)、生產(chǎn)運行、人員、安全、監(jiān)控、物流和銷售等數(shù)據(jù)，通過有線和無線的方式傳輸?shù)綌?shù)據(jù)管理平臺，為各業(yè)務(wù)領(lǐng)域的相關(guān)系統(tǒng)應(yīng)用提供數(shù)據(jù)。ERP應(yīng)用集成系統(tǒng)構(gòu)建了統(tǒng)一、穩(wěn)定、可靠的數(shù)據(jù)共享平臺，將各業(yè)務(wù)板塊分散的信息系統(tǒng)數(shù)據(jù)匯聚在一起，形成了體積龐大的生產(chǎn)經(jīng)營數(shù)據(jù)集合。物聯(lián)網(wǎng)和ERP應(yīng)用集成項目的建設(shè)導(dǎo)致企業(yè)數(shù)據(jù)以前所未有的速度迅猛增長，數(shù)據(jù)的存放、管理、優(yōu)化、利用成為難題，傳統(tǒng)的存儲架構(gòu)在靈活可擴展和自動化程度方面難以滿足實際需求。

2.2建設(shè)云的需求

石油企業(yè)的云平臺也在不斷完善提升，已經(jīng)形成全局性云管理平臺和共享式資源池，同時構(gòu)建互為備份的“兩地三中心”體系，能夠滿足各業(yè)務(wù)系統(tǒng)對大量計算資源以及應(yīng)用靈活部署的需求。在云環(huán)境中IT資源以服務(wù)的形式提供，要求存儲架構(gòu)具備足夠的靈活性和可擴展性以應(yīng)對動態(tài)變化的隨機環(huán)境，在不顯著增加數(shù)據(jù)中心占地面積的前提下滿足日益增長的存儲架構(gòu)需求，同時應(yīng)具備提供隨需變化的服務(wù)等級、精確控制、快速部署和調(diào)整存儲資源的能力。

2.3部署大數(shù)據(jù)的需求

為了應(yīng)對物聯(lián)網(wǎng)系統(tǒng)產(chǎn)生的海量傳感數(shù)據(jù)、各業(yè)務(wù)系統(tǒng)積累的巨量生產(chǎn)經(jīng)營歷史數(shù)據(jù)，油氣行業(yè)將在“十三五”期間部署大數(shù)據(jù)項目，挖掘數(shù)據(jù)中的隱性知識、潛在規(guī)律以及背后的商業(yè)機會。但是大數(shù)據(jù)也對現(xiàn)有的基礎(chǔ)設(shè)施，對各種資源包括計算、存儲和網(wǎng)絡(luò)都提出了更高的需求，特別是數(shù)據(jù)存儲需要變得更為靈活、富有彈性，能夠適應(yīng)大數(shù)據(jù)分析對I/O的動態(tài)需求。

2.4業(yè)務(wù)發(fā)展的需求

由于近年業(yè)務(wù)規(guī)模發(fā)展迅猛，油氣公司每年均需要購置大量的存儲空間以存放地震及其他生產(chǎn)數(shù)據(jù)。由于原始數(shù)據(jù)量大、計算密集，運算過程又產(chǎn)生更多“中間數(shù)據(jù)”，因此需要高吞吐、高可靠、高擴展能力的海量并行存儲系統(tǒng)以及高性能計算HPC集群系統(tǒng)。為提高HPC計算集群系統(tǒng)的CPU利用率，企業(yè)加大應(yīng)用作業(yè)密度，因此在作業(yè)處理高峰時段，出現(xiàn)了數(shù)據(jù)讀寫較為緩慢、處理系統(tǒng)效率降低的現(xiàn)象，并為數(shù)據(jù)中心節(jié)能降耗增加壓力。

3　軟件定義存儲在油氣行業(yè)的應(yīng)用模式

軟件定義存儲的解決方案一般為包括軟件和硬件兩部分，其中軟件為分布式文件系統(tǒng)，對外提供統(tǒng)一的、標準的存儲服務(wù)。存儲硬件系統(tǒng)主要由大容量、低成本的存儲陣列與閃存陣列組成。方案將元數(shù)據(jù)與生產(chǎn)數(shù)據(jù)分離，全閃存陣列承擔(dān)關(guān)鍵業(yè)務(wù)負載，存放元數(shù)據(jù)，海量的生產(chǎn)數(shù)據(jù)或者冷數(shù)據(jù)則存儲在磁盤陣列上。軟件定義存儲系統(tǒng)所有組件都是松耦合的關(guān)系，交換、存儲等不同模塊可以自由組合，提高存儲架構(gòu)的伸縮性。解決方案以軟件形式實現(xiàn)并發(fā)存儲訪問、數(shù)據(jù)的分層以及數(shù)據(jù)在不同層級間的遷移，具備靈活的配置和功能調(diào)整能力，實現(xiàn)針對客戶的具體需求進行調(diào)整和優(yōu)化。軟件定義存儲在油氣行業(yè)的應(yīng)用可以包括以下幾點。

3.1推動存儲虛擬化向軟件定義存儲轉(zhuǎn)變

云技術(shù)平臺以及災(zāi)難恢復(fù)系統(tǒng)均采用基于存儲設(shè)備的虛擬化技術(shù)構(gòu)建了存儲虛擬化資源池。而實現(xiàn)存儲資源的有效共享，降低使用成本，進一步提升存儲系統(tǒng)的智能化，實現(xiàn)存儲容量、性能、QoS（服務(wù)質(zhì)量，Quality of Service）等服務(wù)的按需供給，則需要應(yīng)用軟件定義存儲技術(shù)對存儲資源進行全面管理。通過軟件定義存儲簡化網(wǎng)絡(luò)和硬件的復(fù)雜度，降低采購和維護成本，通過分布式存儲實現(xiàn)成本更低的安全容災(zāi)。

3.2利用閃存推動存儲智能分層，提升系統(tǒng)性能

依據(jù)企業(yè)業(yè)務(wù)現(xiàn)狀，運用存儲智能分層技術(shù)設(shè)置分層策略，構(gòu)造高效的存儲系統(tǒng)。在存儲Tier1層應(yīng)用閃存，負責(zé)核心業(yè)務(wù)數(shù)據(jù)存儲；Tier2層為普通存儲介質(zhì)，負責(zé)日常數(shù)據(jù)或者冷數(shù)據(jù)存儲。首先將熱數(shù)據(jù)寫入Tier1層，然后等待數(shù)據(jù)稍冷數(shù)據(jù)會被遷移到Tier2層。通過智能分層和閃存技術(shù)實現(xiàn)多種存儲設(shè)備的優(yōu)化應(yīng)用，提升信息系統(tǒng)性能，降低硬件成本。

3.3將閃存利用作為數(shù)據(jù)中心降低能耗的途徑之一

油氣公司在全球擁有數(shù)十個數(shù)據(jù)中心，每年為全球各地的數(shù)據(jù)中心支付電費數(shù)額已十分驚人，數(shù)據(jù)中心的節(jié)能降耗成為信息化治理的重要工作。閃存除了具有高效的讀寫性能，而且不像磁盤那樣轉(zhuǎn)動，不會產(chǎn)生摩擦，本身就比較節(jié)能。閃存沒有機械部件，可以成倍地傳送數(shù)據(jù)，節(jié)約了機架磁盤，數(shù)據(jù)中心可節(jié)省更多的空間可用于CPU數(shù)據(jù)處理。利用閃存提高數(shù)據(jù)存儲效率，縮短服務(wù)器運行時間，促進數(shù)據(jù)中心降低能耗。

4　結(jié)語

軟件定義存儲將各種存儲資源以服務(wù)的形式提供給應(yīng)用，實現(xiàn)對存儲系統(tǒng)的部署、管理、監(jiān)控、調(diào)整，為油氣行業(yè)夯實IaaS建設(shè)、推進PaaS建設(shè)并實現(xiàn)靈活的SaaS部署，支持上層各業(yè)務(wù)領(lǐng)域的商務(wù)智能、深度分析以及上下游產(chǎn)業(yè)鏈整體優(yōu)化提供了支撐。油氣行業(yè)應(yīng)基于存儲虛擬化資源池向軟件定義存儲轉(zhuǎn)變，進一步提升存儲系統(tǒng)的靈活性和智能化水平。將軟件定義存儲的部署納入云管理平臺進行統(tǒng)一規(guī)劃、統(tǒng)一設(shè)計，制定軟硬件技術(shù)標準、接口標準，實現(xiàn)集團級、區(qū)域級與地區(qū)公司級數(shù)據(jù)中心存儲資源的共享及全局范圍的資源優(yōu)化配置。

主要參考文獻

［1］陸游游，舒繼武.閃存存儲系統(tǒng)綜述［J］.計算機研究與發(fā)展，2013，50 （1）：49-59.

［2］詹明非.軟件定義存儲技術(shù)及其應(yīng)用研究［J］.電信技術(shù)，2014（12）：30-32.

［3］毛健彪，韓彪，孫志剛，等.支持高效管理的軟件定義DCN控制架構(gòu)［J］.北京郵電大學(xué)學(xué)報，2015，38（5）：109-112，117.

［4］孫振正，龔靖，段勇，等.面向下一代數(shù)據(jù)中心的軟件定義存儲技術(shù)研究［J］.電信科學(xué)，2014，30（1）：39-43.

10.3969/j.issn.1673-0194.2016.11.103

TP309.3

A

1673-0194（2016）11-0172-03

2016-04-26

張春生（1982-），男，河北雄縣人，工程師，博士，主要研究方向：油氣行業(yè)信息技術(shù)應(yīng)用、規(guī)劃。