用虛擬化技術為勘探開發提供快速支持

馬平生,李 靖

(中國石化河南油田分公司信息中心,河南南陽473132)

用虛擬化技術為勘探開發提供快速支持

馬平生,李 靖

(中國石化河南油田分公司信息中心,河南南陽473132)

隨著近年來中國海外能源戰略的實施,中國石化海外兼并項目不斷增加,如何在不中斷海外項目正常運行的前提下,快速地將國外的勘探開發信息系統遷移到國內,并支持該業務的發展,是油田技術支撐單位急需解決的問題。針對這一情況,2009年河南油田信息中心利用虛擬化技術,對敘利亞項目勘探開發業務數據庫遷移的多個關鍵環節進行了綜合研究,提出了具體的虛擬化技術應用方案,較好地實現了敘利亞項目數據庫的快速遷移工作,為今后海外勘探開發業務中類似的問題提供了較好的解決方案。

虛擬化技術;數據同步;數據遷移;系統統計

隨著近年來中國海外能源戰略的實施,2008年12月15日,國務院正式批準中國石油化工集團公司全資收購加拿大的油氣公司 Tanganyika Oil在敘利亞擁有的三個區塊5個油田。

Tanganyika Oil是一個總部設在加拿大卡爾加里的石油和天然氣公司,資產主要位于敘利亞,其股票主要在多倫多證券交易所上市。根據中石化對Tanganyika Oil公司的收購協議,在收購完成以后,敘利亞油田的技術支持工作將由中石化國內的技術支持單位與 Tanganyika Oil公司的技術支持團隊共同承擔。

石油行業在一定意義上是依賴于信息而生存和發展的行業,是技術密集、信息密集、知識密集的重要行業。對于石油勘探開發業務,沒有地震信息,就不容易獲得地下的地質構造,也就談不上準確的儲量控制和科學的開發方案;沒有油田開發的動態信息,就無從采取有針對性的開發方案,調整相應的技術措施。因此,信息是石油工業寶貴的財富、重要的資源和基本的生產力。

如何在較短的時間內將 Tanganyika Oil的敘利亞項目數據庫遷移到國內的技術支持單位,并確保數據遷移期間 Tanganyika Oil技術支持中心各項信息服務不間斷,將是信息管理部門和技術支撐單位急需解決的問題。

1 勘探開發數據現狀

Tanganyika Oil技術支持中心的信息業務主要有:敘利亞油田生產日報數據的管理,物探數據(包括地震數據,測錄井數據)的管理,地質分析數據(包括巖心實物)的管理,Tanganyika Oil技術中心軟硬件系統的管理,以及 Tanganyika Oil中心的其它文檔資料管理等工作。

Tanganyika Oil技術支持中心的信息基礎設施主要包括網絡系統、服務器系統、存儲系統,以及在這些系統之上搭建的 FTP、文件服務、授權服務、終端服務、Mail、數據庫、防病毒、打印服務等基礎信息服務系統。

與國內普遍采用的數據庫技術不同,Tanganyika Oil技術支持中心并無綜合的勘探開發類數據庫,取而代之的是采取文件服務器的方式保存和共享勘探開發各類數據資料,而且,Tanganyika Oil技術支持中心與敘利亞大馬士革DUBLIN公司的數據資料交流和信息共享也主要是通過FTP服務器和郵件服務器系統作為基礎設施。

在G&G軟件應用方面,Tanganyika Oil技術支持中心的 G&G軟件系統,主要為微機版的地質建模、地震資料解釋和開發生產管理等軟件系統,其應用過程中的基礎數據、參數數據和成果數據資料(數據/表格/圖形)一般存放在本機,并按照不同的工作項目進行分類。同時,為確保數據安全,個人計算機中的數據文件每周都在文件服務器(User Shared drive)上進行復制備份。

TYK技術支持中心 G&G軟件系統的應用情況如表1所示。

表1 TYK技術支持中心 G&G軟件系統應用情況

目前,Tanganyika Oil技術支持中心為勘探開發數據的管理提供了兩種方式:一種是文件服務器方式 (有兩臺:Corporate Shared drive和 User Shared drive),另一種是FTP服務器方式。

相對于 FTP服務器方式,文件服務器方式是Tanganyika Oil技術支持中心最主要的數據管理和共享形式,存儲的勘探開發數據也最為完整(目前數據存儲量約800G)。但由于FTP服務器方式可以為遠離 Tanganyika Oil技術支持中心的業務人員提供數據訪問服務,因而,FTP服務器中規劃了與文件服務器(Corporate Shared drive)類似的目錄結構,存儲了與文件服務器對應的和敘利亞當前生產相關的勘探開發數據。這樣,文件服務器與FTP服務器的數據同步工作就由 Tanganyika Oil技術支持中心的數據錄入、管理人員進行維護和管理。

此外,為了避免 Tanganyika Oil技術支持中心工作數據的丟失和破壞,Tanganyika Oil技術支持中心的文件服務器User Shared drive主要用來存儲個人計算機中的備份信息,基本上是每人一個專屬目錄,別人一般不能打開。

文件服務器(Corporate Shared Drive)是 Tanganyika Oil技術支持中心最主要的數據管理和共享形式,因而,為了便于大家訪問和數據共享,Tanganyika Oil技術支持中心對文件服務系統的目錄進行了規范化管理。其中,文件服務器的一級目錄有17個,分別存儲了與系統管理、應用軟件、信息技術、人力資源、敘利亞油田、非洲石油公司等相關的數據。

2 系統架構設計

近年來,隨著多核系統、集群、網格甚至云計算技術的突飛猛進的發展,虛擬化(Virtualization)技術在油田勘探開發領域的應用優勢日益體現,虛擬化的概念也逐漸深入到人們日常的工作與生活中。

虛擬化是一個廣義的術語,在計算機方面通常是指計算元件在虛擬的基礎上而不是真實的基礎上運行。虛擬化技術可以擴大硬件的容量,簡化軟件的重新配置過程。CPU的虛擬化技術可以單CPU模擬多CPU并行,允許一個平臺同時運行多個操作系統,并且應用程序都可以在相互獨立的空間內運行而互不影響,從而顯著提高計算機的工作效率。

有了虛擬化技術,企業可以動態啟用虛擬服務器(又叫虛擬機),每個服務器實際上可以讓操作系統(以及在上面運行的任何應用程序)誤以為虛擬機就是實際硬件。運行多個虛擬機還可以充分發揮物理服務器的計算潛能,可以提高硬件資源的利用率,進行災難恢復,以及實現動態的資源部署和重配置,迅速應對數據中心不斷變化的需求。

現在,VMware的第四代虛擬架構(vSphere)將工業標準服務器和存儲虛擬化成了一個整體,聚合成一個動態的可集中管理的資源池,可使任何應用或操作系統保持持續優化和高可用狀態。它使得企業有能力去轉化、管理和優化他們的IT系統架構。

考慮到 Tanganyika Oil技術支持中心的服務器軟硬件系統和其它部分系統不能遷移到國內使用的狀況,為了滿足敘利亞生產管理和技術支持工作的需求,國內信息系統的建設就要充分利用虛擬化技術能夠迅速應對數據不斷變化需求的優勢,參照Tanganyika Oil技術支持中心服務器系統架構模式,選用x86體系架構的服務器產品構建虛擬化平臺,然后在此基礎上搭建其它應用,滿足河南油田海外勘探開發業務的需求。系統總體架構如圖1所示。

圖1 系統總體架構圖

3 虛擬化平臺部署

虛擬所能提供的優勢取決于客戶的目標、所選擇的特殊虛擬技術以及現有的IT基礎架構,并非所有的客戶都能夠從某一虛擬化解決方案中獲得同樣的利益。因此,VMware使用共享存儲的方式,并使用 VMFS格式的文件系統來執行虛擬化。VMFS是一個群集文件系統,它允許多個物理服務器同時讀取或寫入至相同的存儲設備。使用VMFS,可以有效地將虛擬機的整體狀態存儲在中心位置,從而極大地簡化了虛擬機的置備。此外,它還可以使基于虛擬化的分布式基礎架構服務,例如VMware VMotion、分布式資源調度程序(DRS)和高可用性(HA)等,在 ESX上實現跨群集操作。 DRS自動分配資源的過程如圖2所示。

圖2 DRS自動分配資源過程

DRS和VMotion是服務器虛擬化架構中極其重要的功能,當虛擬機負載增大時,VMwareDRS會通過在資源池中的物理服務器之間重新分發虛擬機來自動分配額外的資源。同時讓 IT部門能夠集中、全面地控制硬件執行零停機服務器維護。

為了能夠實現DRS功能的正常實現,需要將所有ESX服務器全部添加綁定了同一SAN光纖存儲,并添加至同一虛擬服務器群組中,確保實現DRS功能的前提條件[1]。其次,在安裝和配置 ESX服務器時,均使用服務器中的第一塊網卡進行控制,同時將服務器的第二塊網卡設置為專門的"遷移"端口,保證所有虛擬服務器進行自動遷移時全部采用第二塊網卡[2],這樣就可以十分有效的避免當進行大規模虛擬服務器遷移時造成的網絡瓶頸,影響到虛擬服務器的網絡傳輸性能。

此外,為了保證資源利用率波動瞬間很大的服務器在特定時段不會出現數據擁堵,同時不影響其他服務的正常運行,為了保證一直占用較大資源且波動很小的服務器穩定運行,可以在服務器群組中分配幾個資源池,將相似的虛擬服務器放入到同一資源池中。對于服務占用資源一直均較大,且資源波動較大的服務,則可以設置資源池命名為SR3,將SR3的共享值設置為"高",這樣無論在該資源池的服務器如何改變資源利用率,均可以分配到較高的資源。

4 數據同步及遷移

石油勘探開發工作涉及的數據量非常大,有些運算處理的文件數據可以達到數個 GB,因此,在跨國網絡環境中每天定時進行文件拷貝是很困難的。這是因為,受跨國Internet帶寬的限制,目前國內機構與國外的數據傳輸速度只能做到50～100kb/s,這對于具有數個 GB的文件來說,網絡傳輸時間就太長了(數十個小時)。并且,對于跨國的網絡通信來說,Internet并不總能為一個網絡傳輸維持數十個小時的連接。于是,兩個分支機構數據中心的同步系統不得不反復的重傳,其結果可想而知。

但對敘利亞油田技術支持業務數據分析發現,盡管每天操作處理的數據量很大,但是,許多大的數據文件(數 GB)中只有部分內容是變化的。這就提示我們,如果能夠只更新變化的數據,就能在目前的國際網絡環境中,較好解決這個問題。基于這個思路,在分析敘利亞油田數據中心信息系統的基礎上成功搭建了基于分布式文件系統(DFS,Distributed File System)[3]的跨國公司分支機構之間的文件同步系統。創建的DFS命名空間如圖3所示。

圖3 創建的DFS命名空間

其中:根路徑的名稱為shared,命名空間的路徑為\studyshared。此類型命名空間是基于域的命名空間,因為它以域名開頭(例如\study)。文件夾是被添加到命名空間的文件層次結構。文件夾目標是與某個文件夾關聯并存儲數據和內容的UNC路徑。在圖3中,名為shared的文件夾包含兩個文件夾目標,一個位于加拿大,一個位于國內。于是,對于瀏覽\studyshared的用戶,系統將根據用戶當前所處的位置,透明地將訪問重定向到共享文件夾\studyfilesyriashared或\studttshwzxshared。

數據遷移與同步是一項系統性工程,除了文件服務器和FTP服務器中的靜態文件數據完整拷貝之外,關鍵的計算機或服務器中的數據(包括系統、軟件和業務數據等)遷移也是需要考慮遷移的內容之一。

此外,對于目前授權使用的勘探開發專業軟件的遷移,由于這些軟件的授權訪問是通過一臺部署在網絡中的授權服務器來實現的,所以,為了兼顧基于硬件看門狗的軟件授權機制,在進行服務器遷移時,也應參照 Tanganyika Oil技術支持中心的運行模式,將軟件授權服務部署在一臺設置了USB端口遷移的虛擬服務器上,實現對OFM、Petrel RE、E-clipse、SeisWare、Geographix、Prizm 等軟件的授權服務。

5 認識與結論

通過將物理服務器群、存儲和網絡的計算資源聚合為邏輯資源池,可實現比個體物理資源小得多或大得多的虛擬資源,這意味著可以在不改變物理資源配置的情況下,進行規模調整,從而可以最大限度地滿足不斷變化的業務需求。

目前,按照以上遷移方案,已經成功地實現了敘利亞項目數據庫的遷移工作。從一年多的實際運行看,無論系統的架構設計還是虛擬化平臺的部署,以及新建系統與原有系統之間的數據同步,都驗證了方案的可行性。此外,該方案的實際實施,也為油田企業的數據中心建設提供了充分的理論依據。

[1] 張巍著.企業虛擬化實戰(VMware篇)[M].北京:機械工業出版社,2009:350-370.

[2] 羅金平.存儲區域網絡中的 ISCSI、IFCP和 FCIP協議[M].北京:中國電力出版社,2003:160-180.

[3] 王海濤.深入解析 Windows Server2008[M].北京:清華大學出版社,2009:756-790.

編輯:劉洪樹

TE19

A

2010-10-06;改回日期:2010-11-11

馬平生,高級工程師,1961年生,理學碩士,現從事企業信息化管理工作。

1673-8217(2011)01-0088-04