油田企業高性能數據庫云平臺建設探索

文 | 何作峰 青海油田公司檔案信息管理部

建設背景

青海油田是我國最早開發的油田之一，是青海、西藏兩省區重要的產油、供油基地。近年來，隨著油田公司管理的進步及技術的不斷發展，精細化生產管理，提升生產效率，提高效益，安全生產，綠色低碳，成為指導實際工作的目標。作為生產單位，油田總部及下屬廠站的生產設計、建設、運維及管理的要求也不斷提升。比如，近年來，廠站已經由傳統的人工作業型單位，逐漸向自動化，智能化，聯網化不斷邁進，與此同時，總部及廠站客戶的諸多困擾也隨之而來，如系統各自擁有獨立的硬件設備和軟件，造成資源浪費，使用效率低下及管理困難。更進一步，由此帶來的信息孤島現象，系統數據共享困難，大量數據無法綜合分析，對于總部與廠站各部門協同工作，實現管理系統與控制一體化造成了很大障礙，這必將對廠站實現其管理和效益目標造成影響。而作為總部，隨著管理層對油田公司及各級單位業務掌控能力，管理能力要求的不斷提升，對以往只管人事組織，不管生產細節，只管總量提升，不重效率提升的傳統管理模式提出了新的要求。以上各項業務層面的需求，反映到信息化層面所對應的課題就是怎樣對油田公司及下級生產單位的核心數據資產進行統一收集、統一管理管理、維護和深化綜合利用。從外部同業情況來看, 隨著“數字油田”等新的石化行業信息化理念被普遍接受，很多大型石油石化企業已經發展到了一切決策由信息系統先說話的地步，全面數字化已經成為各石油石化企業的重要戰略舉措之一。

綜上所述，云計算平臺作為解決上述問題挑戰，實現未來油田競爭力全面提升的重要實現手段，已經成為大家的共識，云計算作為目前IT界最為熱門的技術，以其超大規模、虛擬化、高可靠性、高通用性、按需服務、費用低廉的優勢與特性為油田企業的IT基礎設施建設提供了全新的思路。

由于企業的數據信息集中在“云”中，以數據整合為核心的數據云計算平臺，是兼顧了實施速度，技術難度和價值體現的平衡選擇，可以幫助青海油田迅速找到建設“抓手”，幫助青海油田滿足“數據到信息，信息到知識，知識到智慧”的全面提升，實現速贏。

建設目標與需求分析

根據青海油田的需求情況，高性能云計算數據庫平臺建設主要實現以下業務目標：

1. 實現油田生產及主要管理系統數據整合，提高整體硬件利用率，實現統一管理，消除信息孤島，實現數據共享，提升精細化管理，協同工作水平，為提升采收率等業務目標服務。

2. 消除或降低各種IT系統硬件和軟件故障對業務應用運行的影響，提高生產系統的用戶體驗和滿意度。

3. 滿足公司I T建設的長遠目標，提升IT系統在不斷變化的業務需求面前的適應能力和快速任務構建能力，為數字化，智能化油田的建設打下堅實的技術基礎。

據筆者所知，目前國際和國內的大多數石油企業都在籌劃涉及自己的數據中心和云計算中心，以提高企業應對市場變化的競爭力，使企業具備敏捷的市場洞察力和適應能力。

基于上述業務目標，筆者通過研究認為高性能數據庫云平臺的需求具體表現在以下幾點：高效的數據整合、處理能力及強大的存儲能力；安全可靠的運行環境；便捷的維護管理；同時兼顧綠色節約建設理念，下面分別予以闡述。

1. 高效的數據處理和數據庫整合能力

目前油田生產管理，后臺管理財務等系統應用中對數據的訪問存在不同的訪問特點，既有不間斷地數據采集業務，也有由用戶發起的基于生產數據的大量計算分析匯總業務。而在傳統三層架構或單純服務器集群架構下，服務器的CPU即使滿足計算要求，即使采用最好的服務器搭配最好的存儲陣列，在大數據量的應用下，數據的讀取、響應性能也很難得到提升，進行數據處理時，SAN光纖通道帶寬等限制由于存儲磁盤帶寬限制或者存儲網絡端口限制，無法提供足夠的輸入輸出帶寬吞吐量或傳輸速率，存儲到服務器主機的瓶頸問題凸顯，最終導致計算分析結果響應時間非常慢。數據庫平臺的數據處理效率提升需要利用軟硬件相結合，主機、存儲以及存儲網絡相結合的一體化云計算解決方案，能夠有效突破傳統架構下的吞吐量及傳輸瓶頸，針對不同業務系統的數據處理要求，滿足系統性能要求。

2. 彈性的擴展能力

目前的生產，管理應用數據庫中，任何局部的改動，都將影響所有應用，顯然這種牽一發而動全身的系統架構對于系統的運維管理和擴展性都有著非常不利的影響。提高數據庫平臺系統的擴展性，并適應未來業務規模和用戶規模不斷增長的挑戰，是對系統可擴展性提出的要求。目前已經建立的生產系統，財務系統和OA等應用系統包括應用層和數據庫層，通常，應用層的擴展性比較容易實現，而數據庫層的擴展性受最初架構設計的影響非常大，好的數據庫層設計能夠在業務擴張和用戶規模增長過程中，以較低的成本和風險對數據庫進行擴容和升級。尤其是對于未來3-5年建設多個數據庫，多表的訪問、檢索和查詢井噴式增長的情況下，采用數據庫云平臺能夠快速有效地搭建數據庫，迅速支撐應用層的需求，從而滿足業務系統的迅猛增長要求。

3. 強大的存儲能力

數據庫平臺需要的存儲應該具備海量容量和智能存儲功能。數據處理和數值計算時，前提條件就是需要有足夠的硬盤空間存儲所需的非結構化數據和結構化數據，非結構化數據包括地質數據，測井曲線數據等，結構化數據則包括井屬性數據、油水井生產日周月數據及歷史數據等。隨著生產實際需求和對準確性和實時性的要求越來越高，高性能數據庫云平臺需要更大程度上提高存儲容量，且保證存儲智能化，防止存儲成為系統訪問中的瓶頸。

4. 高可用運行環境

數據庫平臺需要運行在安全性極高的環境中，必須考慮各種可能的故障或災難對系統持續運行的影響。該系統在數據庫、存儲、網絡，以及備份、電源等各個方面均應該滿足穩定型、可靠性需求。云環境需要能夠提供完全的數據庫訪問和對于出現問題時無縫的平滑過渡，不間斷的數據庫操作。

5. 便捷的維護管理

基于自動和自助式的維護管理方式，數據庫云平臺需要具有利用簡單直觀的維護管理工具來管理整個計算系統的能力，不僅能監控整個系統的軟硬件運行狀態，而且還可提供故障預警功能，當出現故障點時（如溫度異常、風扇停止轉動等），可以及時提醒系統管理員進行處理，以避免或減少系統故障和由其引起的數據損失；此外，系統還需要提供多種聯機技術支持，在對內存和存儲進行自動管理的同時，還具有數據庫性能自我診斷、自動糾錯和自動調整優化的能力，以減輕系統維護人員的工作強度、降低整體維護成本。

6. 綠色節約建設

不僅是為了響應上級主管部門的號召，也是為了更好的在前期建設和后期運營過程中避免傳統建設模式帶來的總體投資成本高，實施時間長，占地面積大，制冷及電力消費巨大等弊病。數據庫云平臺的構建要兼顧省地，省電，快速的建設原則，并以此為指導選取相應的技術和產品。

數據庫云平臺參考架構

圖1. 高性能數據庫云平臺整體系統架構圖

筆者探討構建的云計算平臺是為了油田企業構建，屬于企業私有云。從系統架構圖上可以反映出，云計算平臺方案重點在于數據庫云化，原因在于：

1、企業內部數據最為關鍵，不能發生錯誤和丟失，對于高性能和高可用性要求更高，對服務品質（SLA）的要求也會不同，這就要求不同的基礎架構提供支持，因此數據庫整體的硬件配置往往會高于其他部分的硬件配置

2、數據庫基礎架構相對穩定，即便是隨著工作負載的增加而彈性擴展，往往也是靠橫向節點的增加和縱向硬件擴展同時實現。

3、數據庫操作是I/O密集型，對于網絡帶寬要求的比較高。

4、數據庫由于依靠數據文件存儲數據，對存儲的可靠性，可用性和容量要求更高。

5、應用往往和業務相關性強，特別是下屬單位自用的應用，獨立性強，進行云化集中困難很大；而數據庫層面相對技術性強而業務性較弱，標準性高，組件化程度高，容易被我們的技術部門掌控，容易體現成果，易實現云化部署。

根據青海油田的需求特點，數據庫云平臺向上可以支撐未來應用層面深化云計算建設；向下，可以對下屬各級單位的建設起到引領、示范作用，還能夠很好的兼顧下級單位數據集中災備需求。

圖2. 數據庫云平臺邏輯架構圖

數據庫云計算平臺整體技術架構包括十個部分，合并來說有九個主要模塊：

1. 云基礎平臺：包括數據庫服務器，網絡，存儲，操作系統等基礎性組件。作為支撐上層其他模塊的基礎，需要考慮基礎平臺硬件的構建要符合幾個原則：

a) “均衡性”，即其硬件設計各部分不能對數據庫性能發揮產生任何硬的瓶頸，如網絡帶寬瓶頸，磁盤吞吐IO的瓶頸等；

b) “高性能”，構建后整體性能要保證很高，以便支撐未來多數據庫云化整合的服務質量保證；

c) “高可靠性”，設計符合全冗余，保證安全可靠的生產運行，不出現單點；

d) “靈活擴展”，擴展方便，方式靈活保證未來云平臺從小到大的建設演進方式，同時做到既有投資的有效保護，即可以支持硬件隔代混用能力和在線升級能力。

2. 數據庫池：本模塊是支撐多個上層應用的必要模塊，現有環境中，這些信息是分別按照結構化數據使用關系數據庫和非結構化數據使用文件系統環境存儲保存。筆者認為，以目前技術水平，應該使用數據庫作為結構化非結構化數據的統一存儲平臺，使用關系數據庫的維護和管理策略管理所有信息。同時，本模塊對并行計算模式，數據庫處理優化應當重點支持。

3. 高可靠集群：通過集群模塊，云平臺不僅繼承了服務器

冗余帶來的高可用性，而且在軟件層面強化了高可用性。同時，通過在服務器池中添加更多節點（橫向擴展）或者在現有節點中添加更多CPU、內存或 I/O 卡等物理資源（縱向擴展），可以實現靈活性和可伸縮性，從而為計算資源的池化和動態分配提供支持。

4. 異構數據復制及轉換：針對油田不同平臺，不同數據庫版本的整合提供可能性，主要完成數據復制及轉換，實現以下功能：

a) 跨不同表結構的數據復制能力。為了滿足各自業務的性能要求，生產數據庫、專題數據庫以及數據倉庫在相同的業務實體在不同數據表上可能會采用不同的字段數量和字段屬性。

b) 對異構平臺的支持。未來可能會出現跨平臺（包括可能出現的不同主機服務器和操作系統、不同的數據庫及版本）的數據ETL需求。

5. 資源調度與存儲優化：數據庫云的資源調度與隔離主要分為三個級別：服務器級、數據庫級與數據庫內部級（或用戶級）。三個級別并不是完全分割的，可以互相組合、相輔相成。而且要能夠靈活調度資源，能夠設定資源調度計劃，使得計劃在設定的時間自動發揮作用。例如，白天對生產管理系統分配更多資源以提升用戶滿意度；晚上對決策支持系統分配更多資源以提升吞吐量。能夠進行資源調配的元素主要包括：CPU，存儲I/O帶寬，SQL并行執行，內存，磁盤存儲。

6. 云安全：為滿足數據庫云安全的各項需求，在進行數據庫云安全規劃時應考慮以下能力：

a) 身份識別：保證信息只為合法用戶訪問。

b) 存取權限控制：防止非法用戶進入系統及防止合法用戶對系統資源的非法使用。

c) 審計追蹤：必須制定并在系統中實現嚴格的訪問控制機制和審計制度，包括物理層、網絡層和應用層的訪問控制和審計。

7. 海量數據分區：對未來幾年可預見整合后的數據量增長，百GB，TB級，需要有分區模塊進行管理和劃分，在云計算平臺，雖然存儲介質和數據處理技術方面的配置已經可以很大程度上滿足性能要求，但是為了進一步優化提升，需要提供對數據進行分區的技術，以改善大型應用系統的性能。

8. 數據壓縮：出于未來云平臺承載系統及相關數據量增長情況的判斷，數據壓縮將能夠有效的節約存儲空間，盡管存儲成本已下降，但需要在線保留的數據量的激增仍使得存儲成為IT 預算的最大因素之一。而實際情況也證明，對于油井生產數據有相當大的壓縮可能性，從我們在其他同業客戶的測試中我們看到，壓縮比從幾倍到幾十倍都有可能。除此之外，壓縮能夠帶來的另一個好處就是對性能提升有所幫助，可以想象，通過壓縮使得單位時間內能夠處理的數據增加幾倍對性能的提升將有多大幫助。

9. 一體化綜合管理系統：企業云環境應當是完整的、統一的、自動化的，需要統一管理工具完整覆蓋整個生命周期，而不是通過多個單點工具進行維護管理。在一個云環境中，也需要有多種角色各司其職。一般地，包括最終使用者、自服務管理者、云管理者等三種角色。最終使用者提出資源申請；自服務管理者為最終使用者設計服務模版；云管理者設計整個數據庫云架構。一旦云開始運營，監控和管理將成為重點。當前業界領先的是 “從應用到磁盤”監控模式，在單一面板中監控所有組件，并提供深入的、開箱即用能力。

通過調研，筆者認為以上參考架構中涉及的各個模塊在技術上已經成熟，市場上也出現符合要求的產品，因此從實現的角度來講，數據庫云平臺已經不再僅僅是紙面上的藍圖，而是可以轉化為落地建設的項目。，當然，從實踐角度而言，筆者認為和所有項目一樣，數據庫云平臺建設項目也需要配合相關的集成和實施服務及運維服務。其原因在于，相對于傳統產品和技術，新的產品和技術能夠更好的降低集成實施難度，縮短項目建設實踐，降低整體風險，但是服務永遠是確保云平臺順利運行的潤滑劑和重要保障。這一部分的探討將在后續文章中討論，此處不再累述。

總結

本文從青海油田建設云計算平臺的需求出發，分析了青海油田建設數據庫云平臺的動因，關注點以及系統架構。本文并不試圖給出完整詳細的設計，而是希望幫助讀者理解云計算平臺和企業需求結合的方式方法，對讀者所在企業云建設有所裨益。

[1] NIST. 美國國家標準與技術研究院對云計算的定義. 美國國家標準和技術研究院. 2011年9月 [2013年1月12日].

[2] Gruman, Galen. What cloud computing really means. InfoWorld. 2008-04-07 [2009-06-02]

[3] 高志亮 等編著.2011.數字油田在中國：理論、實踐與發展.北京：科學出版社

[4] 陳強，王宏琳，2002.數字油田：集成油田的數據、信息、軟件和知識。石油地球物理勘探，37（1）：90～96

[5] [美] 奧斯本（Kerry Osborne），2012. 深入理解Oracle Exadata.北京：電子工業出版社