光存儲技術在石油勘探開發數據管理中的應用

王學軍+許乃天+王政龍+杜江

[摘 要] 藍光存儲具有高容量、低能耗、隨機存取速度較高、保存時間長等突出優勢，是一種很有發展前景的存儲方式。首先分析了石油勘探開發數據管理在容量、性能、能耗等方面的需求，提出了一套適合國內實際數據情況的、基于藍光存儲的勘探開發數據管理解決方案，采用該方案在中國石油勘探與生產技術數據管理系統做了實際測試，確保了石油勘探開發領域相關各類數據的準確性、完整性，也預示著普遍采用光存儲方式來管理海量數據可能會成為一種新的發展趨勢。

[關鍵詞] 光存儲；石油勘探開發；存儲分級；大塊數據

doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2017. 03. 086

[中圖分類號] TQ597.92 [文獻標識碼] A [文章編號] 1673 - 0194（2017）03- 0158- 03

1 引 言

隨著技術進步，油氣勘探開發數據量量級已經上升到到TB、PB級，地震勘探采集分辨率、日工作效率大幅提高，物聯網等相關數據快速增長，真正進入了“大”數據時代。如何應對上述海量數據的管理需求，如何科學存儲和有效調度日益增長的數據，滿足石油行業的業務需求，已成為石油行業信息化工作中需要重點關注的問題。

容量滿足海量數據的存儲需求、根據數據類型和使用頻率進行科學的存儲和精細化管理、有效調度，尋找用戶滿意的速度和合理成本的最佳結合點、保證數據的安全可靠，是未來石油行業數據管理的重點工作。

本文總結了目前石油行業海量專業數據的存儲現狀，完整闡述了當前存儲架構的工作方式和面對的挑戰，分析了海量數據存儲的發展趨勢，針對現狀、挑戰和趨勢，提出了以光存儲為基礎的分級精細化數據管理解決方案，并在大型信息系統做了實際測試，具有良好的應用價值。

2 需求分析

首先分析勘探開發數據存儲現狀和分類，細化存儲需求；然后剖析了主流的勘探開技術數據管理系統的功能架構，針對性提出技術方案。

2.1 當前石油海量數據存儲及數據管理現狀

當前石油數據類型主要可以劃分為大塊數據、各類專業數據、文檔數據、結構化數據（數據庫文件）和備份數據等，除此之外，在不同的信息管理系統中，存在各類特有的應用軟件的專有數據類型；而當前主要的數據存儲架構為磁盤陣列和磁帶庫相結合，以應用系統為單位，搭建SAN網絡進行存儲，部分數據管理系統采用全磁盤陣列的形式，其中磁帶庫主要用于大塊數據的歸檔和備份數據的管理；檔案館與應用系統、專業人員的數據交互方式也主要是磁盤和磁帶，其中磁帶數據還需要經過轉錄等操作后才能使用或歸檔。

2.2 面臨的問題和挑戰

當前石油行業數據管理現狀面臨著以下幾個主要問題。

（1）存儲容量不足：數據作為油田單位最重要的資產之一，必須永久妥善保存，但是隨著數據量的快速增長，現有的可用存儲空間正面臨著巨大的壓力，部分應用和數據管理系統已經出現了存儲空間無法支撐后續生產的嚴重問題。

（2）存儲成本不斷增長：存儲成本的問題應該從綜合保有、長期保存的角度來思考看待，按照當前的存儲架構，磁盤陣列和磁帶庫的購買、維護和數據遷移成本過高，其中，帶庫的使用專業性更強、維護難度更大，這些都造成了存儲成本可能會在長期的發展過程中不斷增加。

（3）存儲介質的兼容性：兼容性問題在磁帶介質的使用中尤為突出，因為磁帶介質本身的特點導致某一磁帶型號必須使用特定類型的磁帶機才能進行讀寫，當前已經出現了大量因磁帶機損壞，且新型號磁帶機無法讀取導致磁帶數據無法正常使用的現象。

（4）數據結構劃分不夠精細，存儲資源利用不夠合理：部分數據管理系統為了追求響應時間，將大塊數據全部存儲在磁盤介質上，這樣做雖然能實現最快的I/O速度，但在實際生產過程中，絕大部分大塊數據并不會長期被頻繁的調用，而是集中在某一階段密集使用，這就導致了大量已經冷卻的數據占用了過多的快速存儲I/O資源，增加了存儲壓力和成本，這種壓力是不斷持續的，這個問題隨著云化的不斷深入已經越發突出。

2.3、 未來石油專業數據管理發展趨勢

（1）高容量、低能耗：在增加存儲容量的同時，必須注重能耗的降低，節省運營成本，降低資源消耗，這是企業發展的需求，同時也是企業的社會責任體現。

（2）冷、熱、溫數據精細管理：重點在于冷、熱、溫數據的科學劃分和靈活轉換兩個部分，通過科學的數據類型劃分，使得不同特點、類型的數據保存在最適合的介質上，同時，靈活的轉換保證了當數據需求產生變化的時候，數據類型能夠隨之快速響應，真正實現以應用為核心的精細管理。

（3）向后、向下全面兼容：作為長期保存的專業數據，應保證在未來較長的時間段內，數據依舊可讀、可用且可靠，不受硬件條件和存儲結構變化的影響。

2.4 當前主流石油專業數據管理系統架構

當前國內外主流的石油數據管理系統在功能架構上大致可以分為三層：①數據源層；②數據管理層；③數據應用層，見圖1。

其中數據管理層作為數據的組織者，響應數據請求，為上層應用提供有力的數據支撐，是整個管理系統的核心環節，數據的準確性、完整性、可用性和安全性，都是系統關注的重點。

本方案主要解決以下幾方面的具體技術問題：

（1）確定不同的應用場景下藍光光盤庫的部署方式。

（2）研究藍光存儲介質存儲石油專業類型數據的安全性、可靠性和可用性。

（3）實現光存儲介質在不同系統架構和應用場景中的部署實施，確保數據流向正常，速度滿足日常生產需求。

3 方案設計

3.1 設計思路

針對石油勘探開發海量數據管理的特點，結合系統當前的數據和存儲結構，最終確定方案的設計思路是：在當前的SAN網絡環境中部署藍光光盤庫產品，即加入光存儲介質，使系統形成在線、近線、離線三層存儲結構，利用光盤庫作為近線存儲，用于保存使用頻率較低的數據類型，發揮其高容量、低能耗的特點，降低存儲成本；利用磁盤陣列作為在線存儲，保存數據庫等熱數據，保證系統的運行速度；磁帶介質和光盤介質作為離線存儲介質，保存備份和歸檔數據；最后，利用藍光光盤庫產品自身的管理功能，實現數據根據應用需求，靈活的轉換存儲方式。設計方案如圖2所示。

3.2 藍光光盤庫技術特點和部署方式

（1）存儲容量大、密度高：單張光盤100 GB，整個機柜容量超過600 TB，目前最新技術單張光盤容量已經達到300 GB。

（2）保存時間長：光盤數據保存壽命達到50年。

（3）安全性高：支持光盤RAID技術，防止人為篡改數據，可靠的工業級光驅和藍光光盤。

（4）擴展靈活：只需通過增加光盤匣靈活的擴展存儲空間。

（5）兼容性強：光盤介質和光驅設備的升級不影響舊盤數據讀取。

（6）節能降耗：能耗低，無數據讀寫時的待機功耗僅為7 W，設備本身無需空調即可穩定運行。

光盤庫連接方式：部署藍光光盤庫首先需要一臺X86架構的物理服務器，接入系統所在局域網絡，這臺服務器作為光盤庫管理控制服務器，統一調度與其鏈接的光盤庫，光盤庫產品與物理服務器直連，用戶可以將整個系統看作一個網絡驅動器（NAS），向其中寫入文件，見圖3。

3.3 系統架構

3.3.1 圖系統架構設計（見圖4）

本方案針對數據管理系統在系統架構上的差異和不同的部署方式，結合藍光存儲特點，提供3種數據存儲光存儲解決方案，并且提供規范標準的應用開發接口，便于各系統用戶根據自身需求進行二次開發。

（1）NAS應用方式：藍光光盤庫系統以NAS的方式接入業務系統，主要用于大塊數據等的本地在線存儲和離線歸檔，此種方案部署簡便、靈活，無需額外配置，只需將光盤庫存儲空間掛載到操作系統指定位置即可使用。

（2）VTL應用：系統通過“備份軟件+VTL”的方式將數據集中備份到存儲服務器，再根據用戶指定的策略將所需要的數據歸檔到藍光光盤庫中，此方案光盤庫的使用方式與磁盤VTL相同，將藍光光盤模擬成帶庫供系統使用。

（3）API應用方式：采用藍光光盤作為存儲介質，通過光盤庫管理軟件（DAM）所提供的Web-API接口，對現有的各行業內部業務與管理系統進行開發，實現互連互通，從而對藍光存儲產品進行統一監管、控制和管理的綜合管控平臺。

3.3.2 不同的應用方案具備各自特點

（1）NAS方案。適應數據管理生命周期的動態變化。針對石油專業數據的NAS方式的光盤庫存儲，其特有的硬盤+光盤的存儲模式尤其適合石油專業數據的使用和存儲特點，當數據剛剛錄入系統后的一段時間內，數據被調取處理的頻率較高，可以劃分為熱數據或溫數據，此時將數據保存在系統緩沖區中，存放在硬盤介質上，隨著數據使用頻率的降低，數據將會變為冷數據，此時，數據將被遷移至光盤介質上長期保存，在某一時間段，如果數據被從光盤中讀取使用，將會暫時保存在磁盤緩存，作為溫數據或熱數據。這種方式既保證了數據的讀取速度，又可以安全的、低成本的保存數據。

（2）VTL方案。光盤庫備份采用VTL方式，底層存儲介質使用藍光光盤庫，使用方式與磁盤形式的VTL完全相同；這樣的架構最大的優勢是無需在系統層面改變原有的架構和部署方式，只需將光盤庫以VTL的方式與系統進行連接，在備份管理軟件中作為虛擬磁帶庫進行管理和使用。

3.3.3 數據流

數據由客戶端提交后進入數據管理系統，系統將數據轉發給DAM， DAM通過文件服務器收到此文件并將其存儲在緩存中，當數據量達到設定值后，由后臺自動寫入光盤庫。

4 應用測試

根據設計方案，使用專業的大型勘探開發數據管理系統進行實際測試，測試內容主要有：

（1）勘探開發專業數據的上傳、加載、下載流程。

（2）勘探開發專業數據通過光盤介質保存下載后的正確性、完整性。

（3）常規數據的上傳下載性能。

（4）備份功能。

其中，重點關注勘探開發專業數據通過光盤介質是否能夠正確保存數據文件及下載后文件的完整性；

本次測試的數據有：地震數據、測井數據、解釋成果數據、文檔數據等。

測試通過中國石油勘探開發數據管理系統執行上傳下載工作，通過專業的地震、測井數據質量控制軟件進行數據體的檢查和對比。測試系統圖見圖5。

測試對比結果如圖6所示。

通過測試，得出了以下結論：

（1）通過石油數據管理系統，通過近線和離線的方式，均可從藍光光盤庫中上傳、下載專業數據。

（2）下載后的專業數據文件大小、格式、內容與原始數據完全一致，符合完整性要求，數據可以正常使用。

（3）光盤刻錄速度因不同文件結構存在些許差異，均滿足系統應用需求。

（4）備份管理軟件使用NAS和VTL架構的備份功能均正常實現。

5 結 論

前景廣闊，具備自動管理功能的藍光光盤庫的部署，在石油石化行業海量數據管理與存儲領域是一次新的變革，優化了勘探開發數據存儲方式，細化了存儲分級結構，在未來有著巨大的應用空間：

（1）形成針對石油專業數據的完整的在線、近線、離線存儲結構，實現針對數據特點的分類存儲，細化數據的分類，將不同類別的數據劃分到最合適的存儲層級上，這樣，在保證應用系統性能和數據安全的前提下，最大限度的利用存儲空間和存儲的性能。

（2）發揮兼容性優勢，在長期的系統升級過程中實現數據的整體遷移，簡化遷移流程，縮短遷移時間，減少遷移成本，同時，這種不依賴設備的兼容性也保證了數據的長期可用，即當讀寫設備損壞、變更時，仍可保證數據可讀。

（3）在部分應用場景中取代傳統的磁帶介質，主要依靠光盤庫的速度優勢、兼容性優勢，和在部署架構上的高靈活性，在數據歸檔等相關場景中，逐步取代傳統磁帶介質，獲得更高的性價比與安全性。

致謝：在本文編寫過程中，得到東方地球物理公司馬濤先生等專家指導和相關同事支持，在此一并致謝。

主要參考文獻

[1]馬濤，王學軍，王鐵成，等. A1輔助軟件系統[J]. 石油科技論壇，2011（1）：52-54.