PetroV分布式文件系統的設計與實現

盛秀杰 金之鈞 彭 成 景 妍

(中國石化石油勘探開發研究院，北京 100086)

0 引言

當前大數據技術對互聯網行業的發展起著非常重要的推動作用，大數據時代對傳統油氣能源行業的影響亦不例外。PetroV[1-2]的軟件架構設計與研發，需要進一步梳理行業大數據系統的技術體系及演進路線，全方位地重新理解并重構現有軟件體系架構和構件，以滿足大數據高效存儲這一核心架構需求和促進行業內針對性深度學習解決方案的實施。在明確了“PetroV即計算機”的體系架構設計理念的前提下，PetroV重構、升級了可服務于端到端的大數據建模、分析與深度學習策略的體系架構。特別是，在保留支持不同類型專業軟件二次開發的軟件重用架構特點的基礎上，全新設計并實現了基于地理網格剖分和地質信息編碼的全新分布式文件系統(PetroV DFS)。

1 地質智能中間件

在考慮大數據4V(Volume，Variety，Velocity，Veracity)特征的前提下，以谷歌為代表的互聯網公司提出、發展了系列大數據存儲、分析與深度學習技術。在TB、PB、EB直至ZB規模的大數據背景下，利用統計分析、機器學習等算法分析諸如用戶行為、社會輿情趨勢，挖掘數據潛在的商業價值。2006年，機器學習領域專家Hinton等提出的深度學習為代表的人工智能技術，正以前所未有的速度改變人們的生產、生活和思維方式[3]?？紤]大數據存儲和深度學習為代表的新技術對油氣發現將有重要影響，油氣勘探開發行業的專業軟件開發應及時緊跟大數據下人工智能技術的發展。

與互聯網行業有所區別的是，油氣勘探部署的大數據特征表現為5V：從大數據量(Volume)的數字巖心、疊前地震數據、基礎地質圖件等，到對應的多種結構化、非結構化數據存儲機制(Variety)，到疊前地震采集、油氣田開發等系列新技術帶來的快速數據更新(Velocity)，到地下地質認識的不確定性對數據質量的影響(Veracity)，到油氣勘探研究特有的從地震解釋、地質編圖、油氣藏模擬等學科間交叉形成的數據間關聯與衍變(Variability)。

1.1 從軟件重用到地質智能

在實踐不同層次軟件架構設計原則和系列設計模式為代表的軟件重用技術方面，PetroV做了一些積極的嘗試和探索。在延續具有較低耦合性、較高可重用性和可維護性的軟件架構特點的基礎上，PetroV的架構設計擴展了如何高效存儲大數據量的行業核心基礎數據，以及如何易于低成本構建大數據(Big Data)、大計算(Big Compute)、大模型(Big Model)下的地質智能(Geological Intelligence，GI)深度學習解決方案(圖1)。PetroV的地質智能強調在數量巨大、結構復雜、類型眾多的行業地震、測井等基礎數據背景下，與基礎研究成果充分結合，在高勘探程度層系應用針對性深度學習模型，即從基礎數據中挖掘油氣特征，整合關聯關系，獲得識別勘探目標的能力； 利用學習到的認知能力在低勘探程度層系識別新的勘探目標，并與盆地成藏演化與模擬、區帶油氣藏規模統計、油氣藏復雜地質建模等油氣定量評價數學模型實現高度耦合，客觀、全面地推理模擬或恢復盆地演化、勘探目標形成、油氣藏物性條件動態變化等關鍵地質過程。

1.2 新架構思考與應對策略

在原有本地空間數據庫存儲基礎上，通過增加分布式文件存儲層及配套的領域計算服務層，PetroV的新架構體現了“PetroV即計算機”的軟件架構設計理念。與傳統的高性能計算機部署方案有較大不同，PetroV可被部署于科研人員的非高性能(廉價)計算機上，計算和存儲資源的配置對于科研人員而言是透明的，這樣可顯著降低軟件部署的復雜度和成本，并提高資源使用的靈活性。新軟件架構思考與應對主要表現在三個方面。

圖1 體現地質智能的PetroV新一代中間件架構關鍵需求

圖2 PetroV新版軟件架構設計

(1)持久化層：支持本地和遠程兩級文件系統。該層的設計認為大數據背景下，不存在“一刀切”式的存儲機制能夠滿足所有類型的數據存儲需求。如關系型數據庫存儲技術(Relational Database Management System，RDBMS)在面對大數據量的數字巖心、疊前地震數據時，除元數據層面的有效存儲管理外，在數據內容方面并無有效的存儲機制與索引技術[4-5]。新一代PetroV的軟件架構在已有本地空間數據庫存儲機制(Spatial Database，SDB)和單一分布式文件存儲機制的基礎上，面對數字巖心、疊前(后)地震數據及測井等不同類型大數據，進一步統一了元數據建模思路，借鑒谷歌分布式存儲技術(Google File System，GFS)[6-7]研發了從全球尺度到單井數字巖心厘米級尺度的、體現地理位置相近、存儲位置相近的分布式存儲文件系統(PetroV DFS)。

(2)領域層：支持深度學習服務與專業算法服務兩級計算框架。該層的設計強調以深度學習服務并行計算框架為基礎，開發系列油氣勘探開發相關的領域計算、分析或模擬引擎，實現深度學習與專業模型的深層次耦合。開發不同類型的大數據下深度學習和專業算法并行計算框架。其中，面向空間數據庫存儲強調的是空間統計分析引擎的設計與開發；面向地震和測井以及數字巖心的分布式存儲，更多關注批處理計算框架的代碼實現，提煉面向地震、測井及數字巖心資料的MAP和REDUCE計算與分析范式，用于大數據下三維場景顯示、地震解釋和屬性分析等。

(3)應用層：支持軟件集成的通用二次應用軟件開發框架。該層的設計強調借助系列大數據存儲和分析引擎以及配套的基礎設施二次開發接口，包括GIS圖形和分析框架、統計信息可視化框架、三維建模和分析框架等，可快速開發、部署用于大型、分布式、對大量數據進行訪問和分析的系列專業軟件版本，同時提供容錯功能。利用現有的軟件架構基礎設施，借助油氣勘探領域專家及團隊的力量和智慧，構建勘探開發專業軟件生態系統，通過大數據集成、共享，各個軟件版本交叉復用形成智力資源和知識服務能力，全面升級勘探部署規劃水平，創新大數據下的勘探部署規劃新模式。

2 PetroV DFS設計與關鍵技術

PetroV DFS核心設計在于其二級存儲機制的建立： 基于ST-based KIDA建模技術的本地空間數據庫集成，以及基于地理網格和地質信息編碼的分布式文件存儲(圖3)。

圖3 PetroV DFS分布式文件系統架構

2.1 基于ST-based KIDA元數據建模技術的本地空間數據庫集成

PetroV的ST-based KIDA建模技術(圖3虛線框)包括兩部分： ①在關注不同數據類型的本體分類及描述(如用途、數據范圍、數據來源、上下文描述、可靠性描述等)的基礎上，強調從源數據→信息→知識的衍變過程，突出“活動(A)”作為復合對象可很好地關聯其他上下文活動(如構建作業流)以及自身所需三個數據層次的輸入、輸出； ②在編譯(加載、清洗、規則化)不同形態(矢量、柵格、文本等)的行業基礎數據的基礎上，按區域背景類、沉積類等專業主題組織基礎數據，以地理信息系統技術(GIS)的空間圖形表征規范，以及圖層數據組織模式進行內容呈現。

2.2 基于地理網格剖分和地質信息編碼的遠程分布式文件存儲

急劇增加的井、震文件大小，給相關專業軟件系統的研發帶來艱巨挑戰[8-10]。目前，業內以采用HDFS(Hadoop Distributed File System)存儲方案居多。PetroV之所以未采用HDFS存儲解決方案，而是強調自主研發，主要有以下幾方面考慮：

(1)適宜HDFS存儲的對象更多是網頁為代表的非結構化明碼數據，其文件管理與存儲機制沒有考慮井震數據的結構化存儲特點；

(2)基于HDFS存儲的數據分析解決方案，更多適合批處理而不是流模式的實時計算，數據實時訪問能力有待提升；

(3)HDFS基于文件目錄管理數據子塊文件，ZB級子塊文件數量形成的深層次目錄結構的訪問是個性能瓶頸。

對此，PetroV DFS側重設計一種新的分布式子塊數據文件編碼機制，高效管理ZB級數量的分布式子塊文件； 基于TB級井震數據特點，建立針對性分布式存儲機制，實現快速存取(圖4)。

2.2.1 全球空間網格編碼(Location Code)

在全球范圍進行網格劃分，把經緯度按照16×16進行分割，形成256個格子，每個格子在下一級中又被分成16×16個格子，依此類推，共形成7級網格，最細一級網格精度達到厘米級。經度范圍是-180°～180°，即從西經180°到東經180°；緯度范圍與經度范圍保持一致，也擴展成-180°～180°(圖5)。

圖4 PetroV DFS的子塊文件編碼與轉換

圖5 全球空間網格劃分方案

不同分層下的空間網格需要有唯一空間信息編碼。該碼第一位和第二位分別是第一層級網格下的經向標識和緯向標識，第三位和第四位是第二層級網格下的經向標識和緯向標識，依此類推。即定位網格編碼共14位，奇數位編碼為經向編碼，偶數位編碼為緯向編碼，取值范圍均為十六進制的0～F。

2.2.2 不同類型地質信息編碼(Geological Code)

對于要存儲的數據，分配分布式文件時，除了空間網格編碼，還需進一步補充其它類型地質信息，形成最終的分布式子塊文件對應的文件編碼(Data Chunk File Code)。補充地質信息包含多項基礎數據地質描述信息，包括方位或形狀，數據長度，數據類型等。地震類型的基礎數據，編碼信息體現的主要是地震測網描述信息；測井類型基礎數據包括測井曲線類型、井眼方位、測井深度等描述信息。如增加井眼的方位編碼，值為0～F，對應360°分割為16等分后的每一份。

2.2.3 以空間網格為聚簇單元，分配、定位分布式子塊文件

將需要進行分布式存儲的基礎數據，考慮其所在地域位置及地質信息，在它被賦給子塊文件編碼后，再將其傳給分布式服務器。分布式服務器根據編碼解譯出具體的地理網格信息，然后通過空間網格定位的規則決定數據要存放于哪個空間網格以及要存儲的數據要切割成多少子塊。同時，利用一致性散列算法，將不同的網格中的數據存儲到不同的機器中實現分布式存儲。分布式服務器中的地理位置服務維護空間網格相關信息，記錄了已有數據的各個網格，并且記錄了每個網格中含有哪些數據。其中，每個網格可能含有多個分布式子塊文件，每個分布式子塊文件中可能含有多組分布式數據，當一組分布式數據大小超過文件容量限制時，一組分布式數據也會進一步切分，分段存到多個分布式子塊文件中(圖6)。

圖6 PetroV DFS的子塊文件分配

3 原型驗證

PetroV DFS分布式子塊文件的內容有鍵值對存儲的測井、八叉樹子塊存儲的地震數據、空間索引存儲的地質編圖三種種類型。在2017年發表相關研究成果[2]的基礎上，本文繼續重點闡述基于八叉樹切分的子塊數據文件的讀寫過程。地震數據文件的上傳，是指將SEGY源文件切分成多份小文件，發送到不同機器上進行存儲。子塊的參數配置包括最終子塊的長寬高、存儲節點地址、子塊備份數量。通過八叉樹切分的算法，可計算出總切分層級數，以及不同子塊所包含的數據在源地震文件中的對應位置。各個子塊發送到哪個存儲節點，在圖6中已經約定。讀、寫地震類數據(動輒幾百GB)，其讀(對應的子塊文件合并為SEGY文件)、寫(SEGY文件切分成具體子塊文件)分布式，速度優化是關鍵。地震數據體分布式切分與合并的速度有幾個優化方向： 將更多的工作交給存儲節點而不是本地來做； 盡可能做到順序讀寫文件； 降低讀寫對象切換的頻率。

3.1 SEGY到子塊文件

將源地震數據預切割成多份中間文件，每份中間文件對應一個存儲節點。然后將中間文件傳輸到對應的存儲節點中。如圖7左所示，以順序讀源文件、順序寫中間文件的方式來最大限度地減少本地時間耗費，將中間文件傳輸到存儲節點后，本地數據文件的切分就已完成。

(1)確定所需的遠程存儲節點及對應的本地中間文件。每個地震道數據中包含此道的線號和道號，據此可以得到其位于源數據立方體對應的地震測網的平面位置；地震道在深度方向上按照子塊文件的時窗的大小進行分割，分割后的數據分別屬于不同的子塊，也是每次寫入中間文件的最小數據單元。根據最小單元的線號道號以及深度得到其在源數據立方體中的空間位置，從而通過八叉樹切分算法計算出此最小單元所屬的子塊號以及其在子塊中的位置，通過子塊號獲取此最小單元所屬的存儲節點和對應的中間文件。

(2)快速切分并寫入本地中間文件。源地震數據以地震道為單位，每個地震道相當于源立方體高方向上的一整條，每次讀取若干個地震道，PetroV默認讀取的地震道數為合起來超過100MB的最小的道數量，大小也可由用戶通過自己的硬件配置和內存大小做出調整。然后順序遍歷各個存儲節點對應的中間文件，將這批地震道數據中屬于當前存儲節點的數據寫入當前中間文件。數據與存儲節點的對應關系通過八叉樹的切分方法來計算得到。

(3)異步傳輸本地中間文件，根據圖6揭示的存儲網格情形，生成子塊文件。每個存儲節點對應的中間文件生成完畢后，將這些中間文件依次傳輸到各個存儲節點。在存儲節點中，對接收到的中間文件，每次順序讀取約100MB數據，大小可配置，數據量具體大小為最小單元加上兩個整型數據的整數倍，將數據寫入到各個子塊中。如圖7右所示，遍歷此100MB數據，每次讀取最小單元的子塊號和在子塊中的位置，然后將最小單元數據寫入到對應的子塊文件中。該步驟實現了中間文件的順序讀。

圖7 地震數據子塊文件切分與存儲

3.2 讀取子塊文件合并為SEGY文件

對于分布式的數據體，可再轉換回本地SEGY數據體。如圖8所示，其具體流程與生成相反。首先對于各個存儲節點，將子塊合并回中間文件，然后將中間文件下載到本地，本地再將這些中間文件合并為本地數據體。

(1)寫入存儲節點對應的中間文件。中間文件生成方法為在存儲節點按照源數據體的線、道方向來進行遍歷，處理每個地震道時，按照子塊的時窗進行分割，得到各個最小單元，最小單元如果屬于當前的存儲節點，則從對應的子塊中讀取數據，存到中間文件中。八叉樹參數與生成時相同，寫入時省略掉子塊號和在子塊中的位置這兩個整型數據。

若有多副本，則只有子塊第一次生成所在的存儲節點才寫這個子塊的數據到中間文件，如果存在存儲節點掉線的情況，則再從其他副本中獲取數據。同時本地端記錄下各個子塊是從哪些存儲節點中獲取的，用于后面合并中間文件成為數據體時判斷從哪個中間文件中取數據。此步驟做到了中間文件的順序寫，同時減少了本地的工作量。

圖8 地震數據合并流程

(2)異步存儲節點的中間文件。依次下載，并按照線、道方向來進行遍歷，生成各個地震道。每次要從中間文件默認讀取總和約100MB數據，大小可以配置，具體大小為生成數據體地震道長度的整數倍。本地遍歷和存儲節點遍歷的方式完全相同，所以合并時所需的數據順序與中間文件中的數據順序一致，只是這些數據需要從不同中間文件去獲取。為了做到中間文件的順序讀，PetroV遍歷中間文件，對每個中間文件，讀取屬于此100MB的內容，再切換到下一個中間文件進行讀取。每次讀取的最小單元為子塊的高。此步驟實現了源文件的順序寫、中間文件的順序讀。

(3)合并本地文件為SEGY文件。

3.3 代碼實現

PetroV的代碼實現主要采用C++泛化編程，目的就是希望以最小軟件開發代價獲得足以與需要多數人精心編寫的代碼相匹敵的專用性、高度簡潔和效率。PetroV DFS的泛化編程始于梳理服務大數據存儲與分析的每個算法的模板函數定義，分析調用參數順序對函數執行的影響； 基于編譯時推導不同標簽(Tag)類型，分發、調用匹配的算法具體實現； 在算法實現函數中，進一步區分是否有不同的算法策略； 在不同的算法策略中，會調用到具體功能類的實現，這些功能類可以被不同的、且被證明成功的系列遠程過程調用(Remote Calling Function，RCF)開源接口替代(圖9)。

圖9 PetroV DFS泛化接口設計的

3.4 440GB疊前地震數據的切分與合并

本文采用某工區的全方位共反射角道集，進行了多次分布式文件的生成與讀寫操作，目的在于驗證：普通廉價計算機和低帶寬網絡環境下，相對于單機本地訪問SEGY文件，PetroV DFS的網絡數據傳輸時間增加并不明顯，但新建的分布式文件對后續系列高計算強度要求的解釋算法的支撐，是單機本地文件無法做到的。試驗選定的疊前地震道集是通過廣義Kirchhoff偏移獲取的深度域共成像點道集，大小為440GB，Inline范圍是1332～1732，共401條縱測線； Crossline范圍是1002～1402，有401條聯絡測線； 共計160801個CDP點，每個CDP點處為一個1000道的疊前道集，因此總共有160801000道，每道有751個采樣點。測試對象是24臺2010年購買的服務器(圖10)，遠低于現今主流服務器配置。

經過多次試驗，440GB地震文件的分布式存、取穩定。以分布式文件的寫入為例，總體時間約為9h40min，包括三步： ①掃描整體道頭的時間為5h10min，這是不同類型軟件應用SEGY地震數據必須的一步[11-13]，后續道頭掃描會基于第一次掃描建立的索引文件，在5min內完成所有道頭掃描； ②按照八叉樹算法切割SEGY文件，形成本地中間文件，異步上傳對應存儲節點，時間為4h7min； ③每一存儲節點最終形成440GB對應的分布式子塊文件的時間為21min。

基于PetroV DFS文件系統，PetroV持續開發了系列基于MapReduce編程模型為代表的地震屬性分析、儲層解釋算法，使得普通工作計算機運行大數據量地震解釋算法變為可行。同上配置，以新產生的440GB分布式文件為輸入，做440GB的全時窗頻率振幅屬性計算，所需時間僅為2h51min?；谠摲植际轿募到y，PetroV開發了系列地震解釋算法(表1)[14-17]。

圖10 PetroV的分布式存儲(計算)節點配置

模塊名稱輸 入Map計算Reduce計算輸 出切片1個疊后地震數據體、1個屬性體按照面元獲取整道數據,并計算切片計算時窗內取平均1個切片三角時頻分析1個疊后地震數據體按照面元獲取整道數據,并運算三角濾波按照面元內CDP序號順序存放4個屬性體和6個切片4個屬性體、6個切片瞬時屬性1個疊后地震數據體按照面元獲取整道數據,并運算瞬時屬性按照面元內CDP序號順序存放1-13個數據體1～13個屬性體,索引文件記錄輸出哪些屬性傾角、方位角1個疊后地震數據體按照立方體獲取數據體,并運算傾角、方位角按照面元內CDP序號順序存放2個數據體1個傾角體、1個方位角體α濾波1個疊后地震數據體按照面元獲取整道數據,并運算Alpha濾波按照面元內CDP序號順序存放1個數據體1個疊后地震數據各向異性反演1個360道集按照面元獲取360道集,并運算各向異性反演按照面元內CDP序號順序存放4個數據體1個各向同性屬性、2個各向異性屬性及1個裂縫發育方向橢圓擬合1個CMP道集、2個速度體按照面元獲取CMP道集和速度體,運算橢圓擬合按照面元內CDP序號順序存放2個數據體1個各向異性屬性、1個裂縫發育方向貝葉斯三參數反演3個角度部分疊加數據體、3個彈性參數低頻模型體按照面元獲取6個數據體,并運算三參數反演按照面元內CDP序號順序存放3個數據體3個彈性參數反演結果基追蹤反演1個疊后地震數據體、1個彈性參數低頻模型體按照面元獲取2個數據體,并運算基追蹤反演按照面元內CDP序號順序存放2個數據體1個反射系數反演結果、1個波阻抗反演結果頁巖物性參數反演3個彈性參數反演體、3個物性參數低頻模型體按照面元獲取6個數據體,并運算頁巖物性參數反演按照面元內CDP序號順序存放3個數據體3個物性參數反演結果脆性反演3個角度反射系數體、3個彈性參數低頻模型體按照面元獲取6個數據體,并運算脆性指數反演按照面元內CDP序號順序存放3個數據體3個彈性參數反演結果相干體1個疊后地震數據體按照立方體獲取數據體,并運算相干體按照面元內CDP序號順序存放1-3個數據體1～3個相干屬性曲率1個傾角屬性體、1個方位角屬性體按照立方體獲取數據體,并運算曲率按照面元內CDP序號順序存放1-10個數據體1～10個曲率屬性體角道集1個CMP道集、2個速度體按照面元獲取CMP道集和速度體,并運算角道集按照面元內CDP序號順序存放1個數據體1個角道集時窗屬性1個疊后地震數據體、1個速度體按照面元獲取數據體,并運算時窗屬性按照面元內CDP序號順序存放1個點1個切片三維地震數據的雕刻與蝕刻1個疊后地震數據體、1個屬性體按照面元獲取數據體存儲各個點和面1個mesh網文件,文件頭中記錄點和面的個數三維數字巖心的雕刻與蝕刻1個巖心數據體按照面元獲取數據體存儲各個點和面1個mesh網文件,文件頭中記錄點和面的個數

4 結論

區別于HDFS為代表的分布式文件系統，PetroV DFS充分考慮測井、地震等行業基礎數據存儲與應用特點，突出了ZB級文件數量的分布式高效管理和TB級文件大小的分布式低延時讀寫等關鍵技術實現，體現地理位置相近、存儲位置相近的分布式存儲與應用特點：

(1)基于全球地理網格剖分編碼和不同類型基礎數據的地質信息編碼，分布式數據子塊文件數量的分配沒有上限、文件命名不會有沖突，可快速定位或創建分布式數據子塊文件；

(2)設計空間索引子塊存儲，八叉樹切分子塊存儲、空間鍵值對子塊存儲三種存儲機制，快速讀寫大數據量的地質編圖與二維數字巖心、三維地震數據和測井數據；

(3)基于ST-Based KIDA元數據建模技術的本地空間數據庫集成方案，可實現以自主GIS平臺技術為中心的數據集成、以自主分布式大數據存儲為中心的數據管理和以解決實際勘探問題為中心的數據分析與挖掘(深度學習解決方案)。