基于地質勘查的礦產大數據分布式儲存方式研究

王思成

（甘肅省地質礦產勘查開發局第一地質礦產勘查院，甘肅 天水 741020）

勘察工具的多元化發展在一定程度上促進了地質勘察行業的進步，宏觀意義上可將地質勘察技術近似的看作地質監測工作，依照國家經濟建設安排及科學技術創新的需要，引入測繪、多種物探勘測技術，采用打孔、鉆探、采用檢測等方式，對指定區域內的巖石、礦土結構、資源分布情況、地下水流向等地貌特征實施一系列的市場調研活動[1]。礦產數據是礦區工作重大決策的關鍵支撐，多年地質勘察工作積累的大量數據為礦區經濟發展及礦產資源開發提供了重要的支持依據，由于礦產資源行業發展歷史較為久遠，堆積的相關地質資料量較大，因此，如何使用現代化技術對礦產大數據有效存儲成為了有關部門的調研重點，盡管目前市場內已經有多種存儲方式為礦產大數據提供存儲方式，但在實施中由于資料占用存儲內存較大，導致的資源檢索時間較長的問題屢見不鮮，為了改善礦產大數據存儲現狀，引入分布式數據存儲方式，通過連接互聯網將每臺數據存儲設備中的內存資源整合成一個虛擬的存儲空間，并將大量數據集以分散的方式分別儲存在空間中的各個角落，降低由于數據占用較大內存導致檢索數據時間長的問題。

1 基于地質勘查的礦產大數據分布式儲存方式研究

（1）建立礦產大數據分布存儲數據庫。引入數據關系模型，基于地質勘查理論依據，以GIS技術作為數據存儲支撐，建立礦產大數據分布存儲數據庫，綜合Oracle大型空間數據分析方式，制定符合礦產數據分布的存儲標準，集合計算機技術在礦產大數據組織中的應用，采用三維建模的方式對數據實施一體化管理。提供大批量數據集自動排序、智能檢索等功能，引入離線并行數據計算方式，維持數據集中間數穩定的基礎上，靠攏邊緣數據組。計算公式如下。

公式中：f表示為統一格式后的數據集合；i表示為礦產大數據量，取值范圍在0～+∞之間；e表示為分布式數據存儲方式；λ表示為數據融合模式；β表示為數據集中特征數據；a表示為特征數據組；b表示為數據組中數據均值。根據上述公式，通過多元化礦產大數據中數據表達形式，對等處理存儲節點，設置對稱性框架結構，擴容過程中僅按照數據主從格式，即可實施數據存儲。上傳數據文件時，引入PUT數據請求負載語言，將轉存語言發送至數據庫中，查詢本地Ring文件，選擇多個與后端存儲方式不同的文件作為參照存儲對象，并將端口返回文件按照數據勘察類型分類，建立數據庫中礦產類型數據表格，合理選擇存儲節點，傳遞數據文件。

（2）基于地質勘查的極值數據存儲。自定義大數據傳輸模式，調整數據需求，增設數據外界端口，延展地質勘查數據服務范圍，提取數據集中特征點數據，按照數據大規模排布要求，調整用戶需求，依照數據組中間數據值，將數據對象作為礦產數據訪問單元，依靠外接數據存儲設備，提出數據訪問要求。為避免忽略極值數據。其一，調用開放式函數組，發起遠程控制請求，向姓名節點傳遞RPC控制請求，獲取元數據表述信息，受到礦產大數據信息塊。其二，在終端設備上打開文件交流模式，選取數據只讀請求，連接距離數據節點最近的文件，并將獲取的有效數據值以電子版模式傳遞給起始端設備。其三，斷開數據節點鏈接，選擇下一個數據節點，直至所有數據組讀取完畢，調用語言函數關閉傳輸數據通道，選擇數據存儲通道，完成基于地質勘查礦產大數據的分布式存儲。

2 仿真實驗

提出仿真實驗，隨機選擇某礦區作為此次實驗的實驗對象，設定4節點礦產大數據集群，其中主要包含1和姓名節點和3個數據節點。集群資源配置詳情如下表1所示。

表1 集群配置詳情

根據上述表1所示信息，模擬實驗仿真環境，結合上述配置，隨機選取7組礦產大數據，數據集中有效數據個數分別 為：5000；10000；15000；20000；25000；30000；35000，數據文件存儲占用普通計算機內存在1～1＊103KB之間。先使用傳統的分布式存儲方式實施礦產大數據存儲，不斷提升礦產大數據量，記錄數據儲存時間，獲取多組實驗數據，去除數據組中極值數據，計算剩余結果平均值，輸出統計結果，設定該組為此次實驗的對照組。再使用本文設計基于地質勘察的大數據分布式存儲方式，實施相同步驟的操作，記錄實驗數據，定義該組為實驗組，采用上述方式整理實驗結果，輸出結果數據，整理實驗結果成曲線圖。如下圖1所示。

依照上述表1中表述信息，可知隨著礦產大數據量的提升，本文提出的分布式存儲方法數據存儲時間呈現穩定上升狀態，趨勢較為平緩，且存儲所需時間較短，傳統方法存儲所需時間較長，上升曲線較為陡峭。結合實驗過程中產生的實驗數據，可得出如下實驗結論：相比傳統的分布式存儲方法，本文提出的方法在實際應用中可有效的縮短數據存儲多需時間，進而起到提升數據存儲效率的作用，更具備市場應用價值，因此應加大該方法在礦產大數據存儲中的應用，為礦產資源存儲提供技術支持。

圖1 實驗結果對比

3 結語

本文基于地質勘查，開展了礦產大數據分布式儲存方式的研究，并采用設計仿真實驗的方式證明了，相比傳統的分布式存儲方法，本文提出的方法在實際應用中更具備實際應用價值，盡管本文設計在已在多次實驗中加以證明，但仍缺乏大量實力證明其實用性，因此在后期的發展中，加大方法在實際中的應用，為技術的不斷革新提供真實的市場調研數據。