油田設備文件系統數據存儲的優化

康金兵 德州職業技術學院

油田設備文件系統數據存儲的優化

康金兵 德州職業技術學院

Web油田智能網把所有關于文件系統名稱空間的信息和狀態的信息存儲在系統的映像文件中，編輯日志文件會存儲文件系統中所有的元數據的變化情況。文件系統映像和編輯日志都存儲在智能網的本地文件系統上。智能網建設過程中，需要對數據庫信息進行檢索，確保數據庫信息能夠符合節點控制和文件管理的要求。對于Web油田智能網，錯誤恢復就是靠文件系統映像和編輯日志。一旦網絡出現問題，它就會根據最近的文件系統映像和映像之后的所有日志重新建立整個文件目錄，從而恢復智能網功能。

信息控制；設備；Web油田智能網；設計；存儲

1 活動Web油田智能網在線設計

Web油田智能網把所有關于文件系統名稱空間的信息和狀態的信息存儲在系統的映像文件中（文件系統映像是文件系統元數據的持久性檢查點，包含文件系統中文件的復制等級、修改和訪問時間、訪問權限、數據塊的大小以及組成文件的數據塊，對于目錄則存儲它們的修改時間、權限和配額元數據），編輯日志文件會存儲文件系統中所有的元數據的變化情況（文件系統客戶端執行寫操作，如新建文件或移動文件的時候，首先會被記錄在編輯日志中，編輯日志會在每次寫操作之后但尚未將成功代碼返回給客戶端時被刷新和同步）。文件系統映像和編輯日志都存儲在智能網的本地文件系統上。

2 Web油田智能網空間日志設計

Web油田智能網會定期為名稱空間建立檢查點，它從活動的智能網上下載文件系統映像并編輯日志，然后在本地進行組合，之后再把新的文件系統映像上傳到活動Web油田智能網上。

數據節點是基本的文件存儲單元，是HDFS分布式文件系統中的工作者。數據節點的主要工作模式就是定期向Web油田智能網匯報其狀況、等待并處理存儲數據。它將數據塊存儲在本地文件系統中同時，周期性地發送數據塊的報告給Web油田智能網，通常以Rack（機架）的形式組織，通過一個交換機將所有系統連接在一起。Hadoop的一個假設是：機架內部節點之間的數據傳輸速度比機架之間節點的傳輸速度快。

3 客戶端分布式文件的應用程序

3.1 客戶端應用程序設計

客戶端代表用戶通過與Web油田智能網和數據節點交互來訪問整個文件系統。它以一個類庫（包）的模式存在，并且在一個獨立的進程中提供服務，為用戶提供文件讀寫、目錄操作等接口。當用戶需要對HDFS進行文件讀寫的時候，只需要配置客戶端相關的包就可以使用HDFS提供的服務了。

客戶端提供一個類似POSIX（可移植操作系統界面）的文件系統接口，因此用戶在編程時并不需要知道Web油田智能網和數據節點及其功能。客戶端想把文件寫到HDFS上，需要先將該文件緩存到本地的臨時存儲設備中，如果緩存的數據大于所需的HDFS數據塊大小，創建文件的請求將發送給智能網。實際的I/O事務并沒有經過Web油田智能網，只有表示數據節點和數據塊的文件映射的元數據才經過該網絡。

文件系統數據集群（Cluster）可以提高網絡數據信息管理能力，在節點之間通過高性能網絡（LAN或WAN）進行物理連接，這些計算機通過某種方式協同工作以完成共同的任務；同時文件數據集群系統可以為用戶和應用程序提供統一的系統映像，可以使用戶和應用程序與文件數據集群系統進行交互時，整個文件數據集群系統就像是一臺高性能的計算機。

3.2 客戶端數據節點檢索

Web油田智能網建設過程中，需要對數據庫信息進行檢索，確保數據庫信息能夠符合節點控制和文件管理的要求。具體設計過程中需要擁有一臺主服務器（action）完成對數據信息的統計與整理，同時需要若干個客戶端和備份機（standby），此種模式通常被稱為active/standby模式，可以實現數據信息之間的通信。

在文件系統模型優化的過程中，需要進行資源分配，讓不同的機器設備運用不同結構的文件系統，通過雙機互備模式，把設備資源和服務器結構結合在一起，實現故障的多方面處理，為故障檢測和故障模型優化提供支持。在設備運行的過程中，可以提高文件系統的綜合管理效率，實現文件系統的優化管理。

通過建立負載均衡文件系統數據集群，提高對資源的利用率，為資源數據信息優化創造良好的平臺。在均衡文件處理中，需要對不同的服務節點設置不同的權限，確保文件能夠符合數據集群控制處理的要求。在用戶數據信息處理之間形成文件管理系統，在調用文件管理系統的文件時進行讀寫保護，確保文件系統能夠均衡負載在不同的服務器上，提高服務器和文件系統的管理效率。

3.3 數據節點存儲模式

將Web油田智能網的功能轉化成數學語言就是：對于一個含有N個樣本的樣本空間，將其記為{X1,X2,…XN}，每一個樣本X(t)有n個屬性，并且每個樣本屬于一個分類yt，現在假定分類總數為2，也就是yt∈(0,1)，模型的目標就是要找一組超平面，盡可能多的將這兩類樣本分開。

在分布式環境中，隨時都有可能發生機器失效的情況，HDFS的三個組成部分(Web油田智能網、數據節點和客戶端)都有可能出現這種問題。通過智能網數據優化處理和節點設計，可以實現數據信息的傳輸和日志管理。

4 結語

對于Web油田智能網，錯誤恢復就是靠文件系統映像和編輯日志。在該網絡上，所有對文件和目錄操作的關鍵步驟都會被寫入日志（具體的文件內容處在哪個數據服務器上的信息是不會被寫入日志的，因為這些信息是動態建立的）。另外，網絡會在某個時刻將當下的文件目錄完整的序列化到本地，稱為文件系統映像。一旦網絡出現問題，它就會根據最近的文件系統映像和映像之后的所有日志重新建立整個文件目錄，從而恢復智能網功能。此時，數據節點會獲得新的Web油田智能網的信息并向該網絡發送消息。

（欄目主持關梅君）

10.3969/j.issn.1006-6896.2014.5.043