非結構化數字圖書資源分布式儲存方法設計

張娟，王璇，邢倩倩

（1.北京國電通網絡技術有限公司，北京 100070；2.國網信息通信產業集團有限公司，北京 102200）

非結構化數據是一種數據結構不完整也沒有主觀定義形式的數據模型，在實際應用過程中，可用數據庫二維邏輯表單來表示。作為計算機信息化系統中的重要數據傳輸形式，非結構化數據具有格式多樣、標準多樣等幾類應用優勢，且在譯碼與轉碼的過程中，也并不拘泥于一種單獨的傳輸與理解形式[1-2]。一般來說，非結構化數據可作為信息采集的執行與處理基礎，在開源數據庫體系的支持下，每一類傳輸數據都與一種非結構化文檔保持獨立對應關系。針對不同類型的傳輸信息，非結構化數據在運行過程中所采取的處理原則也有所不同。

對于數字圖書資源來說，隨著無序與零散信息傳輸量的增大，數據信息的實際存儲環境則很難長時間保持系統化的存在狀態。為解決上述問題，傳統云存儲方式借助云狀網絡體系，同時定義數字圖書資源的存儲深度與存儲廣度條件，并根據HDFS訪問副本的開放形式，確定單位時間內能存儲的最大數據信息資源量。但該方法在資源信息組織與整合方面的應用能力有限，并不能實現對系統化資源信息存儲環境的有效維護。基于此，提出并設計了一種新型的非結構化數字圖書資源分布式儲存方法，在定義元數據含義的基礎上，完善非結構化資源信息的查詢與編碼原則，再借助Hadoop 存儲架構，讀取關鍵的數字資源文件，從而實現對分布式瀏覽系數值的準確計算。

1 非結構化數字圖書資源的存儲能力分析

非結構化數字圖書資源的存儲能力分析包含元數據定義、非結構化查詢標準完善、編碼原則建立三個處理環節，具體研究步驟如下。

1.1 元數據定義

元數據是與非結構化數字圖書資源存儲相關的明確定義，在實際應用過程當中，始終以描述信息的形式存在。根據數字圖書資源分布式存儲行為的不同，元數據可分為描述量、殘差量等幾種應用類型，且根據資源信息所屬定義形式的不同，元數據參量所占據的存儲空間也有所不同[3-4]。若將非結構化環境看作是一種獨立的數據信息存儲空間，則可認為元數據存在形式會隨著資源信息傳輸量的改變而出現不斷變化的情況，即任何一種固定不變的資源存儲格式，都不能完全滿足非結構化元數據信息的實際定義需求。設εmin代表最小的資源信息分布系數，εmax代表最大的資源信息分布系數，代表單位時間內的數字圖書資源信息查詢均值，聯立上述物理量，可將元數據定義結果表示為：

其中，β代表數字圖書資源信息的非結構化特征值，r1,r2,…,rn代表n個不同的待存儲圖書資源信息。

1.2 非結構化查詢標準完善

數字圖書資源的非結構化查詢標準由記錄頭標區、存儲地址目次區、信息字段區、分隔符四部分共同組成。其中，記錄頭標區能夠容納所有的數字圖書資源信息，能夠按照元數據標準，對數據信息進行按需存儲，總的來說，該區域中資源信息的最大存儲量只能達到24 字符，所有小于該存儲標準的信息參量，都能在頭標區空間內自由傳輸[5-6]。存儲地址目次區中包含n個目次項指標，但是每個指標的最大存儲量只能達到12 字符，始終低于頭標區環境。資源信息字段區起到一定的穩定存儲與數據過濾作用，可對已滿足非結構化傳輸標準的數字圖書資源信息進行暫時存儲，并可將滿足應用標準的傳輸數據，過濾回存儲地址目次區中。非結構化分隔符包含n個不固定字段，可對信息字段區已存儲的資源信息進行二次分辨。數字圖書資源的非結構化查詢標準如圖1 所示。

圖1 數字圖書資源的非結構化查詢標準

1.3 編碼原則建立

非結構化數字圖書資源的編碼原則主要以原數據參量作為參考標準。若已知具體的數據信息查詢標準，則可認為待編碼的資源信息量越大，分布式儲存主機所面臨的執行壓力也就越大。在非結構化傳輸環境中，分布式編碼原則由頭結點查詢、中間成分查詢、尾節點查詢三部分共同組成。頭結點確定了數字圖書資源的起始傳輸位置，尾節點確定了數字圖書資源的終止傳輸位置，一般情況下，二者之間的實值距離越大，分布式空間所具備的實時存儲能力也就越強[7-8]。中間成分決定了與非結構化數字圖書資源相關的信息過渡條件，受到頭結點定義條件、尾節點定義條件兩項物理量的直接影響。設T0代表頭結點定義系數，Tn代表尾節點定義系數，代表中間查詢成分的信息量均值，聯立式（1），可將非結構化編碼原則表示為：

2 圖書資源分布式儲存方法

通常在非結構化存儲能力分析原則的支持下，按照Hadoop 存儲架構搭建、資源文件讀取、分布式瀏覽系數計算的處理原則，完成新型數字圖書資源分布式儲存方法的設計與應用。

2.1 Hadoop存儲架構搭建

Hadoop 架構負責執行所有與非結構化數字圖書資源相關的存儲指令，整個框架體系以HDFS 模塊、數據傳輸地圖、檢索導航三個結構作為主要應用成分，可在整合數字圖書資源信息的同時，制定后續運行所需的分布式存儲文件[9-10]。HDFS 模塊作為Hadoop 架構的核心應用單元，可按照非結構化數字圖書資源的實際存儲需求，構建分布式傳輸框架，從而使信息數據的傳輸積極性得到充分調度[11-12]。數據傳輸地圖作為檢索導航建立的基層組織結構，可在已知數字圖書資源傳輸量標準的前提下，確定數據信息最遠所能到達的傳輸距離，從而實現對資源數據的最大化整合與處理。Hadoop 存儲架構示意圖如圖2 所示。

圖2 Hadoop存儲架構示意圖

2.2 資源文件讀取

資源文件讀取是數字圖書資源分布式儲存過程中的必要處理環節，可借助Hadoop 架構，將各級信息參量集合到統一的數據庫主機中，一方面可減少無序與零散組織在網絡環境中的存在數量，另一方面也能夠實現對資源信息數據的最大化聚合，從而使得整個數字圖書資源存儲環境不斷向著系統化方向趨近。假設非結構化數字圖書資源在分布式存儲環境中只能保持單向傳輸的連接狀態，且信息參量的最大存儲條件不會受到任何外在條件的影響[13-14]。在此情況下，數據庫主機所能讀取的資源文件量越大，最終計算求得的分布式瀏覽系數值也就越大。設χ1、χ2代表兩個不同的數字圖書資源信息排列系數，聯立式（2），可將資源文件讀取結果表示為：

其中，ΔT代表數字圖書資源信息的單位提取時長，代表分布式傳輸條件下的信息數據特征值，g代表資源文件在網絡環境中的單次讀取次數。

2.3 分布式瀏覽系數計算

分布式瀏覽系數決定了非結構化數字圖書資源的最大存儲條件，在網絡環境中，該項系數值的物理水平越高，待存儲的資源信息量也就越大。在不考慮其他干擾條件的情況下，分布式瀏覽系數計算結果受到資源數據存儲邊界、信息標度值兩項物理指標的直接影響[15-16]。資源數據存儲邊界由最大值cmax、最小值cmin兩部分組成，一般來說，二者之間的差值水平越大，數據庫主機所具備的資源信息存儲能力也就越強。信息標度值可表示為μ，在已知資源文件讀取條件的情況下，該項物理量的數值水平越大，分布式瀏覽系數的計算值結果也就越小。在上述物理量的支持下，聯立式（3），可將分布式瀏覽系數計算結果表示為：

式中，f1、f2分別代表兩個不同的非結構化差異系數指標，代表f1與f2的物理均值。至此，完成相關系數值的計算與處理，在確保不出現其他干擾條件的情況下，實現非結構化數字圖書資源分布式儲存方法的順利應用。

3 實例分析

通過人工布線的方式，建立完整的數字圖書資源存儲網絡，分別采用分布式儲存方法、傳統云存儲方式對網絡環境中的數據信息傳輸行為進行干預，將前者作為實驗組，后者作為對照組。

對于數字圖書資源來說，評論存儲能力強弱包含零散信息組織有效性、整合有效性兩部分。零散信息組織有效性是指網絡主機在單位時間內所能組織處理的最大數字圖書資源信息量，一般來說，該項物理指標的數值水平越大，網絡主機所具備的零散信息組織有效性也就越強。

表1 記錄了實驗組、對照組資源信息組織量的數值變化情況。

表1 資源信息組織量

分析表1 可知，實驗組、對照組資源信息組織量在單位時間內均呈現不斷增大的數值變化趨勢，但實驗組上升量級均值明顯更大，整個實驗過程中，實驗組最大值9.16×107MB 與對照組最大值5.67×107MB相比，上升了3.49×107MB。

零散信息整合有效性是指與網絡主機匹配的資源信息處理速率，一般來說，處理速率越快，零散信息的整合有效性越高。圖3 記錄了實驗組、對照組資源信息處理速率的具體數值情況。

圖3 資源信息處理速率

分析圖3 可知，實驗組、對照組資源信息處理速率曲線均呈現上升與下降相互交替的數值變化趨勢，在整個實驗過程中，實驗組曲線始終存在于對照組上方。從極限值角度來看，實驗組最大值8.54 MB/mm與對照組最大值3.62 MB/mm相比，上升了4.92 MB/mm，且實驗組的兩級差值水平也遠高于對照組。

綜上所述，文中實驗的結論如下：

1）分布式儲存方法在單位時間內所能組織的數字圖書資源信息量較大，符合增強零散信息組織有效性的實際應用需求，對提升數據信息存儲能力起到一定的促進作用。

2）與分布式儲存方法匹配的資源信息處理速率更快，有利于零散信息的有效整合，滿足最大化存儲數字圖書資源的實際處理目的。

4 結束語

與傳統云存儲方式相比，分布式儲存方法在已知元數據定義條件的基礎上，根據非結構化查詢標準，建立完善的數據信息編碼原則。再聯合Hadoop框架，通過讀取已存儲資源文件的方式，得到分布式瀏覽系數的具體數值計算結果。從實用性角度來看，資源信息組織量增大與資源信息處理速率加快兩類變化的同時出現，不但可增強網絡主機對于零散數字圖書資源的組織有效性及整合有效性，而且滿足通過有效組織無序與零散資源的方式，維持數字圖書資源存儲環境系統化的實際應用需求。