面向數據庫查詢的非結構化數據融合存儲系統

王磊，陳 磊，張明儒，魏 敏，李晉先

（1.國網新源控股有限公司，北京 100761；2.河北豐寧抽水蓄能有限公司，河北豐寧 068350）

數據存儲與信息指令查詢共同構成了數據庫查詢制。數據庫的基本類型分為集中式數據庫和分布式數據庫式[1]。其中，集中式數據庫具有內模式、外模式兩種組成形式。其構成形式相對較為簡單，在執行查詢指令時，無需額外處理傳輸信息參量，只需按照既定執行順序，按需存儲數據文件；分布式數據庫則不具備直接執行查詢指令的功能，為保證信息文件的傳輸準確性，系統主機必須借助多個數據載體模塊。在記錄信息傳輸行為的同時，提取必要的數據文本，從而使得整個數據庫體系始終保持相對完整的存儲狀態[2]。

由于非結構化數據的連接結構具有多變性，數據庫主機難以進行信息轉存。這也是導致單位時間內數據信息連接并發個數值不能達到預期水平標準的主要原因。為更好地解決上述問題，傳統I/O 模擬器存儲網絡根據哈希算法區分數據信息，再根據半連接原則，將這些文件參量轉存至既定的數據庫主機之中[3]。然而此系統的作用能力有限，并不能完全滿足實際應用需求。基于此，引入數據庫查詢思想，設計了一種新型的非結構化數據融合存儲系統。

1 數據融合存儲系統硬件設計

1.1 非結構化存儲框架

數據融合存儲系統的非結構化框架是完整的三級連接形式，即基礎存儲層、平臺服務層與業務應用層。其中，基礎存儲層在非結構化數據融合存儲系統的最下端，可在子系統結構的作用下，保持數據聯立集群的完整性[4]。且由于融合服務體系的存在，存儲平臺結構可直接負擔數據庫查詢指令的接入需求[5]。平臺服務層能夠實現基礎存儲層、業務應用層兩者之間的信息互通，可在調度鏈路負載、數據對接等服務的同時，實時處理非結構化數據。業務應用層結構同時搭載多個數據存儲載體，生成必要的數據信息融合與檢索服務指令。

圖1 非結構化存儲框架結構

該文設計的非結構化存儲框架為融合控制電路、數據存儲載體提供了一個相對穩定的系統連接環境。

1.2 融合控制電路

非結構化數據融合存儲系統的控制電路以TMS320 芯片作為核心處理部件，可借助1-8 號傳輸接口，實現對數據信息參量的按需布施與擴散[6]。整個電路包含4 個接入電阻，其中R1和R2兩電阻負責調度TMS320 芯片周圍的非結構化數據信息參量。可在數據庫主機的作用下，將已生成的查詢指令整合為既定傳輸形式[7]。R3和R4兩電阻的接入阻值水平相對較小，僅能承擔較少一部分的傳輸電壓，在融合存儲系統中負責建立TMS320 芯片與數據存儲載體之間的傳輸連接。

圖2 融合控制電路示意圖

由于TMS320 芯片外部負載的非結構化數據信息接口數量相對較多，所以在融合存儲系統運行過程中，控制電路連接形式改變后，各個接口的實時運行狀態也隨之發生變化。

1.3 數據存儲載體

為更好地適應數據庫查詢指令運行需求，融合存儲系統中的數據存儲載體需要準確區分結構化信息與非結構化信息之間的差別[8]。一般來說，在適應非結構信息的數據存儲載體需求的同時，還需要具備如下幾方面的能力。

1）在數據庫主機中，已生成的數據存儲載體模塊必須具備區分記錄頭標區與字段區的能力。對于非結構化信息而言，一個完整數據字符頭標區所占據的存儲比重往往小于字段區。

2）由于信息參量元素的不同，數據存儲載體的連接能力必須滿足多樣性原則，即連接載體實時數量的變化趨勢必須與非結構化信息的傳輸實值保持一致[9]。

3）數據存儲載體中非結構化信息參量的傳輸行為，必須完全服從系統主機內已生成的數據庫查詢指令。

2 面向數據庫查詢的存儲策略

在硬件設備結構的支持下，按照查詢類型定義、非結構化數據目標優化、數據融合代價估算的處理流程，完成面向數據庫查詢的非結構化數據融合存儲系統的設計。

2.1 查詢類型定義

所謂查詢類型是指在執行數據庫查詢指令時，為實現非結構化數據按需存儲而制定的信息參量排查原則。一般來說，隨著融合存儲系統覆蓋面積的增大，數據庫查詢指令的累積數量也會逐漸增大。在此情況下，待定義的非結構化數據查詢類型條件也會不斷增多[10]。規定M1、M2代表兩個不同的數據庫查詢節點定義系數，對于非結構化數據融合存儲系統而言，在數據傳輸量不超過額定數值條件的情況下，M1≠M2的不等式條件恒成立。z、v表示兩個不同的數據信息查詢指征定義項。受到數據庫查詢指令的影響，在融合存儲系統應用過程中，這兩項指標參量的數值水平始終保持絕對穩定的存在狀態。聯立上述物理量，可將非結構化數據的查詢類型定義條件表示為：

2.2 非結構化數據目標優化

非結構化數據目標優化是執行數據庫查詢指令的必要處理環節。為了在最大程度上緩解數據存儲載體的工作壓力，應保證數據庫主機的非結構化信息參量具備最高的整合權限[12]。一般來講，非結構化數據目標優化的實際執行方向應以保障數據庫查詢指令的順利運行為基礎。由于融合存儲系統始終保持較強的獨立性，所以在執行優化處理的過程中，必須同時滿足數據庫主機的存儲需求與非結構化數據的并行傳輸需求[13-14]。設α1、α2代表兩個不同的非結構化數據目標信息參量，f代表既定的數據信息查詢系數，β代表數據庫存儲主機中的信息參量排列系數，聯立式（1），將面向數據庫查詢的非結構化數據目標優化結果表示為：

為提升數據庫主機的實時存儲能力，融合存儲系統中的非結構化數據目標優化指令必須與數據庫查詢指令保持同步執行狀態。

2.3 數據融合代價估算

數據融合代價估算是設計非結構化數據融合存儲系統的必要執行環節，可在已知非結構化數據目標優化結果的基礎上，確定數據庫查詢指令的執行有效性[15]。規定非結構化數據融合存儲系統所執行的所有數據庫查詢指令應滿足定向執行的需求，因此為使數據融合代價估算結果更加趨于真實，應盡可能將非結構化數據的實時傳輸量控制在相對較低的數值水平。設ε表示非結構化數據的處理融合權限，λ表示面向數據查詢的信息參量代價系數，r表示與非結構化數據相關的查詢指令導向量，聯立式（2），可將面向數據庫查詢的數據融合代價估算結果表示為：

式中，μ表示存儲主機中的數據信息分辨系數，Dˉ表示單位時間內的非結構化數據傳輸均值，R表示數據信息容差值[16]。在確定數據庫查詢指令類型的基礎上，根據非結構化數據目標優化結果，估算數據融合代價，大幅提升單位時間內的數據信息連接并發個數值。

3 實例分析

為了驗證非結構化數據融合存儲系統的實用性，設計如下對比實驗。在非結構化數據傳輸環境中，首先按照如圖3 所示的數據庫查詢流程對實驗組數據參量進行篩選；再利用I/O 模擬器存儲網絡篩選對照組數據參量；最后對比數據存儲過程中的相關指標參量數值[17]。

圖3 數據庫查詢流程

數據存儲空間、單位時間內數據信息連接并發個數均能反映數據庫主機的實時存儲能力。一般來說，存儲空間消耗量越小，信息連接并發個數值越大，數據庫主機的實時存儲能力越強，反之則越弱。

表1 記錄了隨實驗數據增加，實驗組、對照組數據存儲空間消耗量的具體變化情況。

表1 數據存儲空間消耗量

分析表1 可知，在面對等量的數據存儲需求時，實驗組、對照組所需消耗的存儲時間并沒有明顯差別。在整個實驗過程中，始終保持穩定上升的數值變化趨勢，但實驗前期的上升幅度明顯高于實驗后期。對于實驗組系統而言，其空間消耗量在整個實驗過程中始終保持階段性的穩定變化狀態，且實驗后期的消耗量均值明顯高于實驗前期。而對照組系統的空間消耗量數值在整個實驗過程中始終不斷增大，全局最大值達到了5.1 G，與實驗組最大值4.0 G相比，上升了1.1 G。

圖4 反映了實驗組、對照組數據信息連接并發個數值的具體變化情況。

分析圖4 可知，在單位時長為10 s時，實驗組、對照組數據信息連接并發個數值的變化趨勢始終與理想數值保持一致。在整個實驗過程中，三條曲線均保持不斷上升的變化趨勢。在前20 s的實驗時間內，實驗組曲線斜率明顯更大，代表實驗組數據信息連接并發個數值在該段時間內的增大趨勢最為明顯。從第20 s 開始，實驗組曲線斜率雖然開始減小，但其整體均值水平依然遠高于另外兩條曲線。對照組數據信息連接并發個數值在整個實驗過程中基本保持均勻上升的變化趨勢。但其最大值僅能達到11 個左右，遠低于理想最大值與實驗組最大值水平。

圖4 單位時間內的數據信息連接并發個數

綜上可知，對于面向數據庫查詢的非結構化數據融合存儲系統而言，其存儲等量數據信息所需的空間消耗量明顯小于傳統I/O 模擬器存儲網絡。且在單位時間內，與之匹配的數據信息連接并發個數值也相對更大，在實際應用方面，其數據庫主機所具備的實時存儲能力明顯更強。

4 結束語

與I/O 模擬器存儲網絡相比，面向數據庫查詢的非結構化數據融合存儲系統，針對數據庫主機存儲能力較弱的問題進行了改進。利用融合控制電路、數據存儲載體等硬件應用結構，估算數據融合代價的實際數值。從實用性角度來看，與該系統相關的數據存儲空間消耗量水平相對更低。而單位時間內的數據信息連接并發個數值卻相對更大，符合提升數據庫主機實時存儲能力的實際應用需求。