基于云計算環境的大數據兼容性存儲系統設計

金宇

關鍵詞：大數據兼容性存儲; 關系數據模型; 大數據存儲模型; 云計算; 信息儲存; 并行處理

中圖分類號： TN911?34;U665 ? ? ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2019）01?0024?04

Abstract： In order to better adapt to the development of the environment， and promote the progress of science and technology， the real?time and heterogeneous characteristics of network data are researched， the network data detection and storage system is innovated and optimized in combination with phase cloud computing method， an innovative design scheme of big data storage system is proposed， and the big data storage processing model based on cloud computing is designed. The cloud computing method is used to analyze the characteristics of network data information. The extension of the data model， storage and parallel processing problems are studied to optimize and innovate the data storage system， and improve the practical value of the system. The system performance was detected with experiment. The experimental results show that the system has higher superiority than the traditional information storage system， and achieves the design goal effectively.

Keywords： big data compatibility storage; relational data model; big data storage model; cloud computing; information storage; parallel processing

隨著現代技術高速發展，對當前海量數據快速地進行有效兼容和存儲的要求逐漸受到重視。由于傳統數據庫難以滿足對大數據進行精確篩選兼容和海量存儲提取的需求，導致數據存儲系統難以快速高效地對數據進行傳輸和提取[1]。基于上述原因，結合云計算方法對大數據兼容性儲存系統進行創新設計，對大數據拓展及儲存方法進行創新，以達到對數據兼容關系和數據存儲模型進行優化和完善的優化目標。從而有效完成對數據進行篩選的工作，提高數據兼容性，簡化系統操作流程，提高信息儲存量和傳輸精準度[2]。為檢驗方法的有效性和實用性，本文設計了多次仿真實驗，與傳統的數據存儲系統運行效果進行檢測和對比。檢測結果證實，基于云計算環境的大數據兼容性存儲系統可以有效解決關系數據模型的兼容和擴展性問題，有效提高了對海量數據進行查詢的工作效率，有效解決了當前對大數據兼容存儲能力不足的問題[3]。

1 ?基于云計算的關系數據擴展模型設計

與原始數據處理方法相比，云計算對非結構化數據進行處理的過程具有結構性特征，該特征與關系數據模型內元組的邏輯形式相似，存在信息特征對應關系，因此可以利用數據特征類型對數據特征進行拓展描述[4]。由于結構化數據難以保證數據類型，因此無法簡單地與關系數據進行對應。結合數據抽象計算方法對結構化數據特征進行擴展和轉化，以便進行信息存儲和壓縮，針對信息拓展傳輸方法設計了樹形結構，如圖1所示。

圖1中，系統中對數據特征及數據拓展子系統的處理主要集中于數據儲存模塊，以便對結構化和非結構化數據及擴展和轉化后的子數據特征進行描述[5]。同時采用行式或列式的方法對大量數據進行壓縮和存儲。在完成數據擴展分類的基礎上，根據數據特征進一步進行數據類型切分。當數據擴展范圍超過限定閾值時，擴展出來的虛擬類數據信息被視為普通子類信息進行儲存處理[6]。為了更好地對虛擬類擴展數據繼承關系特征進行展示，以便將數據進行分類儲存，達到快速準確地對數據特征進行查詢的設計目標，對關系數據和非關系數據轉化和擴展類型切分方法進行深入研究，以提高對大數據進行管理和分析的性能[7]。基于上述思路設計了關系數據擴展類型切分系統，如圖2所示。

2 ?基于云計算的大數據存儲方法優化

對大數據擴展存儲系統的設計需要對系統底層數據庫信息進行組織，以便提高系統中數據的兼容性，避免數據存儲過程中出現信息損壞等問題[8]。同時高效快速地為系統用戶提供一致、可擴展的數據訪問接口，方便用戶快速精準地獲取數據源圖文信息[9]。基于上述目標，對基于云計算的數據儲存管理訪問模塊設計思路進行展示，如圖3所示。

如圖3所示，用戶可通過數據管理入口處理系統對數據庫進行統一訪問，利用大數據訪問統一接口對所需數據進行提取和儲存等操作，最后數據可在數據關系映射層進行緩存，并永久性地儲存在數據庫最底層中[10]。另外，數據存儲系統中通常利用非關系型數據特點為緩存數據進行特征分類，來實現數據的擴展和轉換，以便優化客戶端的數據通信模式[11]。在數據量相對較大的情況下，需在數據庫緩存系統中使用集群方法對臨時數據進行優化和儲存，從而實現對大量數據進行轉換和兼容的設計目標[12]。結合上述思想設計了基于云計算環境的數據儲存優化系統，系統設計流程如圖4所示。

3 ?數據并行高效實時處理方法設計

為了在大量數據并行的情況下提高數據實時處理效率，結合前文內容對大規模數據并行處理系統中的分類特征進行提取和研究，以便在系統運行過程中可以及時獲取待采集的任務數據，并準確地將任務插入到采集隊列中，從而達到準確劃分、快速調度和執行數據任務的設計效果[13]。在完成任務數據采集后，對所需的數據進行傳輸和存儲處理。由于數據規模相對較大，通常情況下需要對任務進行并行處理，并通過監控系統和數據監聽模塊對并行任務處理情況進行監督和管理，最后對數據的存儲結果進行有效的分析和檢測。在數據并行處理過程中，一旦檢測出設備故障，系統會立刻發出告警通知，以便及時對系統異常情況進行檢測，避免在儲存過程中出現數據失真和異常等情況[14]。綜上所述，對數據并行處理系統進行設計，系統具體設計流程如圖5所示。

在數據并行過程中會呈現出明顯的層次性關系，為了更好地對復雜、多樣的數據進行兼容和存儲，需定時對系統數據庫中的待采集系統任務進行提取，并通過告警系統對是否終止正在運行的數據采集任務進行判斷[15]。一旦出現需要停止系統任務運行的情況，則需要針對任務編號對并行任務進行排查和篩選。為了準確地對采集隊列中出現異常的任務進行移除，需要對數據并行處理系統進行優化。結合前文內容對數據兼容儲存更新系統進行完善，從而有效執行并行任務，同時對任務進行處理，及時更新和查詢數據特征，保障數據儲存的完好性。數據兼容儲存更新系統結構優化設計如圖6所示。

4 ?實驗結果與分析

為了對大數據兼容性存儲系統的性能進行檢測， 對比傳統方法進行多次仿真實驗。為了保證數據儲存效果，首先對數據庫中失真失效的存儲數據情況進行檢測，檢測結果如圖7所示。

根據圖7不難看出，隨著存儲系統中數據量的增加，傳統的數據存儲系統數據失真情況明顯增加，且坡度較大，這說明傳統數據存儲系統難以對大量數據進行兼容，難以滿足當前對大量數據進行有效儲存的要求。而相比之下，改進后的數據存儲系統失真率折線上升，速度相對平緩，由此證實該系統可以更好地對海量數據進行儲存。通過檢測結果發現，基于云計算環境的大數據兼容存儲系統中存儲數據的失真率低于50%，相對于傳統方法有更明顯的使用優勢。

為了進一步對該系統的使用價值進行檢測，在同等條件下對傳統數據兼容存儲系統和基于云計算的數據存儲兼容系統進行實驗檢測。首先對兩種方法的數據兼容儲存效果進行檢測，并對比檢測數據結果，得到如表1所示的信息。

根據表1信息不難發現，傳統方法中可存儲數據量不足本文方法的[12]，且基于云計算環境的大數據兼容存儲系統無論是在數據并行處理、數據存儲還是在數據處理時間方面都明顯優于傳統方法。進一步對系統的數據兼容效果進行檢測，在同等條件下，根據傳統方法和本文方法的檢測結果繪制成折線圖，如圖8所示。

根據圖8檢測結果可以看出，本文設計的數據處理系統可以更好地完成數據兼容，其對大數據的兼容性可達到100%。能夠有效進行數據采集、處理和存儲工作，充分滿足了當前對大數據進行存儲的設計要求，適用于實際工作應用中。

5 ?結 ?語

本文針對當前網絡對海量數據存儲和管理系統中存在的問題進行分析，為了更好地適應網絡信息技術的發展要求，設計基于云計算環境的大數據兼容性存儲系統，從而達到對網絡中大規模信息資源進行采集處理和兼容存儲的設計目標。通過實驗檢測證實，該系統具有存儲容量大、數據兼容性強，信息處理高效準確等優點，可有效提高數據采集處理效率，充分彌補傳統方法中的不足，適用于實際信息存儲工作中。

參考文獻

[1] 涂俊英，李志敏.云計算下非結構化大數據存儲系統設計[J].現代電子技術，2018，41（1）：173?177.

TU Junying， LI Zhimin. Design of unstructured large data storage system based on cloud computing [J]. Modern electronics technique， 2018， 41（1）： 173?177.

[2] 湯義好.校園網云存儲開放平臺的設計：基于云計算和大數據技術[J].內江師范學院學報，2017，32（6）：43?48.

TANG Yihao. The design of campus network cloud storage open access platform： based on cloud computing and big data technology [J]. Journal of Neijiang Normal University， 2017， 32（6）： 43?48.

[3] 羅弦，查志勇，徐煥，等.基于云計算的大數據自動分類處理系統設計[J].計算機測量與控制，2017，25（10）：278?280.

LUO Xian， ZHA Zhiyong， XU Huan， et al. Design of large data automatic classification and processing system based on cloud computing [J]. Computer measurement & control， 2017， 25（10）： 278?280.

[4] 鄒華.云計算環境下大數據分布規律的結構優化設計[J].現代電子技術，2016，39（8）：18?20.

ZOU Hua. Optimization design for structure of big data distribution regularity in cloud computing environment [J]. Modern electronics technique， 2016， 39（8）： 18?20.

[5] 王雪麗，胡波.基于云計算的銀行信息化模式研究與設計[J].陰山學刊（自然科學版），2017，31（1）：61?63.

WANG Xueli， HU Bo. Research and design of bank information model based on cloud computing [J]. Yinshan Academic Journal （natural science edition）， 2017， 31（1）： 61?63.

[6] 張露，尚艷玲.云計算環境下資源調度系統設計與實現[J].計算機測量與控制，2017，25（1）：131?134.

ZHANG Lu， SHANG Yanling. Design and implementation of resource scheduling system in cloud computing environment [J]. Computer measurement & control， 2017， 25（1）： 131?134.

[7] 姜明月.云計算平臺下的大數據分流系統的設計與優化[J].現代電子技術，2016，39（2）：28?32.

JIANG Mingyue. Design and optimization of large data strea?ming system based on cloud computing platform [J]. Modern electronics technique， 2016， 39（2）： 28?32.

[8] 朱亞東，高翠芳.基于PSO的云計算環境中大數據優化聚類算法[J].計算機技術與發展，2016，26（9）：178?182.

ZHU Yadong， GAO Cuifang. Big data optimization clustering algorithm based on PSO in cloud computing environment [J]. Computer technology and development， 2016， 26（9）： 178?182.

[9] 高新成，王燕，李春生，等.基于云計算的大數據教學服務平臺設計[J].綏化學院學報，2017，37（8）：146?150.

GAO Xincheng， WANG Yan， LI Chunsheng， et al. The research of cloud service platform for higher education based on the big data [J]. Journal of Suihua University， 2017， 37（8）： 146?150.

[10] 張潔，薛勝軍.云計算環境下氣象大數據服務的應用[J].安徽農業科學，2016，42（5）：298?301.

ZHANG Jie， XUE Shengjun. Application of the services of meteorological big data in cloud computing [J]. Journal of Anhui Agricultural Sciences， 2016， 42（5）： 298?301.

[11] 申琢.基于云計算和大數據挖掘的礦山事故預警系統研究與設計[J].中國煤炭，2017，43（12）：109?114.

SHEN Zhuo. Study on early warning system of coal mine accidents based on cloud computing and big data crunching platform [J]. China coal， 2017， 43（12）： 109?114.

[12] 張向睿，向華，董雄報.面向云計算大數據中心的制造業項目管理系統設計[J].現代電子技術，2017，40（12）：46?48.

ZHANG Xiangrui， XIANG Hua， DONG Xiongbao. Design of manufacturing project management system for cloud computing big data center [J]. Modern electronics technique， 2017， 40（12）： 46?48.

[13] 李鴻雁.大數據云計算環境下的數據安全探討[J].信息與電腦（理論版），2017（3）：201?202.

LI Hongyan. Discussion on data security in big data cloud computing environment [J]. China computer & communication （theoretical edition）， 2017（3）： 201?202.

[14] 蘇樹鵬.基于Hadoop的大數據解決方案的設計及應用[J].河池學院學報，2017，37（2）：89?93.

SU Shupeng. The design and application of big data solution based on Hadoop [J]. Journal of Hechi University， 2017， 37（2）： 89?93.

[15] 毛海波.基于云計算的OA資源數據交換模式探討[J].寧波大學學報（理工版），2016，79（1）：28?32.

MAO Haibo. Probe： OA resource data exchange mode based on cloud computing [J]. Journal of Ningbo University （natural science & engineering edition）， 2016， 79（1）： 28?32.