分布式大數據管理系統的設計與實現研究

唐永軍

摘? ?要：計算機技術在近年來發展十分迅速，各種大數據、物聯網也在不斷生長。大數據的出現，能夠對大量的數據進行存儲，并對大量的數據進行處理。傳統模式下出現的數據庫根本滿足不了當下大數據的應用，在大數據的支持下，分布式數據庫也得到較大化發展。但是，實際中對大數據展開應用的時候存在一些難題。因此，設計一款分布式大數據管理系統十分必要，這可以給大數據的采集提供無限可能，還能夠增強數據的處理能力。

關鍵詞：分布式? 大數據? 管理系統

中圖分類號：TP311.13? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2019）11（c）-0152-02

利用大數據對數據進行檢索的時候，需要重點解決效率方面的問題，對分布式大數據管理系統加大設計，讓其成為新的系統，讓大數據能夠具有較高的檢索效率，讓其能夠對海量的日志實施相應的檢索，并分析大量的數據，讓大數據能夠具備實時處理方面的功能。

1? 大數據和云計算之間的關系

大數據技術不單單代表的是海量的數據信息，還需要對這些數據信息做好相應的處理。如果大數據是一種領域，對數據實施處理的能力就能夠展開這個區域具體的盈利關鍵，通過加工讓數據產生相應的價值。對大數據進行處理的時候，單臺的計算機根本發揮不出具體的作用，需要使用分布式的架構[1]。但是，這種架構具有一種強大的功能，就是可以對大量的數據展開分布式的挖掘，但是必須依托云計算的分布式數據庫展開存儲技術。云時代的發展，讓人們對大數據有了過多的關注。對大數據展開分析的時候需要將其和云計算有機地聯系在一起。對大數據展開分析的過程中，更需要使用相應的框架對整個電腦的工作展開支配，這樣花費的時間會更加多也會花費更多的金錢。

2? 分布式大數據管理系統結構組成

系統在運行的過程中，中央控制集群會發揮出相應的控制信號，從而接收到關于用戶的檢索請求，檢索工作的開展需要建立在用戶的需求之上。對系統的所有狀態展開實時的監控，將系統中存在的異常及時的處理。將特定的集群方面的任務取消，優化整個網絡中存在的連接資源，讓整個系統可以安全的運行，從而具有一定的穩定性。

對于整個系統來說，入口就是大數據采集集群，大數據在實施采集的時候主要的過程是主要是執行單元。需要在多臺機器上將數據采集功能開啟，從而收到較高的采集效率。具體的操作需要多臺機器的配合，打開緩存模式，在中央控制集群的輔助下緩存周期性的文件，保存永久的存儲集群[2]。

大數據檢索集群主要是用戶和系統交互的一個接口，可以通過自定義的命令發送中央控制集群的指示。中央控制集群更是需要利用大數據完成檢索，對系統的運行狀態實施相應的檢索，查詢具體的存儲集群。匯總結果，然后將結果反饋給數據檢索集群。利用視圖這樣的方式將最終的信息展現出來。

大數據永久存儲集群相當于一個倉庫，庫存量十分大，可以將數據永久的保留下來。將數據采集集群存在的周期特點有效發揮出來，做好數據的更新。采集好數據后并將其存儲，這樣可以讓提高工作效率。

其他的功能集群能夠打造編程的拓展窗口，這樣可以滿足更多的用戶需求，讓新的集群有更加強大的功能。

3? 分布式文件系統

3.1 分布式文件系統的組成架構

分布式文件系統可以對數據實施存儲，并管理系統的目錄和日志。同時，還需要完成通信工作，讓指令能夠順利的發出，對整個狀態能夠進行搜集，讓數據塊具有較高的完整性，對整個狀態做好相應的維護[3]。對數據塊做好創建，讓整個負載處于一個均衡的狀態。針對訪問要求的數據讓其能夠處于一個負載均衡的狀態，并對其中存在的數據做好調整工作。在數據庫存較小的時候，需要對其中存在的一些文件進行復制，并將日志記錄全部刪除，對隱藏的文件進行回收，檢測陳舊的數據，刪除不重要的信息。這樣存在的數據就會更加清晰，分類也會更加明確。

3.2 設計思路

對文件做好相應的劃分，存儲的過程中更是需要將其劃分成若干塊。每個文件塊的大小相對來說都是比較固定的，配置的時候可以十分隨意。為了讓系統具有較高的可靠性，可以采用冗余的方式，每個數據塊上面存在的服務器十分多，至少會有三臺以上的服務器，這樣可以讓系統具有較高的可靠性。對數據的訪問環節實施相應的調整和協調，需要讓數據具有良好的統一性。設置的過程中不可過于集中的設置，文件操作中大部分會是流式讀寫的方法，不能多次重復的讀寫，利用Data Node完成數據存儲的過程中，通過本地文件展開存儲。

4? 分布式大數據管理系統的算法分析

4.1 分布式大數據管理系統的數據結構

分布式大數據管理系統對數據進行存儲的時候，主要采取的方式是列的方式。所有字段必須遵循相應的順序進行排列，按照不同的類型來保存，如果系統容量過于大的時候，需要利用存儲單元來保存文件，這個文件也就是所說的數據塊。利用數據塊能夠對數據進行采集和檢索，對數據做好相應的存儲。系統在實施分類整理的時候通常采取的是分塊方式，利用中央控制集群將數據塊存儲起來，可以利用較短的時間完成數據的查詢工作。

4.2 分布式大數據管理系統的核心算法

4.2.1 系統數據查詢算法

系統數據查詢算法的流程通過圖1可以表現出來，主要分為5個步驟。第一，用戶完成對檢索工作的請求進行提交，然后由數據檢索集群接收檢索請求。第二，通過中央控制集群接收數據檢索集群中的信息。然后，針對用戶提出的信息迅速完成定位。第三，利用中央控制集群通過索引然后完成目標的查找工作。一旦檢測到索引方面存在的信息就不需要向查詢命令進行發送。第四，數據永久存儲集群進行查詢的時候需要遵循相應的條件，根據相關需求，對結構進行反饋[5]。在沒有找到的情況下，可以利用廣播完成查找，直到找到結果的出現，對查詢結果完成反饋的時候需要對中央控制集群加大應用。

4.2.2 塊索引查詢算法

中央控制集群將用戶的請求接收之后就需要對數據做好剖析，優化查詢的具體條件，對數據實施相應的優化之后再對目標展開檢索，對整個算法流程實施相應的查詢。

對查詢條件實施相應的解析，然后讓模塊能夠重新組合在一起。如果分類信息中存在塊索引分類信息，就可以在緩存中將塊索引找出來，將查詢出來的信息發送給數據永久存儲集群，然后繼續等候，確保目標數據順利歸來[6]。當信息中不存在塊索引信息的時候，就需要利用常規模式對條件做好查詢，利用編程完成的接口給數據提供更多的查詢條件。對塊索引查詢算法進行引用，不斷提升查詢效率。

5? 結語

對實驗結果進行分析，對數據進行檢索的時候采用分布式數據管理系統，會充分展現出利用該系統的優勢。選擇合適的時間段，并選擇合理的檢索條件，就會大大提升檢索效率，這樣可以對海量的數據做好相應的處理。

參考文獻

[1] 王偉，廖正宇，張輝，等.基于大數據的鐵路信號系統數據存儲與分析系統設計與實現[J].信息網絡安全，2017（1）：29-37.

[2] 孫小滿，劉春.基于大數據的分布式網絡安全管理平臺設計與研究[J].信息與電腦：理論版，2017（19）：128-130.

[3] 佚名.基于Spark的分布式大數據分析算法研究[J].計算機應用與軟件，2019（1）：39-44.

[4] 佚名.基于大數據的計算機數據挖掘技術在檔案管理系統中的研究應用[J].激光雜志，2017（2）：142-145.

[5] 佚名.分布式大數據下多條件快速檢索的設計與實現[J].科學技術創新，2018（28）：77-78.

[6] 王艷.淺談交通管理大數據分布式管理應用平臺的架構設計方案[J].科技與創新，2017（23）：76-77.