基于Hadoop平臺的大數據應用系統解決方案

摘要：當前在進行大數據應用過程中存在三方面的問題，分別是大數據的存儲、分析和管理的問題，如果不能有效解決這些問題，將會直接影響其發展和應用。下面在總結前人經驗的基礎上，根據當前研究所得到的成果，提出有效的解決策略，希望給有關人士一些借鑒。

關鍵詞：Hadoop平臺；大數據；應用系統

當前移動電子商務、云計算、互聯網得到的快速發展，在整個數據庫市場中大數據占據很重要的地位，而且這一趨勢還在繼續發展，由此可見，基于Hadoop平臺的大數據將會得到廣泛的推廣。大數據具有廣度寬、深度深、規模大的特點，而且處理時間短，要求處理效果高，當前在應用中存在一定問題，下面就深入分析這方面的問題。

1分析大數據的存儲問題和解決方案

1.1大數據的存儲問題

HDFS屬于一種分布式文件系統，其中一個文 件以多個block的形式存放在多個Namenode節點上，每個block有多個副本，副本存放的位置根據HDFS放置算法來決定，但是在這方面還要注意，在HDFS中缺省block副本數和大小，但是對于所缺省的參數可以重新進行設置，對于CLIENT文件，可以臨時設置兩個參數，有效提高了系統的靈活性，在文件中其邏輯處理單元、重要性、大小都不同。由此可見，HDFS可以對非結構化數據進行存儲，對數據實施分布式計算，具有較高的性價比，系統運行可靠性比較高，通過增加機器設備，就可以保證系統的存儲能力。HDFS文件在讀寫并行方面存在問題，其已經可以讀讀并行，但是寫讀并行、讀寫并行中會受到制約，對于正在寫操作的文件，讀用戶看不到最后的block內容。

1.2相應的解決方案

針對HDFS文件在讀寫并行方面存在問題，技術人員分析了HDFS文件組織方式，其真實數據文件和元數據文件是單獨存放的，其中的每個數據塊都和本地文件系統相對應，因此在處理這一問題時，先不要改動HDFS的主要接口和主要特點，利用這方面的邏輯處理功能，編號算法等，對不同的HDFS文件進行塊集合組合，可以有效解決問題。

2 大數據分析過程的問題和解決方案

2.1 Hadoop生態系統存在的問題

Hadoop生態系統進行數據分析時有其自己的特點，對板結構化的數據、非結構的化的數據比較容易處理，系統擁有很好的容錯性和擴展性，該系統的接口類型很多，適應運行環境的異構性，該計算模型可以采用并行方式計算，因此該系統可以得到很好的性能，但是這一系統在相同條件下，和商業并行數據庫進行測試對比，其在性能方面存在很大的劣勢。

2.2有效的解決方案分析

為了解決上述的問題，可以從三個方面進行分析，第一點，Hadoop生態系統開始研發時是針對半結構化數據、非結構化數據；第二點，這一生態系統容錯性和可擴展性非常好，技術人員在改進時，如果增加節點數量就可以得到很好的性能，因此在使用中不需要在相同條件下和并行數據庫進行對比。在增加了節點的數量后，沒有必要對SQL接口查詢命令進行修改，也沒有必要對編程語言進行修改，達到很好的效果。機器使用的是中低端設備，其對性價比沒有較大的影響，當前生態系統自身也可以對其問題、性能等進行優化，例如數據的壓縮優化、job調度程序優化，體系結構優化等。當前主要有兩種解決方式，分別是混合型MapReduce解決方式，其主要吸收了并行數據中的一些特點，還有一種是經典型MapReduce解決方式，主要針對生態系統中的HadoopDB項目和HadoopDB MapRe-duce項目。

3大數據管理問題和解決方案

3.1分析大數據管理中有待解決的問題

一般在大數據管理中都不重視易用性，其中的hadoop也有類似的問題，但是在商業解決方案中技術人員就注意到了這一點，因此在設計中具有針對性，有效解決了這一問題。例如IBM大數據解決方案中，BI-ginsights對相應的集群、作業運行、HDFS文件管理有一個統一的管理模式，管理中系統具有可視化功能，對于大數據解決方案而言，也有賴于內部的集群管理系統。對于一個完整的大數據解決方案而言，必須使用到一體化的管理系統，這一系統在管理中包括很多的項目，例如通過大量機器構成大集群和小集群，具有多種數據來源，涉及到很多作業的運行和部署。在管理中如果只使用手工操作，沒有專業的平臺和技術工具等，不能保證系統的工作效率，間接也會影響系統的進一步推廣。相關企業雖然使用這一生態系統建立了平臺，沒有一個完整的集群配置平臺，在刪除節點和增加節點時必須進行手工操作，進行參數配置時主要依靠個人經驗，工作中沒有可靠的模擬器來幫助。從當前的解決方案中分析，在對Hadoop生態系統大數據管理中，主要應用了Ganglia和Sqoop[1]。

3.2分析具體的解決方案

解決大數據中的管理問題時，主要引入了Sqoop技術，其可以將生態系統以外的內容導入其中，還可以將內部的數據導出，具體應用Sqoop技術時主要存在下列問題，缺少圖形化的客戶端，導入的效率還需要進一步提高 穩定性問題需要解決。針對這一情況，技術人員進行了深入的研究，進而開發設計出了插件、application、Web客戶端。在使用中發現使用Sqoop進行大表導入過程中，工作狀態較差，導入效率低，而且經常出現問題，技術人員根據MapReduce設計出了大表導入編程模型，在該方式下實行切分算法，具體而言，對大表總的記錄mapper數求步長，得到與之對應的splitSQL查詢語句的起始行和區間長度，最終就可以保證導入工作量完全相同；這一模型工作方式是先進入 到MAP函數的鍵值對中的鍵[2]，是split對應的SQL語句，把查詢放入到地圖函數中，這樣使用這一模型時，對于其中的每一個mapper只調用一次map函數，通過實驗對比得知，使用的大表記錄數據都相同，測試中無論是記錄的分布情況還是區間情況，導入的時間都相同，或者對同一表分別用不同的分割字段，導入時間也完全相同。針對同一個大表模型而言，其實際導入效率比Sqoop有明顯的提高。在引入Ganglia技術時，主要存在兩個問題，分布是收集到的metrics數據只能進行顯示，用戶不能制定自己的metrics。針對這一情況，可以在OpenTSDB架構中融入Ganglia，這樣可以吧gmond所收集到的數據送往HBase和RRDTool中，有效解決了上述存在的問題，使用中可以進行監控，還有些保存了原始數據。

總結：

通過以上對Hadoop平臺的大數據應用系統解決方案分析，根據現實應用中存在的問題，結合生態系統的特點解決其問題，可以得到顯著的效果。在商業的解決方案中，在服務、易用性、性能方面具有優勢，在解決問題時，技術人員還優化了相關項目，前言工作者已經開始開發與之配套的管理套件。在以后的發展中，Hadoop生態系統發展速度會更快，但是在發展中要提高對大數據安全的重視度，否則影響會很大。

參考文獻：

[1]陳吉榮，樂嘉錦.基于Hadoop生態系統的大數據解決方案綜述[J].計算機工程與科學，2013，35（10）：25-35.

[2]向庭波，劉樹莊，何濤，等.大數據技術在卡口系統聯網方面的應用——基于Hadoop的卡口系統云計算聯網平臺改造設計與開發[J].中國公共安全：學術版， 2015（11）：45-50.

作者姓名：朱立 出生年月：1970年3月 學歷：碩士endprint