云計算技術下海量數據挖掘的實現機制

張 菁

(池州職業技術學院，安徽 池州 247000)

大數據時代的網絡發展，云技術不斷完善。本研究提出了一種云計算技術下的海量數據挖掘技術，結合海量數據挖掘的需求情況，做好資源的動態性分配，實現海量數據的高效能設計，進而在云計算數據挖掘平臺上，挖掘價值性高的數據。

1 云計算及其相關技術

1.1 基于云計算的一種開源框架Hadoop

Hadoop是Apache中的一種計算機開源框架。上層結構，是在計算機任務的分布中結合Map/Reduce模式使用，實現普通機器的超大集群并發的過程。底層結構，主要是結合分布式文件的HDFS系統，通過高容錯性以及吞吐量，并結合較低的成本應用，實現海量文件在普通機器集群上存儲。這種Hadoop有著較快的更新速度，也有著較為廣泛的應用。其是一種可擴展性相對較好的基于分布式云計算框架的應用，同時也有著一定的經濟實用性，可靠性較高。

1.2 大數據處理的基礎運用

(1)云環境的應用。大數據在云環境中的合理應用，不僅要通過結合組成因子間的架構體系，也要結合對因子間大小問題抽象性處理的相關架構體系，對成員的權限、公用資源進行處理，實現事件和活動的積極處理。在成員權限的處理過程中，主要是在數據流的劃片和分級操作處理數據流的系統過程中，對相應的權限進行賦予。在公用處理資源時，注重云環境下信道的處理，并在信令和指揮處理機制的應用中，實現的數據處理。共同處理資源時，結合云環境中使用的處理信道，實現處理活動過程中的信息發送。在全部動態行為的接收過程中，實現對處理進度的根本描述。在指標的集合過程中，對各個因子間的行為進行根本上的協調和應用。

(2)大數據處理。應用系統的根本建設，是要做好融合式架構結構的合理應用。在客戶/服務器架構的應用中，服務器主要是實現整個應用系統的一種管理和控制。在調度的過程中，實現相關程序邏輯數據的應用。客戶端往往是在用戶交互的輸入和輸出中，結合客戶端服務器發出的請求對相關的任務進行完成。在實際的架構應用中，融合式的協同有著簡單性的基本特點，但在實際的維護過程中，對服務器依賴性相對較強。

(3)分散式的架構應用。在系統的相關控制管理過程中，通過節點的協同控制，注重客戶段模塊的分散。在系統自治的實現過程中，本著靈活性和開放性的基本特點，做好數據分布存儲，實現各個系統的獨立處理。混合式結構在實際的應用中，通過數據信息的一致性維護，做好用戶管理和信息的全面轉發。

2 云計算技術下海量數據挖掘技術

現代化數據挖掘算法往往需要大量的訓練過程，并做好相關數據的統計，實現求解以及模型參數的優化。海量數據中的數據挖掘，是一種分布式并行的，基于大量分布式基礎數據挖掘的算法。Bhadurietal的研究表明，在對詳盡的并行數據挖掘提供算法的過程中，需結合關聯規則的學習分類方法，做好聚類以及流數據挖掘。

對于分布式書挖掘中的中間件庫而言，其中的Mahout作為一種開源性的可擴展分布式數據挖掘，其中間件庫的實現過程，實現聚類分類以及協同過濾的應用，將進化編程數據挖掘算法實現。結合高效性的運行和 Hadoop云計算的基礎框架，做好云計算海量數據有效挖掘和應用，降低成本，并注重高性能的實現，全面實現電子商務的可擴展性。

3 實例分析云計算技術下海量數據挖掘的實現機制

3.1 搭建Hadoop云計算集群

Hadoop分布式云計算環境是基于高性能計算機系統，結合命名節點的形式，即Namenode。其中數據節點主要有12個，即Datanode，其中各個數據節點采用 6路四核刀片的形式。通過Linux操作系統 Redhat5.5系統結構，使用 Hadoop版本模式，注重分布式環境的部署，啟動后臺進程，并運行相關例程，啟動集群進而實現計算的過程。

3.2 體系架構

(1)基于云計算技術下海量數據挖掘系統體系架構，如圖1所示。

(2)分布式文件系統層。主要是結合Hadoop HDFS實現高可靠的分布式數據文件存儲功能。在電子商務平臺海量數據的分布存儲過程中，實現多臺計算機集群處理，并做好文件的有效性分塊存儲，實現容錯自動分塊復制功能。這種平臺上的HDFS節點管理，主要是對文件系統的名字空間進行負責。在客戶端文件的訪問中，實現數據節點數據存儲的應用，對客戶端讀寫請求及時處理，并做好數據塊的有效性創建及刪除，實現數據塊的基礎復制。在HDFS上層分布式的計算層應用中，提供數據輸入，并結合中間結果，實現數據載體，充分發揮可伸縮性的優勢，在業務系統的聯系階段，實現分布式文件系統的有效性管理以及訪問。

圖1 云計算技術下海量數據挖掘系統體系架構

(3)分布式計算層。在MapReduce相關模式的應用里，結合分布式并行計算模型，做好數據的有效性挖掘，盡可能的結合任務分布式的形式，實現數據節點的合理調度計算，并做好海量數據的有效性處理和分析。在數據中間層，實現聚類分類的協同過濾數據挖掘算法。這種應用過程允許擴展，可對電子商務平臺中的Mahout算法庫進行定制，實現平臺應用層業務的相關需求分析。結合服務形式，實現應用層的基礎調用和分析。這種云計算平臺中的Hadoop應用，將云計算中的中間件進行協調和整合。通過平臺應用層的相關分析，利用基于競價參考形式的原材料信息分析模式，實現商業智能分析，結合智能搜索.將此模式運用到電子商務中，滿足電子商務的業務需求。

4 結束語

在基于Hadoop云計算技術應用下，電子商務海量數據挖掘系統的構建，及商業智能分析系統的應用，對于電子商務業務的應用發展有著積極作用，同時也能將企業商業價值提高，將企業忠誠度提高。基于Mahout技術在云計算平臺Hadoop上應用，往往注重資源的整合，在云計算中間件的基礎應用階段，將平臺的擴展功能實現，促進電子商務應用全面發展，并為現代化物聯網的應用和發展提供高性能的動態性平臺。

[參考文獻]

[1] 楊波.基于云計算的作戰數據存儲系統研究 [J].現代電子技術,2013,(19):12-14,19.

[2] 陳旭文,黃英銘.海量視頻點播系統的云計算技術與建模實現 [J].現代電子技術,2013, (14):10-12,16.

[3] 張樹凡,吳新橋,曹宇,等.基于云計算的多源遙感數據服務系統研究 [J].現代電子技術,2015,(3):90-94.

[4] 丁巖,楊慶平,錢煜明,等.基于云計算的數據挖掘平臺架構及其關鍵技術研究[J].中興通訊技術,2013,(1):53-56,60.