云計算環境下的大數據挖掘體系架構研究

華 英

（蘇州市職業大學 計算機工程學院，江蘇 蘇州 215014）

在互聯網及物聯網不斷發展的過程中，我國已經處于信息及數據超量的信息時代中。如何對此產品產生的大量數據進行挖掘，是現代運營商需要解決的問題。自從云計算技術的出現，為數據挖掘技術提供了更好的發展方向。云計算可以實現資源動態分析、虛擬化功能，可以為應用程序高性能開發提供幫助。本文所設計的平臺能夠降低企業和運營商在數據挖掘方面的投入，還能夠促進挖掘業務的推出，有效提高產品的收益。

1 基于云計算的數據挖掘策略

1.1 數據挖掘

數據挖掘技術就是利用識別技術、統計學、學習機器、人工智能等技術，采取聚類、分析預測、特征化、關聯性數據等分類方法，從大量、隨機、不完整、模糊、噪聲數據中找出有價值的數據和信息[1]。

1.2 云計算

云計算是商業計算中使用比較多的技術，它就是將各種數據儲存在計算機資源結構池中，這樣才能滿足系統自行建立信息儲存空間和計算、服務空間等。一般云計算包括軟件即服務（Software as a Service，SaaS）、基礎設備服務（Infrastructure as a Service，IaaS）、平臺服務（Platform as a Service，PaaS）等模塊功能。

1.3 數據挖掘云化

云計算的利用提高了數據挖掘技術的效率，同時也給數據挖掘技術帶來了新挑戰。很多行業的發展也開始利用云計算進行數據挖掘，傳統的數據挖掘平臺需要進一步完善[2]。

2 基于云計算和挖掘服務的大數據挖掘體系結構

傳統的數據挖掘分析的數據量比較少，而且都是從數據倉庫中挖掘，數據類型較為單一。數據云化模型具有高速、高精度、大量數據處理功能，它能夠利用數據挖掘算法，進行范圍的數據挖掘分析，數據挖掘算法可以進行數據結構的優化，從而擴大數據挖掘的范圍[3]。

2.1 云計算平臺

云計算服務平臺包括SaaS，IaaS，Paas等3個模塊服務，主要是負責處理數據，同時能夠實現儲存和處理數據的功能。該平臺可以和CPU、網絡支持、儲存等云服務硬件設備結合，利用分布式數據挖掘技術進行大量數據的處理和計算。

2.2 開放接口的設計

云計算平臺具有數據接口開放服務，它的優勢就是具有無態型功能，用戶可以通過開放接口尋找自己需要的數據。在某個局域網中，可以重復進行緩沖裝置的調用，從而保證服務器快速的吞吐量，進而減少服務器工作的負擔[4]。

2.3 數據挖掘層

數據挖掘層具有多種封裝結構形式，包括HTTP，XML，Restful等形式，而且可以實現結構化語言查詢，通過引擎實現自動解析可以調動云服務。每個構建行業的系統都是根據需求進行自身業務數據調用，之后整合。數據挖掘第三方算法技術也可以利用工具，比如：Weka分布式和Mathout等算法庫[5]。

2.4 分布式系統架構

分布式架構系統（Hadhoop）是一種軟件框架，可以在更大的平臺中進行分布式數據處理，同時能夠數據提供引擎功能處理。下方HDFS文件框架結構是一種分布式系統，自身對外具有接口，能夠促進程序自動向離數據最近的位置進行移動，分布式儲存系統架構移動計算數據節點可以有效減少投入成本[6]。上方HDFS能夠促進屬于稀疏數據的有效解決，從而減少數據實際體量需求，達到節省效果成本。上方HBase是一種MapReduse引擎，它具有兩種引擎方式，包括Trackers和Task，該功能的使用改變了傳統執行任務單一的方式，而且能夠實現多個任務進行拆分的功能，之后實現節點數據挖掘的有效分配，以此建立大量Reduse的任務，在數據庫中進行但數據集加載，從而實現云計算數據挖掘和高效的大數據服務功能。但是該平臺是一種流處理和批處理模式，無法進行數據復雜、小延遲處理數據，只能在較低的更新率大量數據靜態中使用，不能有效地實現計算內存[7]。針對這種問題可以通過圖片數據庫處理工具來解決，同時結合分布式儲存和計算機技術，實現快速的數據處理和查詢，之后進行半結構和非結構化的圖形數據和內存計算，從而提高處理復雜數據的效率[8]。

3 基于云計算數據挖掘機構的實現

分布式架構系統可以實現訪問日志、超級代理DNS、計算CDN云和數據動態分布功能，具體內容包括以下方面。

3.1 云計算CDN化

CDN的運行原理是規避有效網絡環境給數據穩定性和傳輸的影響，在節點通暢網絡下進行數據傳輸，從而使用戶獲得相應信息，來提高數據儲存的效率和穩定性，同時能夠快速保證高效的網站反應[9]。可以有效解決靜態傳輸數據中擴展問題，云計算平臺可以在短時間內解決網絡靜態數據儲存和擴展動態內容的問題[10]。

3.2 DNS超級代理

DNS是一種域名系統，可以通過云計算平臺進行數據的融合和擴展，從而實現客戶和企業進行Laas和Paas全面服務。通過切換智能DNS，在云計算平臺中進行網站大量IP地址的代理，通過服務器/客戶端結構功能，進行云計算平臺應用功能的優化。

3.3 動態數據分布

CDN可以以較低的成本在網站中全面進行鋪設。在結構設計中，入股出現節點問題可以實現網站的訪問，普通網站用戶服務都是聚集在特定的區域中，具有一定的地域性特點，通過地域性用戶差異建立網站代理，在互聯網環境下實現云計算的創建和部署，在最近用戶位置進行平臺訪問，從而減少網站訪問時間[11]。

3.4 訪問日志

用戶進行數據通過網絡的瀏覽時，實現網站可以日志的記錄訪問。在網絡環境下實現日志信息訪問，之后將數據保存在數據倉庫中，然后實現數據信息的深度挖掘，通過整合的數據進行網絡服務端的部署。然后根據訪問用戶網站進行的信息，建立反饋意見功能，為云計算的應用平臺提供幫助[12]。

3.5 智能調度系統

該系統可以有效解決知識組合問題，實現快速調度。通過超級代理DNS實現用戶訪問行為的索引，從而對用戶數據進行深度挖掘，實現快速網站分發和智能系統調度創建，從而提高用戶網站訪問效率，提高網站的承載力，減少用戶訪問時間[13]。

4 結語

以云計算為基礎的數據挖掘結構在網絡中是必不可少的，此框架能夠有效解決互聯網中數據挖掘遇到的全部問題，提高數據挖掘性能及效率。但是，本文分析的技術系統還存在一定的問題有待以后解決，比如：大數據在云設備中傳輸、程序結構的設計等問題需要加深研究。