基于云計算的數據挖掘平臺架構及其關鍵技術研究

胡凌燕

(江漢大學數學與計算機科學學院，湖北武漢430056)

1 云計算技術研究

云計算(Cloud Computing)基于互聯網相關服務的增加、使用和交付模式，通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源。云是網絡、互聯網的一種比喻說法，以往在圖中往往用云來表示電信網，后來也用來表示互聯網和底層基礎設施的抽象。用戶通過電腦、筆記本、手機等方式接入數據中心，按自己的需求進行運算。云因其實現簡單且全局搜索能力強大，備受人們的關注，云計算網絡技術可有效處理離散型問題，由此擴大了云計算網絡的應用范圍。針對云計算網絡技術在求解最優解時存在收斂速度較慢、容易早熟收斂且陷入局部最優解等問題，有很多學者從參數調節、云網絡單元拓撲結構調節等方面對云計算網絡技術進行了改進。

1.1 參數調節

針對云計算技術中的慣性權重實驗，現有研究分析了固定權重以及非固定權重對于最優值搜索的影響。該技術通過呈正弦變化的函數調節慣性權重變化，由迭代次數和歷史最優位置共同決定加速系數，通過每個粒子的反饋適應信息自動設定學習概率，從而讓粒子進行完成從局部到全局再到局部的尋優過程。結合典型線性遞減策略以及動態變化策略，共同控制慣性權重的變化，使得改進后的技術既能控制粒子總體運行方向，又考慮到粒子的實際運行情況，使得尋優過程更具準確性。針對尋優過程中存在停滯的云網絡單元，提出一種具有初始化功能的自適應性慣性權重云計算技術。該技術通過適應性慣性權重對停滯粒子的加權重心重新初始化，使得技術不易陷入局部最優。

1.2 拓撲結構調節

通過對靜態鄰域的各種結構以及它們對技術性能的影響進行分析后得出，星形拓撲、Von Neumann拓撲以及環形拓撲的拓撲適應性最好。此外，云計算技術性能與鄰域密切相關，處理復雜問題時小鄰域的云計算網絡技術性能較好，但是處理簡單問題上大鄰域的云計算網絡技術性能會更好。Chend從改進云計算網絡結構的角度出發，提出了一種具有雙結構的云計算網絡技術。技術將云網絡單元分為M+1層，其中“1”指頂層，通過獲得頂層云網絡單元的全局最優值影響其余各層的粒子對最優值的探索，以此提高云網絡單元搜索結果的多樣性。該技術考慮到云網絡單元體表現以及粒子個體的表現，并將其作為觸發條件控制領域變化從而提高尋優效率。由此提出KRTG－云計算技術，將產生隨機動態的網絡拓撲結構，并將平均值引入到粒子更新公式中，增加了種群的多樣性，改善了粒子間信息的傳播速度。

1.3 其他改進技術

相關研究將遺傳技術中遺傳算子的選擇、交叉、變異等過程與云計算技術相結合，提出一種混合技術。改進后的技術提高了云計算網絡技術的性能，并增加種群的多樣性以提高逃離局部最小的能力，可將差分進化技術和云計算技術相結合，通過兩種技術的交叉執行來提高改進技術的效率。白俊強等將二階振蕩和自然選擇兩種方法融入到云計算技術中，通過二階振蕩對技術速度公式進行更新，通過自然選擇提高了云網絡單元中靠近最優值粒子的比重。收集粒子的取值信息構建記憶庫，讓庫中信息和粒子自身極值共同決定粒子的尋優方向，從而提高尋優的準確性。

2 云計算數據挖掘平臺概況

隨著云計算技術在各領域應用取得顯著進展，利用以太網進行通信及智能化技術迅速成熟，數據挖掘管理工作逐漸朝著數字化方向發展，使得數字化網絡技術在資料管理系統中的應用不斷深入。本文利用云計算技術、數據挖掘系統和新型智能設備，按照相關標準統一建模，能夠實現通過數據挖掘平臺實時、高效、可靠地挖掘信息。基于云計算技術的數據挖掘平臺是在數字化編程技術基礎上發展起來的，采用領先技術，由安全可靠、低碳環保的智能化裝置組合而成，以高速網絡通信平臺作為系統基礎，自動完成采樣、挖掘、保護、監控、記錄、處理、查詢等基本功能，并根據實際需求完成系統實時智能化監控和調節、在線分析和決議、與其他系統交互等應用功能。

智能編程是基于云標準環境的，該技術依據“編程通信網絡與系統”系列標準。它為編程自動化系統定義了統一、標準化的信息交互模型，實現了數據挖掘平臺的信息統一建模，解決不同設備之間的互操作性問題，為編程內各種信息的整合和共享奠定基礎。通過采用云計算標準的建模方式，系統編程可實現對站內數據挖掘的狀態數據、監測數據、檢測數據、環境數據和動作信息的整合和共享，形成編程一體化信息平臺，為數據挖掘平臺提供完整、精確、實時、一致、可靠的數據。

在數據挖掘平臺中，需要對系統進行監視、控制和管理以掌握其運行狀態。隨著系統實現的功能越來越多，結構越來越復雜，處理的信息量越來越大，其對數據的可靠性、實時性、一致性和共享性提出了更高的要求。于是，各功能模塊需要一個數據庫系統來管理維護這些共享數據，這些數據可能采用不同數據結構、數據類型或表示形式等，這在一定程度上影響了編程自動化的建設。如何將編程內的各類數據相互轉換、集中管理、統一使用，實現數據之間基于網絡方式的交換、共享已成為當前云計算數據挖掘平臺架構亟需解決的問題之一。

3 云計算數據挖掘平臺架構與實現

云計算的分布式存儲和分布式計算促使了新一代數據挖掘平臺的變革。系統框架采用三層架構設計，分別為云計算支撐平臺層、數據挖掘能力層、數據挖掘云服務層。其中云計算支撐平臺層為底層的數據庫操作，數據挖掘能力層封裝了大量類和方法，為數據挖掘云服務層提供接口，以供其調用。系統采用三層架構有利于后期的維護，在今后的運行維護中，如果需要給系統添加新的功能，則只需要通過添加類，修改部分接口便可完成，同時由于將系統分層，也增強了系統的安全性。

3.1 數據庫架構

資源數據庫具有數據結構化、冗余度低、程序與數據獨立性較高、能批量處理數據、易于擴充和索引、易于編制應用程序、同時可清晰表達SCL配置文件等優點，故選用關系數據庫來完成SCL配置文件的數據建模，利用現有數據庫的挖掘、備份、恢復、并發控制等技術，可有效地對數據進行管理。借助數據庫技術，根據云計算標準關于數據模型的描述，把SCL文件提供的配置信息進行關聯、配置，導入數據庫中，根據需要導出數據庫相關的信息，映射轉換成符合要求的配置文件，實現信息復用的目的。在數據庫中，表是數據信息挖掘的基本結構，表的架構可以決定顯示模塊和其他功能模塊從數據庫中提取數據的方式。在采集編程描述信息SSD文件時，通過在數據庫中架構了一系列表，以實現數據存取、處理、修改、備份和維護等基本功能。

3.2 ICD文件建表方案

ICD文件一般由廠商提供，供配置工具使用，由于ICD文件包含的信息量不小，在建表時不可能將這些信息全都存放在數據庫中，這樣會影響數據庫的運行，所以數據庫的結構架構應盡量簡潔，只需將必要的信息挖掘在數據庫中，方便圖形顯示界面模塊調用數據。ICD文件包含的信息可分為標記和數據兩部分，其中標記部分的由云計算標準規定，屬于靜態部分，不需要建表挖掘在數據庫中;而數據部分則需要根據實際情況而定，屬于動態部分，也是數據庫的關鍵內容，故需要建表挖掘在數據庫中。

3.3 XML與關系數據庫

編程自動化系統一般采用關系數據庫來管理編程中的相關數據，數據庫中包含多張表，表中的數據都是以行和列的二維表形式組織在一起的，每行表達了一個唯一的數據記錄，列也稱為“字段”，表示數據的種類或屬性。各表之間通過某種聯系關聯起來，組成我們需要的數據庫。為了實現互操作性和可擴展性，云計算標準通過采用面向對象的方法建立編程設備的對象模型，定義了基于Client/Server的分層數據模型、數據對象描述方法以及面向對象的服務。

3.4 XML文件挖掘系統的架構

目前，XML數據的挖掘方式基本上可分為三類:文件系統、挖掘管理器和數據庫管理系統。數據庫管理系統方式中基于關系數據庫的XML挖掘管理是一種應用比較廣泛的方法。根據挖掘時是否使用XML模式，基于關系數據庫的XML挖掘方法又能分為結構映射和模型映射。不管采用哪種映射方法，都需要先對XML文件進行編碼。XML編碼是指對XML文檔樹的每個節點都按一定的算法進行唯一性編碼，根據任兩個節點的編碼，能夠直接判斷這兩個節點之間是否有祖先、后代等結構關系。目前已經提出了多種XML編碼方案，如區域編碼、前綴編碼、素數編碼等。

3.5 XML文件處理系統的架構

XML文件處理是XML文件挖掘的逆操作，是指從關系表中提取挖掘在其中的數據和一些元數據，與相應元素或屬性一起重新組成符合XML規范的形式。換句話說，處理XML文件是將散落在多個關系表中的數據重新整合，形成一個完整的XML。相對于XML挖掘系統，XML處理系統的架構較簡單。處理系統需能夠恢復原XML文件片斷的結構和內容，同時保證XML數據的完整性和一致性。架構的主要思想是通過獲取節點編號Num，在關系數據庫中查找對應的關系模式表的信息，再將查詢的數據重新組合成XML文檔片斷。

3.6 路線設計模塊

路線設計模塊面向所有用戶，是系統的核心模塊。用戶輸入所需查詢內容后，系統會根據輸入的條件，生成有向路線圖，運用Dijkstra算法生成推薦路線。路網信息管理模塊，面向系統管理員，主要是用來管理路網中相關路徑的拓撲信息，包括查詢類似信息以及包含的節點信息等。節點鄰接點集生成模塊，主要用來生成路徑有向圖。根據基于分區域、節點鄰接點集的推薦路線生成方法，生成系統有向圖。推薦路線生成模塊，面向所有用戶，根據用戶輸入的運輸信息，為用戶推薦一條準確性最高的數據查詢路徑。

3.7 數據挖掘平臺云架構

圖1 基于云計算的數據挖掘平臺架構

如圖1所示，該平臺是基于云計算平臺實現的數據挖掘云服務平臺，采用分層設計的思想以及面向組件的設計思路，總體分為三層，自下向上依次為云計算支撐平臺層、數據挖掘能力層、數據挖掘云服務層。

數據挖掘能力層模塊主要是完成對數據挖掘平臺中相關數據的計算以及路徑影響因子權重的計算。在用戶輸入查詢信息或者路徑基本信息時，系統會按照評估模型的要求，自動對評估因子進行權重分級并且計算出挖掘數據或者路徑的風險評估權重值，此模塊得到的權重值將直接存入數據庫，作為系統的基礎數據進行使用。相關數據信息計算要實現代碼如下。

4 結語

現階段，我國對數據挖掘管理工作越來越重視，傳統數據挖掘管理方式已不能適應目前科技發展的需要?；诖?，將先進的云技術應用到數據挖掘平臺的架構工作中無疑是勢在必行的。本文詳細分析了基于云計算技術的數據挖掘平臺，通過研究發現，該系統不但可以充分達成數據挖掘管理的各項任務指標，同時還增加了大量新的管理模塊，實現了數據挖掘平臺的智能化與高效化。

[1]Han，J，M.Kamber，J.Pei.Data mining:concepts and techniques[C].Morgan Kaufmann series in data management systems，2012.

[2]Luis M.Vaquero，Luis Rodero－Merino，Juan Caceres，Maik Lindner.A break in the clouds[J].ACM SIGCOMM Computer Communication Review，2008(1).

[3]余永紅，向曉軍，高陽，等.面向服務的云數據挖掘引擎的研究[J].計算機科學與探索，2012(1):46－57.

[4]李智龍，宿紹瑩，唐鵬飛，等.基于數字信道化的正弦信號快速測頻方法[J].雷達科學與技術，2011(5):474－478.

[5]楊勇，董振江，陸平.具備云計算特性的業務交付平臺及其關鍵技術研究[J].中興通訊技術，2011(5):55－57.