云平臺下的大數據資源挖掘技術探討

彭華林

摘要：目前，世界上各個國家都在努力發展科學技術，各項技術也迅速成熟起來，很多高新技術已然成為國家的經濟支柱，科學創新對于一個國家發展的推動作用越來越明顯。對于社會經濟而言，全新的科技創新服務平臺只是一個新的形式，我們要做的是參考不同的情況，有效地提升科技資源的利用率，并將生產、學習、研究結合在一起，充分地發揮其在科技方面的推動作用。使科學技術更快的轉換為生產力，成為國家科學經濟中的重要支撐力量。隨著互聯網、云計算、物聯網和人工智能等信息技術的不斷發展和進步，形成了爆發式的大數據時代，各行各業都面臨著海量資源數據的分析和處理問題，大數據資源挖掘技術就成了資源數據分析和處理的關鍵技術。因此，在云平臺下，大數據資源挖掘技術在各個領域的應用與創新要求有所提升，加快大數據資源挖掘技術發展已經成為硬性要求，不僅如此，大數據挖掘技術的進步也在促進信息技術不斷提升，并從這些大數據資源中挖掘更多有用的決策信息與重要價值，促進社會經濟快速發展。

關鍵詞：云平臺；大數據；資源挖掘；信息技術

中圖分類號：TP393 文獻標識碼：A

文章編號：1009-3044（2019）11-0010-03

現在人類的發展可以說是一日千里，社會的快速發展也給社會的科學創新能力提出了更高的要求，特別是云計算、大數據和人工智能等信息技術。對于一個國家而言，科學技術對經濟起到非常重要的推動作用，不論是國家還是地區，綜合實力的競爭歸根到底就是科技的競爭，云計算、大數據等科學技術在國家支持下，經過大量技術研發與實踐應用，科技創新服務平臺為我們今后的工作和生活提供了有力的技術支持。不僅如此，全世界各種高科技企業投入了大量的科技力量創新發展，科技創新服務對于國際社會來說起到非常重要的推動與發展作用。因此，各行各業搭建各種科技創新服務平臺會大大提升與影響全球科技進步、共建和共享科技成果。綜上所述，對科技創新服務平臺中的各種大數據采用云技術進行數據存儲、大數據資源挖掘和應用，迅速、高效獲取重要知識和決策信息。所以，云平臺下的大數據資源挖掘技術具有重要的價值作用。

1 大數據資源挖掘技術原理

為了能夠從云平臺的角度上深入地挖掘大數據方面的內容，在開展研究工作之前，我們先要做的就是要了解該技術采用什么樣的技術原理。經過改良之后的科技創新服務平臺結構體系，能夠有效地完成數據資源的挖掘工作，構建一個穩定的平臺環境，著重介紹平臺的環境情況，再詳細地了解過平臺的體系之后，就可以更好地完成數據資源挖掘技術的改善工作。大數據資源挖掘的原理就是數據資源挖掘技術，這一項技術提供了更好的該來那個計劃，是整個計劃能夠不受阻礙。

1.1 科技創新服務平臺結構體系科技創新服務平臺結構

這個平臺的結構被分成以下幾個部分，它們分別是：用戶層，網絡層，資源層和數據層。用戶層包括平臺的使用者，這些使用者中包括與科學技術服務相關的人員和客戶，不僅如此，該部分還囊括了一些科學技術提供商，資源提供者等，這部分中還有利益獲得者；網絡層說的就是平時使用的操作平臺，這一層聯系著其他許多層，在向他人展示其科研成果的時候，提供一些便利的操作方式；資源層把運營層看作是媒介，能夠幫助其提供專業的科技服務；數據層的載體是平臺，能夠有效地實現資源的挖掘分析工作，并整理完善客戶相關信息，使得資源推動的效率有較大幅度的提升。

1.2 大數據資源挖掘依據

第一不要做的就是得到大數據資源，我們把得到的資源分成兩個部分，第一部分是數據預處理然后備用，第二部分是利用專業的處理方式來整理數據，就能夠更加科學的對數據進行分析，之后再利用專業的數據分析手段將數據進行分類，利用這樣的方式完成數據挖掘的工作。

2 云計算定義及架構

2.1 云計算定義

云計算就是我們常說的計算平臺，利用專業的數據平臺，能夠使用服務器完成規模較大的計算，并采用動態的數據流動的處理方式，為計算提供各類數據材料。云計算結合了各種科學的計算方式，采購采用更加便捷的方式處理好計算結果。在實施云計算的過程中，可以采取更加科學的計算方式來滿足顧客各方面的需求，同時還必須做好資源的分配工作，這種計算方式的成本比現在使用的計算成本相比，在存儲能力上有較大的優勢，因此更加適合在實踐過程中使用。

2.2 基于云計算的數據挖掘系統架構

云計算在很多方面都具有比較大的優勢，首先云計算框架在硬件資源的設置方面比較簡單，同時在消耗方面的成本也比較低，與其他模塊采用配合的方式，使項目在研發的過程中能夠直接使用研究得到的成果。數據挖掘技術在應用中使用，必須要利用好算法獨有的特點，之后在使用各種算法，從而實現各項功能與各個模塊之間的合作。

2.2.1 目標系統模型

系統中的各個模塊主要是為了能夠在實踐操作過程中，可以給用戶提供足夠的便利，幫助他們處理好各種各樣的問題，給用戶更好的使用體驗，在這個系統上搭建的應用程序，可以采用性能更好的接口。除此之外，在實踐的過程中還可以利用終端完成各種應用服務，在研究的過程中，可以對各種應用算法或者是其他處理數據的方式，進而有效地增強計算機的數據儲存能力。

2.2.2 功能層次框架設計

云計算的各種程序接口之中，每一個借口都是為了云平臺的計算而設置的。用戶以及云計算之間是彼此交互的關系。采用開放式的借口可以給用戶提供數量更多的、有價值的信息，從而整理出一個完整的數據集，同時還可以幫助用戶使用各類算法，幫助各種應用形成有效的集合，幫助實現平臺的各項功能。

3 云計算技術下資源挖掘平臺設計方案

3.1 系統總體設計云

同計算技術進行設計的數據挖掘平臺，其中大致包含有三層結構模式，這之中包含有數據預處理、云計算以及數據挖掘平臺，這些部分都是平臺中比較重要的內容，對于平臺性能而言具有重要的意義，能夠發揮出數據的挖掘功能，在完成數據挖掘系統結構的設計工作時，采用相應的方式進行存儲，使得整個平臺能夠采用分布式的管理辦法；數據挖掘平臺在現實操作中發揮了重要的作用，因此在設計的過程中必須要結合實際情況。

3.2 系統功能設計

在利用云計算技術進行數據處理的時候，系統中的每一個部分都發揮著不一樣的功能。在這幾個功能模塊之中，數據收集模塊部分的功能，主要是體現在處理平臺服務器端口數據的時候，能夠用最短的時間反悔得到有效的數據信息。數據預處理模塊其實就是將原始數據進行簡單的處理之后返回處理之后的數據，處理的過程就是將一些沒有利用價值的數據清除，從而增加數據挖掘系統的挖掘時間。但是在選取模塊規則的時候必須要得到幾個具有象征性的通用信息模塊，這是一種經過科學優化的全新模式。設置這個應用接口模塊，主要就是為了能夠處理好數據與挖掘平臺之間提供合理解決問題的途徑。

3.3 平臺數據庫設計

完成平臺數據庫設計工作的時候，要充分地考慮到在實際應用過程中的情況，合理的安排多余的數據，把數據庫中的一個部分騰出來專門用于存放數據信息，通過主鍵和外鍵能夠形成動態視圖，進為后期的編程和檢索工作帶來極大的便利。在這個平臺上，Reduce能夠使用不同的數據類型，包括其他的有序排列。在完成數據平臺挖掘工作的時候，弱勢Reduce端收到的數據量比較少，我們就可以將這些數據直接儲存在內存中；若是暫存數據量在緩沖區處于一個較大的比例，就必須要及時進行合并處理，將這部分數據寫入磁盤中。

3.4 算法模塊插件系統

在算法模塊中涵蓋了很多計算方式，比方說有數據清洗算法方式、數據挖掘算法方式、結果可視化算法等各種。在設計算法模塊插件的時候，該過程包含有幾個方面的內容，這幾個部分的內容如下：

1）對于云技術來說，大數據計算的方式不僅缺乏規律性，同時還具有嚴重的噪聲影響，所以我們在實踐的過程中，通常都會先用數據可以先采用清洗算法完成初步的處理工作，把一堆沒有任何規律的數據整理成有明顯規律的數據文件；2）利用數據挖掘算法可以獲得在數據處理過程中不能獲取的數據信息；3）數據集訪問模塊。數據集訪問模塊與算法模塊插件系統相比具有很多相同之處，兩者都是利用插件對各種信息數據進行調用處理。不過，在這個過程中會有一部分信息有可能會被分解，產生于之前的訪問地址不同的地址訪問信息，并向數據機訪問模塊傳遞處理之后的信息。

3.5 數據挖掘平臺算法實現

將數據挖掘技術以及云計算進行彼此穿插，采用融合處理的方式，在規模不受限制的機器上進行運算的時候，就能夠得到最客觀的分析數據。在Map/Reduce的框架結構上，在整個計算的過程中，我們會對每一個步驟進行詳細的核查，經過核查之后的計算結果才能夠進行下一階段的處理。在進行數據挖掘工作的時候，我們可以將不同的挖掘任務分成不同模塊，并把每一個模塊進行合理地分配給機器，各模塊在各個機器上進行下一步的操作，每個模塊處理完畢之后就要進入到下一階段的數據挖掘工作中去，之后再將這些分開的文件作合并處理，并將其輸出。利用這個算法去設計數據挖掘平臺，將數據的靈活性提高到最大限度，使數據挖掘的效率與質量得到顯著的提升，進而使整體的工作效率與質量都得到很大的進步。

4 基于云計算數據挖掘平臺的關鍵技術

4.1 云計算技術

為了使云平臺在處理數據的時候效率能夠得到有效的提升，使處理數據的工作更高效，在選用計算方式的時候，可以選用分布式計算的方式，這一種計算的方式能夠順利地完成這個目標。在整個系統的幾個主流的分布式文件系統和分布式并行計算框架之中，能夠有效地更加合理的處理云計算數據挖掘平臺的構建工作，對于平臺搭建的工作來說，云計算在平臺中發揮著最為關鍵的作用，能夠支撐起整個平臺的工作。分布式的文件系統能夠騰出更多的存儲空間，這樣不僅能夠減少數據存儲的成本，同時還能夠使數據存儲的可靠性增強，這個優勢對于一家大型企業來說有著極大的誘惑力，對于普通的用戶而言，也能幫助他們更加方便的處理數據。

4.2 分布式并行計算框架

分布式并行計算框架在分布式計算中還是有使用到一些細節處理的方式，但是如果想要在終端進行操作的話，那么自身就需要達到一定的要求。利用分布式并行計算框架，就能夠明顯的提升數據挖掘的工作效率，通過這樣的方式能夠使企業在數據挖掘平臺上花費更少的費用。

因為云計算技術的快速發展，分布式計算框架也開始走進了企業的視線，許多企業對這方面的事物都相當的重視，把谷歌集團作為我們研究的典型例子，他們搭建了一個并行的計算框架MapReduce，這個框架可以在多臺PC機上同時進行大量的數據處理工作，在處理的過程中還能對數據進行分析。不僅如此，谷歌集團還有一個迭代處理計算框架Pregel，這個框架更加高效，在可擴展性和容錯性方面的表現更為亮眼，是一個極易編程的計算框架，這一個科學性的框架可以在大型圖計算領域進行應用，就像交通線路和Web搜索等。

4.3 服務調度以及針對服務的管理技術

數據挖掘平臺在很多方面都具有明顯的優勢，其中開放性優勢表現明顯，能夠同時把不同的業務在平臺上計算，因為這項服務調度和服務管理，對于發揮整個平臺的功能是非常重要的。正因如此，技術部門必須要保障數據挖掘平臺的云服務能夠有足夠的安全保障，嚴格保守用戶的相關數據信息，進而是整個資源與服務的調度能夠得到有效地改善，同時還可以參考服務管控系統，把平臺中的數據進行合理的管控。

4.4 數據匯集的調度中心

搭建數據挖掘平臺最主要是為了解決數據收集、數據分析和數據處理的問題，數據挖掘平臺需要在第一時間匯集相關數據，這主要是因為數據具有針對性，不同的數據用來解決不同的問題。將數據集中在一起進行調度還能是數據在更新的時候實現同步，讓數據可以在最短的時間內完成更新，讓用戶得到更準確的數據信息，發揮出云平臺的數據分析和數據處理能力。

5 結語

隨著信息化時代的不斷發展，面臨著信息的膨脹以及數據的大爆炸，當前社會對大數據資源的整合利用能夠轉化為社會經濟效益和重要價值。各行各業在依托云計算技術的基礎上，開發和建立大數據資源挖掘的平臺，通過云技術的支撐，從而實現云計算為社會各行各業提供高效、優質的服務，實現大量信息資源的共建與共享，并為社會各種的數據資源分析、處理和信息應用創造更多的發展的可能，為全社會帶來更大的經濟效益。

參考文獻：

[1] 薛蓓；周延懷；王曉蘭.基于云平臺的大數據資源挖掘技術研究[J].計算機測量與控制，2017（12）.

[2] 陳茂軍.基于云平臺下的數據挖掘研究[J].華東交通大學，2016（6）.

【通聯編輯：唐一東】