對基于云計算技術的數據挖掘分析

【摘要】? ? 本文簡要介紹數據挖掘、云計算等技術概念，從通信、鐵路、電力等行業分析了現階段數據挖掘技術的使用情況，指出了數據挖掘程序現存問題，圍繞云計算技術進行程序開發，以Hadoop為運行環境，增強數據挖掘程序的運行能力，最大化發揮云計算技術功能，帶動各行業量化分析工作有序進行。

【關鍵詞】? ? 通信? ? 云計算? ? 市場預測? ? 數據挖掘

在物聯網環境中，人們使用多種電子設備，進行網絡連接。結合視覺網絡數據統計可知：國內移動終端客戶數量處于穩步增長狀態，在[2016，2021]年間，移動客戶數量增加了18倍。預計在2023年，移動用戶數量將會是2016年用戶數的10倍，移動終端總數將會達到120億。在此種較大基數的網絡數據資料環境下，積極使用云計算技術，各行業開展數據挖掘工作，能夠有效獲取市場預測信息。

一、技術概述

1.1數據挖掘

數據智能分析是從大量的數據資料中提取有用信息的過程，表現為多級加工程序，含有多個運行流程。在數據挖掘時，按照一定法則進行源數據的提煉、優化，在前期處理完成時，再使用數據挖掘、智能匹配等技術，選擇適用算法開展資料分析，繼而有效獲取數據分析結果。

數據挖掘是數據智能分析的一個環節，在較大數據量、完整性不足、規則性不強、含有噪聲、清晰度不高等各類數據資料中，借助特定算法捕獲數據中的特定規律，進行有效信息挖掘。此技術的應用，在一定程度上符合特定業務的數據資料分析需求，比如客戶消費傾向、學生成績優勢科目等。數據挖掘過程，融合了多個領域的專業內容，比如數據統計、智能學習、規律識別等。數據挖掘技術能夠在大規模數據量中，有效捕獲價值信息，具有較強的市場預測功能[1]。在數據挖掘技術使用與推廣的各項工作中，能夠在短時間內完成資料分析，給予人們決策、市場投資等多重參考依據，以量化分析結果獲得合理公正的決策方案。

1.2云計算

其一，虛擬化技術。此技術的使用旨在有效解決硬件性能分配不均、老舊硬件運行能力欠佳等問題。虛擬化技術的使用，有效改善了底層物理硬件，使其具有更為透明的特點，對軟件、硬件兩個模塊未進行融合處理。在單個性能硬件中，有效衍生出多組虛擬資源，有效整合虛擬資源，提升物理硬件利用效果。其二，大規模數據處理技術。在云計算技術中，是使用大規模數據處理程序，以并聯運行模型為基礎形式。在此技術程序中，含有Map、Reduce兩種函數。在Map函數處理時，采取逐行數據文件的提取與分析，對預處理完成數據，將其劃分至新節點。在數據分配完成后，進入Reduce函數處理環節，完整讀取Map處理結果，對中間資料進行合并分析。組合型數據處理技術，對于較大數據量的資料，具有較強的處理能力。與此同時，此技術表現出數據監控能力，能夠自主排查數據處理異常位置，進行數據處理任務重啟，確保數據處理質量。

二、各行業數據挖掘的使用分析

2.1通信行業應用

“云計算”強大的數據處理能力被廣為運用在通信行業。在這個信息化時代下，人們在使用電視、手機、電腦等終端設備時所產生的上網行為數據如果能進行處理和分析就可以挖掘出具有極高價值的信息，例如對用戶進行清晰的定位，除了統計學意義上的基礎數據之外，還能洞察出他們的喜愛偏好、行為習慣、消費水平等等。信息化程度越高，收集到的信息也越多，云計算能夠存儲海量的數據，運用分析處理技術，從中為用戶得出更有價值的分析。運營商可以運用云計算，根據用戶的行業特性從而制定差異化的解決方案 [1]。

2.2鐵路行業應用

以運維系統為例，探索云計算技術為基礎的智能數據挖掘平臺運行情況。

2.2.1智能感知網絡

在運維系統中，添加了智能感知網絡，有效集成了感知程序、信息處理等技術，以較大數字量形式進行信息傳輸，具有較強的故障診斷、信息校正、功能補償能力。系統中以列車感知為主，兼有站場、線路等感知模塊。各類感知網絡結構中，擁有多個設備檢測模塊，能夠有效捕獲設備運行資料，以數據化形式展示運維資料，對于設備運行資料給予量化分析。

2.2.2云計算融合的運維系統

云計算以數據分析、數據處理為技術融合目標。在互聯網平臺中，較大數量的硬件，依據特定規則進行硬件連接。同時在需求改變的情況下，形成了低能耗、高效率的資源處理體系，在優化基礎設施成本的基礎上，合理控制設備運維支出。與此同時，云計算表現出較強的計算能力，在存儲能力、數據安全等方面具有高性能，在特定硬盤發生質量損壞時，數據不會有丟失情況。在泛式通信體系中，便于用戶自由獲取數據資料[2]。智能運維系統中，融合了智能感知系統架構中的各類數據，比如監測、檢測等。在進行數據整合分析、按類存儲時，能夠有效處理動態的、非動態的各類數據，確保數據查詢有效性，增強數據查詢便利性。與此同時，結合各組設備各時段的運行情況，積極使用智能算法，高效率、精準獲取故障位置，有效解決系統之間聯通問題。

2.2.3運維資料數據挖掘

數據挖掘技術在新型處理體系中，表現出更強的數據決策、數據分析、系統優化各項能力，有效應對數據量較大、增長能力較強、樣式多種的信息資源。數據挖掘技術的融合價值，集中體現在有效數據的整合分析方面，確保數據加工精準性，有效提升數據挖掘層次。在鐵路運維體系中，采用人工智能算法，進行數據分析，以往期設備運行積存的大量數據為基礎，高效運行人工智能算法。

數據挖掘的運行依賴于云計算技術，以分布式架構程序為基礎，對數據資料進行高效處理，確保初始資料、處理后數據存儲的完整性。在使用數據人工分析技術時，應對較大規模數據量，需要加強數據分析，減少數據判斷失誤問題。在使用數據挖掘技術時，能夠高效獲取事件本質與特征。

在鐵路行車安全視角下，加強運維系統運行，有效進行車輛性能分析，積極制定預防整治措施，減少鐵路行車故障問題，緩解運維人員數據處理、分類、分析的工作壓力。運維系統的運行，能夠對業務文本、語音圖文、音頻各類資源進行預測分析，具有較強的決策指導功能。

2.3電力行業應用

以電網企業為視角，圍繞canopy-k-means算法進行數據挖掘實例分析。選擇某電網服務的企業用戶，調取其24小時時間范圍內的用電資料，用作數據分析資料。數據采集頻率為15秒一次。數據采集完成時，對數據資料進行聚類分析，結合分析結果，掌握企業用電特點。

使用ETL對于采集獲取的數據進行有效處理，使用canopy-k-means算法高效處理數據，獲取兩個部分數據，開展數據有效分析，獲得兩種分析結果。其中A類分析的用電規律為：用電集中時段為晚上10點至次日五點，白天用電量較少，電價政策對于A類分析結果而言，有助于企業減少電費支出。B類分析結果為：用電集中時段為上午7點至晚上7點，晚上用電量較少，結合電價與企業用電特點，企業需要適當改變集中用電時間，優化用電成本。結合數據挖掘獲得的用電特點、用電規劃建議，能夠促使企業有效規劃用工時間，確保企業運行順暢，優化用電費用。

2.4教育行業應用

圍繞云計算技術，進行案例教學系統創建，同時在系統融合數據挖掘技術，確保各項教學資源高效率使用。教學智能管理系統的構建思路：系統創建時，分別從教育規劃、案例資源庫、訓練題庫為模塊開發視角，以教學應用為主體，進行系統開發。在系統開發時，依據模型、平臺逐一完善系統功能。某高校進行案例教學系統創建，旨在加強案例教學資源收集，為實踐教學提供發展平臺。教師群體作為案例資源庫的主要管理人員，教師在平臺中，可有效檢測學生學習情況，調取學生在線答題的資料，結合數據分析結果，進行學生分組，開展針對性教學工作。同時，此平臺可擴展功能，以資源庫原有的案例項目為基礎，進行案例題型的標模建設，有效豐富新型案例，完善案例題庫，便于學生自主學習。

三、系統設計

3.1數據挖掘程序現存問題

在未融合云計算技術時，數據挖掘系統的運行，依賴于單機、服務器。因此系統結構中，以二層機構為主要類型。更為完善的系統是運行在網絡終端的三層架構。在系統運行時，會使用數據移向計算，具有信息前期存儲、數據后續集中處理等特點。系統此種運行方式，產生較大時耗、通訊傳輸成本，甚至提升了數據空間的復雜性。

3.2云計算為視角的系統設計

在云計算技術支持下，能夠有效解決數據挖掘系統運行存在的各類問題，兼容數據量計算、數據存儲等多項技術，能夠對多種數據進行同步分析，表現出較強的數據分析、挖掘技術優勢。在系統構建時，含有多種結構層次。

其一，支撐平臺。此結構層的運行依賴于數據挖掘技術，能夠確保基礎信息資料存儲完整性。此程序中融合了數據分析、云計算等信息，組建成資源豐富的信息處理環境。其二，功能層。此結構層的使用功能，是圍繞用戶需求開展多種數據分析與有效信息挖掘，結合用戶數據特點，進行市場預測。其三，服務層。在服務層體系中，以客戶端為視角，使用數據挖掘技術，能夠有效連接客戶端、用戶，形成信息交互體系，以期從中挖掘較高價值的信息，以信息服務形式向用戶傳送分析結果。

3.3以Hadoop為運行環境

以Hadoop為運行平臺，搭建數據挖掘系統，能夠有效運行數據挖掘系統，掌握數據資料的處理過程[3]。

其一，數據預處理。數據挖掘技術在實踐應用時，是以大量數據資料為基礎。在數據預處理程序中，借助多種先進性技術，對數據進行并行測算、數據更迭，確保數據共享效果。其二，數據存儲。數據挖掘技術獲得的數據資料，可對其進行多種存儲處理，為后續中間數據調取與使用提供便利條件。在進行數據存儲時，可搭建不確定關系體系，確保數據存儲高效率。其三，數據分析。在挖掘技術中含有多種計算方法，能夠對數據信息進行有效處理。在處理靜態數據時，處理難度不高，對于數據挖掘技術未提出較高要求。在處理動態變化、類型繁雜的數據時，可使用數據挖掘技術，確保分析質量，提升算法優化性。

四、結束語

綜上所述，在未融合云計算技術時，初期的數據挖掘技術在數據量處理、數據分析方面表現出局限性，應對數據量增加、數據類型復雜的情況下，需要進行算法更新、技術升級，以期發揮數據挖掘技術的應用價值，準確獲取市場預測信息，為各行業發展給出清晰方向。

參? 考? 文? 獻

[1]黃璐輝.云計算在通信行業的特點和應用[J].中國新通信，2020，22（12）：19.

[2]李長鵬，程濤.云計算與物聯網技術的數據挖掘分析[J].電子測試，2021（13）：139-140+36.

[3]高曉川.云計算平臺下物聯網數據挖掘研究[J].電子世界，2021（10）：45-46.

[4]黃敏.基于云計算技術視角的大數據挖掘技術分析[J].數字技術與應用，2019，37（11）：96+98.

文新懿（1988.01），男，漢族，廣東潮州，電子與通信工程碩士學位，電子技術工程師，研究方向：工程技術（信息通信） 。