大數據時代的數據挖掘

馬 斌 周 平 張建業 卿 松 李 猷

1.國網新疆電力公司信息通信公司；2.新疆信息產業有限責任公司；3.國網新疆電力公司

通過分析大數據外顯的規模、種類、變化頻度和價值密度等特征，提出采用數據挖掘技術解決海量數據的分析、集成、共享等問題，闡述了數據挖掘技術的概念，數據準備、數據挖掘及解釋評估等三個過程，詳細論述了數據挖掘的方法，以及在大數據智能分析中的實現技術。

概述

企業在信息化建設中，重點關注的是信息系統對現有業務的支持，對業務流程的自動化處理，而沒有意識到隱含在數據中的商業價值，在管理上缺乏對大數據的應用，導致企業管理高成本、效率低的局面。其次，由于政策原因很多大企業沒有意識到大數據技術的迅猛發展，在信息化建設中再次處于落后狀態。

信息技術的迅猛發展從某種程度上促進了企業集約化與精細化發展，企業對于信息技術亦愈發重視，對數據的價值和需求越來越高，原有的信息技術手段與傳統的數據處理方式已成為飛速發展的瓶頸。隨著數據呈幾何倍數爆炸式的增長，數據的規模、種類、變化頻度和數據的價值也發生了巨大的變化，因此數據的研究方法、手段和觀念也發生了變化。企業亟須通過信息技術手段解決和消化數據，消除企業內部的資源共享壁壘，實現數據的共享與融合，因此借著大數據、云計算的發展，結合數據挖掘的研究方法，采用新的信息技術解決海量數據的分析、集成、共享等問題。結合行業的特點及目前工作的特征，解決用戶多種形式、多數據源的集成需求，快速響應用戶，提高用戶感知度，降低數據集成的復雜度和操作難度，深度挖掘潛在業務數據價值，反相分析業務結果數據的業務關聯關系，重塑業務流程，提供切實有效的業務數據質量檢查、業務數據關系檢查的工具，提高業務數據質量，提高業務水平。

實現大數據分析技術，企業需要解決如下問題：1.統一數據源：整合異構系統的數據資源形成共享數據源，通過轉換工具統一數據格式，實現數據交換、數據采集和數據分析的基礎資源；2.清楚需求目標：認識企業自身發展對數據對象的需求，對數據對象進行有效分類，確認分析結果的商業價值；3.數據挖掘選型：針對不同數據對象類型和分析過程，選擇合適的數據挖掘技術，對大數據進行分析。

數據挖掘技術

數據挖掘的概念

數據挖掘是從現有企業信息系統長期積累的大量業務數據中，按照企業發展需要整理數據、分類存儲、按規則提取、按目標模型分析，最終獲取隱含在雜亂無序的大數據中的有效信息和知識的過程。

廣義上，數據挖掘是基于一些事實或觀察數據的集合中尋找一定模式的決策支持過程。對于企業，數據挖掘的對象數據主要包括兩部分：一是信息系統長期保留在數據庫中的業務數據，通過這些數據的挖掘和分析，能夠為企業管理提供決策支持；二是互聯網上的用戶數據，其目的是通過挖掘分析獲取用戶行為習慣，以便調整企業服務模式來迎合用戶需求。數據挖掘提取的知識通常表示為概念、規則、規律、模式、約束、可視化等形式，可以被用于信息管理、查詢優化、決策支持和過程控制等，還可以用于數據自身的維護。

數據挖掘的過程

數據挖掘過程是基于對數據對象的深刻理解基礎之上，為數據對象有針對性的選擇數據挖掘方法。因此，充分了解業務領域的前提下，掌握行業數據對象的背景知識，明確數據分析的目的，將數據挖掘方法、統計分析技術與專業領域知識技術相結合，才能體現出數據挖掘對企業的應用價值。

圖1 數據挖掘過程

圖2 數據挖掘的體系結構

數據挖掘過程一般由三大階段組成：數據準備、數據挖掘及解釋評估。數據挖掘可以描述為這三個階段的遞歸過程，如圖1 所示。

數據準備過程（數據源的集成、數據的選擇、數據的預處理）的優劣，對數據挖掘的準確度、效率以及最終采用挖掘模式的有效性都有影響。該階段主要完成的工作包括：數據集成，實現數據對象整理、清洗等；數據選擇，根據商業需求分類和提取數據集合；數據預處理，檢查數據的完整性和一致性，目的是消除數據中的非主體數據；數據轉換，是完成數據從數據源向目標數據倉庫的轉化過程，是將數據值按照目標數據的屬性分組分類，包含數據轉換過程中需要的計算組合等操作。

數據挖掘通過選定的數據挖掘模式，從海量數據中多次提取并轉化為用戶需要的知識。解釋評價是根據最終用戶的決策目的對所提取的知識進行多次清洗與分析，將最有價值的信息甄別并提取出來，提交給最終用戶。

圖3 BI 實現流程

數據挖掘的體系結構

數據挖掘系統一般可以分為如下三層結構，如圖2 所示。

第一層既數據源層，包括傳統的數據庫集合、外部的具有一定格式的數據資源等以及數據倉庫集合。數據的挖掘是否需要建立在數據倉庫的基礎上一般需要視實際情況與具體需求而定。如果實際情況與需求允許，使用數據挖掘技術與數據倉庫協同工作，將會大幅度的提高數據挖掘效率；第二層是數據挖掘的工具，利用數據挖掘方法（常用的方法包括聚類分析、分類分析、關聯分析等）分析各數據源中的數據，通過ETL 工具將數據進行多次清洗與轉化；第三層是用戶界面，可以通過可視化工具將獲取的最終信息展示，更好的讓用戶理解和觀察。知識庫是用于存放專業領域知識，按照各專業領域建立的主題庫，為后續的數據分析指導準備或數據挖掘結果的評估。

數據挖掘在BI 的應用

BI（Business Intelligence）即商業智能，是目前流行的詞匯，是數據采集、轉換、分析與預測、展示這一整套完整的過程實現，是數據挖掘與企業已有信息系統支撐的關鍵業務職能和流程充分結合，以企業商業目標為導向的普適方案。整個BI 的流程如圖3 所示。

ETL 是對企業數據進行數據抽取、轉換、裝載的過程，負責將企業各類業務信息系統數據源中的數據，通過數據中心ODS 層抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數據倉庫，成為聯機分析處理、數據挖掘的基礎。BI 的難點不是技術，而是對于業務的深刻理解，將業務與技術結合，建立正確的模型，才能實現真正意義上的商務智能。

結語

通過技術手段獲取海量業務數據中隱含的商業價值，為企業的經營決策提供支撐，是當前企業信息系統深化應用的研究熱點。本文詳細論述了大數據挖掘技術的概念、體系結構和實現方法，闡述了數據挖掘技術在商業智能中的應用。基于大數據的分析技術是當前研究的熱點，必將對企業信息系統的深化應用產生積極推動作用。