大數據時代的數據挖掘技術探究

歐陽柏成

摘要：“大數據”（Big data）是繼云計算、物聯網之后又一顛覆性的信息技術革命，大數據技術是從各種各類型的巨量數據中快速獲得有價值信息的技術。隨著云時代的來臨，大數據也吸引了越來越多的關注，在大數據時代，數據挖掘（Data Mining，DM）是最關鍵的工具。進入21世紀后，對于在大數據時代挖掘更豐富、更多元的信息課題的研究變得愈加迫切、艱巨，挖掘技術的探究依然成為一項社會型的研究課題；現今階段，無論信息技術，還是數據挖掘技術，都在影響、改變著數據信息在日常信息管理、信息處理方面的影響與作用；它能夠幫助信息依靠非常強的邏輯處理功能，消除信息資源的相互干擾及影響，及邏輯障礙和空間局限等問題，完成信息資源職能上的蛻變與發展。基于此，該文將結合大數據時代背景條件下，數據挖掘技術的發展現狀及使用特征，解析數據挖掘技術的相關應用問題。

關鍵詞：大數據；挖掘技術；數據信息；研究與應用

中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2015）15-0003-02

2011年5月，全球多個發達國家達成了普遍共識，并意識到全球已經進入到大數據時代，且特別在全球研究會中明確強調了，以網絡、工程系統為載體，形成的信息資源已經進入到各行各業，成為重要的生產管理元素。筆者閱讀了《大數據信息》這篇著作后發現，大數據是數據集優、分派、管理發展的過程背景與平臺，在操作和使用過程中，數據的潛在信息量不容易被準確的探尋得到，需要依靠數據挖掘技術進一步整理、優化才行。由此可見，數據挖掘技術之于大數據時代背景，有著舉足輕重的發展地位，其技術的研發與應用，標志著一個國家對數據信息的編輯處理功能，發展意義及作用影響巨大。

1 大數據時代的發展歷程及現狀表現

2012年3月29日，美國政府在白宮網站上發布了《大數據研究和發展倡議》，表示將投資2億美元啟動“大數據研究和發展計劃”，這一政策舉動當即引起了眾多發達國家的注意，側面證明了，大數據平臺的建立與研發，已經成為評價一個國家實力和資本能力的重要指標。據統計，從“大數據”概念被提出至今，大數據的信息容量和數據交流量就在不斷的刷新紀錄，由2011年的1.8ZB提高到14.2ZB，這個容量相當于每個人每天要消耗、應用200GB以上的數據信息。還不止如此，在美國國家統計局2014年的總結報告中，美國2012-2014年的大數據容量皆能夠以50%左右的增幅增長，這種驚人的增長速度，是任何行業、領域都很難達到的。尤其是近期中國開始走進大數據環境，各行各領域的數據、信息的本質已悄然發生了變化，如：ERP系統，它可將所有業務信息集合在一起，形成一體化管理模式，最大限度降低業務操作行為所產生的損耗資源，如此一來，工作的效率和質量都會有所提高。從發展現狀上看，我國企事業單位對大數據、互聯網環境的包容能力很強，他們知道該怎樣利用信息的集合優勢，能夠正確評價作業，使大數據充分發揮其影響作用。

2 數據挖掘技術簡述及數據信息分析方法

2.1理論概述

作為一個新興的技術科學，數據挖掘技術是伴隨著網絡數據應用的逐步推進而漸漸發展起來的，它不光被商業領域生產、管理工作所應用，還能夠進入到各種無規則、無程序要求、復雜的數據信息使用環境中。數據挖掘的目的在于通過技術手段，把存留、積聚在網絡上的數據信息抽離出來，編輯、處理成信息集合，供人們收錄、查看，以及撲捉應用。

2.2基本分析方法

要想延展、推廣數據挖掘技術的應用表現，需要從數據用途、分析方法入手，系統探究，因為只有這樣才能發揮出數據真實、本質的應用影響及價值。對于任何一種特殊數據來講，深挖其信息資源的具體內容都可以發現或多或少的規律、特點，甚至是相同的信息內容。常見的信息分析方法有：

2.2.1聚類分析法

把抽象、不確定、無指向的數據信息集中在一起，分類整理、編輯處理后，形成具有統一特征、表現的數據源，以供分析研究，給分析方法極為常見，可以適用于各種應用到數據信息的工作中。

2.2.2關聯分析法

不同數據之間有關聯性影響，但憑借人力很難發現這些信息的特征，需要預先圍繞信息的關聯表現，制定數據關聯管理方案，以完成某種目的性的信息處理目的和任務，它適用于對信息處理要求高、任務復雜的信息管理工作。

2.2.3特征性數據分析法

隨著數據資源應用范圍的廣泛，網絡數據的特征性功能和性質被大量挖掘出來，如：人工神經網絡神經網絡通過復雜的大批量數據進行分析，實現對于計算機或人腦而言非常復雜的模式抽取及趨勢分析；遺傳算法經常被用作評估其他算法的適合度，圍繞生物進化原理，假設、虛擬信息數據成長過程，組建半真實、半虛擬的信息資源；可視化技術可視化技術是數據挖掘中應用非常廣泛的一種輔助技術.它借助圖形、圖像、動畫等手段形象地指導操作、引導挖掘和表達結果等。

3 數據挖掘技術的具體應用問題

3.1數據挖掘的基本過程

對某公司采用的數據挖掘技術進行系統分析可知，數據的挖掘也需要依靠固定流程、順序操作方才能完成信息資源的整合及處理，具體操作流程如下圖1所示，本文把它分為三個步驟加以論述，具體內容為：一是數據準備，開始數據挖掘之初，要有明確、客觀的“目標數據”，也就是說，在尋找數據、挖掘數據之前要首先知道需要哪些數據，方才不致盲目。數據準備的過程中，系統會根據具體操作和指示，在浩瀚無垠的數據庫中檢索符合條件、目標原則的信息資源，加以分類、清洗、編輯，甚至于預處理。二是數據挖掘，經過處理后的目標數據信息，需要經過“挖掘”處理后，才能被正確、高效引用到管理機制中，所以該操作環節是整個程序的關鍵過程。如：按照數據挖掘的目標要求，選擇合適、科學的計算方法、分析方法，找尋、歸納數據信息的特征及應用價值表現；又如：根據程序的應用表現，選擇固定的數據區域，對數據進行分類“挖掘”，以獲取較為有深度、有內涵價值的數據信息資源，最后對挖掘過的數據結果進行解釋、分析、提取有意義或有使用價值的規律，還原成人們能夠理解的數據語言。三是巧妙的運用管理知識、計算知識，盡快的把數據挖掘技術提取、總結出來的數據信息以及評估結果，應用到現實工作當中，判斷、影響某個決策行為、意識思想的正確與否、科學與否。這個步驟顯然是數據挖掘技術應用價值最終極的體現，所以也應一絲不茍的完成。

3.2技術應用的延展方向

對大數據時代的數據挖掘技術的相關應用問題進行系統分析可知，在未來幾年，數據挖掘技術的應用領域會被進一步拓寬，除了在市場營銷領域、科學研究領域、生產制造業領域、電信領域、教育領域得到廣泛應用外，還會逐漸向其他行業延伸，如：航空航天、生物制藥、刑偵調查等領域，技術應用領域的發展，要求數據挖掘技術的功能性必須愈加豐富，才能迎合該項技術事業的拓展表現，主要延展方向有。

3.2.1 挖掘后數據信息資源的職能范圍和表現形式

單一靠背景、環境來促進數據挖掘技術的轉型是不科學的、不合理的，因此，當網絡信息化環境形成時，便要考慮社會經濟、科技、文化等環境要素的變化趨向，使其數據挖掘技術職能的發展能夠最大限度的配合工作。職能作用更加豐富，在信息環境下，數據挖掘技術信息的限定條件變的不同了，以原始數據挖掘技術概念為框架，數據挖掘技術信息只被用于數據挖掘技術管理，而不參與決策管理，而現階段信息化數據挖掘技術則不同，它可以解釋企業經濟活動中所有物質的性質和價值變化趨向，圍繞數據變化特征及具體規律表現，找出信息的基本要素、信息質量特征、數據管理要求等多種信息源種類，進而豐富其表現形式。因此，經數據挖掘技術處理后的信息，其職能范圍、表現形式的擴大與豐富，預示著網絡擬定的目標服務是較為完整的，并具有特殊個體物品屬性的，它承擔著傳統數據挖掘技術生產、工作的所有物質、信息資源管理責任，卻不拘泥于此，能夠充分滿足大數據時代，數據化信息處理、編輯管理的各種工作要求，整合不同種類的業務，做到一體化業務數據挖掘技術服務。

3.2.2 充分利用大數據背景，防止數據挖掘技術信息失真

數據挖掘技術信息主要來源于社會、出自大數據，因此，包括各行各業在內的數據挖掘技術需求者應對社會、網絡等自身需要的數據信息資源進行統籌規劃，使之成為具有公共物品性質的產品，能夠發揮個性化職能影響，主導、控制、管理數據挖掘技術管理工作。首先，數據挖掘技術職能如何充分發揮大數據背景，意味著技術信息化程度的較高，具備被挖掘、被記錄、被管理的能力和平臺，因此，要想推動數據挖掘技術信息資源轉型與應用，必須充分利用大背景數據，使得業務與技術操作程序真正的一體化。業務與技術操作程序的一體化也就意味著數據挖掘技術可以把各項資源的消耗、變化，以及管理操作等行為有效、科學的記憶，只要技術操作者愿意，都可以獲得發生在資源消耗源頭的信息，那么這對于評價數據信息資源消耗的效益十分有意義，進一步有助于評價作業的價值，從而可以優化業務流程。圍繞大數據背景，重新定義數據挖掘技術職能，針對數據挖掘技術信息有外部和內部服務的區別，合理控制企業內部各階段、各類型的數據挖掘技術信息，并采用輔助管理機制，完善數據挖掘技術的相關職能。

4 結論

綜上分析可知，大數據時代的到來，對數據挖掘技術職能轉型、變遷有著積極的影響作用。目前，數據挖掘技術職能轉型面臨著許許多多的限制條件，信息資源豐富度不強；數據挖掘技術信息的社會性質差，無法說明其數據信息真正的價值取向；信息的核心價值欠缺等，所以，要在數據挖掘技術應用實踐中充分發揮數據挖掘技術職能，研究信息化背景下數據挖掘技術職能發揮路徑的變遷和改進是重要的問題。未來幾年，我國數據挖掘技術應當依附于大數據背景，從現實角度出發，討論數據挖掘技術職能轉型、發展的相關問題。

參考文獻：

[1] 李平榮.大數據時代的數據挖掘技術與應用[J].重慶三峽學院學報，2014，10（103）：145-147.

[2] 盧建昌，樊圍國.大數據時代下數據挖掘技術在電力企業中的應用[J].廣東電力，2014，22（109）：88-94.

[3] 張樹森.大數據時代數據挖掘對管理數據挖掘技術職能的影響[A].中國數據挖掘技術學會數據挖掘技術信息化專業委員會.中國數據挖掘技術學會第十三屆數據挖掘技術信息化年會報告論文集[C].中國數據挖掘技術學會數據挖掘技術信息化專業委員會，2014，22（12）：15-23.

[4] 宋志秋.大數據時代營銷中的數據挖掘技術[J].數字技術與應用，2015，22（103）：209-211.

[5] 曹莉.芻議大數據時代的數據挖掘與精細管理[J].經營管理者，2013，10（118）：191-192.

[6] 韓英.淺析大數據時代的數據挖掘與精細管理[J].成都航空職業技術學院學報，2013，29（104）：63-71.

[7] 趙倩倩，程國建，冀乾宇，戎騰學.大數據崛起與數據挖掘芻議[J].電腦知識與技術，2014，10（133）：7831-7833.

[8] 馬遙.計算機數據挖掘技術在CBA聯賽中的應用理論研究[J].鄭州大學學報（社會科學版），2014，29（23）：102-112.