大數據條件下的數據挖掘技術及應用

李翼+孟莉

摘要

隨著云計算、互聯網、數據庫等技術的快速發展和改進，人們已經進入到大數據時代，政企辦公、電子商務、大健康、科學研究等領域積累了海量的數據資源，傳統的人工分析模式已經無法滿足需求，亟需引入BP神經網絡、支持向量機、K均值等數據挖掘技術，進一步改進大數據的應用需求。

【關鍵詞】大數據 支持向量機 BP神經網絡 數據挖掘

1引言

大數據時代，電子政務、電子商務、智能家居、金融證券等領域己經引入了先進的云計算服務平臺，積累了海量數據，信息資源從匱乏時代過渡到了豐富時代，有力提升了人們的生活質量和水平。面臨數據量與數據評價維度的急劇增長，傳統的人工分析模式已經無法滿足需求，如何提高大數據挖掘結果的準確性和價值性，從大數據中挖掘潛在的、有價值的信息，提供合理的知識解釋和決策信息，亟需引入先進的數據挖掘技術。本文重點描述大數據在多個領域的應用情況，同時分析了BP神經網絡、深度學習、支持向量機、K均值等先進數據挖掘技術的應用特點和發展趨勢。

2大數據發展及應用情況

大數據技術己經在智能制造、金融證券、電子商務等領域得到廣泛應用，詳細應用內容描述如下：

2.1智能制造

目前，我國正處于深化改革全面推進、重點攻堅的年代，傳統的制造模式污染嚴重、成本浪費較大，不利于我國制造行業的轉型和發展，因此通過對歷史制造數據進行挖掘和分析，利用大數據技術構建需求分析模型，可以更加準確的獲取現實社會對制造行業的需求，提高制造的效率和流轉速度。

2.2金融證券

金融證券行業己經引入了網上銀行管理系統、銀行現金管理系統、股票交易系統、企業經營分析管理系統等，這些信息化系統的運行積累了海量的數據資源和信息，因此為了保證金融系統的安全運行，保證金融行業不發生系統性風險，金融行業監管單位開始利用大數據分析技術，比如BP神經網絡構建一個風險分析模型，預判未來金融行業風險承受能力，確保金融行業在一個合理范圍內穩定運行。

2.3電子商務

目前，淘寶、京東、蘑菇街、蘇寧云商、一號店等互聯網商務平臺運行的逐漸成熟，這些平臺入駐的商家己經超過了數百萬，用戶數量也己過億，琳瑯滿目的商品更是不計其數。消費者瀏覽商品時，非常容易陷入一個眼花繚亂的局面，因此基于大數據分析技術可以構建一個推薦系統，該推薦系統可以讀取用戶瀏覽商品、購買商品的行為記錄，定期為用戶挑選類似商品進行推薦，既能夠進行營銷推廣，也可以幫助消費者快速定位需求商品，提高電子商務的成交率。

3大數據條件下數據挖掘技術研究現狀

大數據時代數據挖掘技術主要包括兩個類別，分別是有監督學習方法，比如BP神經網絡、支持向量機、貝葉斯理論；一種是無監督學習方法，比如譜聚類、密度聚類、K均值、信息論等方法。有監督數據挖掘方法需要利用人們的經驗，預先構建一個分析模型，然后盡可能地提高這個學習模型的準確性，從而保證數據挖掘的精確度；無監督學習方法卻不需要任何先驗知識，系統自動地將數據按照不同的關注角度進行分類。

3.1BP神經網絡

BP神經網絡又被稱為連接機模型，它是基于心理學、現代神經學等專業的研究成果建立的，是生物神經系統活動過程在其他領域的再現和表現，是模仿人的大腦神經系統活動的規律建立起來的計算模式，是對眾多需要處理的單元進行互聯形成的網絡系統，其基本特點或特征與生物系統一樣，很大程度上體現了人腦功能的反應，是生物系統的一定程度上的模擬和再現。目前，人工神經網絡技術得到跨越式的發展，尤其是在深度學習領域。作為一種機器學習算法，深度學習是一個引入多個隱藏層的多層感知器神經網絡，通過組合底層特征，可以形成一個抽象的高層表示屬性，發現數據中的分布式特征，其優點是利用半監督或非監督特征學習、分層特征等高效提取特征。目前，深度學習己經在計算機視覺、自然語言處理和語音識別等領域取得顯著應用成效。微軟研究院將深度學習引入到聲音識別模型中，訓練了大量詞匯，成功開發了語音識別系統，有效降低語音識別的錯誤率。IBM、谷歌、百度公司、阿里巴巴、科大訊飛、中科院自動化所等科研單位、企業均對深度學習在語音識別領域進行了研究，從聲音特征提取、聲音識別系統開發等領域取得顯著應用成效。

3.2支持向量機

支持向量機是一種性能強大的數據分析技術，其可以解決樣本數量較少、非線性或高維模式數據分析的問題，比如推廣到函數擬合的其他類型數據分析問題中，可以更好地分析數據、識別模式，用于分類和回歸分析。支持向量機作為一種先進的數據挖掘技術，數據挖掘過程中存在精確度地等問題，因此引入了自適應共振理論，進一步利用數據中蘊含的有價值信息，將這些信息進行分類和挖掘，從而可以從不同的角度進行分類和操作。

3.3K均值

K均值（K-means）算法是一種基于距離的聚類算法，其可以把距離作為相似性評價和度量指標，采用無監督學習模式，通常兩個數據對象的距離越近，這兩個數據對象的相似性就會越高，不需要指定數據的類別標簽就可以獲取內部結構，將數據匯聚在一起，實現數據解釋。K均值作為一種成熟的數據挖掘技術，值采用無監督學習模式，不需要用戶具有先驗知識，只需要輸入自己期望的類別即可獲取分析模式，己經在醫學圖像處理、文本信息檢索、金融數據分析、藥物利用等領域得到廣泛應用。

4結束語

大數據時代，數據挖掘技術經過多年的研究和改進，己經逐漸向以深度學習為代表的機器學習轉變，這種改變既提高了算法的準確度，也降低了處理時間，可以有效提升大數據處理能力，改進數據挖掘的可解釋性，為人們決策提供輔助知識，具有重要的作用和意義。

參考文獻

[1]王山海，景新幸，楊海燕.基于深度學習神經網絡的孤立詞語音識別的研究[J].計算機應用研究，2015，32（08）：2289-2291.

[2]王瑜，苑津莎，尚海昆，等.組合核支持向量機在放電模式識別中的優化策略[J].電工技術學報，2015，30（02）：229-236.

[3]劉小明，喻杰，劉俊，等.改進K均值與模糊置信度的腦部MRI分割[J].計算機工程與設計，2015（03）：710-715.endprint