數(shù)據(jù)挖掘應(yīng)用研究前沿和發(fā)展趨勢

任冷

摘 要：互聯(lián)網(wǎng)催生了大數(shù)據(jù)，在互聯(lián)網(wǎng)滲透各個產(chǎn)業(yè)的過程中，同時也實(shí)現(xiàn)了數(shù)據(jù)電子化，使產(chǎn)生的大數(shù)據(jù)具備了前所未有的利用價值。大數(shù)據(jù)將通過自己的“智慧”，重塑了很多產(chǎn)業(yè)。因此，研究了數(shù)據(jù)挖掘在各行業(yè)的應(yīng)用，以及在這些應(yīng)用要求下面臨的技術(shù)挑戰(zhàn)和發(fā)展趨勢。

關(guān)鍵詞：數(shù)據(jù)挖掘；應(yīng)用研究；新的挑戰(zhàn)；發(fā)展趨勢

中圖分類號：TP311 文獻(xiàn)標(biāo)識碼：A DOI：10.15913/j.cnki.kjycx.2016.16.007

近年來，互聯(lián)網(wǎng)已經(jīng)融入我們生活中的方方面面，尤其是這幾年以來，在互聯(lián)網(wǎng)技術(shù)的推動下，很多行業(yè)都已經(jīng)從傳統(tǒng)的模式轉(zhuǎn)變成了物聯(lián)網(wǎng)模式，又從物聯(lián)網(wǎng)變成了現(xiàn)在的“互聯(lián)網(wǎng)+”運(yùn)營模式了。海量數(shù)據(jù)的分析就顯得尤為重要，那么數(shù)據(jù)挖掘技術(shù)的發(fā)展就會有了質(zhì)的飛躍，將來也會成為企業(yè)發(fā)展一個必需的依賴技術(shù)。數(shù)據(jù)挖掘典型的應(yīng)用領(lǐng)域包括金融、醫(yī)療、零售和電商、電信、交通等。另外，由于新的數(shù)據(jù)類型也隨著技術(shù)進(jìn)步不斷增加，因此本文指出了數(shù)據(jù)挖掘的發(fā)展趨勢和所面臨的挑戰(zhàn)。

1 數(shù)據(jù)挖掘的應(yīng)用

數(shù)據(jù)挖掘所要處理的問題就是在龐大的數(shù)據(jù)中找出有價值的隱藏事件，并加以分析，獲取有意義的信息和模式，為決策提供依據(jù)。數(shù)據(jù)挖掘應(yīng)用的領(lǐng)域非常廣泛，只要有分析價值與需求的數(shù)據(jù)，都可以利用挖掘工具進(jìn)行發(fā)掘分析。目前，數(shù)據(jù)挖掘應(yīng)用最集中地領(lǐng)域包括金融、醫(yī)療、零售和電商、電信和交通等，而且每個領(lǐng)域都有特定的應(yīng)用問題和應(yīng)用背景。

1.1 金融領(lǐng)域

不管是銀行，還是其他金融機(jī)構(gòu)，都存儲了海量的金融數(shù)據(jù)，比如信貸、儲蓄與投資等金融數(shù)據(jù)。對于這些數(shù)據(jù)，運(yùn)用數(shù)據(jù)挖掘技術(shù)進(jìn)行有針對性的處理，將會得到很多具有價值的知識。金融數(shù)據(jù)具有可靠性、完整性和高質(zhì)量等特點(diǎn)。這在很大程度上利于開展數(shù)據(jù)挖掘工作以及挖掘技術(shù)的應(yīng)用。數(shù)據(jù)挖掘在金融領(lǐng)域中有許多具體的應(yīng)用，例如分析多維數(shù)據(jù)，以把握金融市場的變化趨勢；運(yùn)用孤立點(diǎn)分析等方法，研究洗黑錢等犯罪活動；應(yīng)用分類技術(shù)，對顧客信用進(jìn)行分類，為維持與客戶的關(guān)系以及為客戶提供相關(guān)服務(wù)等決策提供參考。

1.2 醫(yī)療領(lǐng)域

在人類的遺傳密碼、遺傳史、疾病史以及醫(yī)療方法等醫(yī)療領(lǐng)域中，都隱藏著海量的數(shù)據(jù)信息。另外，對醫(yī)院內(nèi)部結(jié)構(gòu)、醫(yī)藥器具、病人檔案以及其他資料等的管理也產(chǎn)生了巨量的數(shù)據(jù)。對于這些巨量的數(shù)據(jù)，運(yùn)用數(shù)據(jù)挖掘相關(guān)技術(shù)處理，從而得到相關(guān)知識規(guī)律，將有利于相關(guān)人員工作的開展。運(yùn)用數(shù)據(jù)挖掘技術(shù)，在很大程度上有助于醫(yī)療人員發(fā)現(xiàn)疾病的一些規(guī)律，從而提高診斷的準(zhǔn)確率和治療的有效性，不斷促進(jìn)人類健康醫(yī)療事業(yè)的發(fā)展。

1.3 零售和電商領(lǐng)域

由于零售業(yè)會產(chǎn)生龐大的數(shù)據(jù)，主要是銷售數(shù)據(jù)，比如商品的購進(jìn)賣出記錄、客戶購買、消費(fèi)記錄等。特別是隨著Web以及電子商務(wù)等商業(yè)方式日益普及流行，相應(yīng)的數(shù)據(jù)也以飛快的速度增長著。運(yùn)用數(shù)據(jù)挖掘技術(shù)對這些海量的數(shù)據(jù)進(jìn)行針對性的處理分析，可以獲取很多極具價值的知識。例如可以有效地識別顧客的購買行為，從而把握好顧客購買的趨勢。這些關(guān)于顧客的有效信息是商家采取最佳決策的關(guān)鍵依據(jù)。商家可以根據(jù)數(shù)據(jù)挖掘結(jié)果有針對性地采取有效措施，比如如何改進(jìn)服務(wù)質(zhì)量，確保顧客的滿意度；如何提高商品的銷售量；如何設(shè)計(jì)較優(yōu)的運(yùn)輸路線以及采取怎樣的銷售策略等，從而提高企業(yè)效益。此外，由于數(shù)據(jù)挖掘的推薦系統(tǒng)已經(jīng)成為電子商務(wù)的關(guān)鍵技術(shù)，通過數(shù)據(jù)挖掘，再對網(wǎng)站進(jìn)行系統(tǒng)分析，對用戶的行為模式加以識別，在增加客戶黏性，提供個性化服務(wù)，優(yōu)化網(wǎng)站設(shè)計(jì)等方面也取得了很好的效果。

1.4 電信領(lǐng)域

電信運(yùn)營商已逐漸發(fā)展為一個融合了語音、圖像、視頻等增值服務(wù)的全方位立體化的綜合電信服務(wù)商。三網(wǎng)融合，即電信網(wǎng)、因特網(wǎng)和有線電視網(wǎng)的“融合”，是未來的一種發(fā)展趨勢。這一現(xiàn)象將會產(chǎn)生巨量的數(shù)據(jù)。運(yùn)營商要合理地分析商業(yè)形式和模式，運(yùn)用數(shù)據(jù)挖掘是非常有必要的。例如對用戶行為、利潤率、通信速率和容量、系統(tǒng)負(fù)載等電信數(shù)據(jù)，可以運(yùn)用多維分析方法進(jìn)行分析；要發(fā)現(xiàn)異常模式，可以運(yùn)用聚類或孤立點(diǎn)分析等方法進(jìn)行數(shù)據(jù)挖掘；要得到電信發(fā)展的影響因素，可以運(yùn)用關(guān)聯(lián)或序列等模式進(jìn)行分析等。總之，數(shù)據(jù)挖掘技術(shù)對電信業(yè)的發(fā)展發(fā)揮著非常重要的作用，比如如何提高相關(guān)資源的利用率、更深入更充分地了解用戶行為、如何獲取更好的經(jīng)濟(jì)效益。

1.5 社交網(wǎng)絡(luò)分析

社交網(wǎng)絡(luò)分析是從關(guān)系和結(jié)構(gòu)兩個方面來了解、度量和預(yù)測行為的科學(xué)。結(jié)合圖論和非參數(shù)統(tǒng)計(jì)技術(shù)，研究人員利用數(shù)據(jù)，比如電話數(shù)據(jù)，或者表明人與人之間聯(lián)系的觀察數(shù)據(jù)，來識別網(wǎng)絡(luò)內(nèi)和跨網(wǎng)絡(luò)的關(guān)鍵人員和關(guān)鍵群體，或者特殊模式和重要途徑。現(xiàn)在，社交網(wǎng)絡(luò)分析呈現(xiàn)爆炸式增長，數(shù)據(jù)一般是以元網(wǎng)絡(luò)的形式表示，即關(guān)于誰（who）、什么（what）、哪里（where）、怎樣（how）和什么時候（when）的信息以多模態(tài)、多鏈接、多層次的網(wǎng)絡(luò)連接起來。數(shù)據(jù)通常是動態(tài)的。這一動態(tài)性正是我們感興趣的地方。我們可以通過這些數(shù)據(jù)來分析人們的活動取向，為公司的營銷提供有力的依據(jù)，也可以利用多個社交媒體來交叉驗(yàn)證同一個人，這對于追蹤犯罪行為、恐怖分子、戀童癖者尤為重要。

1.6 交通領(lǐng)域

交通問題對城市的民生有很大影響。該領(lǐng)域積累了大量的數(shù)據(jù)，比如出租公司積累的乘客出行數(shù)據(jù)和公交公司的運(yùn)營數(shù)據(jù)。通過對乘客數(shù)據(jù)和運(yùn)營數(shù)據(jù)進(jìn)行分析和挖掘，能夠?yàn)楣弧⒊鲎夤究茖W(xué)的運(yùn)營和交通部門的決策提供依據(jù)，比如合理規(guī)劃公交線路，實(shí)時為出租車的行駛線路提供建議等。這樣，不僅可以提升城市運(yùn)力和幸福指數(shù)，還可以有效減少因交通擁堵問題造成的成本浪費(fèi)。另外，航空公司也可依據(jù)歷史記錄來尋找乘客的旅行模式，以便提供更加個性化的服務(wù)，合理設(shè)置航線等。

近年來，數(shù)據(jù)挖掘的應(yīng)用發(fā)展迅速，不僅在以上領(lǐng)域，在政府部門、軍事、制造業(yè)、科學(xué)研究等方面也都取得了一定的進(jìn)展。

2 數(shù)據(jù)挖掘中隱私問題

隱私權(quán)是指個體的私人信息部被他人非法收集、公開和利用的權(quán)利。隱私保護(hù)就是保護(hù)個體的隱私權(quán)不被侵害，保護(hù)個體隱私在未經(jīng)授權(quán)的時候不被泄露和惡意利用。基于隱私的數(shù)據(jù)挖掘存在以下2個層面的問題。

2.1 原始信息隱私保護(hù)

企業(yè)、醫(yī)院、政府部門通常收集了大量的個人原始信息，泄露這些信息可能識別出個人用戶的身份。為了防止個人隱私的泄露，這些原始數(shù)據(jù)均需要在進(jìn)行數(shù)據(jù)挖掘之前進(jìn)行修改和隱藏。這個層面主要解決的問題是如何在原始數(shù)據(jù)不準(zhǔn)確的前提下得到正確的挖掘結(jié)果。

2.2 敏感規(guī)則隱私保護(hù)

企業(yè)、醫(yī)院、政府部門不僅存儲著大量的個人原始信息，通過對這些原始信息的挖掘，還可以得知某一群體的特征和行為規(guī)律。為了防止這些敏感規(guī)則被挖掘出來，通常事先改變原始數(shù)據(jù)的統(tǒng)計(jì)特征，使這些敏感規(guī)則的生成概率大大降低。

我們既不能否認(rèn)通過數(shù)據(jù)挖掘產(chǎn)生的巨大利益，也不能因?yàn)榇嬖谟须[私保護(hù)技術(shù)正得到越來越多的關(guān)注，在保護(hù)隱私信息方面還需要更多的探索。更好的一個愿景是，將計(jì)算機(jī)科學(xué)、管理科學(xué)、社交網(wǎng)絡(luò)技術(shù)、政策法規(guī)等多個方面有效地結(jié)合在一起，共同來完成從數(shù)據(jù)中發(fā)現(xiàn)有效的知識。

3 數(shù)據(jù)挖掘的發(fā)展趨勢

3.1 數(shù)據(jù)挖掘與物聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)

簡單來說，物聯(lián)網(wǎng)就是物物相連的網(wǎng)絡(luò)，是數(shù)字世界和物理世界的高度融合。物聯(lián)網(wǎng)底層的大量傳感器為信息的獲取提供了一種新的方式。這些傳感器不斷地產(chǎn)生著新的數(shù)據(jù)，隨著各種各樣的異構(gòu)終端設(shè)備的接入，物聯(lián)網(wǎng)采集的數(shù)據(jù)量也就會越來越大，其數(shù)據(jù)類型和數(shù)據(jù)格式也會越來越復(fù)雜。這些數(shù)據(jù)與時間和空間相關(guān)聯(lián)，有著動態(tài)、異構(gòu)和分布的特性，也為數(shù)據(jù)挖掘任務(wù)帶來了新的挑戰(zhàn)。

云計(jì)算是一種基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)、易擴(kuò)展且經(jīng)常是虛擬化的資源（包括硬件、平臺和軟件），實(shí)現(xiàn)了設(shè)備之間的數(shù)據(jù)應(yīng)用和共享。隨著物聯(lián)網(wǎng)的發(fā)展，感知的信息不斷增加，需要不斷地增加服務(wù)器的數(shù)目來滿足需求。但由于服務(wù)器的承載能力是有限的，服務(wù)器在節(jié)點(diǎn)上出現(xiàn)混亂和錯誤的概率大大增加。為了更好地提供服務(wù)，基于云計(jì)算的系統(tǒng)能有效地解決物聯(lián)網(wǎng)分布式數(shù)據(jù)挖掘中所遇到的問題，在進(jìn)行相關(guān)數(shù)據(jù)挖掘時能夠顯著地提高性能。

目前，大數(shù)據(jù)已成為繼物聯(lián)網(wǎng)、云計(jì)算之后又一信息科技的新熱點(diǎn)。大數(shù)據(jù)在本質(zhì)上仍然是海量數(shù)據(jù)，但規(guī)模更大，實(shí)時性和多樣性特點(diǎn)更明顯，相應(yīng)的數(shù)據(jù)挖掘技術(shù)也需要有所改進(jìn)，研究如何處理半結(jié)構(gòu)化，甚至非結(jié)構(gòu)化的數(shù)據(jù)是目前大數(shù)據(jù)挖掘面臨的挑戰(zhàn)之一。

將物聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)與數(shù)據(jù)挖掘研究聯(lián)系起來，不僅具有深遠(yuǎn)的科學(xué)研究價值，而且將產(chǎn)生巨大的經(jīng)濟(jì)效益和社會價值。

3.2 數(shù)據(jù)挖掘研究和應(yīng)用面臨的挑戰(zhàn)

大數(shù)據(jù)時代的數(shù)據(jù)挖掘面臨著新的挑戰(zhàn)，主要表現(xiàn)在以下幾個方面。

3.2.1 數(shù)據(jù)類型的多樣性

不同的應(yīng)用、系統(tǒng)和終端，由于標(biāo)準(zhǔn)的差異性，會產(chǎn)生不同結(jié)構(gòu)的數(shù)據(jù)，其中包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)、對這些異構(gòu)化數(shù)據(jù)的抽取與集成將成為一大挑戰(zhàn)。

3.2.2 數(shù)據(jù)挖掘算法的改進(jìn)

大數(shù)據(jù)時代數(shù)據(jù)的量級達(dá)到了一個新的階段，而且還有其他新的特征，現(xiàn)有挖掘算法需要基于云計(jì)算進(jìn)行改進(jìn)，以適應(yīng)不同應(yīng)用對數(shù)據(jù)處理能力的需求。

3.2.3 數(shù)據(jù)噪聲太大

由于普適終端所處地理位置的復(fù)雜性，產(chǎn)生的數(shù)據(jù)具有很多噪聲。在進(jìn)行數(shù)據(jù)清洗時，不易把握清洗粒度——粒度太大，殘留的噪聲會干擾有價值的信息；粒度太小，可能會遺失有價值的信息。

3.2.4 數(shù)據(jù)的安全性與隱私保護(hù)

互聯(lián)網(wǎng)的交互性使得人們在不同地點(diǎn)產(chǎn)生的數(shù)據(jù)足跡得到積累和關(guān)聯(lián)，從而增加了隱私暴露的概率，且這種隱性的數(shù)據(jù)暴露往往是無法控制和預(yù)知的。隨著數(shù)據(jù)挖掘工具和電子產(chǎn)品的日益普及，保護(hù)隱私和信息安全是數(shù)據(jù)挖掘?qū)⒁鎸Φ囊粋€重要問題。這就需要進(jìn)一步地開發(fā)，以便在適當(dāng)?shù)男畔⒃L問和挖掘過程中保護(hù)隱私和信息安全。

3.3 數(shù)據(jù)挖掘的發(fā)展方向

3.3.1 應(yīng)用的探索

數(shù)據(jù)挖掘正在探索、擴(kuò)大其應(yīng)用范圍。通常，數(shù)據(jù)挖掘技術(shù)在處理特定應(yīng)用時存在著局限性。因此，目前存在一種針對特定應(yīng)用來開發(fā)數(shù)據(jù)挖掘系統(tǒng)的趨勢。

3.3.2 可視化數(shù)據(jù)挖掘

可視化能更直觀地展示數(shù)據(jù)的特性，圖像展示更符合人的觀察習(xí)慣。可視化數(shù)據(jù)挖掘已成為從大量數(shù)據(jù)中發(fā)現(xiàn)知識的有效途徑，系統(tǒng)研究和開發(fā)可視化數(shù)據(jù)挖掘技術(shù)將推進(jìn)數(shù)據(jù)挖掘作為數(shù)據(jù)分析的基本工具。

3.3.3 多種系統(tǒng)的集成

數(shù)據(jù)庫/數(shù)據(jù)倉庫系統(tǒng)等已經(jīng)成為信息處理系統(tǒng)的主流，而且與數(shù)據(jù)庫和數(shù)據(jù)倉庫系統(tǒng)的緊耦合方式正是數(shù)據(jù)挖掘系統(tǒng)的理想體系結(jié)構(gòu)。將不同的系統(tǒng)集成到統(tǒng)一的框架中，有利于保證數(shù)據(jù)的可獲得性和一致性，以及數(shù)據(jù)挖掘系統(tǒng)的可移植性、可伸縮性和高性能。

4 結(jié)束語

數(shù)據(jù)挖掘的應(yīng)用在很多領(lǐng)域取得了一定的成果，而且其廣闊的應(yīng)用前景已吸引了眾多的研究人員和商業(yè)公司的加入。但是，數(shù)據(jù)挖掘所帶來的有關(guān)隱私和信息安全的問題需要著重考慮。數(shù)據(jù)挖掘技術(shù)發(fā)展的時間很短，屬新興科學(xué)，在技術(shù)和社會不斷發(fā)展的今天，還面臨著很多挑戰(zhàn)和值得重點(diǎn)研究的方向，相信數(shù)據(jù)挖掘技術(shù)的研究與應(yīng)用將會得到長足的進(jìn)步，必將產(chǎn)生巨大的經(jīng)濟(jì)效益和社會效益。

參考文獻(xiàn)

[1]郭群.多媒體信息挖掘綜述[J].信息系統(tǒng)工程，2010（08）.

[2]Maciejewski T，Stefanowski J.Local neighbourhood extension of SMOTE for mining imbalanced data.IEEE Symposium on Computational Intelligence and Data Mining（CIDM），2011（01）.

[3]Knerr U.H..Pairwise classification and support vector machines.MA：MIT Press，1999.

[4]李明江，唐穎，周力軍.數(shù)據(jù)挖掘技術(shù)及應(yīng)用[J].中國新通信，2012（22）.

[5]徐振龍，郭崇慧.隱私保護(hù)數(shù)據(jù)挖掘研究的簡要綜述[C]//第七屆中國管理學(xué)年會商務(wù)智能分會場論文集，2012.

[6]王惠中，彭安群.數(shù)據(jù)挖掘現(xiàn)狀及發(fā)展?fàn)顩r[J].工礦自動化，2011，2（2）.

[7]梁志.基于數(shù)據(jù)關(guān)系的SVM多分類方法研究[D].山西大學(xué)計(jì)算機(jī)與信息學(xué)院，2013

[8]He H.B.，Garcia E.A.Learning from imbalanced data.IEEE Transaction Knowledge and Data Engineering，2009，21（9）.

[9]Xue Zhenxia，Liu Sanyang，Liu Wanli.Unbalanced squares support vector machines.System Simulation，2009（21）.

[10]Y. Tang，Y.-Q.Zhang，N. Chawla，et al.“SVMs modeling for highly imbalanced classification”Systems， Man and Cybernetics，Part B：Cybernetics.IEEE Transactions on，2009，39（1）.

〔編輯：劉曉芳〕