數(shù)據(jù)挖掘應(yīng)用和優(yōu)化的研究

崔嘉

（海軍航空工程學(xué)院 山東 煙臺(tái) 264001）

數(shù)據(jù)挖掘應(yīng)用和優(yōu)化的研究

崔嘉

（海軍航空工程學(xué)院 山東 煙臺(tái) 264001）

針對(duì)數(shù)據(jù)挖掘技術(shù)從數(shù)據(jù)源中挖掘出潛在的、有價(jià)值的知識(shí)，對(duì)科學(xué)決策和分析問(wèn)題具有非常重要的意義。通過(guò)對(duì)聚類算法進(jìn)行分析，結(jié)合可視化技術(shù)，利用網(wǎng)格與聚類算法相結(jié)合，進(jìn)行二次聚類處理，提高數(shù)據(jù)挖掘的工作效率。本文對(duì)于智能研究人員具有積極的作用。

數(shù)據(jù)挖掘；優(yōu)化；可視化；聚類分析

隨著網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)的不斷提高，各行各業(yè)對(duì)于數(shù)據(jù)的運(yùn)用越來(lái)越廣泛，促使了信息化程度的日益提高[1]。大量的數(shù)據(jù)給人們的決策提供了豐富的原始資料，但數(shù)據(jù)集中存在著數(shù)量眾多的冗余數(shù)據(jù)，如何提取有用的數(shù)據(jù)形成知識(shí)給人們使用，促使了數(shù)據(jù)挖掘技術(shù)的不斷發(fā)展。可視化技術(shù)是將計(jì)算機(jī)圖像處理技術(shù)、圖形學(xué)、輔助設(shè)計(jì)、人機(jī)交互和計(jì)算機(jī)視覺(jué)等多個(gè)學(xué)科相結(jié)合的一門學(xué)科，隨著可視化技術(shù)發(fā)展的需要，數(shù)據(jù)挖掘技術(shù)與可視化技術(shù)相結(jié)合是發(fā)展數(shù)據(jù)可視化的有效手段[2]。

1 數(shù)據(jù)挖掘技術(shù)

1.1 數(shù)據(jù)挖掘概念

1）數(shù)據(jù)挖掘定義

數(shù)據(jù)挖掘從20世紀(jì)70年代提出以來(lái)，就受到了IT業(yè)界的歡迎，特別是20世紀(jì)末期，隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，信息化處理受到人們?cè)絹?lái)越多的關(guān)注，為了更加準(zhǔn)確地獲取數(shù)據(jù)，數(shù)據(jù)挖掘與其他行業(yè)的結(jié)合越來(lái)越廣泛[3]。

數(shù)據(jù)挖掘是對(duì)擁有海量的、模糊的、有噪聲的、隨機(jī)的及不完全的數(shù)據(jù)源中通過(guò)特有的運(yùn)算提取出潛在的、事先不知的知識(shí)過(guò)程。其中數(shù)據(jù)源不一定來(lái)自同一位置或同一出處[4]；提取出的知識(shí)能夠被人或計(jì)算機(jī)識(shí)別。

2）數(shù)據(jù)挖掘過(guò)程

數(shù)據(jù)挖掘經(jīng)過(guò)多年的不斷發(fā)展，國(guó)內(nèi)外專家和學(xué)者提出和設(shè)計(jì)了大量的算法，無(wú)論哪種算法，其過(guò)程基本上是相近的。整個(gè)過(guò)程分為數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘和結(jié)果表達(dá)3個(gè)階段，具體如圖1所示[5-6]：

在數(shù)據(jù)準(zhǔn)備階段，是通過(guò)數(shù)據(jù)集成和選擇等操作將數(shù)據(jù)源中雜亂的、無(wú)序的或不可識(shí)別的數(shù)據(jù)轉(zhuǎn)換為計(jì)算機(jī)可識(shí)別的目標(biāo)數(shù)據(jù)；在數(shù)據(jù)挖掘階段，通過(guò)預(yù)處理數(shù)據(jù)，挖掘出有用的數(shù)據(jù)信息；結(jié)果表示階段是將預(yù)處理后的數(shù)據(jù)以知識(shí)表現(xiàn)的形式展示出來(lái)。

3）數(shù)據(jù)挖掘功能

數(shù)據(jù)挖掘與其他應(yīng)用性行業(yè)相結(jié)合，具有了豐富的功能，其實(shí)現(xiàn)的算法過(guò)程差距非常大，數(shù)據(jù)挖掘問(wèn)題主要有數(shù)據(jù)統(tǒng)計(jì)與概括、分類分析、聚類分析、關(guān)聯(lián)分析、依賴分析、演變分析和孤立點(diǎn)分析等幾個(gè)類別[7]。

圖1 數(shù)據(jù)挖掘過(guò)程

數(shù)據(jù)挖掘的功能主要分為預(yù)測(cè)驗(yàn)證功能和描述功能，其中預(yù)測(cè)驗(yàn)證功能主要是預(yù)判數(shù)據(jù)的屬性和規(guī)律；描述功能是對(duì)數(shù)據(jù)理解的展開(kāi)[8]。功能如圖2所示。

圖2 數(shù)據(jù)挖掘功能

1.2 聚類分析

1）聚類分析定義

聚類分析是數(shù)據(jù)挖掘技術(shù)之一，將數(shù)據(jù)源中的數(shù)據(jù)對(duì)象劃分為若干個(gè)不同的簇（集合），通過(guò)算法對(duì)簇進(jìn)行分類，使得同一類簇中的數(shù)據(jù)的相似性盡可能地大，而不在同一類簇中的數(shù)據(jù)的相似性盡可能地小，這現(xiàn)類簇之間的差異化[9]。

2）聚類分析算法

根據(jù)聚類分析方法中選取的數(shù)據(jù)目標(biāo)、應(yīng)用范圍和數(shù)據(jù)類型的不同，聚類分析主要分為基于劃分的聚類算法、基于分層的聚類算法、基于密度的聚類算法、基于模型的聚類算法和基于網(wǎng)絡(luò)的聚類算法[10-11]。

2 可視化技術(shù)

2.1 數(shù)據(jù)可視化

數(shù)據(jù)挖掘?qū)?shù)據(jù)源進(jìn)行處理之后獲取知識(shí)，知識(shí)只有被人們識(shí)別才能夠稱得上有效數(shù)據(jù)，數(shù)據(jù)可視化技術(shù)就是運(yùn)用數(shù)據(jù)圖形圖像學(xué)及相關(guān)的處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)換成圖形圖像并在輸出設(shè)備上顯示或打印出來(lái)，是人機(jī)交互的直觀表現(xiàn)[12]。

當(dāng)前，數(shù)據(jù)的可視化的形式比較多，無(wú)論哪種形式的圖形圖像都是為了迎合人們實(shí)際工作的需求，本文對(duì)當(dāng)前的可視化形式進(jìn)行總結(jié)，主要有以下幾種：

1）離散點(diǎn)圖

該方式是將數(shù)據(jù)以點(diǎn)的直觀形式分布在圖上，便于直觀地查看孤立點(diǎn)數(shù)據(jù)和噪音數(shù)據(jù)，特別適合于二維或三維數(shù)據(jù)，對(duì)于多維的數(shù)據(jù)，可以通過(guò)顯示部分維度或離散點(diǎn)矩陣的方式來(lái)實(shí)現(xiàn)[13]。

2）飽和圖

當(dāng)顯示的數(shù)據(jù)量特別大時(shí)，人們無(wú)法通過(guò)離散點(diǎn)圖觀察出數(shù)據(jù)的疏密程度，甚至看到整個(gè)圖形都是同一個(gè)顏色。在這種情況下，利用屏幕的色彩對(duì)密度不同的區(qū)域通過(guò)不同的色彩來(lái)進(jìn)行區(qū)分，進(jìn)而實(shí)現(xiàn)數(shù)據(jù)分布的直觀表現(xiàn)。

3）平行坐標(biāo)系法

對(duì)于多維的數(shù)據(jù)采用相應(yīng)的平等線進(jìn)行表示，例如維度為100，就用100個(gè)平行線來(lái)表示，每個(gè)屬性點(diǎn)的值代表該維度的值，該方法雖然比較直觀明了，但缺點(diǎn)是維度的數(shù)量必須確定且不能太多。

4）多角度巡視

通過(guò)對(duì)特定的數(shù)據(jù)進(jìn)行多角度的分析，通過(guò)連續(xù)的變換線形，并且通過(guò)不同的角度動(dòng)態(tài)地顯示出來(lái)，便于更好地觀察和分析該數(shù)據(jù)。

2.2 過(guò)程和模型可視化

一般來(lái)說(shuō)，結(jié)果是靜態(tài)的，過(guò)程是動(dòng)態(tài)的，對(duì)過(guò)程可視化操作，需要在過(guò)程在運(yùn)算的過(guò)程中給用戶提供大量的數(shù)據(jù)信息，使用戶可以直觀地看到數(shù)據(jù)挖掘的過(guò)程[14]。

對(duì)于模型的可視化，主要是應(yīng)用在專家領(lǐng)域，普通的用戶對(duì)模型的關(guān)注度不高，不過(guò)隨著社會(huì)的不斷發(fā)展，模型的完美展示，更有利于用戶對(duì)產(chǎn)品或數(shù)據(jù)的理解。模型的可視化可以通過(guò)結(jié)構(gòu)輸入量的變化來(lái)觀察輸出，進(jìn)而得到更優(yōu)的效果。

3 多維網(wǎng)格聚類的可視化方案

3.1 擴(kuò)展的多維網(wǎng)格聚類算法

1）算法原理

設(shè)一組樣本X{x1，x2，…，xn}，對(duì)于每個(gè)樣本xi都有一個(gè)對(duì)應(yīng)的m個(gè)屬性的屬性集A{ai1，ai2，…，aim}。

用網(wǎng)絡(luò)計(jì)算的方法通過(guò)一個(gè)多維的立方體將所有的樣本全部包含，對(duì)網(wǎng)格中的樣本進(jìn)行聚類操作，得到聚類的結(jié)果，通過(guò)二維的離散點(diǎn)圖進(jìn)行表示[15]。

2）構(gòu)建網(wǎng)格空間

網(wǎng)絡(luò)空間設(shè)置成為一個(gè)多維的立方體，用公式（1）表示。

其中m表示維度，max表示各個(gè)維度的最大值，min表示各個(gè)維度的最小值，DIV表示各個(gè)維度的分割線。三維的網(wǎng)格空間樣本點(diǎn)分布如圖3所示。

圖3 三維網(wǎng)絡(luò)樣本分布

3）擴(kuò)展原始樣本并分類至網(wǎng)格

由于原始的樣本進(jìn)行初步的分類分配給對(duì)應(yīng)的網(wǎng)格，因此應(yīng)該對(duì)原始樣本的維進(jìn)行擴(kuò)充處理，對(duì)樣本進(jìn)行掃描時(shí)，發(fā)現(xiàn)某個(gè)樣本屬于某個(gè)網(wǎng)格，則該網(wǎng)格的密度進(jìn)行加1操作。

4）利用聚類算法對(duì)網(wǎng)格聚類

所有的樣本已經(jīng)分類完畢，接下來(lái)，將生成的k個(gè)網(wǎng)格進(jìn)行聚類操作，其方法同上，根據(jù)原始樣本與網(wǎng)格的映射關(guān)系，輸出原始樣本的聚類結(jié)果。

3.2 算法實(shí)現(xiàn)

聚類算法是數(shù)據(jù)挖掘中重要的一種算法，已經(jīng)廣泛應(yīng)用于眾多領(lǐng)域，本文在此給出聚類算法的核心代碼，具體如下：

4 結(jié) 論

文中對(duì)數(shù)據(jù)挖掘的應(yīng)用和優(yōu)用展開(kāi)研究，聚類算法是當(dāng)前數(shù)據(jù)挖掘中應(yīng)用比較廣泛的一種算法，首先對(duì)數(shù)據(jù)挖掘的定義、過(guò)程和功能進(jìn)行全面的分析研究；其次對(duì)可視化技術(shù)進(jìn)行了描述；最后給出了多維網(wǎng)格聚類的可視化方案，并給出了部分核心代碼。

[1]夏火松.數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘技術(shù)[M].北京:科學(xué)出版社，2004.

[2]劉海林，華程.數(shù)據(jù)挖掘在網(wǎng)絡(luò)優(yōu)化平臺(tái)中的應(yīng)用策略研究[J].電信快報(bào):網(wǎng)絡(luò)與通信，2015（12）：16-18.

[3]方宏斌.模糊聚類及其實(shí)際應(yīng)用[J].廣東通信技術(shù)，2008（5）：9-13.

[4]張玉英，分析數(shù)據(jù)挖掘在網(wǎng)絡(luò)優(yōu)化中的應(yīng)用[J].電子技術(shù)與軟件工程，2015（12）：201-202.

[5]韓振東，蔡子龍，程曉軍.基于用戶行為數(shù)據(jù)挖掘的網(wǎng)絡(luò)質(zhì)量?jī)?yōu)化[J].數(shù)據(jù)通信，2012（1）：36-39.

[6]韓茂，邱崧，李外云.基于數(shù)據(jù)挖掘的測(cè)試工程數(shù)據(jù)整合分析平臺(tái) [J].電子設(shè)計(jì)工程，2015（11）：105-109.

[7]劉靜.數(shù)據(jù)挖掘技術(shù)在教務(wù)管理實(shí)踐中的應(yīng)用研究[J].電子設(shè)計(jì)工程，2014（24）：1-3.

[8]馬保平.關(guān)于對(duì)軟件工程中的數(shù)據(jù)挖掘技術(shù)的探討[J].電子技術(shù)與軟件工程，2015（19）：196-197.

[9]王樹(shù)良，丁剛毅，鐘鳴.大數(shù)據(jù)下的空間數(shù)據(jù)挖掘思考[J].中國(guó)電子科學(xué)研究院學(xué)報(bào)，2013（1）：8-17.

[10]程苗.基于云計(jì)算的Web數(shù)據(jù)挖掘[J].計(jì)算機(jī)科學(xué)，2011（B10）：146-149.

[11]陳開(kāi)，黃明和，但寶平.淺析數(shù)據(jù)挖掘在CRM中的應(yīng)用[J].中國(guó)電子商務(wù)，2013（2）：65-66.

[12]賈輝.淺談數(shù)據(jù)挖掘技術(shù)在圖書(shū)館中的應(yīng)用[J].經(jīng)濟(jì)研究導(dǎo)刊，2012（27）：241-242.

[13]譚英麗，郭峰.數(shù)據(jù)挖掘在電子商務(wù)中的應(yīng)用研究[J].價(jià)值工程，2011（22）：165-166.

[14]付光.可視化原理及應(yīng)用中的可視化數(shù)據(jù)挖掘[J].廣西教育，2011（24）：125-127.

[15]韓振東，蔡子龍，程曉軍.基于用戶行為數(shù)據(jù)挖掘的網(wǎng)絡(luò)質(zhì)量?jī)?yōu)化[J].數(shù)據(jù)通信，2012（1）：36-39.

Research on application and optimization of data mining

CUI Jia
（Naval Aeronautical and Astronautical University，Yantai 264001，China）

Mining potential and valuable knowledge for data mining technology is very important to scientific decision making and analysis.Through the analysis of the clustering algorithm，combined with visualization technology，the use of grid and clustering algorithm，the two clustering processing，improve the efficiency of data mining.This paper has a positive effect on the intelligent researchers.

data mining；optimization；visualization；cluster analysis

TN03

：A

：1674-6236（2017）08-0024-03

2016-04-05稿件編號(hào)：201604031

崔 嘉（1982—），男，山東濱州人，碩士研究生，講師。研究方向:物聯(lián)網(wǎng)應(yīng)用技術(shù)、裝備管理信息化、信息安全。