大型數(shù)據(jù)庫(kù)的關(guān)聯(lián)挖掘算法設(shè)計(jì)分析

霍英哲 王群 尹曉華 于海 李峰

摘 要：當(dāng)今，數(shù)據(jù)容量規(guī)模的擴(kuò)大，導(dǎo)致數(shù)據(jù)規(guī)模擴(kuò)大、復(fù)雜化，人們無(wú)法快速找到感興趣的數(shù)據(jù)，對(duì)于此類爆炸式增長(zhǎng)的數(shù)據(jù)，人們進(jìn)行數(shù)據(jù)處理以及數(shù)據(jù)分析的能力非常有限。因此，數(shù)據(jù)挖掘技術(shù)得到了廣泛重視及深入研究，逐步成為重要研究領(lǐng)域。

關(guān)鍵詞：大型數(shù)據(jù)庫(kù)；關(guān)聯(lián)規(guī)則；挖掘算法；關(guān)聯(lián)挖掘

數(shù)據(jù)挖掘即從大量不完全、有噪聲、模糊隨機(jī)數(shù)據(jù)中獲取包含有人們事先不知道又潛在有用信息及知識(shí)處理進(jìn)程。該方法之所以被稱為未來(lái)信息處理重要技術(shù)之一，關(guān)鍵是它以一種全新概念轉(zhuǎn)變著人類使用數(shù)據(jù)的模式。但數(shù)據(jù)庫(kù)技術(shù)作為一種最基礎(chǔ)的信息儲(chǔ)存及管理形式，依舊以聯(lián)機(jī)事務(wù)處理為重點(diǎn)使用，對(duì)決策、解析、預(yù)測(cè)等高級(jí)性能的支持技術(shù)較少。關(guān)聯(lián)規(guī)則挖掘是數(shù)據(jù)挖掘的一個(gè)重要分支，廣泛應(yīng)用在多個(gè)領(lǐng)域，如數(shù)據(jù)分析、數(shù)據(jù)庫(kù)設(shè)計(jì)、倉(cāng)儲(chǔ)規(guī)劃、網(wǎng)絡(luò)故障解析等，導(dǎo)致已有的數(shù)據(jù)庫(kù)規(guī)模迅速擴(kuò)大，對(duì)大規(guī)模數(shù)據(jù)庫(kù)關(guān)聯(lián)規(guī)則挖掘的研究成為了該領(lǐng)域具備關(guān)鍵理論價(jià)值及現(xiàn)實(shí)意義事件。對(duì)此，提出并設(shè)計(jì)了基于貝葉斯信息標(biāo)準(zhǔn)BIC評(píng)分函數(shù)的大型數(shù)據(jù)庫(kù)關(guān)聯(lián)挖掘算法。

1數(shù)據(jù)庫(kù)關(guān)聯(lián)數(shù)據(jù)分析

在對(duì)大型數(shù)據(jù)庫(kù)進(jìn)行關(guān)聯(lián)挖掘過(guò)程中，其數(shù)據(jù)庫(kù)的獲取及數(shù)據(jù)預(yù)處理是影響關(guān)聯(lián)挖掘的關(guān)鍵步驟。對(duì)此，在數(shù)據(jù)庫(kù)獲取后，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理過(guò)程中，采用自適應(yīng)函數(shù)對(duì)其進(jìn)行分析，提高大型數(shù)據(jù)庫(kù)數(shù)據(jù)性能，為進(jìn)行關(guān)聯(lián)挖掘提供基礎(chǔ)依據(jù)。

1.1數(shù)據(jù)庫(kù)獲取分析

數(shù)據(jù)庫(kù)還原模塊在運(yùn)行時(shí)，首先將運(yùn)行環(huán)境初始化，包括環(huán)境變量初始化、配置文件初始化、公共變量和數(shù)據(jù)緩存初始化。然后進(jìn)行網(wǎng)絡(luò)設(shè)備初始化，最后創(chuàng)建數(shù)據(jù)庫(kù)還原模塊的工作線程，包括數(shù)據(jù)流還原線程、攔截?cái)?shù)據(jù)包線程和數(shù)據(jù)包處理分析調(diào)度線程。攔截?cái)?shù)據(jù)包線程的主要功能是攔截網(wǎng)上的數(shù)據(jù)包，數(shù)據(jù)流還原線程的主要功能是還原網(wǎng)絡(luò)數(shù)據(jù)包，并將還原結(jié)果存入數(shù)據(jù)庫(kù)還原模塊的數(shù)據(jù)庫(kù)中。數(shù)據(jù)包處理分析調(diào)度線程主要對(duì)不同的數(shù)據(jù)包進(jìn)行調(diào)度。數(shù)據(jù)獲取中主要獲取內(nèi)容是相關(guān)數(shù)據(jù)來(lái)源記錄信息、具體數(shù)據(jù)特征、獲取數(shù)據(jù)所需時(shí)間等。實(shí)現(xiàn)這一目標(biāo)的方式有很多種，其主要依據(jù)是借助各種途徑，對(duì)數(shù)據(jù)進(jìn)行采集。

1.2數(shù)據(jù)庫(kù)關(guān)聯(lián)

數(shù)據(jù)預(yù)處理數(shù)據(jù)庫(kù)數(shù)據(jù)量較大，若要增加挖掘效率，實(shí)現(xiàn)挖掘的目的，要對(duì)數(shù)據(jù)提前進(jìn)行一定處理，即預(yù)處理，重點(diǎn)包括數(shù)據(jù)采集、整理、選擇、轉(zhuǎn)存等流程。在數(shù)據(jù)整理方面，重點(diǎn)是對(duì)具有冗余特征的數(shù)據(jù)刪除、對(duì)類似數(shù)據(jù)項(xiàng)進(jìn)行合并、篩查修正數(shù)據(jù)信息等。在此之后進(jìn)行集體的篩選處理，把來(lái)自不同源點(diǎn)的數(shù)據(jù)匯集起來(lái)，對(duì)數(shù)據(jù)進(jìn)行篩查，找出適合搜尋需求的數(shù)據(jù)種類。最后對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換，把最終得到的數(shù)據(jù)對(duì)應(yīng)地進(jìn)行適應(yīng)度函數(shù)調(diào)整、轉(zhuǎn)變成更適合使用的格式，方便進(jìn)行關(guān)聯(lián)挖掘解析。在進(jìn)行關(guān)聯(lián)數(shù)據(jù)預(yù)處理過(guò)程中，把網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)作為最優(yōu)化問(wèn)題，對(duì)挖掘目標(biāo)進(jìn)行搜索評(píng)分。

對(duì)此采用較為常用的評(píng)分函數(shù)有貝葉斯信息標(biāo)準(zhǔn)BIC評(píng)分函數(shù)，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。該評(píng)分函數(shù)具備以下幾個(gè)優(yōu)點(diǎn)[9]：一是不依附先驗(yàn)概率，不對(duì)先驗(yàn)概率分布情況進(jìn)行估計(jì)；二是在樣本集合過(guò)大時(shí)，能夠近似地對(duì)后驗(yàn)概率進(jìn)行驗(yàn)證；三是在沒(méi)有規(guī)定多項(xiàng)式分布及Dirichlet先驗(yàn)概率情況下，和MDL測(cè)度取負(fù)號(hào)的結(jié)果近似相等。因此，在本算法中使用BIC評(píng)分函數(shù)作為適應(yīng)度函數(shù)，并認(rèn)為BIC的得分越高，適應(yīng)度越好，為后續(xù)的關(guān)聯(lián)挖掘提供基礎(chǔ)。在數(shù)據(jù)關(guān)聯(lián)挖掘中，若每個(gè)部分均要給出相應(yīng)的挖掘規(guī)則、頻繁集等，則需對(duì)選取范圍進(jìn)行確認(rèn)，并建立對(duì)應(yīng)向量，采用普通的安全多方循環(huán)協(xié)議進(jìn)行集合的合并。為了增加預(yù)處理的安全性能，采用基于可交換密鑰順序方法進(jìn)行安全加密處理。在共享的狀況下，能夠采用其余方式進(jìn)行可交換加密。

2關(guān)聯(lián)挖掘算法優(yōu)化研究

在進(jìn)行大數(shù)據(jù)關(guān)聯(lián)挖掘算法優(yōu)化過(guò)程中，首先對(duì)數(shù)據(jù)進(jìn)行一次掃描，搜出整體的頻繁1_項(xiàng)集；然后對(duì)搜出的頻繁1_項(xiàng)集進(jìn)行組合，依次產(chǎn)生頻繁2_項(xiàng)集、頻繁3_項(xiàng)集等。關(guān)聯(lián)挖掘算法優(yōu)化流程圖如圖1所示。

3系統(tǒng)性能測(cè)試

3.1系統(tǒng)性能評(píng)估方法

實(shí)驗(yàn)采用系統(tǒng)仿真的方式對(duì)算法有效性進(jìn)行驗(yàn)證，實(shí)驗(yàn)環(huán)境如下。系統(tǒng)硬件采用4核1.66GHz的CPU；RAM10GB。系統(tǒng)操作系統(tǒng)采用Windows2010Server；源數(shù)據(jù)庫(kù)使用默認(rèn).dat二進(jìn)制的數(shù)據(jù)；輸出文件為.txt文本文件；以VC++6.0sp6編制為實(shí)驗(yàn)程序；實(shí)驗(yàn)期間斷開(kāi)網(wǎng)絡(luò)連接，防止出現(xiàn)誤差；每一次實(shí)驗(yàn)后對(duì)系統(tǒng)內(nèi)存進(jìn)行整理，讓每一次程序運(yùn)行環(huán)境盡量統(tǒng)一。準(zhǔn)確率在算法驗(yàn)證過(guò)程中，將某一興趣類別產(chǎn)生的數(shù)據(jù)進(jìn)行正確的判定，而得到的總和百分比才是最終的準(zhǔn)確率。準(zhǔn)確率與出錯(cuò)率成反比，即當(dāng)錯(cuò)誤率降低時(shí)，準(zhǔn)確率提高，表示用戶的挖掘效率越高。

3.2結(jié)果分析

準(zhǔn)確率對(duì)比結(jié)果如圖2所示。

圖2 準(zhǔn)確率對(duì)比結(jié)果分析

由圖2可知，采用傳統(tǒng)挖掘算法進(jìn)行數(shù)據(jù)庫(kù)挖掘時(shí)，在時(shí)間不定的情況下，其挖掘準(zhǔn)確率隨著時(shí)間的增加出現(xiàn)下降的趨勢(shì)，準(zhǔn)確率最高達(dá)到73.4%，最低為50.8%，平均準(zhǔn)確率約為56.4%；采用改進(jìn)方法時(shí)，隨著時(shí)間的增加，其挖掘準(zhǔn)確率具有上升趨勢(shì)，準(zhǔn)確率最高達(dá)到99.4%，最低為80.1%，平均值約為91.3%，相比傳統(tǒng)挖掘算法提高了約34.9%，具有一定的優(yōu)勢(shì)。

4結(jié)論

針對(duì)傳統(tǒng)挖掘算法一直存在挖掘準(zhǔn)確率低、效率差的問(wèn)題，提出基于貝葉斯信息標(biāo)準(zhǔn)BIC評(píng)分函數(shù)的大型數(shù)據(jù)庫(kù)關(guān)聯(lián)挖掘算法。實(shí)驗(yàn)結(jié)果表明，采用改進(jìn)算法相比傳統(tǒng)挖掘算法準(zhǔn)確率提高了約34.9%，具有顯著優(yōu)勢(shì)。

參考文獻(xiàn)

[1] 何佩佩. 云環(huán)境下數(shù)據(jù)挖掘算法的研究與設(shè)計(jì)[D]. 東華大學(xué)，2016.

[2] 謝笑盈，徐應(yīng)濤，張瑩. 基于抽樣學(xué)習(xí)的關(guān)聯(lián)挖掘算法設(shè)計(jì)[J]. 浙江師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2018（1）.

[3] 張全紅. 面向大數(shù)據(jù)的關(guān)聯(lián)規(guī)則算法研究[D]. 西安科技大學(xué)，2017.

（作者單位：國(guó)網(wǎng)遼寧省電力有限公司信息通信分公司）