大數(shù)據(jù)環(huán)境下的數(shù)據(jù)挖掘技術(shù)分析及若干研究

摘 要： 信息化的時(shí)代中，大數(shù)據(jù)正在融入日常生產(chǎn)以及生活，發(fā)揮了突顯的作用。大數(shù)據(jù)環(huán)境的具體表現(xiàn)為：數(shù)據(jù)傳輸加快了速度、數(shù)據(jù)種類增多，傳輸方式也變得更多樣。大數(shù)據(jù)環(huán)境下，數(shù)據(jù)庫(kù)的數(shù)據(jù)挖掘方式正在逐漸受到重視。利用數(shù)據(jù)挖掘，可以發(fā)掘更多的數(shù)據(jù)資源，服務(wù)于生產(chǎn)和生活。同時(shí)，大數(shù)據(jù)環(huán)境也利于展開(kāi)更深入的數(shù)據(jù)挖掘，為數(shù)據(jù)挖掘提供了更多的便利。為此，有必要探析數(shù)據(jù)挖掘技術(shù)在大數(shù)據(jù)環(huán)境下的具體運(yùn)用。結(jié)合技術(shù)發(fā)展的現(xiàn)狀，探究數(shù)據(jù)挖掘的具體應(yīng)用途徑和方式。

關(guān)鍵詞：大數(shù)據(jù)環(huán)境 數(shù)據(jù)挖掘 具體技術(shù)分析

中圖分類號(hào)：TP39 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1003-9082（2016）10-0004-02

技術(shù)在快速進(jìn)步，現(xiàn)今時(shí)期內(nèi)的網(wǎng)絡(luò)正在深入生活，網(wǎng)絡(luò)體現(xiàn)出重要的意義。從本質(zhì)上看，大數(shù)據(jù)不僅代表了日益增長(zhǎng)的數(shù)據(jù)量，同時(shí)也表現(xiàn)出更復(fù)雜的數(shù)據(jù)關(guān)系。增長(zhǎng)的過(guò)程中，達(dá)到特定規(guī)模的數(shù)據(jù)量將會(huì)發(fā)生質(zhì)變。大數(shù)據(jù)的具體類型包含了視頻和文本等信息[1]。對(duì)于信息搜集以及處理等，也應(yīng)當(dāng)確保更快的處理速度。大數(shù)據(jù)環(huán)境下，數(shù)據(jù)挖掘的相關(guān)技術(shù)具備了獨(dú)特的技術(shù)優(yōu)勢(shì)，然而同時(shí)也面對(duì)新階段的技術(shù)挑戰(zhàn)。面對(duì)新階段的新環(huán)境，有必要給出數(shù)據(jù)挖掘的特定技術(shù)流程以及技術(shù)方式。結(jié)合現(xiàn)階段面臨的挑戰(zhàn)，給出完善思路。

一、數(shù)據(jù)挖掘在大數(shù)據(jù)環(huán)境下的重要價(jià)值

面對(duì)信息化的新時(shí)期，各行業(yè)都不可缺少數(shù)字化技術(shù)作為支持。最近幾年，互聯(lián)網(wǎng)正在快速普及，在這種基礎(chǔ)上也誕生了云計(jì)算和物聯(lián)網(wǎng)的相關(guān)技術(shù)。在當(dāng)前形勢(shì)下，全球范圍內(nèi)的網(wǎng)絡(luò)技術(shù)正在加快發(fā)展，爆炸式的數(shù)據(jù)增長(zhǎng)趨勢(shì)也因此變得更明顯。信息化沖擊著各個(gè)行業(yè)，傳輸信息的方式也在相應(yīng)改變。信息化形勢(shì)下，對(duì)于信息形成、信息運(yùn)用以及信息共享都可以做到有效的整合[2]。在企業(yè)發(fā)展中，大數(shù)據(jù)起到了不可忽視的作用，同時(shí)也匯聚了各個(gè)層面的物力和人力。

從信息化角度看，企業(yè)在整合處理各類的數(shù)據(jù)時(shí)都需要借助電子化的方式。針對(duì)大量的資源和信息，應(yīng)當(dāng)符合交互式的處理方式和數(shù)據(jù)傳輸方式。數(shù)據(jù)化處理可以為企業(yè)提供精確的決策依據(jù)，因此也創(chuàng)造了更高層次的生產(chǎn)效能。云計(jì)算方式能夠用來(lái)處理實(shí)時(shí)的數(shù)據(jù)，從而減少了整體投入。

隨著技術(shù)進(jìn)步，云計(jì)算技術(shù)正在變得更成熟。與此同時(shí)，云計(jì)算也配備了信息化的新式平臺(tái)。這樣做，在根本上確保了信息化的效能提高。在當(dāng)前時(shí)期內(nèi)，大數(shù)據(jù)代表著全新的發(fā)展階段。這是因?yàn)椋髷?shù)據(jù)技術(shù)可以用來(lái)篩選數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)或者調(diào)用數(shù)據(jù)，這些步驟和流程都不必耗費(fèi)額外的資源。從行業(yè)本身來(lái)看，數(shù)據(jù)交換以及信息交易的總數(shù)都變得更大，因此也構(gòu)建了規(guī)模更大的數(shù)據(jù)庫(kù)。針對(duì)存儲(chǔ)量很大的數(shù)據(jù)庫(kù)，應(yīng)當(dāng)經(jīng)過(guò)篩選和分類，提取必需的信息數(shù)據(jù)。這樣做，就可以為各類用戶提供必需的信息。由此可見(jiàn)，大數(shù)據(jù)環(huán)境中的數(shù)據(jù)挖掘具備更高的價(jià)值，有必要深入探析數(shù)據(jù)挖掘的相關(guān)技術(shù)方式[3]。

二、現(xiàn)今階段的技術(shù)難點(diǎn)

從技術(shù)構(gòu)架來(lái)看，數(shù)據(jù)庫(kù)表現(xiàn)出更復(fù)雜的技術(shù)架構(gòu)，因而也增加了整體數(shù)據(jù)庫(kù)的管理難度。在傳統(tǒng)模式下，數(shù)據(jù)庫(kù)能夠用來(lái)處理較低層次的數(shù)據(jù)，然而針對(duì)較高層次的信息數(shù)據(jù)并不能給予很好的處理。最近幾年，數(shù)據(jù)總量正在增大，數(shù)據(jù)庫(kù)管理也相應(yīng)改變了常用的流程和模式。近些年，分布式的全球數(shù)據(jù)庫(kù)也被創(chuàng)造出來(lái)，在這種形勢(shì)下亟待擴(kuò)展整體的處理規(guī)模，以此來(lái)適應(yīng)現(xiàn)今階段的數(shù)據(jù)處理。然而應(yīng)該注意：傳統(tǒng)數(shù)據(jù)庫(kù)仍缺乏相應(yīng)的分區(qū)和類型，非結(jié)構(gòu)化的傾向十分明顯。

從實(shí)時(shí)性來(lái)看，數(shù)據(jù)處理中的實(shí)時(shí)性需求正在變得更強(qiáng)，用戶希望獲得實(shí)時(shí)的處理方式和技術(shù)。最近幾年，數(shù)據(jù)庫(kù)表現(xiàn)出智能性和商業(yè)化的整體趨勢(shì)，因此也相應(yīng)提高了實(shí)時(shí)性的需求。針對(duì)各類型的信息，用戶都有必要給予實(shí)時(shí)的解析和處理。大數(shù)據(jù)的整體背景有別于傳統(tǒng)背景，這是因?yàn)橹悄苁降纳虡I(yè)處理方式正在被推廣采用。因此，如果仍沿用常用的處理流程，那么很難符合新階段的實(shí)時(shí)處理需要[4]。

從硬件和軟件的存儲(chǔ)方式看，傳統(tǒng)類型的軟硬件也不再滿足需求。現(xiàn)今時(shí)期內(nèi)，數(shù)據(jù)處理達(dá)到了更大的總量。與此相應(yīng)，在信息保存的過(guò)程中也應(yīng)當(dāng)符合更高層次的精確性需求。數(shù)據(jù)量不斷增大的狀態(tài)下，只有配備高性能的軟硬件，才能夠給予必要的保障。實(shí)際上，軟件更新的整體速度仍較慢，無(wú)法適應(yīng)現(xiàn)有的形勢(shì)。

從技術(shù)分析的具體方式看，傳統(tǒng)方式的數(shù)據(jù)分析特指結(jié)構(gòu)化的分析。經(jīng)過(guò)分析之后，就可以歸納得到全面的體系，確保實(shí)效性的處理。然而，大數(shù)據(jù)形勢(shì)下的各行業(yè)數(shù)據(jù)總量都變得更大，因此也挑戰(zhàn)了常用的分析方式。

三、數(shù)據(jù)挖掘的技術(shù)優(yōu)勢(shì)

首先，數(shù)據(jù)挖掘符合了更強(qiáng)的實(shí)效性，滿足實(shí)時(shí)的處理。信息技術(shù)的新時(shí)期內(nèi)，不同類型的數(shù)據(jù)也蘊(yùn)含了更多的知識(shí)價(jià)值。大數(shù)據(jù)環(huán)境下，數(shù)據(jù)分析更多表現(xiàn)為線性處理，這種趨勢(shì)符合了新階段的處理需求。如果選擇了大數(shù)據(jù)這種處理形式，那么優(yōu)先選擇數(shù)據(jù)挖掘的相關(guān)技術(shù)方式。這是由于，數(shù)據(jù)挖掘可以運(yùn)用于流處理的過(guò)程，從而也確保了批量式的處理。針對(duì)大數(shù)據(jù)而言，業(yè)務(wù)處理也在客觀上需要設(shè)置實(shí)時(shí)性的處理框架，以此來(lái)滿足實(shí)效性的新需要。

其次，在動(dòng)態(tài)環(huán)境下，數(shù)據(jù)挖掘設(shè)置了特定的索引類型，能夠符合動(dòng)態(tài)變化的環(huán)境。從關(guān)系數(shù)據(jù)庫(kù)的角度看，索引可以加快整體的檢索速度。然而，傳統(tǒng)類型的數(shù)據(jù)檢索只設(shè)置了較少的幾類索引[5]。近些年來(lái)，大數(shù)據(jù)的具體種類正在不斷增多，這種形勢(shì)下創(chuàng)建的索引就必須具備更簡(jiǎn)潔的特征，同時(shí)也必須符合高效化的整體要求。在數(shù)據(jù)挖掘中，索引形式是多樣的，并且可以實(shí)時(shí)調(diào)整。因此，大數(shù)據(jù)環(huán)境中的索引形式應(yīng)當(dāng)更新，這樣做才能便于提高實(shí)時(shí)查詢的效率。

第三，大數(shù)據(jù)環(huán)境中的數(shù)據(jù)挖掘還具備豐富的先驗(yàn)知識(shí)。傳統(tǒng)模式的數(shù)據(jù)分析通常選擇了關(guān)系型的信息存儲(chǔ)，這種模式隱含了先驗(yàn)知識(shí)。具體而言，在探求特定對(duì)象的屬性時(shí)，首先就需要明確可以取到的數(shù)值范圍。在進(jìn)入分析之前，有必要初步了解這種取值范圍。然而，大數(shù)據(jù)包含了更多的非結(jié)構(gòu)性信息，因此在客觀上也要求構(gòu)建與之匹配的內(nèi)部數(shù)據(jù)關(guān)系。數(shù)據(jù)是實(shí)時(shí)性的，因此并不具備先驗(yàn)知識(shí)。針對(duì)這種問(wèn)題，數(shù)據(jù)挖掘也可以給予妥善的處理。

四、具體技術(shù)實(shí)現(xiàn)

在新的環(huán)境下，數(shù)據(jù)挖掘技術(shù)受到了更多行業(yè)的認(rèn)可和接受，同時(shí)也逐漸擴(kuò)展了應(yīng)用范圍。大數(shù)據(jù)環(huán)境下，數(shù)據(jù)挖掘具體可以劃分為數(shù)據(jù)遺傳、神經(jīng)網(wǎng)絡(luò)算法、粗糙集的算法、決策樹(shù)算法等類型。現(xiàn)今社會(huì)中的信息呈現(xiàn)爆炸的趨勢(shì)，數(shù)據(jù)挖掘因此也逐漸具備了獨(dú)立性，構(gòu)成了獨(dú)立學(xué)科。用戶運(yùn)用分類技術(shù)，就能夠針對(duì)特性類型的數(shù)據(jù)和信息予以分類，然后進(jìn)入數(shù)據(jù)挖掘的過(guò)程中。由此可見(jiàn)，數(shù)據(jù)挖掘更加符合了大數(shù)據(jù)的特定環(huán)境和背景[6]。具體而言，數(shù)據(jù)挖掘的方式和技術(shù)手段包含了如下：

1.構(gòu)建矩陣模型

存儲(chǔ)大數(shù)據(jù)過(guò)程中，應(yīng)當(dāng)構(gòu)建精確的矩陣模型。在建模的基礎(chǔ)上，才能夠適當(dāng)運(yùn)用數(shù)據(jù)挖掘的方式。針對(duì)不同來(lái)源的數(shù)據(jù)，也需要給出各異的處理方式。傳統(tǒng)處理方式下，通常構(gòu)建單一的數(shù)據(jù)庫(kù)，用來(lái)存儲(chǔ)信息并且分析信息。實(shí)際上，這種方式在具體落實(shí)時(shí)也很困難，因?yàn)椴煌愋偷男畔朔彪s的內(nèi)容。大數(shù)據(jù)環(huán)境下，依照數(shù)據(jù)挖掘的思路，相關(guān)人員可以嘗試構(gòu)建相關(guān)的數(shù)據(jù)模型。這樣做，就能夠在根本上確保通用性，數(shù)據(jù)模型也能夠容納更多的數(shù)據(jù)內(nèi)容。矩陣模型屬于三維模型，模型具備立體性，因此更加便于數(shù)值分析。

2.設(shè)置關(guān)聯(lián)規(guī)則

如果要順利進(jìn)行數(shù)據(jù)挖掘，那么先要挖掘關(guān)聯(lián)規(guī)則。從特定屬性來(lái)看，關(guān)聯(lián)規(guī)則通常是隱含在屬性內(nèi)部的，是不可以預(yù)知的。對(duì)于此，只能依照選擇的統(tǒng)計(jì)方法來(lái)實(shí)現(xiàn)。從興趣度的角度看，關(guān)聯(lián)規(guī)則通常取決于置信度和支持度這兩個(gè)指標(biāo)。為了達(dá)到平衡，用戶就應(yīng)當(dāng)給出最小的置信度和支持度數(shù)據(jù)。數(shù)據(jù)挖掘的具體方式可以用來(lái)實(shí)現(xiàn)可靠的關(guān)聯(lián)規(guī)則，建立必要的存儲(chǔ)模型，用這種方式來(lái)集中表達(dá)關(guān)聯(lián)規(guī)則。

3.聚類算法的運(yùn)用

針對(duì)高維的空間，通常可以構(gòu)建特定的聚類算法。為了詳細(xì)區(qū)分不同類型的超圖，數(shù)據(jù)挖掘選擇了區(qū)分投影的方式。選擇這種方式，能夠細(xì)化不同類型的算法，進(jìn)而也提高了算法整體的精細(xì)度。利用數(shù)據(jù)挖掘，實(shí)現(xiàn)了更優(yōu)的超圖劃分，聚類計(jì)算得到的結(jié)果也表現(xiàn)得更加精確[7]。

結(jié)論

大數(shù)據(jù)背景下，數(shù)據(jù)庫(kù)更需要數(shù)據(jù)挖掘作為支持。通過(guò)數(shù)據(jù)挖掘，能夠篩選并且獲得可利用的數(shù)據(jù)信息，滿足新階段的用戶需求。經(jīng)濟(jì)在不斷增長(zhǎng)，然而與此同時(shí)資源消耗的總量也相應(yīng)變得更大。大數(shù)據(jù)可以用于多領(lǐng)域的數(shù)據(jù)挖掘，因此也在根本上改變了原有的處理過(guò)程和處理方式。面對(duì)劇烈的市場(chǎng)競(jìng)爭(zhēng)，數(shù)據(jù)挖掘的新方式也可以用于更廣的領(lǐng)域，同時(shí)也起到了更大作用。未來(lái)的實(shí)踐中，相關(guān)人員還需要結(jié)合大數(shù)據(jù)的特定背景，不斷修正并完善現(xiàn)今階段的數(shù)據(jù)挖掘手段。只有這樣，才可以為各行業(yè)提供必要的決策依據(jù)，服務(wù)于數(shù)據(jù)挖掘的整體質(zhì)量提高。

參考文獻(xiàn)

[1]朱東華，張嶷，汪雪鋒等. 大數(shù)據(jù)環(huán)境下技術(shù)創(chuàng)新管理方法研究[J]. 科學(xué)學(xué)與科學(xué)技術(shù)管理，2013（04）：172-180.

[2]王蘭成，劉曉亮. 網(wǎng)上數(shù)字檔案大數(shù)據(jù)分析中的知識(shí)挖掘技術(shù)研究[J]. 浙江檔案，2013（10）：14-19.

[3]李海林.大數(shù)據(jù)環(huán)境下的數(shù)據(jù)挖掘課程教學(xué)探索[J].計(jì)算機(jī)時(shí)代，2014（02）：54-55.

[4]盧建昌，樊圍國(guó). 大數(shù)據(jù)時(shí)代下數(shù)據(jù)挖掘技術(shù)在電力企業(yè)中的應(yīng)用[J]. 廣東電力，2014（09）：88-94.

[5]黃取治. 大數(shù)據(jù)環(huán)境下O2O電商用戶數(shù)據(jù)挖掘探討[J]. 湖南科技學(xué)院學(xué)報(bào)，2015（05）：122-124.

[6]杜鋼虎. 大數(shù)據(jù)時(shí)代背景下數(shù)據(jù)挖掘技術(shù)芻議[J]. 電子技術(shù)與軟件工程，2015（14）：221.

[7]田祥宏，陳正宇. 大數(shù)據(jù)環(huán)境下的高維數(shù)據(jù)挖掘技術(shù)研究[J]. 自動(dòng)化與儀器儀表，2016（03）：100-101.

作者簡(jiǎn)介：周瓊（1977-）女，湖南省永州人。主要從事計(jì)算機(jī)應(yīng)用技術(shù)教學(xué)與數(shù)據(jù)庫(kù)技術(shù)的應(yīng)用研究。