最新大數據技術數據挖掘技術分析與應用算法研究

馬驍

摘要：伴隨著科學技術的不斷發展，使得大數據技術數據庫挖掘技術在不斷的得到更新和發展，而且規模也是逐年上升的。因很多的數據不容易將隱藏的可以支持決策的信息內容進行分辨，同時傳統常規的查詢以及報表工具已經不能實現相關信息資料的挖掘需求，所以就必須要采取新型數據分析技術展開大量數據的有效處理。在這種形勢下，數據挖掘技術產生了，其能夠在高效的處理好各種數據的基礎上，實現對潛在有價值知識內容進行抽取。在此次研究中，主要是對于最新大數據技術數據挖掘技術展開相應的分析，同時對于相關應用算法實施探討。

關鍵詞：大數據技術；數據挖掘技術；應用算法

數據屬于知識的重要源泉，對數據進行收集其實就是為了得到大量的信息資料。伴隨著數據的不斷的增加，數據分析方法也會相應的獲得到更新和與時俱進。目前很多的領域已經深刻的貫徹大數據挖掘技術理念，不僅提供給計算機產業眾多的機遇，同時也產生了各種挑戰。因為若想有效的進行大數據挖掘工作，就應該實施科學的數據挖掘應用算法。

一、數據挖掘技術概況

（一）數據挖掘技術的概念

數據挖掘即為在數據集合中，將隱藏于數據內相關的信息進行自動化的抽取的一種非平凡過程，信息表現形式較豐富，即涉及概念、規則以及模式、規律等等。不僅能夠輔助決策人員將數據的過去和現在的狀態進行分析，找到隱藏的模式以及關聯性，對將來能夠出現的行為實施良好的預測。另外，數據挖掘的過程另一種稱法就是發現知識的過程。現下的數據挖掘研究和開發總體水平是不高的，急需要應用更先進的諸如DBMS系統和關系模式、SQL查詢語言等方法進行指導，使得應用數據挖掘技術更好的推廣。當前，對數據挖掘技術的技術，主要的方向就是：找到數據挖掘期間可視化舉措、發現語言形式化描述、研究基于網絡環境狀態中數據挖掘技術、重視提升開采各種非結構化數據等等。

（二）數據挖掘的過程分析

數據挖掘的過程具備完整性的特征，此過程為挖掘出大型數據內先前未知的、實用性較高的以及有效的信息內容，應用這些信息最終做出相應的決策以及豐富的知識。數據挖掘的過程、步驟主要如下圖1所示。

二、數據挖掘的基本分析方法

對于數據挖掘來說，分析方法屬于關鍵性的內容之一，只有采取具有科學性、先進性以及安全可靠的算法，才能夠進行挖掘數據，并且將潛在的數據中相關規律進行發掘，以各異分析方法，對類型不同的問題實施解決和處理。當前，常應用到的數據挖掘分析方法較多，下面進行分別的闡述。

（一）聚類分析法

聚類分析主要就是經聚類分組數據對象的方式，構建起相應板塊，把各種不具有規律性的數據，最終形成有關聯的、有邏輯的分組數據。同時在分組數據內將存在一定價值數據內容實施抽選，并展開深入的分析以及利用。聚類分析法的應用也是相對廣泛的，在統計學、心理學以及數據識別等領域中均具有良好的應用。

（二）特征性數據分析法

在信息化時代的發展中，網絡數據已然發展為數據爆炸式的狀態，具備非常廣泛化的數據資源，同時普及的范圍是相當之普遍。怎樣做到科學合理的針對網絡爆炸式數據展開有關特性的分類，是當前主要的整理分類數據的關鍵。同時，常存在諸多的舉措為經計算機的途徑，獲得到數據分類的虛擬的，同時可以將數據之間具有的普遍規律性找到，進而實現分析數據主要特性，最終達到更好的分類成效。

（三）關聯性分析法

通常情況下，數據自身是具有隱蔽性特征的，這時就很不容易采取普通數據分析法展開數據挖掘以及利用工作，所以就應該實施關聯性分析的方案，展開科學合理的關聯性分析數據信息內容，實現輔助人力進行分辨數據的工作。關聯性數據分析法一般為具有一定的目的性特點，所在其在高精準度要求的信息管理工作中具有廣泛的應用。

三、大數據技術數據挖掘技術的工具和任務

（一）數據挖掘技術的工具

數據挖掘技術在不斷發展的形勢下，也不斷的出現著新型的數據挖掘商業軟件工具。數據挖掘的工具包含特定領域數據挖掘工具、通用數據挖掘工具兩大種類。介紹兩種相對常見的并且先進的數據挖掘工具：其一為QUEST。QUEST為一種多任務數據挖掘系統，提出方就是IBM公司的Almaden研究中心，能夠提供給新一代決策支持系統應用和開發，更好、更優質的數據開采構件。QUEST系統的特征包括：具備專門從大型數據庫上展開開采的職能，即涉及到的功能方面包括關聯規則發現、時間序列聚類、遞增式主動開采、決策樹分類等；各開采的算法均存在近似線性計算復雜度，能夠在數據中進行應用，不會受到數據庫大小的權限；算法具有良好的找全性特征，也就是能夠發掘出全部的可以適應指定類型的模式，而且能夠提供給很多發現功能諸多的并行算法。其二為DBMiner，其屬于多任務數據挖掘系統，提出方為加拿大SimonFraser，并且DBMiner前身為DBLearn。進行設計此系統的目標就是結合關系數據庫以及數據開采兩項指標，建立在面向屬性多級概念基礎上，獲得到相應的知識。此系統特征也是較多的，包括的方面為：可以進行很多知識的發現，即發現關聯規則、泛化規則、分類規則以及特性規則、演化知識等；全面的聯系諸多形式的數據開采技術，涉及到面向屬性的歸納、元規則引導發現等；達到建立在客戶/服務器體系結構的Unix以及PC版本系統基礎上的效果；可以采取交互式類SQL語言，即數據開采查詢語言DMQL。數據挖掘的研究成果具有一定的邏輯特點，如下圖2所示。

（二）數據挖掘技術的主要任務

數據挖掘技術的開采任務主要是包括四方面。第一種為，數據總結為濃縮數據，并且提供緊湊描述。數據挖掘為建立在數據泛化角度方面上，展開討論數據總結的；作為非常關鍵的一種內容，分類發現發揮出的作用不言而喻。分類為采取分類器將數據庫內部相關數據項，在指定類別中進行反映，最終預測未來的數據內容；聚類即為將一組個體遵循一定的規律進行劃分類別，最終就是做到在同樣類別個體之間，顯著的減小差距，同時最大化的分離開不同類別個體間距；關聯規則屬于事物之間是否具有較大的可靠度以及支持度，對于關聯規則來說，如果想做到有意義，就必須要具備具體的最小可信度、最小支持度兩項指標。

四、數據挖掘技術應用算法的探究

伴隨計算機技術的大量的應用，以及日常管理工作中產生的大數據，迅速的達到高質高效的在不同形式數據以及有噪聲大數據環境中進行數據內涵的分析，找到有用知識體系以及規律引領人們實施科學的預測以及決策非常重要，所以Apriori算法產生在這種形勢下，在大數據挖掘其間成為一種先進的、新型的算法。Apriori算法屬于挖掘布爾型關聯規則的頻繁項集迭代算法，于數據挖掘其間經很多的描述數據庫方式，找到相應的候選集之后展開剪枝，也就是將具有非頻繁子集候選集排除。經科學的設置最小支持度閾值，對于候選項不斷的增長的數量展開有效控制，同時于大數據數據挖掘期間構建起更好的研究價值。

（一）Apriori算法過程分析

Apriori算法的實現原理就是采取逐層搜索的迭代方法，具體的實現過程即為：首先，對于事務數據庫D展開掃描，得到支持度Ci的計算，進而獲得Li即頻繁項集集合；其次，就是連接步，其屬于算法的自連接過程，必須要充分的保障一致于前項，同時嚴格的遵循關聯規則展開合理的連接；接下來，為剪枝步，即主要為充分的維持任意一個頻繁項集非空子集是具有頻繁屬性的，也就是如果存在候選非空子集并非頻繁性的，那么其候選也一定并非頻繁，所以可以排除掉；最后，經迭代掃描數據庫D，將各項集支持度展開科學的計算，排除不符合要求的項集，經迭代循環的方式一直達到某值是空的狀態，此時停止算法。Apriori算法如下圖3所示。

（二）Apriori算法改進

分析顯示，Apriori算法是具有弊端問題的。一方面就是在進行找到頻繁項集、候選項集期間，均需對于數據庫D展開掃描；另一方面就是，在具有非常復雜的事務數據庫數據量情況下，構建起的頻繁項集、候選項集數量均會相應的提升，所以很容易于分析檢索大量數據庫期間明顯的降低Apriori算法效率，同時也能夠相應提升計算機資源的占用開銷。

為對于Apriori算法實施良好的改進，積極的分析原理，應用實際算法時，生產實現處理候選頻繁項目期間，在掃描事務過程中將無需的候選頻繁級進行最先的刪除，同時對于數據展開壓縮，記錄好事務數據庫，就會相應的提升掃描的效率，并且有效的減少計算機資源的開銷。當前，Apriori算法改進技術涉及到AprioriTid算法、基于采樣算法（Sampling）、基于散列算法（Hash）、事務壓縮技術等。

（三）Apriori算法的應用情況

當前，應用Apriori算法已經相對普遍。應用到教學質量動態檢測和評價中：經數據挖掘，能夠在大量學生對于教學評價數據內，將關聯規則進行找到，并且將有關的課程教學效果同教師教學的狀態的關聯性實施探究，幫助推動提升教學的質量和水平；應用于電子商務交易方面，采取Apriori算法能夠建立在網絡實現電商交易期間，可以將客戶的消費習慣以及能力、消費的群體等進行分析，提供給電商供應商更好的了解消費市場的途徑，同時展開同客戶之間的良性商務互動；應用于學生就業方面上，可以在人才培養模式有關的知識體系以及專業等海量的數據中，對于大學生的受教育程度、同社會就業的需求存在的關系進行分析，幫助大學提供給學生人才培養更好的依據；應用于動態網絡輿情監控，經應用intemet平臺實現實施的采集以及分析網絡信息傳輸交互，對于網絡用戶信息進行了解，幫助政府獲得網絡輿情，對于客戶依據進行提供。

結語：

面對傳統常規的查詢以及報表工具已經不能實現相關信息資料的挖掘需求狀態，必須要采取新型數據分析技術展開大量數據的有效處理。在這種形勢下，數據挖掘技術隨即產生，其能夠對潛在有價值知識進行抽取，應用價值巨大。

參考文獻：

[1]李戈春，潘斌，豐雷.大數據分析在教學實踐中的應用策略[J].課程教育研究，2017（44）：213-214.

[2]張佳，朱宇華.運用大數據技術推進節約型校園建設——以蘇州工藝美術職業技術學院為例[J].高校后勤研究，2015（03）：88-90.

[3]李傳軍.大數據技術與智慧城市建設——基于技術與管理的雙重視角[J].天津行政學院學報，2015（04）：39-45.

[4]沈才俊，常云志，徐暑芬，李章林.大數據技術在科技項目評審過程中的應用現狀[J].江蘇科技信息，2016（34）：28-29+34.