大數據時代的數據分析與挖掘

【摘要】 不斷形成與發展的新型服務推動著人類經濟社會項目的數據形式與規模向著更快、更準的方向發展，這無疑也預示著現代大數據時代正朝著我們推進。眾所周知，數據并不單單是一項解決問題的手段，數據的種類逐漸從原有的結構模式向現今的結構化、半結構化以及非結構化的數據模式轉換，這也預示著數據已不再只是一項簡單的工具，而已逐漸作為一項較為基本的資源。那么應當如何正確、合理地應用現代數據呢？應當如何分析、研究數據資源？這已經逐漸成為當代人較多關注的問題。

【關鍵詞】 大數據 數據分析 數據研究

目前，無論是在社會用人單位或者是個體方面都會涉及與處理相關數據信息的問題，社會大眾在應用數據信息之際也被社會諸多的數據信息所圍繞，即使現代社會數據信息的發展情況較為良好、也讓社會大眾更為信服，然而在社會大眾對大數據的印象觀念中，數據形式的發展已經超過了他們所預想的、數據總量已經超過社會大眾所理解的范疇，應當如何正確、有效地處理該部分數據信息已經變為現代社會大眾共同面對的問題，需求人們謹慎地對待。

一、實施數據分析的方法

正確地對數據進行分析過程已經作為大數據時代對待信息量極大的數據處理的關鍵性環節。即使大數據的優勢較為突顯，但仍然在處理階段存有務必解決的3大問題：大容量數據、分析速率以及多格式的數據。

1.1 Hadoop HDFS

Hadoop HDFS主要是采用流失數據詢問形式進而實現容量較大文件的儲存，主要是運用在商業化硬件群體中，而所謂的商業化硬件群體，即是區別于低端硬件，且相對于低端硬件群體而言其產生問題的機率是大大地降低的。Hadoop可以不用在價格較高且可信度高的硬件上運用，即便是面對產生問題機率較高的群體，HDFS在面對問題之際仍然會采取繼續運用的手法而且與此同時不會讓用戶發現較為突兀的間斷問題，這樣的理念從本質上大大地減少了針對機器設備的維修維護費用，特別是對于同時監管成千上萬部機器設備的用戶。

1.2 Hadoop的優點與不足

Hadoop是一項可以針對諸多數據實行分布型模式解決的軟件架構，與此同時其處理過程主要是依據一條可信、有效、可伸縮的途徑進行的，這點也是Hadoop所獨有的優點。然而眾所周知，每樣事件都不能做到完全的完美，Hadoop與其它新興的科學技術相同，一定的不足在實際應用過程中變得日益明顯：第一，現階段的Hadoop針對企業內外部信息的維護、保護效用較為匱乏，項目的設計工作人員務必選擇自行手動的方式進行數據的設置，并且這一過程較大程度上依賴設計工作人員確定相關數據信息的準確性，形成時間浪費的局面；第二，Hadoop需求社會具備投資構建專用的計算集群，可是這一般會容易形成單個儲存、計算數據信息和儲存或者CPU應用的難題，并且這樣的儲存形式在其它項目上仍然會存有兼容性的難題。

二、實施數據挖掘的方法

現階段的大數據時代常用于數據挖掘項目的方法較多，比如分類法、回歸分析法、關系規則法、Web數據挖掘法等，本文主要是針對分類法、回歸分析法、Web數據挖掘法對數據挖掘過程進行分析

1.分類法。分類法主要尋找規模較大的數據庫當中其中一組數據的相同特質且依據劃分形式把數據劃分為不一樣的種類，對其實施分類的主要目的是利用劃分形式，把數據庫當中的數據項目投放至特定的、規定的類型中。比如現今淘寶商店主要是依據用戶最近的購買狀況對用戶實行相關的劃分工作，再者能夠更為有效地對用戶實行推薦，進而逐漸提高淘寶店鋪的銷售量。

2.回歸分析法。回歸分析法主要是展現數據庫當中數據信息的獨有特質，利用函數來展現相關數據間的不同聯系進而察覺相關數據信息特質的依賴程度。回歸分析法能夠被運用至各項針對數據序列的預計與測量以及存有聯系的數據探究中，而在市場營銷方面，回歸分析法能夠在每一層面上有所體現。

3.Web數據挖掘法。Web數據挖掘法主要是針對網絡式數據的綜合性科技，目前在全球范圍內較為常用的Web數據挖掘算法主要有PageRank算法、HITS算法和LOGSOM算法，以上的三種算法所涉及的用戶主要是指較為籠統的用戶，沒有較為鮮明的界限對用戶進行詳細、謹慎地劃分。然而當前Web數據挖掘法也正迎來了一些挑戰，比如用戶分類層面、網站公布內容的有效層面、用戶停留頁面時間長短的層面等。在大力推廣與宣傳Web技術的大數據時代。

總而言之，即便現今我國正步入大數據時代，可是現階段我國數據的相關技術仍然停留在初創的時期，更深一層地改進與發展有關數據分析技術仍然是目前社會針對數據專題的熱門話題。

參 考 文 獻

[1]唐東波.基于神經網絡集成的電信客戶流失預測建模及應用[J].大眾商務.2010（06）

[2]劉蓉，陳曉紅.基于數據挖掘的移動通信客戶消費行為分析[J].計算機應用與軟件.2006（02）

[3]魏娟，梁靜國.基于數據挖掘技術的企業客戶關系管理（CRM）[J].商業研究.2005（07）

[4]田苗苗.數據挖掘之決策樹方法概述[J].長春大學學報.2004（06）