劉義
摘要:數據挖掘技術是一種新興技術,由于該技術在大數據的處理方面具有很大的優勢,因此許多行業,尤其是像科研、金融、教育等需要分析大量數據的領域都紛紛引進數據挖掘技術。本文介紹了數據挖掘技術的含義以及方法,并對數據挖掘技術的應用做了簡要分析。
關鍵詞:數據挖掘技術;知識發現;計算機隨著計算機技術和信息技術的發展,互聯網已經走進了普通人的生活,人們可以互聯網上獲得海量的信息,這些海量的信息都被儲存在龐大的數據庫中。但是由于技術手段的限制,真正得到有效利用的信息僅僅是冰山一角,這種情況造成了信息的浪費,因此需要研究出新的技術手段來挖掘數據庫中有用信息,實現對數據庫信息分析的自動化、智能化,以最快的速度實現對海量原始數據的分析整理。目前,一項新興技術正方興未艾,即數據挖掘技術,該技術能夠快速分析大量數據,具有很大優勢,目前,基于數據挖掘技術的研究越來越多,其應用范圍已經擴展到電信、金融等行業,未來還具有巨大的發展潛力。
1數據挖掘與數據挖掘技術
1.1 含義
數據挖掘就是針對海量數據的有效利用而提出來的,由于社會生產生活過程中產生了數量驚人的數據,這些數據往往是混亂的、無序的。單憑人腦難以高效處理,往往造成大量信息的浪費。數據挖掘就是要從這些混亂的、無序的、模糊的、隨機的、不完全的數據當中找出人們事先不知道但是具有潛在價值的信息和知識。從本質上說,數據挖掘是一種深層次的數據分析方法。數據挖掘技術就是針對數據挖掘的要求設計出來的實現數據挖掘的途徑和方法。隨著計算機技術和信息技術的發展,再加上人們對數據庫研究的日益深入,使得人們對數據挖掘有了新的認識。人們根據數據挖掘任務的不同,把數據挖掘分為不同的類型,例如分類和預測模型發現,序列模式發現,數據歸類、聚類、關聯規則發現,依賴關系和依賴模型發現等等[1]。根據挖掘方法可以認為統計學方法、機器學方法、數據庫方法以及神經網絡方法。
1.2 數據挖掘的過程
數據挖掘有其自身特有的過程。一般來說,首先需要確定挖掘的對象,即選擇數據源。其次就是要盡可能全面地收集數據。接下來就需要借助圖表等工具對所收集到的數據進行直觀化的描述,從而形象地反映出各種數據之間的聯系。第四步需要根據數據情況選擇合適算法,并建立預言模型。然后還需要對模型進行驗證,從驗證過程中找出模型的不足之處,并且及時加以完善,使模型更加合理實用。最后就是利用模型指導實踐了。
2數據挖掘技術的應用
數據挖掘技術作為一項新興技術,是時代發展的產物,順應了信息時代的發展潮流,因此,該技術自誕生之日起就引起了極大的關注。由于數據挖掘技術在大數據的處理方面具有很大的優勢,因此許多行業,尤其是像科研、金融、教育等需要分析大量數據的領域都紛紛引進數據挖掘技術。
2.1 數據挖掘技術在科研領域的應用
眾所周知,科研是高精尖的行業,對數據的處理有非常高的要求,而且,科研過程當中經常需要處理各種紛繁復雜的觀察數據和實驗數據等,隨著科研的不斷發展,數據的數量已經呈現出技術增長的狀態,傳統的數據分析手段已經顯現出力不從心的現象,不僅效率低下,而且精確性也難以滿足科研要求。因此,面對海量的科研信息,引進數據挖掘技術成為必然選擇。近年來,數據挖掘技術逐漸走進了科研領域。例如,實現加州理工學院噴氣推進實驗室開發的SKICAT就是基于數據挖掘技術而研發的,該系統已經發揮了作用,它幫助科學家發現了16個新的類星體[2]。除此之外,數據挖掘技術也被應用到了生物學領域,例如利用數據挖掘中的序列模式來進行基因圖譜的繪制工作等。
2.2 數據挖掘技術在金融領域的應用
金融領域涉及面廣泛,數據量也非常大,雖然銀行和金融機構所產生的數據相對來說更加有序和完整,但是金融分析領域的投資評估和股票交易的預測等具有很大的風險性,投資者和決策者在海量的信息面前往往不知所措,多數情況下是憑借經驗進行判斷的,因此容易導致食失誤。因此金融領域迫切需要通過對海量數據進行有效分析,為投資者、決策者提供最佳的預測,數據挖掘技術正好適應了這一需求。通過數據挖掘技術就可以從海量的信息當中找到各種信息之間的相互關系,識別各種風險,然后對形式作出合理的預測。目前已經存在的系統有HNC公司開發的FALCON,這是一種信用卡欺詐估測系統,目前已被許多的零售銀行用于探測可疑的信用卡交易。
2.3 數據挖掘技術在教育領域的應用
隨著教育信息化的發展,學校教育在時間和空間上越來越超越傳統的教育,學生、教師和學校都面臨著更為繁雜多樣的信息交流,因此如何把海量的教育信息有效整合起來成為教育領域的一種重要命題。數據挖掘技術無疑為人們提供了一條新的思路。例如通過數據挖掘技術把互聯網中海量的教育資源結構化,從而化解傳統檢索方法的困境。
[參考文獻]
[1]舒正渝.淺談數據挖掘技術及其應用[J].中國西部科技,2010,9(5):38-39.
[2]賴娟.數據挖掘技術及其應用分析[J].現代商貿工業,2009,(14):283-284.