大數據挖掘技術應用研究

馮曉媛

摘要：近年來由于計算器技術和信息產業的快速發展，促使了相關的數據量也產生了極大的增長。然而面對這些龐大且雜亂的多維數據集，我們無法快速且有效的找到我們所需要的信息。因此我們必須要使用數據挖掘技術以從數據集中去提取我們所需要的資料，并且進行分析與處理。在本中，將介紹大數據挖掘分析軟件 Rapidminer，并且與其他舊有的數據挖掘分析軟件來做一個功能性的比較。

關鍵詞：信息；Rapi；dMiner；大數據；挖掘；應用

中圖分類號：TP393 文獻標識碼：A 文章編號：1007-9416（2019）01-0127-02

0引言

透過線性回歸、類神經網絡、判定樹和支持向量機，說明應用Rapidminer進行大數據挖掘分析的運作流程，并介紹Rapidminer的操作接口跟分析方法。本篇論文采用Rapidminer的原因，主要是因為它擁有非常便捷的圖形化接口，而且使用者在操作上不需要再額外去學習其它的程序語法，只需要透過選取組件以及設定參數的方式就可以完成。而且在分析結果的顯示上也非常的多樣化，可以讓使用者自行選擇要觀看哪一種圖形顯示分析的結果。

1 數據探勘流程探討

1.1 資料清除

是過濾掉數據當中的那些噪聲和無法判別的資料跟不一致的數據，保留可用的且有效的數據。

1.2 數據的整合

不一定都來自相同的一個數據庫，所以必須做數據的整合，將來自不同數據庫的數據整合處理完后處理在我們的數據倉儲。

1.3 數據選擇

在數據探勘中是一個相當重要的環節，選到有用的數據可以提高分析預測的準確度，但是選到無用的數據卻可能會拉低分析預測的準確度，所以在做數據的選擇時必須先對這些數據有一定的認識，才能做出正確的選擇。

1.4 數據轉換

由于人類和計算機的溝通的語言不同，所以當我們要讓計算機來處理事情時，必須先將手頭的數據轉換成計算機可以識別的資料格式，或合并成數據探勘所需的數據形式來讓計算機判讀，像是執行匯總與聚合。

1.5 數據探勘引擎

數據探勘系統在數據探勘中算是非常重要的一個環節，因為它包含了探勘工作所需要的功能，像是特征化、相關系數與相互關系分析、判別、預測、群組分析、分群、離異值分析與演化分析等等。

1.6 樣式評估

樣式評估根據某些有趣度量，來辨認代表知識的有趣樣式，也可以說是評估數據跟數據之間的關聯性是否是有用的、重要的、是否正確。

1.7 用戶接口

這個模塊讓用戶可以與數據探勘系統進行溝通，他允許使用者透過設定數據探勘查詢或工作與系統進行互動、提供訊息來幫助搜尋，對暫時數據探勘結果進行探索性數據探勘。

2 數據探勘工具

2.1 Rapidminer

Rapidminer開源式框架，支持各種類型的數據挖掘像是文本、網絡、圖像或是鏈接開放式的數據挖掘[1]。透過它復雜的圖形用戶接口，數據挖掘的過程可以更加的簡潔且快速，直觀地實現和執行，并且不需要額外的程序語言編輯技術。

2.2 Weka

WEKA用于數據挖掘任務的算法的集合，算法可以直接應用在數據集上，也可以從自己設計的Jave代碼調用[2]。Weka它包含了數據的預處理、分類、回歸、聚類、關聯規則和可視化的工具也就是圖形接口，Weka可以算是最古老，且最成功的開元數據挖掘庫和軟件，隨后被集成為Rapidminer和R的擴充軟件，也因為Rapidminer和R的出現，它們提供了使用者更加舒適且便利的使用環境，使得Weka的用戶開始大幅的下降。

2.3 KNIME

KNIME圖形接口的自由開源信息匯整系統，它具有杰出的數據統合能力，并且可以運用在數據查詢（DataMining）、數據處理、數據分析、流程繪制以及流程規劃與管理（Workflow）等等各方面。

3 數據探勘工具比較

Rapidminer：獨立平臺；使用者：學習者、高級用戶、專業用戶、企業用戶；用戶接口：主要是透過圖形接口來做流程的設計，也可以同時開啟多個窗口來做操作；功能：大于500種，可透過擴展來新增額外的功能，且可擴展WEKA和R作為它的擴充元件，并進行協同工作；操作接口：簡潔易懂的操作接口，不需要額外的學習程序語言的編輯能力，使用者只需要透過拉取所需的原件并且將其連接起來即可使用，使用者可自由配置操作接口；支持的輸入格式：CSV、Excel、XML、Access、AML、ARFF、XRFF、SPSS、SASDatabases、JDBC....；支持輸出模型格式：模型可以導出為不同的檔案格式，像是bmp、jpg、pdf、PostScript、raw、XML等各種文件格式。

WEKA：獨立開發平臺；使用者：學習者、一般用戶；用戶接口：圖形接口；功能：約500種；操作接口：有四種模式可供使用者選擇使用，每種模式都各有其優缺點，使用者需挑選最合適的使用模式使用；支持的輸入格式：ARFF、CSV、C4.5、BSI、Localfile、URLs、JDBC..；支持輸出模型格式：不支援。

KNIME：Java平臺；使用者：學習者、一般用戶；用戶接口：可在同一時間開啟四個不同的視窗，用來做不同的功能；功能：約100種；操作接口：簡潔易懂的使用接口，可以讓使用者很容易得學會，也可以自由配置操作接口；支持的輸入格式：ARFF，CSV，PMML，localfiles，URLs、JDBC..；支持輸出模型格式：可以將檔案匯出成壓縮文件（ZIP），只有從KNIME導出的模型才可以再次匯入到KNIME中。

4 結語

現今是個信息科技的時代，幾乎所有事情都是可以用數字和數據來解釋的，每件事情的發生都會有它的前因后果，所以我們可以從這些數據當中找出這些因果關系，并且加以利用就可以預測出我們所要的結果，單單只有一大堆的數據是沒用的，需要使用Rapidminer這個數據挖掘分析軟件，來從這些雜亂的數據庫中萃取出我們所需要的信息，也就是從數據進行知識發掘，并且找出他們的相對應關系為我們使用。

參考文獻

[1] 胡可云.數據挖掘理論與應用[M].清華大學出版社，2008.

[2] 鄭茹菁.數據挖掘開源平臺性能分析[J].天津理工大學學報，2015，31（04）：33-38.

Abstract：In recent years， due to the rapid development of the calculator technology and the information industry， the amount of related data has also been greatly increased. However， in the face of these huge and messy cubes， we cannot quickly and efficiently find the information we need. Therefore， we must use data mining technology to extract the data we need from the data set， and analyze and process it. In this article， we will introduce the big data mining analysis software Rapidminer， and make a functional comparison with other old data mining analysis software.

Key words：information；Rapi；dMiner big data；mining；application