Weka 數據挖掘平臺及其二次開發

王靖雯 何美琪 屈克誠 山東協和學院

引言

Weka 平臺作為數據挖掘的常用工具，是一種典型的維度較高的聚類應用平臺，在對于特定的聚類特征選擇及特征空間生成的過程中，運用不同的方法，加強對于特征權重的計算。數據挖掘工具可以實現對于數據的智能分析，Weka 數據挖掘平臺經過10 多年來的研究，走向了大數據時代的實際應用范疇。由于未挖掘平臺源代碼的開放性，使用其進行數據挖掘時，可以探索一些新的聚類算法，有效地嵌入到Weka 之中，從而能夠擴充其系統功能，這就是對于Weka 挖掘平臺的二次開發進程。

一、Weka 數據挖掘平臺的使用基礎

（一）Weka 數據挖掘平臺的使用背景

Weka 數據挖掘平臺，作為開放的源代碼平臺，先輸入要測試的數據，然后對于帶測試的數據進行預先的處理。在處理數據并且集中布置之后，其學習方案往往是根據分析結果將已有的分析模型帶入到預測的實例之中。Weka 數據挖掘平臺的基礎使用，為了能夠達成最佳的性能，常常分為5 個不同層次的功能階段。

（二）Weka 數據挖掘平臺的功能層次

數據輸入層是Weka 數據平臺基于不同的文件格式，從站點下載和導入ARFF、CSV、C4.5、BSI 等幾個類型的文件，采用系統的HTTP 和FTP 協議接口來輸入數據庫并進行導入的層面。

數據挖掘層面成為Weka 挖掘數據的核心，它通過多種多樣的分類和聚類功能，進行數據的預處理。對于數據的表象和裝載，利用缺失數據項的填補功能進行屬性的過濾。Weka 數據導入層和Weka 數據相互配合，將數據集中放置于學習方案之中。

模式評估層面和可視化層面之間相互配合，對于數據挖掘并且提供良性的輔助工具，既提升了挖掘的效率，同時又在可視化的層面給予人記錄和使用的可能，最終導入到特定的儲存層之內。

二、Weka 數據挖掘平臺的二次開發

（一）Weka 數據挖掘平臺的常見問題

通過對于Weka 的研究和挖掘實驗，很多研究者認為，Weka 數據挖掘平臺并不能夠真正的適應目前市面上所存在的各種類型的企業應用需求，當數據使用量比較大時，很多算法出現了挖掘時間過長的問題。

另外Weka 系統所集成的算法并不能夠很好的反映出最新的研究成果，尤其是在復雜的聚類層面上，即使是最具有優先遍歷的算法Farthest First 也沒有能夠起到很好的收效。

Weka 數據挖掘系統由于提供了記事本，這種文本輸出格式在與其他系統進行集成的過程中，可能有時會造成資源的浪費。即使實現了挖掘過程和挖掘結果的可視化，但是對于很多企業來說，這種可視化的形式并不夠非常完善。

（二）Weka 數據挖掘平臺的二次開發

對該數據挖掘平臺的二次開發，是基于原有的基礎之上，為了使得Weka挖掘平臺的算法越來越多樣化，可以使用嵌入的k-中心點輪換算法，以便解決原有算法和距離算法的不完善之處。

利用k-中心點輪換算法，是基于劃分k-均值算法的基礎上，進行了改進和優化，根據隨機選擇的對象作為初始點，在初始中心點的基礎之上，剩余的對象按照中心點的距離差異分配，形成近距離簇。距離結果的質量可以使用目標函數來估算：

這種算法由于對所有的對象，都給予了詳盡的中心點與其所歸屬的簇偏差總和的計算，一般常用的計算方式是使用歐式距離平方作為距離度量。因為這種計算方法可以非常便捷的測量目標函數值，當數據集中使用的時候，按照不同的尺度來確定不同屬性。

大量的科學研究表明，利用k-中心點名換算法的規則，可以在Weka 數據挖掘平臺下，使用eclipse 環境之下的Java 語言，將k-中心點輪換算法嵌入到Weka 平臺之中。在充分調動原有的計算包之后，對于抽象的聚類進行封裝，這種算法能夠很好的杜絕對于中心點和起始點的敏感，并且可以結合特定的方法來進行聚類效果的評估和測試。

K-中心點輪換算法，可以使用評估類的ClusterEvaluation 進行聚類模型的評估，并且可以進行驗證嵌入算法性能的測試。測試的數據進行錯誤率的對比之后就可以發現，檢測聚類數據致密性的算法怎樣才能達到合理的目標函數分布。

三、結論

通過對于Weka 數據挖掘平臺進行二次開發，結合一些嵌入式的算法，使得Weka 平臺的計算量保持在一個正確的差值范圍之內。經過多次的Weka 挖掘實驗，為了解決其存在的問題，嵌入支持用戶算法的k-中心點輪換算法。通過改進傳統的中心點算法，加強對于事先輸入數目和伸縮性的管控，有望在未來，有更進一步的改進和提升。