基于改進(jìn)Hadoop云平臺(tái)的海量文本數(shù)據(jù)挖掘

陳炎龍,段紅玉

(河南牧業(yè)經(jīng)濟(jì)學(xué)院信息工程系,中國(guó) 鄭州　450011)

?

基于改進(jìn)Hadoop云平臺(tái)的海量文本數(shù)據(jù)挖掘

陳炎龍*,段紅玉

(河南牧業(yè)經(jīng)濟(jì)學(xué)院信息工程系,中國(guó) 鄭州450011)

針對(duì)常用的文本數(shù)據(jù)挖掘系統(tǒng)在處理海量文本數(shù)據(jù)時(shí)時(shí)間效率較低的問題，論文提出了一種基于改進(jìn)Hadoop云平臺(tái)的海量文本數(shù)據(jù)挖掘方法.該方法首先將傳統(tǒng)Hadoop云平臺(tái)進(jìn)行改進(jìn)以適應(yīng)海量文本數(shù)據(jù)挖掘的需要，然后將海量文本數(shù)據(jù)集和挖掘任務(wù)分解到該改進(jìn)平臺(tái)上的多臺(tái)計(jì)算機(jī)上并行處理，從而實(shí)現(xiàn)了一個(gè)基于改進(jìn)Hadoop云平臺(tái)的海量文本數(shù)據(jù)挖掘平臺(tái)，并通過對(duì)10 000篇新聞材料組成的實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行挖掘驗(yàn)證了該平臺(tái)的有效性和高效性.

文本挖掘；Hadoop；云計(jì)算;文本數(shù)據(jù)

隨著計(jì)算機(jī)技術(shù)與信息技術(shù)的飛速發(fā)展，國(guó)民經(jīng)濟(jì)各行業(yè)所獲得的數(shù)據(jù)呈爆炸式增長(zhǎng)，TB級(jí)甚至PB級(jí)海量數(shù)據(jù)無(wú)處不在[1].由于數(shù)據(jù)主要來(lái)自于互聯(lián)網(wǎng)，例如電子商務(wù)、微博等，這些數(shù)據(jù)主要以文本形式存儲(chǔ)，十分繁雜但又極具價(jià)值.它們產(chǎn)生的速度遠(yuǎn)遠(yuǎn)超過了人們收集信息、利用信息的速度，使得人們無(wú)法快速有效地查找到自己真正感興趣的信息，從而造成了時(shí)間、資金和精力的巨大浪費(fèi)，導(dǎo)致“數(shù)據(jù)資源”變成“數(shù)據(jù)災(zāi)難”[2].因此，如何有效地從這類海量數(shù)據(jù)中獲取信息或規(guī)律已成為當(dāng)今信息科學(xué)技術(shù)領(lǐng)域所面臨的基本科學(xué)問題之一.

然而， 在傳統(tǒng)計(jì)算框架下，海量文本數(shù)據(jù)的處理一般需要借助高性能機(jī)或者是更大規(guī)模的計(jì)算設(shè)備來(lái)完成[3].這雖然能夠在一定程度上解決海量數(shù)據(jù)的處理問題，但是其具有成本昂貴、隨著時(shí)間推移容錯(cuò)性能差、可擴(kuò)展性差等缺點(diǎn)，從而導(dǎo)致其很難普及[4].

Hadoop云平臺(tái)作為一種專門處理海量數(shù)據(jù)的新式計(jì)算模型于2005年被提出，2011年1.0.0版本釋出，標(biāo)志著Hadoop已經(jīng)初具生產(chǎn)規(guī)模，它將現(xiàn)代計(jì)算機(jī)的高性能與人的高智能相結(jié)合，是當(dāng)今處理海量數(shù)據(jù)最有效、最核心的手段與途徑[5].論文將傳統(tǒng)Hadoop云平臺(tái)進(jìn)行改進(jìn)以適應(yīng)海量文本數(shù)據(jù)挖掘的需要，然后將海量文本數(shù)據(jù)集和挖掘任務(wù)分解到該改進(jìn)平臺(tái)上的多臺(tái)計(jì)算機(jī)上并行處理，從而實(shí)現(xiàn)了一個(gè)基于改進(jìn)Hadoop云平臺(tái)的海量文本數(shù)據(jù)挖掘平臺(tái)，并通過對(duì)10 000篇新聞材料組成的實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行挖掘驗(yàn)驗(yàn)證了平臺(tái)的有效性和高效性.

1　Hadoop云平臺(tái)簡(jiǎn)介

Hadoop云平臺(tái)[6]是由Apache基金會(huì)開發(fā)的一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，是一個(gè)能夠讓用戶輕松架構(gòu)和使用的分布式計(jì)算平臺(tái).通過該框架，用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力高速運(yùn)算和存儲(chǔ).Hadoop框架由HDFS[7]和MapReduce[8]組成，其中，Hadoop分布式文件系統(tǒng)(HDFS)[3]在最開始是作為Apache Nutch搜索引擎項(xiàng)目的基礎(chǔ)架構(gòu)而開發(fā)的，目前已經(jīng)是Apache Hadoop Core項(xiàng)目的一部分.HDFS被設(shè)計(jì)成適合運(yùn)行在通用硬件(commodity hardware)上的分布式文件系統(tǒng).它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn).但同時(shí)，它和其他的分布式文件系統(tǒng)的區(qū)別也很明顯[9].HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上；能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用[10].MapReduce[11]是谷歌開發(fā)的一種分布式程序設(shè)計(jì)框架，基于它編寫的應(yīng)用程序能夠運(yùn)行在由上千臺(tái)計(jì)算機(jī)組成的大型集群上，并且以一種可靠容錯(cuò)的方式對(duì)海量數(shù)據(jù)進(jìn)行并行處理.Hadoop能夠?qū)崿F(xiàn)對(duì)多種類型文件的處理，比如文本、圖像、視頻等.我們可以根據(jù)自己的需要編寫特定的應(yīng)用程序來(lái)完成任務(wù)目標(biāo)[12].

2　傳統(tǒng)基于Hadoop云平臺(tái)的文本數(shù)據(jù)挖掘

在傳統(tǒng)基于Hadoop云平臺(tái)的文本挖掘系統(tǒng)中，節(jié)點(diǎn)主要分為主節(jié)點(diǎn)(Master)和從節(jié)點(diǎn)(Slave)這兩類.整個(gè)系統(tǒng)僅有一個(gè)Master節(jié)點(diǎn)，由NameNode、文本數(shù)據(jù)集、JobTracker、文本挖掘算法庫(kù)組成.在系統(tǒng)中可有多個(gè)Slave節(jié)點(diǎn)，它由DataNode、TaskTracker組成，主要負(fù)責(zé)系統(tǒng)的存儲(chǔ)和計(jì)算任務(wù).系統(tǒng)的整體架構(gòu)如圖1所示.

圖1　基于Hadoop云平臺(tái)的文本挖掘整體架構(gòu)圖Fig.1　Overall architecture diagram of text mining based on hadoop cloud platform

NameNode: 整個(gè)集群中只有一個(gè)，是整個(gè)系統(tǒng)的大腦，負(fù)責(zé)管理HDFS的目錄樹和相關(guān)的文件元數(shù)據(jù)信息以及監(jiān)控各個(gè)DataNode的健康狀態(tài).NameNode主要職責(zé)是跟蹤文件如何被分割成文件塊、文件塊又被哪些節(jié)點(diǎn)存儲(chǔ)，以及分布式文件系統(tǒng)的整體運(yùn)行狀態(tài)是否正常等，如果NameNode節(jié)點(diǎn)停止運(yùn)行的話將會(huì)導(dǎo)致數(shù)據(jù)節(jié)點(diǎn)無(wú)法通信，客戶端無(wú)法讀取和寫入數(shù)據(jù)到HDFS，實(shí)際上這也將導(dǎo)致整個(gè)系統(tǒng)停止工作.通常情況下每個(gè)Slave節(jié)點(diǎn)安裝一個(gè)DataNode，數(shù)據(jù)以若干個(gè)固定大小的block塊的形式在其上存儲(chǔ)，定期向NameNode匯報(bào)其上存儲(chǔ)的數(shù)據(jù)信息.

文本挖掘算法庫(kù)主要用于存儲(chǔ)對(duì)數(shù)據(jù)進(jìn)行挖掘所需的算法，這些算法都被存于Master節(jié)點(diǎn)中.通常算法都是串行的，為使它們能夠在Hadoop云平臺(tái)執(zhí)行，在使用之前需要對(duì)它們按照Hadoop云平臺(tái)的特點(diǎn)進(jìn)行改造.在挖掘過程中，JobTracker會(huì)根據(jù)實(shí)際所需自動(dòng)將其分發(fā)至各Slave節(jié)點(diǎn)，供TaskTracker使用.

在該系統(tǒng)中，Master周期性地ping每個(gè)Slave，如果在一個(gè)時(shí)間段內(nèi)Slave沒有返回信息，Master就會(huì)標(biāo)注該Slave節(jié)點(diǎn)失效，此節(jié)點(diǎn)上所有任務(wù)將被重新初始空閑狀態(tài)，并被分配給其他Slave執(zhí)行.

從功能上劃分，NameNode、DataNode、文本數(shù)據(jù)集形成了系統(tǒng)的存儲(chǔ)部件，JobTracker、文本挖掘算法庫(kù)、TaskTracker形成了系統(tǒng)的計(jì)算部件.

3　Hadoop云平臺(tái)的改進(jìn)

在海量文本數(shù)據(jù)挖掘中，網(wǎng)絡(luò)通信性能制約了系統(tǒng)性能的提高，網(wǎng)絡(luò)寬帶資源比較重要.在“計(jì)算遷移總是比數(shù)據(jù)遷移代價(jià)低”[12]的思想指導(dǎo)下，本文將計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)配置在一起，在任務(wù)調(diào)度時(shí)盡量在保存相應(yīng)輸入文件塊的設(shè)備上分配并執(zhí)行任務(wù)，這種方法使得大部分并行任務(wù)都在本地機(jī)器上讀取輸入數(shù)據(jù)，有效的減少網(wǎng)絡(luò)數(shù)據(jù)流量，從而減少了節(jié)點(diǎn)間的通訊消耗.

在Hadoop云平臺(tái)工作過程中，節(jié)點(diǎn)間的數(shù)據(jù)傳輸消耗大量時(shí)間，如果能減少數(shù)據(jù)傳輸次數(shù)，就有可能提高系統(tǒng)整體時(shí)間性能.在傳統(tǒng)的Hadoop云平臺(tái)中，需要將具有相同鍵值Key/Value對(duì)的中間數(shù)據(jù)傳送到同一個(gè)Reduce節(jié)點(diǎn)歸約.如果相同類型的鍵值Key/Value對(duì)較多，即這類中間結(jié)果較多的話，那么節(jié)點(diǎn)間就必定存在大量中間結(jié)果的傳送，這勢(shì)必消耗大量寬帶資源，平臺(tái)的時(shí)間性能也就交差.為此，我們對(duì)傳統(tǒng)Hadoop云平臺(tái)作如下修改：在Map階段增加一個(gè)CombineProcess模塊，對(duì)同一Map階段中具有相同鍵值Key/Value對(duì)的中間結(jié)果做一個(gè)初步合并，并過濾掉一些無(wú)用的中間結(jié)果.改進(jìn)后的Hadoop云平臺(tái)海量文本數(shù)據(jù)挖掘系統(tǒng)工作流程如圖2所示.

圖2　改進(jìn)的基于Hadoop云平臺(tái)的文本挖掘整體架構(gòu)圖Fig.2　Improved overall architecture diagram of text mining based on hadoop cloud platform

由于CombineProcess模塊位于Map階段，只在本地機(jī)上執(zhí)行，并不存在節(jié)點(diǎn)間的數(shù)據(jù)傳輸，因此，該模塊耗時(shí)較少.而在文本挖掘中，相同鍵值Key/Value對(duì)的中間結(jié)果以及無(wú)用的中間結(jié)果較多，經(jīng)過CombineProcess模塊的初步合并和過濾，能夠減少很多中間結(jié)果，相應(yīng)地也就較多地減少了節(jié)點(diǎn)間的數(shù)據(jù)傳輸，此較少的消耗時(shí)間要比CombineProcess模塊在本地機(jī)上執(zhí)行初步合并和過濾所消耗的時(shí)間要多得多，因此，改進(jìn)后的Hadoop云平臺(tái)系統(tǒng)在整體上能夠減少耗時(shí)，執(zhí)行效率能夠有所提升.

4　仿真實(shí)驗(yàn)

在實(shí)驗(yàn)中，我們的Hadoop云平臺(tái)由9臺(tái)計(jì)算機(jī)組成(其中1臺(tái)為Master，另8臺(tái)為Slave)，操作系統(tǒng)均為CentOS-6.4 64 bit，配置均為八核IntelCorei 7處理器，4 GB內(nèi)存，1 TB硬盤，Hadoop版本為1.1.2，Java版本為1.7.25，每個(gè)節(jié)點(diǎn)通過100Mb/s的局域網(wǎng)連接.實(shí)驗(yàn)數(shù)據(jù)集，從新華網(wǎng)(http://forum.xinhuanet.com/)下載2010—2013年間新聞材料，共10 000篇，包括財(cái)經(jīng)、法律、娛樂、體育、計(jì)算機(jī)等10大類.這些實(shí)驗(yàn)數(shù)據(jù)集經(jīng)預(yù)處理后 (忽略所有的報(bào)頭)進(jìn)行挖掘?qū)嶒?yàn)，采用改進(jìn)前后的Hadoop云平臺(tái)海量文本挖掘系統(tǒng)，主要進(jìn)行了以下3組不同的對(duì)比實(shí)驗(yàn)(注：所有時(shí)間結(jié)果都四舍五入取整)：

實(shí)驗(yàn)1處理10 000篇新聞材料，文件復(fù)制數(shù)分別設(shè)為1和3，BlockSize設(shè)為10 M，系統(tǒng)執(zhí)行時(shí)間如表1所示.

表1　實(shí)驗(yàn)1的執(zhí)行時(shí)間對(duì)比結(jié)果

從表1可以看出：文件復(fù)制數(shù)的增多并沒有提高整體挖掘的時(shí)間性能，同時(shí)，文件復(fù)制數(shù)增多，系統(tǒng)準(zhǔn)備時(shí)間在一定程度上會(huì)增多.

實(shí)驗(yàn)2文件復(fù)制數(shù)設(shè)為1， Slave分別為2，4，6，8臺(tái)，BlockSize設(shè)為10 M，處理10 000篇新聞材料，系統(tǒng)執(zhí)行時(shí)間如表2所示.

實(shí)驗(yàn)1處理10 000篇新聞材料，文件復(fù)制數(shù)分別設(shè)為1和3，BlockSize設(shè)為10 M，系統(tǒng)執(zhí)行時(shí)間如表1所示.

表2　實(shí)驗(yàn)2的執(zhí)行時(shí)間結(jié)果

從表2可以看出：隨著Slave數(shù)目的增多，系統(tǒng)整體時(shí)間性能有所增加，處理的數(shù)據(jù)量越大，系統(tǒng)表現(xiàn)得越優(yōu)秀.

實(shí)驗(yàn)3處理10 000篇新聞材料，文件復(fù)制數(shù)設(shè)為1，Slave分別為2，4，6，8臺(tái)， BlockSize分別為10 M，50 M或100 M，系統(tǒng)執(zhí)行時(shí)間如表3所示.

表3　實(shí)驗(yàn)3的執(zhí)行時(shí)間結(jié)果

從表3可以看出：BlockSize分塊大小對(duì)系統(tǒng)有很大影響.如果BlockBlockSize較小，那么Job數(shù)目增多，系統(tǒng)調(diào)度頻繁，節(jié)點(diǎn)間通信開銷大，性能降低；如果BlockBlockSize較大，雖節(jié)點(diǎn)間通信開銷小，但是并行程度較低，節(jié)點(diǎn)內(nèi)部計(jì)算時(shí)間較大.

從表1、表2和表3可以看出：在同樣條件下，改進(jìn)后的Hadoop云平臺(tái)海量文本數(shù)據(jù)挖掘系統(tǒng)在時(shí)間消耗上都優(yōu)于改進(jìn)前的平臺(tái)系統(tǒng).這是因?yàn)楦倪M(jìn)后的平臺(tái)系統(tǒng)能夠借助CombineProcess模塊來(lái)過濾掉一些無(wú)用的數(shù)據(jù)，且把計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)盡可能配置在一起，從而極大地減少了節(jié)點(diǎn)間的網(wǎng)絡(luò)通訊，進(jìn)而提高了系統(tǒng)的整體時(shí)間性能.

5　結(jié)束語(yǔ)

針對(duì)傳統(tǒng)文本挖掘系統(tǒng)作用于海量文本數(shù)據(jù)時(shí)時(shí)間性能較低的問題，論文把Hadoop云平臺(tái)引入其中并加以改進(jìn)，在此基礎(chǔ)上提出了一個(gè)基于改進(jìn)Hadoop云平臺(tái)的海量文本數(shù)據(jù)挖掘系統(tǒng).以人民網(wǎng)上下載的10 000篇新聞材料作為實(shí)驗(yàn)數(shù)據(jù)集，分別進(jìn)行了不同的3組對(duì)比實(shí)驗(yàn)，結(jié)果都顯示改進(jìn)后的平臺(tái)系統(tǒng)在時(shí)間性能上有一定程度上的提高，這也表明了改進(jìn)后的平臺(tái)系統(tǒng)是有一定實(shí)用價(jià)值的.論文下一步的工作將是對(duì)平臺(tái)系統(tǒng)改進(jìn)前后的挖掘精度，以及應(yīng)用于其他類型的海量數(shù)據(jù)，例如對(duì)海量植物葉片圖像數(shù)據(jù)所涉及的關(guān)鍵技術(shù)做進(jìn)一步研究.

[1]中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC).第33次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告[R].北京：中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心, 2014.

[2]王珊,王會(huì)舉,覃雄派,等. 架構(gòu)大數(shù)據(jù):挑戰(zhàn)、現(xiàn)狀與展望[J].計(jì)算機(jī)學(xué)報(bào), 2011,34(10):1741-1752.

[3]SEGALL R S, ZHANG Q Y. Web mining technologies for customer and marketing surveys [J].Int J Syst Cyber, 2009,38(6):925-949.

[4]THEUER H, LASS S. Engineering data management systeme/product data management systeme [J]. Productivity Manag, 2010,15(4):34-38.

[5]MARSTON S, LI Z, BANDYOPADHYAY S,etal. Cloud computing—the business perspective[J].Decision Supp Syst, 2011,51(1):176-189.

[6]ARMBRUST M, FOX A, GRIFFITH R,etal. A view of cloud computing[J]. Commun ACM, 2010,53(4):50-58.

[7]DEAN J, GHEMAWAT S. MapReduce: a flexible data processing tool[J]. Commun ACM, 2010,53(1):72-77.

[8]AFRATI F N, ULLMAN J D. Optimizing multiway joins in a map-reduce environment[J]. IEEE Trans Knowled Data Engi, 2011,23(9):1282-1298.

[9]覃雄派,王會(huì)舉,杜小勇,等.大數(shù)據(jù)分析——RDBMS 與MapReduce 的競(jìng)爭(zhēng)與共生[J].軟件學(xué)報(bào), 2012,23(1):32-45.

[10]李建江,崔健,王聃. MapReduce并行編程模型研究綜述[J].電子學(xué)報(bào), 2011,39(11):2635-2642.

[11]SRINIVASAN A, FARUQUIE T A, JOSHI S. Data and task parallelism in ILP using MapReduce [J]. Mach Lear, 2012,86(1):141-168.

[12]羅軍舟,金嘉暉,宋愛波,等. 云計(jì)算：體系架構(gòu)與關(guān)鍵技術(shù)[J].通信學(xué)報(bào), 2011,32(7):13-21.

(編輯HWJ)

Mass Text Data Mining Based on Improved Hadoop Cloud Platform

CHEN Yan-long*, DUAN Hong-yu

(Department of Information Engineering, Henan University of Animal Husbandry and Economy, Zhengzhou 450011, China)

To overcome the problem of low time efficiency for commonly used text data mining system in the treatment of massive text data, an improved mass text data mining method was put forward based on the Hadoop cloud platform.This method firstly improved traditional Hadoop cloud framework to meet the needs of the massive text data mining, and then decomposed mass text data sets and mining task to multiple computers of the improved platform for parallel processing. By doing so, this method realizes the mass text data mining platform based on the improved Hadoop cloud platform. The effectiveness of this improved platform is verified by the mass experimental data set composed of 10 000 news materials.

text mining; Hadoop; cloud computing; text data;

10.7612/j.issn.1000-2537.2016.03.015

2015-09-21基金項(xiàng)目：河南省重大科技專項(xiàng)項(xiàng)目(121100111000)*通訊作者,E-mail：chenyanlong0330@163.com

TP301

A

1000-2537(2016)03-0084-05