Hadoop的商業(yè)觸角

黃浩

“大數(shù)據(jù)”有多熱？美國(guó)國(guó)家海洋與大氣管理局利用“大數(shù)據(jù)”進(jìn)行氣象、生態(tài)系統(tǒng)、天氣和商務(wù)研究?！都~約時(shí)報(bào)》使用“大數(shù)據(jù)”工具進(jìn)行文本分析和Web信息挖掘。迪斯尼則利用它們關(guān)聯(lián)和了解跨不同商店、主題公園和Web資產(chǎn)的客戶(hù)行為。

“大數(shù)據(jù)”不僅適用于大型企業(yè)，而是適用于各種不同規(guī)模的企業(yè)。例如，通過(guò)評(píng)估某位客戶(hù)在網(wǎng)站上的行為，來(lái)更好地了解他們需要什么支持或?qū)ふ沂裁串a(chǎn)品，或者弄清當(dāng)前天氣和其他條件對(duì)于送貨路線(xiàn)和時(shí)間安排的影響。

面對(duì)“大數(shù)據(jù)”，Hadoop為揭示深?yuàn)W的企業(yè)與外部數(shù)據(jù)的關(guān)鍵內(nèi)幕提供了基礎(chǔ)。從技術(shù)上看，Hadoop分布式文件系統(tǒng)（HDFS）保證了大數(shù)據(jù)的可靠存儲(chǔ)，而另一Hadoop核心組件MapReduce則提供高性能并行數(shù)據(jù)處理服務(wù)。這兩項(xiàng)服務(wù)提供了一個(gè)使對(duì)結(jié)構(gòu)化和復(fù)雜“大數(shù)據(jù)”的快速、可靠分析變?yōu)楝F(xiàn)實(shí)的基礎(chǔ)。

雖然關(guān)于Hadoop和MapReduce的使用案例和優(yōu)勢(shì)，已經(jīng)經(jīng)歷了過(guò)度的渲染，但毫無(wú)疑問(wèn)的是，它的確提供了相對(duì)低成本的方法，可從非常龐大的散亂數(shù)據(jù)中挖掘出可觀的商業(yè)價(jià)值來(lái)。

此外，最近幾年，Hadoop已獲得來(lái)自商業(yè)分析和數(shù)據(jù)庫(kù)廠(chǎng)商的穩(wěn)固支持，這些廠(chǎng)商已開(kāi)始提供Hadoop產(chǎn)品和服務(wù)。因此，許多業(yè)內(nèi)人士認(rèn)為，在這種情況下，Hadoop“生態(tài)系統(tǒng)”的爆發(fā)式增長(zhǎng)可以預(yù)期。這一點(diǎn)很快就得到了IDC的肯定，最近IDC發(fā)布報(bào)告顯示，用于大數(shù)據(jù)分析的Hadoop和MapReduce編程框架相關(guān)的軟件市場(chǎng)將會(huì)從2011年的7700萬(wàn)美元暴漲至2016年的8.128億美元，年復(fù)合增長(zhǎng)率為60.2%。

在線(xiàn)旅游

那么，一提到在線(xiàn)旅游服務(wù)提供商你會(huì)想到誰(shuí)？攜程、藝龍還是酷訊呢？那么你知道Expedia.com嗎？它是全球最大的在線(xiàn)旅游公司，是藝龍最大的股東，還收購(gòu)了酷訊，并在中國(guó)成立了全資子公司到到網(wǎng)。

從根本上來(lái)講，Expedia是一家技術(shù)公司，需要把有許多知識(shí)產(chǎn)權(quán)和商務(wù)智能數(shù)據(jù)放入整體的解決方案當(dāng)中，所以他們根本就沒(méi)有考慮托管的方式，而是選擇了Hadoop。

Expedia公司大約擁有4000名技術(shù)人員，目前每天收集并索引的數(shù)據(jù)量達(dá)到了6TB的級(jí)別。這些數(shù)據(jù)源自于27000個(gè)服務(wù)器、網(wǎng)絡(luò)交換機(jī)、設(shè)備等終端。一年前，公司使用了大概20多個(gè)工具來(lái)管理這些數(shù)據(jù)。有一些是內(nèi)部開(kāi)發(fā)的，有一些則是開(kāi)源的軟件。Expedia目前正在將Splunk產(chǎn)品集成到大數(shù)據(jù)環(huán)境當(dāng)中，它們運(yùn)行了開(kāi)源的Apache Hadoop分布式文件系統(tǒng)來(lái)存儲(chǔ)并分析點(diǎn)擊流數(shù)據(jù)等信息。

衍生開(kāi)發(fā)

以前，擁有博士學(xué)位背景的人才能使用Hadoop，但是例如醫(yī)院和銀行這樣的機(jī)構(gòu)，并沒(méi)有這樣的人員。Hadoop的配置和管理的確很讓人痛苦?，F(xiàn)在Cloudera提供了更容易的可以讓普通人使用的Hadoop。

Cloudera成立于2007年3月，是中國(guó)卓越的云計(jì)算服務(wù)提供商，擁有豐富的云計(jì)算平臺(tái)服務(wù)經(jīng)驗(yàn)。其業(yè)務(wù)領(lǐng)域涵蓋：企業(yè)信息化系統(tǒng)、企業(yè)門(mén)戶(hù)建設(shè)、應(yīng)用軟件開(kāi)發(fā)、系統(tǒng)集成及商務(wù)智能等多種IT產(chǎn)品與服務(wù)。

Cloudera定位于將大數(shù)據(jù)通過(guò)Hadoop帶給企業(yè)，既然是給企業(yè)使用，Cloudera的軟件配置是為了讓Hadoop的配置標(biāo)準(zhǔn)化，可以幫助企業(yè)安裝、配置、運(yùn)行Hadoop以達(dá)到大規(guī)模企業(yè)數(shù)據(jù)的處理和分析。采用最新的Hadoop 0.20，而是采用了Hadoop 0.18.3-12.cloudera.CH0_3的版本進(jìn)行封裝，并且集成了facebook提供的hive，yahoo提供的pig等基于Hadoop的sql實(shí)現(xiàn)接口，使得這些軟件的安裝，配置和使用的成本降低并且進(jìn)行了標(biāo)準(zhǔn)化。當(dāng)然除了集成和封裝這些成熟的工具外，Cloudera一個(gè)比較有意思的工具是sqoop，目前這個(gè)工具沒(méi)有獨(dú)立提供。

此外，為了使Hadoop distribution的安裝和配置更容易，Cloudera建立了一個(gè)新的門(mén)戶(hù)網(wǎng)站，也是免費(fèi)的，叫做my.cloudera.com，在這個(gè)網(wǎng)站上，用戶(hù)可以使用一個(gè)基于網(wǎng)絡(luò)的配置工具生成客戶(hù)軟件包，并可優(yōu)化符合他們的特殊需求。

目前，阿里巴巴、百度、中移動(dòng)等大公司也紛紛加入Hadoop行列。IBM宣布在Hadoop上建立新的存儲(chǔ)架構(gòu)，作為群集運(yùn)行DB2或Oracle數(shù)據(jù)庫(kù)，目的是讓?xiě)?yīng)用程序，支持高性能分析，數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用程序和云計(jì)算的目的。EMC也推出了世界上第一個(gè)定制的、高性能的Hadoop專(zhuān)用數(shù)據(jù)協(xié)同處理設(shè)備——Greenplum HD數(shù)據(jù)計(jì)算設(shè)備，為客戶(hù)提供了最強(qiáng)大、最高效率的方法，充分挖掘大數(shù)據(jù)的價(jià)值?；ヂ?lián)網(wǎng)搜索巨頭百度也在考慮使用Hadoop。不過(guò)，出于性能與安全的考慮，百度在采用Hadoop架構(gòu)的時(shí)候，將Hadoop計(jì)算層進(jìn)行了重新編寫(xiě)。

電子商務(wù)

亞馬遜早在2009年就推出了亞馬遜彈性MapReduce（Amazon Elastic MapReduce），絕非很晚進(jìn)入Hadoop領(lǐng)域。所以說(shuō)，亞馬遜對(duì)Hadoop的需求和應(yīng)用可謂了若指掌，無(wú)論用戶(hù)是運(yùn)行試點(diǎn)項(xiàng)目的新手，還是內(nèi)部部署的預(yù)置型系統(tǒng)遇到需求過(guò)載時(shí)，利用彈性MapReduce來(lái)獲取額外容量的專(zhuān)業(yè)人士。

在國(guó)內(nèi)，淘寶數(shù)據(jù)平臺(tái)使用的Hadoop集群是全國(guó)最大的Hadoop集群之一，它支撐了淘寶整個(gè)數(shù)據(jù)分析工作。整個(gè)集群最多達(dá)到1700個(gè)節(jié)點(diǎn)，總?cè)萘?4.3PB，已經(jīng)使用13.87PB。每天在集群之上運(yùn)行的作業(yè)約40000道，掃描數(shù)據(jù)1.7PB，輸出結(jié)果約235TB。

此外，eBay是Hadoop技術(shù)的重要使用者，因?yàn)槠湟芾硪粋€(gè)龐大的個(gè)人賣(mài)家市場(chǎng)，賣(mài)家數(shù)量達(dá)到1000萬(wàn)以上。而Ebay在用Hadoop服務(wù)90天后，純利潤(rùn)增加了3%。

社交網(wǎng)站

Last.fm創(chuàng)辦于2002年，它是一個(gè)提供網(wǎng)絡(luò)電臺(tái)和網(wǎng)絡(luò)音樂(lè)服務(wù)的社區(qū)網(wǎng)站，向用戶(hù)提供很多服務(wù)，例如免費(fèi)聽(tīng)音樂(lè)和音樂(lè)下載，音樂(lè)及重大事件推薦，個(gè)性化圖表服務(wù)以及其他很多服務(wù)。隨著Last.fm服務(wù)的發(fā)展，用戶(hù)數(shù)目從數(shù)千增長(zhǎng)到數(shù)百萬(wàn)，這時(shí)，存儲(chǔ)、處理和管理這些用戶(hù)數(shù)據(jù)漸漸變成一項(xiàng)挑戰(zhàn)。幸運(yùn)的是，當(dāng)大家認(rèn)識(shí)到Hadoop技術(shù)能解決眾多問(wèn)題之后，Hadoop的性能迅速穩(wěn)定下來(lái)，并被大家積極地運(yùn)用。2006年初，Last.fm開(kāi)始使用Hadoop，幾個(gè)月之后便投入實(shí)際應(yīng)用。

而Facebook引入Hadoop技術(shù)的原因有些類(lèi)似，它同樣存在著網(wǎng)站上需要處理和存儲(chǔ)的日志和維度數(shù)據(jù)激增的問(wèn)題。不同的是，此前Facebook使用的數(shù)據(jù)倉(cāng)庫(kù)是在Oracle系統(tǒng)上實(shí)現(xiàn)的，在遇到擴(kuò)展性和性能方面的問(wèn)題之后，開(kāi)源的Hadoop開(kāi)始被引入。當(dāng)然，這是有成功案例做比照的，Yahoo內(nèi)部就一直使用這一技術(shù)來(lái)完成后臺(tái)數(shù)據(jù)處理需求，而Google提出并普及使用的MapReduce模型具有優(yōu)秀的簡(jiǎn)單性和可擴(kuò)展性。

目前，F(xiàn)acebook、Google和Yahoo這樣的網(wǎng)站，最初開(kāi)發(fā)Hadoop的目的是，通過(guò)數(shù)以千記的計(jì)算機(jī)將文本和日志數(shù)據(jù)集中在一起，將數(shù)據(jù)放在他們的網(wǎng)站上，觀察用戶(hù)的使用習(xí)慣，但是所有處理萬(wàn)億字節(jié)非結(jié)構(gòu)化信息的公司，也必將在更多的領(lǐng)域使用Hadoop。