中國(guó)移動(dòng)小試Hadoop

孫杰賢

以前“財(cái)大氣粗”的電信運(yùn)營(yíng)商現(xiàn)在也開始變得“斤斤計(jì)較”了。

開源節(jié)流

在互聯(lián)網(wǎng)的巨大沖擊下，電信運(yùn)營(yíng)商的收入和流量已經(jīng)失去了正比的關(guān)系，尤其是近幾年大量OTT業(yè)務(wù)涌現(xiàn)，更是進(jìn)一步削弱了運(yùn)營(yíng)商的管道價(jià)值。收入增速放緩，而網(wǎng)絡(luò)建設(shè)和手機(jī)補(bǔ)貼的投入在不斷加大，此消彼長(zhǎng)的局面讓電信運(yùn)營(yíng)商不得不捂緊自己的口袋，“開源節(jié)流”也因此成為一種普遍的生存共識(shí)。

隨著業(yè)務(wù)規(guī)模的不斷擴(kuò)大，中國(guó)移動(dòng)的數(shù)據(jù)量在急劇增加。以計(jì)費(fèi)系統(tǒng)中的用戶查詢子系統(tǒng)為例，為了提高服務(wù)水平，中國(guó)移動(dòng)需要為用戶實(shí)時(shí)提供30日以內(nèi)的賬單記錄查詢，這樣的記錄每秒鐘會(huì)產(chǎn)生30萬(wàn)條，這也意味著僅賬單查詢這一項(xiàng)，中國(guó)移動(dòng)每月需要處理的數(shù)據(jù)量在90TB左右。這樣龐大的數(shù)據(jù)量給數(shù)據(jù)的存儲(chǔ)和處理帶來(lái)巨大的壓力，而傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)又無(wú)法線性擴(kuò)容，管理難度加大，效率下降，成本卻直線上升。與此同時(shí)，中國(guó)移動(dòng)公司也想在移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)方面有所突破，以達(dá)到“開源”目的，這意味著將會(huì)面對(duì)大量的非結(jié)構(gòu)化數(shù)據(jù)，而傳統(tǒng)數(shù)據(jù)庫(kù)架構(gòu)也無(wú)法滿足這一需求。在這種情況下，中國(guó)移動(dòng)考慮傳統(tǒng)數(shù)據(jù)處理技術(shù)的升級(jí)換代，大數(shù)據(jù)是首選。

廣東移動(dòng)是中國(guó)移動(dòng)集團(tuán)中規(guī)模最大的省級(jí)公司，也是廣東省最大的電信運(yùn)營(yíng)商，網(wǎng)絡(luò)覆蓋了廣東所有的行政區(qū)，網(wǎng)絡(luò)人口覆蓋率99.24%，城區(qū)達(dá)到99.71%。更為重要的是，廣東移動(dòng)還是中國(guó)移動(dòng)集團(tuán)的創(chuàng)新試驗(yàn)田，無(wú)論是全球通、神州行和動(dòng)感地帶三大品牌，還是移動(dòng)夢(mèng)網(wǎng)的商業(yè)模式都是先在廣東試點(diǎn)，然而推向全國(guó)的，在大數(shù)據(jù)應(yīng)用領(lǐng)域，廣東移動(dòng)也是先行一步。

廣東移動(dòng)項(xiàng)目經(jīng)理唐輝表示，現(xiàn)有計(jì)費(fèi)系統(tǒng)的維護(hù)成本非常高，已經(jīng)開始侵蝕計(jì)費(fèi)業(yè)務(wù)部門的盈利能力。更為關(guān)鍵的是，現(xiàn)有關(guān)系型數(shù)據(jù)架構(gòu)已經(jīng)無(wú)法滿足大規(guī)模信息和數(shù)據(jù)的存儲(chǔ)和實(shí)時(shí)查詢，因此也無(wú)法為用戶提供滿意的服務(wù)。為了解決這個(gè)問(wèn)題，廣東移動(dòng)把工作重點(diǎn)放在計(jì)費(fèi)系統(tǒng)的存儲(chǔ)和處理能力上來(lái)，而賬單查詢系統(tǒng)首當(dāng)其沖。

技術(shù)選擇

在數(shù)據(jù)庫(kù)技術(shù)的選擇上，廣東移動(dòng)曾考慮過(guò)在傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)上引入大規(guī)模并行數(shù)據(jù)庫(kù)處理技術(shù)——MPP，但后來(lái)被否定了。原因有三：向上擴(kuò)展到成本太高、需要實(shí)施分析和決策支持、災(zāi)難恢復(fù)和故障轉(zhuǎn)移不可靠。唐輝介紹說(shuō)：“在賬單查詢系統(tǒng)中存儲(chǔ)大量數(shù)據(jù)時(shí)，如果發(fā)生故障，可能需要幾天的修復(fù)時(shí)間；如果數(shù)據(jù)丟失，公司的品牌聲譽(yù)和顧客忠誠(chéng)度將會(huì)受到嚴(yán)重影響，因此對(duì)于一個(gè)優(yōu)秀的計(jì)費(fèi)系統(tǒng)來(lái)說(shuō)，災(zāi)難恢復(fù)和故障轉(zhuǎn)移功能非常重要。”

而在大數(shù)據(jù)平臺(tái)技術(shù)中，Hadoop幾乎成為事實(shí)上的標(biāo)準(zhǔn)。其價(jià)值簡(jiǎn)單說(shuō)有如下幾點(diǎn)：支持4000個(gè)節(jié)點(diǎn)，10P以上數(shù)據(jù)，可擴(kuò)展性高；數(shù)據(jù)具有多個(gè)副本，保證數(shù)據(jù)可靠性；通過(guò)多個(gè)元數(shù)據(jù)服務(wù)器實(shí)時(shí)同步，實(shí)現(xiàn)系統(tǒng)高可用性；支持MapReduce并行計(jì)算框架，計(jì)算任務(wù)調(diào)度到數(shù)據(jù)所在節(jié)點(diǎn)，減少網(wǎng)絡(luò)開銷，提高性能；節(jié)點(diǎn)可以靈活加入和退出，管理靈活。此外還有一點(diǎn)就是，Hadoop的經(jīng)濟(jì)性。新型的MPP數(shù)據(jù)庫(kù)每處理1TB的的費(fèi)用大概是5萬(wàn)多美元，而Hadoop僅需要1000美元。這些都是廣東移動(dòng)最終選題Hadoop平臺(tái)的重要考慮因素。

作為一個(gè)開源的解決方案，Hadoop可以被構(gòu)建在開放架構(gòu)的服務(wù)器上，這意味著廣東移動(dòng)擺脫成本高昂的RISC小型機(jī)在X86服務(wù)器構(gòu)建相應(yīng)的系統(tǒng)。廣東移動(dòng)利用Hadoop將詳細(xì)的計(jì)費(fèi)信息保存在一個(gè)大型的數(shù)據(jù)庫(kù)表中，而Hadoop數(shù)據(jù)集群提供了詳細(xì)的數(shù)據(jù)寫入和查詢服務(wù)。當(dāng)整個(gè)系統(tǒng)需要擴(kuò)容時(shí)，廣州移動(dòng)可按需增加服務(wù)節(jié)點(diǎn)，系統(tǒng)會(huì)自動(dòng)實(shí)時(shí)地將新的服務(wù)器匹配到整個(gè)陣列。因此，新的賬單查詢系統(tǒng)能夠?qū)崿F(xiàn)低成本的擴(kuò)容。

三大提升

而在性能方面，廣東移動(dòng)的Hadoop數(shù)據(jù)庫(kù)引擎能夠?qū)Σ煌姆?wù)器節(jié)點(diǎn)進(jìn)行分布式數(shù)據(jù)訪問(wèn)，大大提高海量數(shù)據(jù)的處理能力。此外，Hadoop數(shù)據(jù)庫(kù)的無(wú)共享框架消除了數(shù)據(jù)庫(kù)文件訪問(wèn)帶寬和聯(lián)鎖的瓶頸。數(shù)據(jù)庫(kù)訪問(wèn)吞吐量增加了幾倍甚至幾百倍，從而帶來(lái)非常高的數(shù)據(jù)吞吐量。中國(guó)移動(dòng)廣東公司的賬單明細(xì)檢索查詢速度是30萬(wàn)份賬單/秒，插入速度是80萬(wàn)份賬單/秒；系統(tǒng)目前每月能夠無(wú)縫處理30TB的用戶計(jì)費(fèi)數(shù)據(jù)，每個(gè)表支持?jǐn)?shù)十億份賬單。查詢性能提高了30倍，完全能夠滿足廣東移動(dòng)的用戶查詢需求，哪怕有數(shù)百萬(wàn)用戶同時(shí)查詢，也能夠勝任。

可靠性方面，通過(guò)Hadoop，廣東移動(dòng)的賬單查詢系統(tǒng)不需要保存在一臺(tái)中央計(jì)算機(jī)或單一 MPP 數(shù)據(jù)倉(cāng)庫(kù)中，從而改進(jìn)了跨集群（平均每個(gè)集群80個(gè)節(jié)點(diǎn)）的災(zāi)難恢復(fù)能力。Hadoop 分布式文件系統(tǒng)不僅通過(guò)分布式存儲(chǔ)/檢索提供總帶寬高的文件訪問(wèn)，而且可將文件的信息復(fù)制三次，以確保當(dāng)硬件和網(wǎng)絡(luò)不能運(yùn)轉(zhuǎn)時(shí)，它仍然可以提供數(shù)據(jù)和文件讀寫能力。Hadoop 分布式文件系統(tǒng)的自恢復(fù)功能可以使數(shù)據(jù)的信息在集群永遠(yuǎn)保留三份副本，這樣數(shù)據(jù)就不會(huì)丟失。同時(shí)，當(dāng)服務(wù)器不運(yùn)轉(zhuǎn)時(shí)，每個(gè)Hadoop數(shù)據(jù)庫(kù)域服務(wù)器的數(shù)據(jù)庫(kù)服務(wù)可以實(shí)時(shí)轉(zhuǎn)移到其他服務(wù)。

還有比較關(guān)鍵的一點(diǎn)，在部署了Hadoop平臺(tái)后，中國(guó)移動(dòng)能夠利用存儲(chǔ)在Hadoop數(shù)據(jù)庫(kù)中的大量電話詳單進(jìn)行情報(bào)分析。由此產(chǎn)生的商業(yè)情報(bào)來(lái)源于15個(gè)初步分析數(shù)據(jù)查詢，覆蓋網(wǎng)絡(luò)規(guī)劃/運(yùn)營(yíng)、服務(wù)保證、計(jì)費(fèi)、營(yíng)銷、收入保障和客戶管理。他們結(jié)合實(shí)時(shí)和非實(shí)時(shí)數(shù)據(jù)匯合、提取、分析挖掘和報(bào)告，從了解客戶行為得出非常有用的結(jié)論。例如，可以分析用戶使用情況數(shù)據(jù)，結(jié)合人口分布情況細(xì)分客戶，以提供個(gè)性化的服務(wù)建議并為更高端客戶提供新產(chǎn)品。同樣，可以主動(dòng)監(jiān)測(cè)網(wǎng)絡(luò)使用情況，發(fā)現(xiàn)性能瓶頸，確定哪些網(wǎng)站與用戶產(chǎn)生的數(shù)據(jù)收費(fèi)最高。唐輝表示，新帳單查詢系統(tǒng)為廣東移動(dòng)在高業(yè)務(wù)量的背景下不斷改進(jìn)客戶服務(wù)奠定了非常堅(jiān)實(shí)的基礎(chǔ)，“這一新系統(tǒng)的成功實(shí)施無(wú)疑將把我們的服務(wù)質(zhì)量帶上新臺(tái)階”。

需要指出的是，由于賬單查詢系統(tǒng)的數(shù)據(jù)還是以結(jié)構(gòu)化數(shù)據(jù)為主，而且整個(gè)系統(tǒng)沒有針對(duì)Hadoop進(jìn)行優(yōu)化，再加上Hadoop在高效索引這塊支持也不夠，因此廣東移動(dòng)在賬單查詢系統(tǒng)中部署Hadoop是一種探索行為。而從技術(shù)路線來(lái)說(shuō)，廣東移動(dòng)還是選擇了傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)跟Hadoop共存的形式，這樣既能發(fā)揮關(guān)系型數(shù)據(jù)倉(cāng)庫(kù)在傳統(tǒng)應(yīng)用支持方面以及在復(fù)雜的查詢和分析方面的快速響應(yīng)能力，同時(shí)也借鑒了Hadoop的非結(jié)構(gòu)化數(shù)據(jù)處理能力以及存儲(chǔ)的低成本。