BAT的大數據行動

BAT的大數據行動

文/王怡文，武漢市第六中學高三班

本文研究分析了阿里巴巴、百度、騰訊三大公司在大數據方面的技術特點、發展重點和商業應用領域等。

大數據；技術；應用

1 BAT的大數據觀點

大數據(big data)，又稱海量資料，是一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征。BAT是中國三大互聯網公司百度公司(Bai du)、阿里巴巴集團(Alibaba)、騰訊公司(Tencent)的英文首字母縮寫。近年來，BAT對大數據表現出超常規的激情。

阿里巴巴董事局主席馬云認為：“第一次工業革命能源是煤，誕生商業模式是工廠。第二次工業革命誕生主要能源是石油，誕生的行為是公司。這一切皆是創新，數據將成為主要的能源，如果離開了數據，任何組織的創新都基本上是空殼。如果沒有數據，如果不對未來進行準備，我覺得災難會是非常之大的。”所以，馬云認為數據是新的工業革命的能源；并認為“人類正從IT時代走向DT（data technology）時代”，云計算和大數據是阿里巴巴的未來。

而百度公司創始人李彥宏則提出不太一樣的觀點，認為“數據不是根本，數據有點像新時代的能源，像燃料，推動時代進步的是技術，是創新，不是這些資源。”并且還舉例，說工業時代煤像數據一樣是原料，但煤的重要性肯定不如蒸汽機。他認為，人工智能時代最寶貴的也不是數據，是因為數據帶來的技術的創新。”

騰訊董事會主席兼CEO馬化騰則是這么認為的“大數據的發展，更重要的一個要素是場景，或者我們稱之為戰場，再通俗一點就是市場，我覺得這是最關鍵的”。馬化騰表示，有了應用場景，有了市場，數據自然會產生，也會驅動技術發展，人才也會隨之而來。所以，馬化騰給我們的啟發是，大數據和人工智能的發展規劃，要從場景出發。

三位創始人對大數據的看法角度不盡相同，但同樣認為大數據對我們未來的生活會造成不可估量的影響。而爭做大數據時代的領跑者，也成為了當前互聯網公司迫在眉睫的首要任務。

2 BAT主要的大數據技術研發領域及其進展

2.1 阿里巴巴

阿里巴巴通過淘寶、天貓、支付寶等平臺經過長期積累，逐漸開啟了日增長數據量百T的嶄新時代。大量來自買賣雙方的搜索與交易信息組成了阿里的海量數據庫，從而構建了阿里數據平臺。這些極具價值的商業數據信息為阿里轉型為社會的基礎服務提供商、數據服務商奠定了堅實的基礎。阿里巴巴的大數據技術發展始于20 03年。2003年從Oracle單節點時期開始；2004年公司成立數據倉庫部門，搭建OLAP平臺在線分析處理業務數據，通過BIEE的報表分析工具提供業務數據、決策數據；2007年開始搭建對內數據平臺，從DAC平臺到阿里數據平臺的不斷迭代升級，承載各業務線和行業的報表；到2009年時，基于oracle產品構建的全球領先的RAC集群達到頂峰成為國內每天處理量最大、最忙的數據倉庫，同年淘寶第一個分布式計算系統Hadhoop集群，規模為300臺；2010年，數據大爆炸的一年，RAC集群已經不能滿足業務發展速度，從RAC遷移到了Hadoop，阿里自主開發了大規模分布式計算機系統；2011年，阿里巴巴對外以生意參謀為載體，基于阿里巴巴集團數據公共層建設、數據產品整合契機推出統一的數據產品平臺——生意參謀，通過數據披露、分析、診斷、建議、優化、預測幫助商家推進數據化運營；2012年，阿里自主研發的離線數據處理平臺，支持海量數據存儲和計算，可以提供海量數據倉庫的解決方案和針對大數據的分析建模服務；到2016年時，集團中臺事業群成立，啟動全域數據建設，公共層onedata產品升級，全方位支持全域數據建設，并陸續啟動優土、阿里媽媽等全域數據建設。

2.2 百度

百度大數據最重要的來源是通過“爬蟲”搜集的 100 多個國家的近萬億網頁數據，數據量是在 EB 級的規模。百度的數據非常多樣化，其收集的數據既有非結構化的或者半結構化的數據，包括網頁數據、視頻和圖片等數據，也有結構化的數據，如用戶的點擊行為數據、廣告客戶的付費行為數據等。

百度大數據主要服務三類人群：一類是互聯網網民，通過大數據和自然語言處理技術讓網民的搜索更加準確；第二類是廣告主，通過大數據讓廣告主的廣告和搜索關鍵詞的匹配度更高，或者和網民正在看的網頁內容匹配度更高；第三類是，也是在重點推進的百度大數據引擎，重點是服務傳統行業擁有數據的企業。

百度從2007年開始引進Hadoop 0.15.1，隨后快速發展，2011年百度的MR單集群規模達到5000臺，到2013年已經多達1.3萬臺，這也是截止到目前為止全世界最大的單集群。2015年，新Shuffle技術完成全面上線，Hadoop默認Shuffle實現為基于磁盤Pull模式，計算過程顯式分成Map、Shuffle、Reduce過程；Baidu研發的新Shuffle采用內存流式Push模式，Map端完成部分記錄處理后直接從內存中將計算結果推送給下游。

百度大數據引擎的作用可以從兩方面體現：1.對于政府機構：如交通部門有車聯網、物聯網、路網監控、船聯網、碼頭車站監控等地方的大數據，如果這些數據與百度的搜索記錄、全網數據、L BS數據結合，在利用百度大數據引擎的大數據能力，則可以實現智能路徑規劃和運力管理；衛生部門擁有流感法定報告數據、全國流感樣病例哨點監測和病原學監測數據，如果和百度的搜索記錄及全網數據結合，便可進行流感預測、疫苗接種指導。2.對于企業：很多企業也擁有海量大數據，不過很多企業的大數據處理和挖掘能力比較弱，如果應用百度大數據引擎，則可以對海量數據進行可靠低成本的存儲，進行智能化的由淺人深的價值挖掘。

2.3 騰訊

2009年騰訊搭建了第一個Hadoop集群，2010年TDW v0.1版本發布，次年智能廣告上線，實現離線數據和實時查詢。2012年進入發展期，TPR全實時流程上線，到2013年TDBank上線，同年Oracle全部下線。從2014年開始發展進入穩定期，2014年，JStorm TRC上線，TDW開始節源，Gaia單集群量達到8800臺，同年底發布Docker on Gaia。2015年，騰訊Spark集群量達到全球第一。2016年，Angle上線，同時大數據套件產品通過數據中心聯盟大數據基礎能力認證，成為第一批獲得認證的互聯網企業，數據平臺在Sort Benchma rk排序獲得第一名。

騰訊大數據平臺有如下核心模塊：TDW、TRC、TDBank和Gai a。簡單來說，TDW用來做批量的離線計算，TRC負責做流式的實時計算，TDBank則作為統一的數據采集入口，而底層的Gaia則負責整個集群的資源調度和管理。

TDW是海量數據處理平臺的核心部件，主要用于對騰訊內部提供數據挖掘、產品報表、經營分析等離線海量數據分析服務。它是基于 Hadoop、Hive、PostreSQL 之上的大數據平臺，具有查詢引擎、計算引擎、存儲引擎的分層結構，可根據用戶需求進行深度定制。當前，TDW正在向著實時化發展，通過引入HBase提供了千億級實時查詢服務，并開始投入Spark研發為大數據分析加速。

TDBank是數據實時收集與分發平臺。構建數據源和數據處理系統間的橋梁，將數據處理系統同數據源解耦，為離線計算TDW和在線計算TRC平臺提供數據支持。針對不同應用場景，TDBank提供數據的主動訂閱模式，以及不同的數據分發支持（分發到TDW數據倉庫，文件，DB，HBase，Socket等）。

TRC騰訊實時計算平臺，專門為對時間延敏感的業務提供海量數據實時處理服務。TRC是基于開源的Storm深度定制的流式處理引擎，用Java重寫了Storm的核心代碼。為了解決了資源利用率和集群規模的問題，重構了底層調度模塊，實現了任務級別的權限管理、資源分配、資源隔離，通過和Gaia這樣的資源管理框架相結合，做到了根據線上業務實際利用資源的狀況，動態擴容&縮容，單集群輕松超過1000臺規模。

Gaia：統一資源調度平臺。它能夠讓應用開發者像使用一臺超級計算機一樣使用整個集群，極大地簡化了開發者的資源管理邏輯。Gaia提供高并發任務調度和資源管理，實現集群資源共享，具有很高的可伸縮性和可靠性，它不僅支持MR等離線業務，還可以支持實時計算，甚至在線service業務。

3 BAT的大數據商業應用和探索

3.1 阿里巴巴：致力于通過DT，將數據變成為驅動社會發展的能源

阿里巴巴大數據商業應用的核心就是通過DT，以激活生產力為目的，點燃整個數據和激發整個數據的力量，被社會所用，被銷售所用，為制造業所用，為消費者信用所用。讓阿里巴巴的數據以及數據技術工具成為中國新商業的基礎設施。阿里巴巴大數據未來將由“基于云計算的數據開放＋大數據應用”組成：

（1）基于云計算的數據開放。云計算使中小企業可以在阿里云上獲得數據存儲、數據處理服務，也可以構建自己的數據應用。云計算是數據開放的基礎，云計算可以給到全球的數據開發者一個數據的工作平臺，阿里分布式的存儲平臺和在這個平臺上的算法工具，可以更好的為數據開發者所用。

（2）在大數據應用上馬云已經在整個數據應用上確定了兩個方案：

第一從IT到DT（數據技術），阿里巴巴的數據資產是以電商為主，其中，淘寶和天貓每天會產生豐富多樣的數據，阿里巴巴已經沉淀了包括交易、金融、生活服務等多種類型的數據，這些數據能夠幫助阿里巴巴進行數據化運營。

另外一個最為重要的應用是金融領域-小微金融。在小微金融企業融資領域。阿里巳經通過其電商數據中的交易、信用、SNS等多種數據來決定是否可以發放貸款以及放貸的額度。

第二是讓阿里巴巴的數據、讓阿里巴巴的工具能夠成為中國商業的基礎設施。阿里巴巴巳經開始在轉型，阿里將由自己直接面對消費者變成支持網商面對消費者，阿里會根據其已有的運營和數據經驗，開發更多的工具，幫助網商成長，讓網商們更懂得用最好的工具、服務去服務好消費者。

因此，阿里巴巴目前的數據產品主要分為三個板塊：1.生意參謀，基于全渠道數據融合、全鏈路數據產品集成，為商家提供數據披露、分析、診斷、建議、優化、預測等一站式數據產品服務。目前，服務的商家已經超過2000萬，月服務商家超過600萬；在月成交額30萬元以上的商家中，逾90%在使用生意參謀。2.孔明燈，先的第三方云BI工具，以“讓業務更清晰，讓決策更高效”為愿景，提供一站式多維分析、數據建模、可視化應用、智能建站等工具套件；幫助企業快速有效進行數據的可視化及聯合（多維）分析，完成數據決策。3.阿里指數，以阿里電商數據為核心，面向媒體、市場研究員以及社會大眾提供的社會化大數據展示平臺；提供地域、行業等角度指數化的數據分析，作為市場及行業研究的參考、社會熱點的洞察工具。

3.2 百度：咬定數據不放松，用數據打造智能化社會

百度因為其咬定數據不放松行業和技術優勢，在大數據商業應用方面，主要是通過對海量數據進行深加工，力圖打造成覆蓋社會各領域和社會生活各方面的智能專家。

百度大數據引擎代表了互聯網企業數據服務能力開放和合作的趨勢，百度大數據引擎由以下幾個方面構成。

開放云——百度的大規模分布式計算和超大規模存儲云，開放云大數據開放的是基礎設施和硬件能力。百度是全球首家大規模商用 ARM 服務器的公司，而ARM 架構的特征是能耗小和存儲密度大，同時百度還是首家將 GPU（圖形處理器）應用在機器學習領域的公司，實現了能耗節省的目的。百度開放云生命科學解決方案可以幫助生物信息領域用戶存儲海量的數據，并調度強大的計算資源來進行基因組、蛋白質組等大數據分析。此外，百度自行研發的基因大數據芯片可以使運算速度得到數倍的提升、IT成本實現數量級的下降，幫助研究生命活動規律，促進醫療健康行業發展。

數據市場——“數據市場”是“百度數智平臺（di.baidu.com）”旗下的數據產品售賣平臺。“百度數智平臺”匯集百度大數據核心能力，運用大規模機器學習和數據建模等前沿技術，對海量數據進行挖掘、處理和分析，打造易用產品和成熟行業解決方案，致力于為千萬家企業客戶提供專業、穩定的數據智能服務。數據市場為百度將海量數據組織起來的軟件能力，與數據庫軟件的作用類似，不同的是數據工廠是被用作處理 TB級甚至更大的數據。百度數據市場支持超大規模異構數據查詢，支持 SQL-like 以及更復雜的查詢語句，支持各種查詢業務場景。

百度大腦——百度大腦將百度此前在人工智能方面的能力開放出來，主要是大規模機器學習能力和深度學習能力。此前它們被應用在語音、圖像、文本識別以及自然語言和語義理解方面，并通過百度 Inside 等平臺開放給智能硬件。這些能力將被用來對大數據進行智能化的分析、學習、處理、利用，并對外開放。

百度天算平臺——天算平臺將百度的大數據、人工智能全面進行開放，相關行業用戶可以使用這些技術簡單的搭建起自己的大數據和人工智能平臺，同時天算平臺針對幾個行業推出了定制化的方案，百度希望通過這些行業解決方案，相關的用戶可以更容易地搭建自己的智能系統，更快地享受到大數據和人工智能給他們帶來的好處，為日志分析、數字營銷、生命科學、輿情等行業提供了定制的解決方案。

3.3 騰訊：數據為產品所用，自產自銷

騰訊大數據從數據應用的不同環節可以分為三個層面，包括數據分析、數據工具、數據平臺。

（1）數據分析層有四個產品：騰訊移動分析 MTA，專業的移動應用數據分析能力，提供實時數據統計分析服務，監控版本質量、渠道狀況、用戶畫像屬性及用戶細分行為，通過數據可視化展現，協助產品運營決策；網站數據分析 TA，統計分析展示網站的訪問情況、來源情況、訪問路徑等，幫助站長清晰地了解訪客的行為、屬性等，以方便站長進行有效地網站運營，同時為網站的決策提供更加有力的數據支持；HTML5數據分析，專業的移動應用數據分析能力，提供實時數據統計分析服務，監控版本質量、渠道狀況、用戶畫像屬性及用戶細分行為，通過數據可視化展現，協助產品運營決策；微信小程序分析，支持小程序關鍵指標，如訪問用戶、打開次數、使用時長等的實時統計分析，同時提供自定義事件打點分析，完美補充微信的基礎統計能力。

（2）數據工具層面兩個產品：騰訊移動推送-信鴿，專業移動A pp推送平臺，支持百億級的通知/消息推送，將相關信息及時送達精準定向的用戶，并與用戶持續友好互動。大幅提升用戶活躍度、留存率；云數據庫CDB for PostgreSQL，能夠在云端輕松設置、操作和擴展目前功能最強大的開源數據庫 PostgreSQL，騰訊云將負責絕大部分處理復雜而耗時的管理工作，如 PostgreSQL 軟件安裝、存儲管理、高可用復制、以及為災難恢復而進行的數據備份，讓您更專注于業務程序開發。

（3）數據平臺層面兩個產品：大數據處理套件TBDS，是基于騰訊多年海量數據處理經驗，對外提供的可靠、安全、易用的大數據處理平臺。可以按需部署大數據處理服務實現數據處理需求，例如報表展示，數據提取、分析，客戶畫像等大數據應用；騰訊推薦，為各種大小型網站、APP提供推薦服務，擁有8億月活躍用戶，千億社交關系鏈，囊括了廣告、電商、新聞、游戲等眾多領域，千萬級維度深度刻畫每一位用戶，深度挖掘用戶屬性，同時SDK支持多種平臺，實現跨屏推薦。

4 百舸爭流

不只是BAT的大數據在行動。其實IBM、谷歌，亞馬遜，Faceb ook等一大批公司在大數據技術開發和大數據商業應用方面都涉足很深。早在大數據概念進入媒體視野之前，IBM就提出“智慧地球”的概念，其核心是把“智慧”嵌入系統和流程之中，使服務的交付、產品開發、制造、采購和銷售得以實現，通過其建立的8個全球分析解決方案中心網絡，使億萬人生活和工作的方式變得更加智慧。谷歌所提供的大數據分析智能主要是應用客戶的情緒分析、交易上風險、產品推薦。基于Colossus，谷歌為不但為用戶提供了可以計算、存儲以及應用的云服務。計算服務包括了計算的引擎以及應用的APP引擎;存儲服務是利用了云存儲、云SQL以及云數據的存儲、永久磁盤等服務;云應用服務包括BigQuery、云終端(Cloud Endpoint s)、緩沖、隊列等。Facebook收集、存儲和分析用戶數據，他們還會通過下列方式確定或影響用戶的行為：（1）跟蹤Cookies來跟蹤用戶瀏覽Web的行為；（2）面部識別：Facebook可以借助用戶分享的圖像數據在Web和其他Facebook用戶資料中跟蹤用戶；（3）分析用戶喜好。作為全球知名的大數據產品服務商之一的亞馬遜則通過大數據來實現客戶的精準營銷。國內方面，華為大數據主要主要針對廣告營銷、電商、車聯網等大數據應用場景的云計算大數據方案，幫助企業用戶構建大數據平臺，解決企業的海量數據存儲和分析需求。小米進入了智能設備領域后，充分感受到了大數據的浪潮撲面而來, 投入10億美金開始做翱義云服務計劃，在這個計劃里面，小米的重心放在應用層，金山軟件的重心放在開放云服務，并預計云服務收入會快速增長。國內三大通訊運營商和中國銀聯等數據優勢企業在大數據技術和商業應用方面開啟了征程。

綜上所述，大數據技術為人類全面深刻地認識社會、了解自身提供了一種全新的方式和視角；大數據時代，人們將面臨更多未知的挑戰，百舸爭流，“一切皆有可能”。正如馬云所說的一樣，“我們要感知大數據、思考大數據，我覺得，這是我們共同的未來。”

[1]車凱龍,鐵茜.國內外社交網絡(SNS)大數據應用比較研究——以Facebook和騰訊為例[J].圖書館學研究,2014,(18):18-23.

[2]陳園園.Facebook:基于SNS的大數據公司[J].互聯網周刊,2012,(24):60-61.

[3]傅志華.BAT三巨頭“玩轉”大數據[J].中國戰略新興產業,20 15,(01):78-80.

[4]趙雪峰.基于互聯網企業的大數據分析系統研究[D].成都理工大學,2016.

[5]范卉青.搶灘大數據發展 互聯網巨頭各有所愛[J].通信世界,2016,(15):13.

王怡文（2000.4—）湖北省武漢市第六中學高三班，研究方向：社會經濟熱點問題分析與研究。