撬動商業帝國的技術支點

陳振華

2016年1月20日，2016云棲大會-上海蜂會在上海科技館舉行，阿里云展示新產品，計DT未來的體驗再次觸手可及。

羅金鵬飛快敲擊鍵盤的節奏被電話打亂了。他接到的是一通測試報警電話，這說明數據在測試的時候可能出現了異常。他停下手中的活，立馬去處理這個異常。

這就是羅金鵬每天的工作狀態。他是阿里巴巴數據技術及產品部高級技術專家。像他這樣從事著看似枯燥卻非常重要的工作的工程師，在阿里巴巴有數千。

正是這些技術人員日復一日的謹慎小心，才保障了這個中國最大的電商平臺的正常運行，使之可以實現2016財年電商交易額突破3萬億元這一里程碑式的業績。

這些技術人員所維護的，可能是這個時代最復雜、運算量最大的系統之一。在這個系統上，大數據和云計算成為最鮮活的技術手段。

包括阿里巴巴在內的所有電商平臺，也是依托著這些最先進的技術不斷拓展輻射的深度和廣度，不斷地開辟藍海。

“今天，我們把大數據和云計算定位成一個商業的基礎設施。但大數據成為新經濟的石油，云計算成為新經濟的引擎，真正產生成果，還需要一個過程。”阿里巴巴集團CEO張勇告訴《瞭望東方周刊》。

當他們在中國這個巨大的市場和消費人群中歷練過后，電商平臺的技術實力，已經不僅僅能夠為自己提供服務，也已具備了輸出的可能性。

“互聯網成為基礎設施，數據成為生產資料，而計算成為公共服務。通過數據和計算，拓展全新的領域，才是數據產生價值更重要的發展方向。”阿里巴巴集團CTO王堅在接受《瞭望東方周刊》采訪時表示。

實際上，技術的發展可以分為三步：首先是為了保障系統的運轉正常;第二步，是從大數據中挖掘商業規律和價值，為商業判斷提供參考;第三步，則是挖掘出大數據潛在的價值，并對外輸出技術能力，用技術拓展商業的邊界。

確保峰值不崩潰

技術的最基礎功能，是保證系統正常運行。但這對于天貓和淘寶這種日成交額動輒數十億元的電商平臺來說，并不是件簡單的事。

3月21日下午14時58分37秒，阿里巴巴中國零售交易市場2016財年商品交易即時總額累計突破3萬億元。

3萬億元背后的成交高峰，出現在“雙11”——當天全天交易額達912.17億元，全天支付筆數達7.1億筆。

如此大規模的交易量和支付量，是對技術的“大考”。而最難的“題”，則是確保峰值來臨時不能崩潰。

“‘雙11之所以能順利通過考驗，靠的是阿里巴巴多年的技術沉淀，有賴于4個主要技術單元的通力合作。在當天其實最緊張的就是技術支持團隊，面對那么大的交易洪峰，一點差錯都不能出。”王堅說。

在阿里巴巴主要的4個技術單元中，數據技術及產品部是負責將數據進行流式計算并實時呈現在媒體大屏幕上的關鍵團隊。

在“雙11”之前，這個團隊與上下游技術團隊共同進行了數十次大大小小的壓力測試。只有通過最嚴苛的壓力測試，才能保障雙十一期間的系統性能和穩定性。

當天00：05：01，阿里巴巴系統交易創建達到14萬筆/秒的峰值;00：09：02，支付量達到8.59萬筆/秒峰值。在2015年的“雙11”，共有超過200家銀行與支付寶共同支撐了支付洪峰。

這是什么概念？Visa在實驗室測試的支付峰值是5.6萬筆/秒，實際支付峰值是1.4萬筆/秒;而MasterCard實驗室測試的支付峰值是4萬筆/秒。

從歷史數據來看，2015年的交易峰值，是2014年“雙11”交易峰值3.85萬筆/秒的2.23倍。而相比2009年的首屆“雙11”，訂單創建峰值增長了350倍，支付峰值增長了430倍。

從“坐車”到“造車”

2008年，中國的電子商務開始了井噴式發展。

在駛入快車道的同時，阿里巴巴也敏銳地意識到它可能會面臨的瓶頸——其購買的軟硬件已經不能滿足交易的高速增長，因為當時的數據規模已經超過了全球傳統軟硬件巨頭的技術極限。

一個更大的背景，是阿里巴巴IT發展策略的變更：從依賴“商業軟件”，到擁抱“開源軟件”，轉而靠自主創新，提升技術研發實力。

而這一變化，始于2008年王堅加入阿里巴巴。

“成本降低是我們投入技術研發最先能夠看到的，因為購買許可是非常貴的。但更重要的原因在于，以IOE 為代表的傳統IT企業架構，無法滿足互聯網業務的極速擴張，約束了企業長遠的發展。”王堅總結道。

在王堅看來，直面這一前所未有的挑戰，最好的解決方式是采用云計算。2009年，王堅牽頭成立了阿里云。

阿里云的代表作之一便是超級計算引擎MaxCompute（原名ODPS）。2013年底，這一工具已經開始支撐包括淘寶、天貓、支付寶、菜鳥等電商平臺所有的大數據業務。

不過，所有的新生事物都非一帆風順，研發自有技術難度之大超乎想象，并且從一出生就在與外部的PK中殘酷成長。

阿里云大數據專家李淼告訴《瞭望東方周刊》，在2010?2011年，與業界開源產品Hadoop相比，它大概三四個小時就能做完的，MaxCompute可能需要近30個小時，毫無優勢。

而現在，MaxCompute比Hadoop系統的處理速度要快數倍。2015年“雙11”之前不久，MaxCompute參加了排序基準評估競賽SortBenchmark，把100TB數據的排序時間縮短到了377秒，而此前的紀錄是1406秒。MaxCompute獲得4項世界冠軍。

在加入阿里巴巴之前，李淼的頭發還是烏黑的，如今，他的頭發已經花白。而阿里巴巴的“去IOE”行動，被業界認為是成功的。

“我們相當于從坐車的變成自己造車。這種領先，有技術和架構上的原因，但更多是技術經驗的積累，要一點一滴地不斷打磨。”李淼告訴本刊記者。

這期間，阿里云的工程師對開源數據庫進行了大量的升級工作，并于2015年1月進入由Facebook、Google、Twitter和Linkedin四家公司發起的WebScaleSQL組織，開創了中國公司在全球開源項目中的先河。

除了不斷進化地應用他人已有的技術成果，阿里的自主研發技術也開始結出成果，用于替代開源數據庫的自主研發數據庫OceanBase開始應用于支付寶。這是全球首個應用在金融業務的分布式關系數據庫。

2014年，OceanBase承擔了支付寶10%的流量，而在2015年，它支撐了“雙11”時支付寶100%的核心交易流。目前，OceanBase已經在支付寶、淘寶、天貓等多處使用。

在李淼看來，“對技術而言，金融系統的難度是最大、也是要求最高的。以前，技術的增長根本沒能力承擔這么大的業務量。”

實際上，阿里巴巴在2015年“雙11”期間所創造的紀錄，正是阿里云與淘寶、天貓、支付寶共同構建的全球最大規模混合云實踐。

打破數據壁壘

在硬件和基礎技術準備成熟后，用王堅的話來說，就是對數據這一“生產資料”進行價值生產。

而在此之前，阿里巴巴還率先做了業界的又一件大事。從2013年起，阿里云自主研發的MaxCompute開始成熟，阿里巴巴集團自有的數據業務開始采用這一技術平臺，使之成為統一底層，該計劃取名為“登月計劃”。

漫長的“登月”，困難重重。

“大規模數據的搬遷，一定會出現小概率的數據丟失或損壞，就好像買彩票一定會有人中五百萬一樣，我們需要做的工作就是，把這個中了500萬的人規避掉。”李淼說。

“登月”之難還在于，需要校驗數據的正確性。李淼打了個比方，比如復制100萬個視頻文檔，得保證不丟失，同時還得把這100萬個視頻全部打開，從第一秒看到最后一秒。

又因為阿里巴巴集團內需要整合的業務數據單元太多了，于是這個計劃中就從“登月一號”取名，二號、三號，一直到數字排不下，換成字母排到xyz，最后排到登月Z1，Z2……

整個數據搬遷的過程，直到2015年年初才差不多結束。

羅金鵬告訴本刊記者，由于不同的數據源會造成格式或者邏輯上的差異，用戶使用起來成本非常高，并且容易造成資源上的浪費。

“只有當全集團所有的數據放在一起，才能打通數據，進而挖掘更多的價值。”羅金鵬說，阿里數據技術及產品部建立的統一數據公共層，直接帶來數以億計的資源節約。

據他介紹，阿里巴巴的數據公共層分為離線數據公共層和實時數據公共層。此舉不僅帶來更為可控的成本，而且極大提高了下游分析人員使用數據的效率，也減少了數據質量問題出現的頻率。

“我們以OneData體系建立的集團數據公共層，從設計、開發、部署和使用上保障了數據口徑的規范和統一，實現數據資產全鏈路管理，提供標準數據輸出。”羅金鵬說。

大數據如何賦能商業

對于電商平臺來說，大數據分析最直接的作用是描摹出用戶的特征和消費偏好，更好地營銷。

典型的例子是淘寶的“千人千面”。

“每個買家登錄的淘寶頁面，都是不一樣的。‘千人千面看起來簡單，實際上的技術挑戰不小。我們根據用戶的不同數據，給他們打上不同的標簽，再推薦出買家搜索過或與買家消費能力和喜好匹配的不同商品。”羅金鵬說。

據他介紹，目前標簽有300多種，如此多的標簽，都是為了更精準地定位用戶，從而實現更好的精準營銷。

“技術和業務的關系是相輔相成的。你能承受多大的業務體量，你的技術才能有多強大。也只有數據技術做好了，才能做好精準營銷，為賣家提供更及時的策略，消費者體驗也能更好，自然也會反哺三萬億元的GMV增長。”羅金鵬說。

據他介紹，他們已經將阿里的數據能力通過產品對外孵化。目前已經對商家提供的數據產品“生意參謀”，能提供多維度的數據服務，幫助商家通過數據分析來進行商業決策。

“比如店鋪瀏覽量多少，從哪個入口進來，不同區塊和圖片點擊量多少，成交量多少，可能喜歡什么東西等，為下一步的商業決策提供參考。”

在阿里巴巴的數據系統里，ID匹配月調用次數多達200多億次，ID畫像月調用次數近20億。而統一用戶畫像還依賴統一的用戶ID，這在阿里巴巴內部代號為OneID。羅金鵬透露，在2016年，阿里巴巴數據技術及產品部下一個要攻克的難關是One ID。

“實現One ID，能讓廣告主能更精確的投放廣告，同時避免對用戶的過度騷擾。這項技術國內外都沒有成熟的經驗可供借鑒，多是靠我們自己摸索。”羅金鵬說。

王堅的目光更長遠，在他看來，2016年是數據元年。

“數據本身是沒有價值的，它需要開發和挖掘價值。就好像原油本身沒有用，經過煉油才能為人類所用。”王堅對本刊記者說，現在，產生數據價值的技術已逐漸成熟了。

技術輸出時代來臨

阿里巴巴的技術實力已不僅僅為己所用。

當技術已發展成熟到能很好地服務集團內部時，阿里巴巴就會將技術封裝成工具，通過阿里云這一平臺對外提供服務，這被稱為“技術對外開放”。

在2011年7月，阿里云自主研發的“飛天”開始以公共云計算服務的方式對外提供云計算商業服務。

2016年初，阿里云又發布了大數據平臺“數加”，對外開放阿里巴巴十余年累積的大數據技術。該平臺集合計算引擎、開發套件、可視化工具和行業解決方案，是全球首個囊括前、中、后臺的大數據一站式開發平臺。

阿里云的MaxCompute也已經商用：12306網站用阿里云承接春運高峰期75%的余票查詢流量;華大基因用阿里云進行基因測序;螞蟻金服旗下的螞蟻小貸也是阿里云的客戶。

螞蟻小貸是王堅看好的一個項目，它完全基于大數據，通過阿里巴巴平臺上積累的信用與行為數據，最終實現了“3分鐘申請、1秒放款、0人工干預、最小貸款額為1元”等多方面的金融借貸領域突破。

“除了挖掘傳統的數據價值，比如商業洞察、營銷推廣等，我認為通過數據和云計算，拓展全新的領域，是數據產生價值更重要的發展方向。”王堅說。

這也是王堅對阿里云的期待：成為輸出計算能力和大數據技術的平臺，為這些夢想要創新的“獨角獸們”提供更好的服務和支持。

云計算市場潛力巨大，阿里云先后擴建了位于美國西岸和香港的數據中心，并將在美國東岸、中東、歐洲等地建立新的數據中心，不斷完善“全球網”布局。

2013年11月11凌晨，位于杭市的阿里巴巴集團淘寶總部員工在崗位上忙碌

在2015年第四季度財報中，阿里云營收8.19億元，比去年同期增長126%，連續第三個季度保持三位數增長。

外界評論普遍認為，云計算市場的第一梯隊已基本形成，并且會不斷固化。研究機構IDC最新的統計數據顯示，截至2015年上半年，全球公共云計算市場占有率最高的前五家服務商分別為亞馬遜、微軟、IBM、RackSpace和阿里云。

有業內人士認為，云計算全球市場或已形成“3A鼎立”的格局（AWS、Aliyun、Azure）。

而在王堅看來，計算能力或將成為企業乃至國家的核心競爭力。

“在未來，我們評估一個國家或企業的發展時，可能不是看消耗了多少電，多少石油，而是看消耗了多少計算能力，從數據中挖掘了多少價值。計算經濟，是實現彎道超車非常重要的機遇。”王堅說。