AWS的黑科技

王眾

給自家服務配上黑科技已經不夠了，AWS在讓黑科技成為業界的新常態。

自從雙十一帶來意外的銷售效果，中國的網購小伙伴們迎來了各種購物節的轟炸。而電商的鼻祖和巨頭亞馬遜終于也坐不住，在2015年打造自己的購物節“Prime Day”。Prime是亞馬遜電商的會員名稱，也就是說，這是專為亞馬遜會員定制的購物節。

收費會員制在國內一直不太吃得開，但在美國零售業則是常態，著名的商超Costco和沃爾瑪旗下的山姆大叔，即便在當下實體零售哀鴻遍野的現狀下仍然堅挺；甚至山姆會員店2016年在中國迎著電商勇敢擴張。Prime就是亞馬遜的全球收費會員制，據統計在美國，1/10美國人（約10.7%人口）是亞馬遜Prime會員，而且他們可不是“僵尸粉”——Prime會員每年平均花費達1200美元，超出非會員平均每年700美元的花費。所以雖然起步晚，“Prime Day”的群眾基礎好極了。

2015年，試水的Prime Day在定在7月15日。到了2016年，積攢了經驗的亞馬遜將日子定在了7月12日，向美國、日本、加拿大和英國、西班牙、意大利等部分歐洲國家的Prime會員客戶推出超過10萬種促銷商品；并在7月5日至11日之間舉行了一系列會員促銷，挑動購物欲。

AWS（亞馬遜公司旗下云計算服務平臺）在2016 re：invent大會上回顧了會員日的戰況，這種全球性爆發式的網絡事件如果沒有足夠強悍的云計算技術，宕機或者被各路黑客入侵掃貨就會成為“主旋律”。

彈性和真正的數據分析成新常態

對于經常過剁手節和搶票節的中國企業來說，一言不合就“按秒付費”擴展一個數據中心，過了那幾小時再撤掉，大概是最經濟的方式。哪怕是不那么有名氣的電商，在其購物節期間也能爆發出數倍于平時的瀏覽量和成交量，這時候，如果云服務沒搭建好，免不了臨時購入大批服務器，也要含淚撐住。每到雙十一，IT人就免不了盯上阿里的服務器表現，但2016年第一個10分鐘之后系統癱瘓，還是讓人倍感意外。

阿里似乎后來沒有秀自己的“云肌肉”，但AWS迫不及待地曬了自己的——他們為亞馬遜電商啟用了數十萬臺虛擬服務器（相當于一個中等規模的數據中心），會員日之后又把這些虛擬服務器收回。曬完之后，AWS宣布，彈性將成為云計算的新常態。

彈性對于云計算行業來說，不僅不是新詞匯，而且是很多公有云用戶的主要要求。比如上文提到的，為了自家購物節臨時批發服務器的電商，對他們來說，在特殊的日子租用最多上百臺服務器足矣，這樣的需求，一家中等體量的云服務廠商即可以滿足。但當彈性的需求是上萬、甚至數十萬虛擬服務器的時候，并且在短時間內啟用和回收、且能保證速度和穩定性；就要求云服務提供商有強大的技術和高昂的資金投入。

為了保證彈性成為新常態，AWS目前在全球有14個數據中心區域，2017年還將再增加4個。此外，AWS目前在全球有68個CloudFront PoP（邊緣站點，即CDN發布點，這是數據傳輸流暢性的重要保證）。因為全都是自有資源，統一管理、統一運營和統一交付，整體效率、質量和用戶體驗都要好很多。這樣就避免了不同供應商之間復雜的合同談判。

AWS的每個數據中心區域都至少有兩個可用區域（Available Zone）每一個可用區域至少有一個數據中心，有的可用區域容納了8個數據中心，在可用區域內有大量冗余網絡，有的可用區域的服務器數量高達30萬臺規模。每個數據中心區域還有兩個傳送中心（Transit Center）。兩個傳送中心互為冗余，它們的任務是為所屬數據中心區域和外部提供連接和交換功能，傳送中心會連入AWS Global Network。

無論雙十一也好、Prime Day也好，除了拖著一串0的交易額，還有寶貴的、沉淀下來的消費數據，如何有效處理這些海量數據？

對這個話題，亞馬遜CTO Werner Vogels直言：“以前，通常被劃歸為分析的那些行為，比如索引、獲取、存儲、安全等，其實并不是嚴格意義上的分析行為。80%的數據分析都不是分析，只是苦力活，只有20%的真正的分析，這是傳統數據架構存在的弊端?！?/p>

他認為，用戶應該建立現代化的數據架構，其主要特征是：可靠、自動化的數據采集和整合；實現全生命周期管理，以及對“冷數據”進行良好保存；按照管理、安全、合規和隱私性的要求對數據進行分類；實現自助式的發現、查詢和訪問；管理數據質量、為分析做好準備、捕獲數據的變化……

對此，AWS推出了AWS Glue和Batch。前者能夠自動抓取數據源，識別數據格式，然后建立模式和轉換，讓客戶將80%的準備時間壓縮到20%。后者則根據提交的批處理作業的卷和特定資源要求，動態地提供計算資源（例如CPU或內存優化實例）的最佳數量和類型；讓使用者能高效地在AWS上運行數十萬個批處理計算作業。

為AWS數據處理能力背書的是年輕的地圖平臺MAPBOX，它剛剛發布了針對中國用戶的版本。這個平臺開放面向開發者的地圖API，以創建自定義地圖， foursquare、Pinterest、Evernote、Github、500px 都在使用Mapbox 創建自己的地圖。除了提供傳統的地圖服務以外，MAPBOX還能進行實時的路況信息收集和分析等，每天能夠處理1億英里（約1.6億公里）范圍內的傳感器數據。

一輛卡車“裝下”5000個國圖

發布會上出現車已經見怪不怪了，自行車、摩托車、蘭博基尼……這次，AWS直接上了一輛卡車，它屬于Snowball（雪球）系列。2015年，AWS推出了AWS Snowball服務，其最初是一臺50 TB數據傳輸設備，其設計目標在于強調物理接入及數據安全等要求。一年來，很多客戶將初代Snowball應用于不同類型的物理環境當中，并借此實現包括大數據、基因組學以及數據收集在內的各類工作負載的遷移工作。

用戶的實際應用場景讓AWS發現了新商機——客戶們希望收集產生自農田、工廠、醫院、飛機乃至油井中的數據，從車間監控到視頻攝制再到物聯網設備信息收集；他們希望能夠利用單一模式實現高度簡化的數據存儲與轉發，并在數據到達時進行本地處理，包括過濾、清理、分析、組織、追蹤、總結以及監測。

于是，Snowball的體量越來越大，傳送速度也越來越快。大家伙AWS Snowmobile可以實現極大量數據（100PB，相當于5000個國家圖書館的信息量總和）的遷移。據Andy Jassy介紹，如果使用一條 10Gbps 的高速網絡傳輸 1EB 的數據，需要 26 年；但如果使用 Snowmobile，這個時間很可能會縮短到 6 個月。

Netflix在2008年遭遇大規模數據庫損毀后決定采用云端計算，從那時起直到2016年，花了7年的時間才將所有數據資料搬移至 AWS 亞馬遜云端運算服務。不知道如果當時有Snowmobile話，這個周期能縮短到多久。

近年來的IT企業都喜歡預測到2020年，全球有多少數據量，言下之意，就是物聯網、云計算有多少商機。AWS首席執行官Andy Jassy也不能免俗，他表示，亞馬遜的云業務完全有機會做到1000億美元的規模，這接近于今天亞馬遜的總營收。