弄潮數(shù)據(jù)“洪流”
——記上海交通大學(xué)電子信息與電氣工程學(xué)院計算機(jī)系講席教授過敏意

張靜怡

過敏意

這是一個大數(shù)據(jù)的時代。

一個人的消費行為、支付行為、娛樂行為、社交媒體行為，甚至行動軌跡等都在為大數(shù)據(jù)這座摩天大樓添磚加瓦。

大數(shù)據(jù)可以有多大？

舉一個簡單的例子，2019年天貓“雙11”開始后，僅14秒成交額就破了10億元。2018年天貓“雙11”全天交易額為2135億元，而2019年用了16小時31分就達(dá)到了這個數(shù)值。第三方機(jī)構(gòu)數(shù)據(jù)顯示，淘寶App當(dāng)天的日活躍用戶比2018年同期增長9638萬，達(dá)到4.76億。對日活過億的淘寶來說，在類似“雙11”這種特殊時刻面臨的用戶驟然上漲就是一個“突變型峰值”——扛不住的話，輕則響應(yīng)緩慢，重則系統(tǒng)崩潰。

更重要的是，在大數(shù)據(jù)時代，不是只有“雙11”才會遭遇“突變型峰值”。春晚當(dāng)天的實際登錄量，可能是“雙11”的十幾倍；而12306，春運40天每天都是“雙11”。就連新冠肺炎疫情“眾宅”期間，中國網(wǎng)民每天花在移動互聯(lián)網(wǎng)上的時長都比2000年年初增加了21.5%。

截止到2020年6月，中國網(wǎng)民人數(shù)已達(dá)9.4億，并且依然處于增長狀態(tài)。這意味著，在我國，“突變型峰值”的場景只可能增多，不會減少。站在數(shù)據(jù)洪流中，如何應(yīng)對日益增長的互聯(lián)網(wǎng)服務(wù)應(yīng)用需求，這也是擺在過敏意面前的重大課題。

云上的“雙11”

對于一家企業(yè)來說，當(dāng)一臺服務(wù)器的運算能力不足以滿足運算需求時，就需要企業(yè)購置多臺服務(wù)器，甚至演變成為一個具有多臺服務(wù)器的數(shù)據(jù)中心。但問題是，初期建設(shè)成本已經(jīng)很高了，可中心要運營下去，消耗的電費以及維護(hù)支出，可能比建設(shè)成本還高，普通的中小型企業(yè)難以承擔(dān)。

“云計算”就是為了解決這個問題出現(xiàn)的。它本質(zhì)上是一種提供資源的網(wǎng)絡(luò)，打個比方，這里的“云”就像水、電、燃?xì)庖粯樱脩艨梢噪S時取用，不限量，但需要按照使用量付費，這時的使用成本當(dāng)然遠(yuǎn)低于用戶自己去建造一個“自來水廠”或“電站”。在云計算面世之初，這種近乎無限的資源量和彈性能力，就是其最鮮明的賣點。

即便如此，當(dāng)傳統(tǒng)云計算遇到突變型峰值，還是有心無力。突出問題表現(xiàn)為：“成本高”——應(yīng)對峰值需求預(yù)備容量，成本不節(jié)約；“延遲長”——云中低算力節(jié)點負(fù)載高，調(diào)度不均衡；“吞吐低”——存儲設(shè)備擴(kuò)展故障劇增，回復(fù)不迅速；“擴(kuò)展慢”——服務(wù)鏡像倉庫網(wǎng)絡(luò)擁塞，分發(fā)不及時；“運維難”——專家經(jīng)驗演進(jìn)和查詢慢，分析不智能。

這樣的云計算，真的能扛過突變型峰值嗎？

“云計算是今后幾十年企業(yè)的使能性技術(shù)，是發(fā)展趨勢。”過敏意堅信，只要能讓云計算把優(yōu)勢發(fā)揮出來，就能找到一個最優(yōu)解。

事實上，阿里巴巴也愿意相信他的判斷。自從2009年計劃推出天貓“雙11”起，阿里巴巴就預(yù)料到突變型峰值勢必會給計算服務(wù)帶來巨大的流量壓力，可能超過日常情況幾十倍，甚至幾百倍。怎么辦？總不能因為有百倍的流量壓力就購買百倍的服務(wù)器來解決問題吧。那可太貴了。不只是造價貴，阿里巴巴當(dāng)然可以按照“雙11”的用戶量來準(zhǔn)備服務(wù)器，但一年有幾個“雙11”這樣的盛況呢？他們更不想看到精心打造的服務(wù)器資源一年中大部分時間都在被浪費。可云計算的問題怎么辦？

當(dāng)然是迎難而上。

彼時，過敏意剛從日本回國不久。對他來說，辭去日本會津大學(xué)終身教職的一個重要原因就是要走出舒適區(qū)，迎接更具挑戰(zhàn)性的生活，為中國科技事業(yè)做貢獻(xiàn)。對認(rèn)準(zhǔn)了的事，他有一股“一根筋”式的執(zhí)拗，為了得到圓滿的結(jié)果，他帶著團(tuán)隊與阿里巴巴一合作就是十余年。

突變峰值的挑戰(zhàn)不是單一技術(shù)點就可以應(yīng)對的，過敏意帶領(lǐng)的上海交通大學(xué)團(tuán)隊就開始和阿里巴巴團(tuán)隊探索混部技術(shù)，希望通過將在線業(yè)務(wù)和離線大數(shù)據(jù)計算的負(fù)載混部運行在共享的集群中，來顯著提高數(shù)據(jù)中心資源利用率。

舉個例子，在數(shù)據(jù)中心日常態(tài)下，在線業(yè)務(wù)普遍資源利用率較低，且業(yè)務(wù)峰值壓力時間短，或固定在大促脈沖波峰時間，白天壓力較大，且對延遲和抖動敏感；離線業(yè)務(wù)正好相反，平時資源使用壓力較高，業(yè)務(wù)資源使用較為固定，主要資源壓力集中在晚上，重視高吞吐，但對時延不敏感。

這時候，在“容器和混部技術(shù)”的“統(tǒng)籌”下，服務(wù)器能夠?qū)⑾嗤?相似需求合并處理，同時識別任務(wù)的輕重緩急，優(yōu)先處理對時效要求高的任務(wù)。那問題來了，服務(wù)器會因為收到這樣的“指令”有針對性地減緩執(zhí)行速度嗎？又會不會犧牲掉被定義為“輕”“緩”部分用戶的體驗?zāi)兀?/p>

過敏意覺得，千臺服務(wù)器同時運行的情況下，每天一兩臺出現(xiàn)問題比較常見，一般情況下服務(wù)器會在短時間內(nèi)自動恢復(fù)，這時用戶可能無法感知到。但由于服務(wù)器規(guī)模過大，以及分布式系統(tǒng)本身的復(fù)雜性，的確可能會降低運行其上的軟件服務(wù)質(zhì)量。所以，在基于容器和混合部署的高效資源整合技術(shù)之上，他們特意開發(fā)了基于內(nèi)存數(shù)據(jù)分析的服務(wù)質(zhì)量保證技術(shù)。其內(nèi)核就是預(yù)先識別出問題服務(wù)器，并引導(dǎo)負(fù)載使用其他正常運行的服務(wù)器，令“統(tǒng)籌”更加完善。“這是我們的撒手锏。”過敏意說。

再加上突變峰值用戶請求快速處理技術(shù)、基于存儲陣列的數(shù)據(jù)高可靠吞吐技術(shù)等核心技術(shù)的突破，他們把“面向突變型峰值服務(wù)的云計算關(guān)鍵技術(shù)與系統(tǒng)”這座大廈夯實得越來越牢固。

2014年之前，阿里電商云化平臺峰值流量達(dá)到平日的173倍時，就會出現(xiàn)系統(tǒng)崩潰、無響應(yīng)等現(xiàn)象。2015年起，應(yīng)用該系統(tǒng)，實現(xiàn)了1000萬核的實時彈性擴(kuò)展，峰值流量達(dá)平日1069倍時的平穩(wěn)支撐，無丟單漏單，助力2018年實現(xiàn)“雙11”日銷售額新高。

到2019年，阿里巴巴集團(tuán)基于阿里云智能天然的彈性能力和自研神龍服務(wù)器強大穩(wěn)定的性能，通過混部集群全面上云，實現(xiàn)了基于安全容器的新一代云原生混部技術(shù)的架構(gòu)升級；且通過基于數(shù)據(jù)智能驅(qū)動的運維、調(diào)度和管控等創(chuàng)新方法，實現(xiàn)了自動智能化的云原生混部集群管理能力，大大提高了混部集群的業(yè)務(wù)穩(wěn)定性，更進(jìn)一步降低了成本。

訪問美國時和佐治亞州立大學(xué)潘毅教授（右）在一起

2019年“雙11”戰(zhàn)役打響后，這一系統(tǒng)帶來了一個新的傳奇。1秒鐘，可以創(chuàng)造8700萬次的數(shù)據(jù)處理，可以產(chǎn)生54.4萬筆訂單！這組峰值數(shù)據(jù)，是世界最大信用卡組織VISA交易峰值的8倍，也是2009年第一次“雙11”的1360倍。數(shù)據(jù)庫中，一個新的世界峰值紀(jì)錄誕生了。

更令人稱道的是，在這期間，系統(tǒng)將峰值時用戶請求尾時延從分鐘級降低至百毫秒級，用戶發(fā)出搜索指定商品、查庫存、總價計算等指令的響應(yīng)速度大大加快。讓用戶體驗“絲般順滑”的服務(wù)——當(dāng)初立下的目標(biāo)，他們做到了。

造“云”進(jìn)行時

“面向突變型峰值服務(wù)的云計算關(guān)鍵技術(shù)與系統(tǒng)”為過敏意贏得了科研生涯中的第一個國家獎——2019年度國家技術(shù)發(fā)明獎二等獎，也實現(xiàn)了互聯(lián)網(wǎng)公司在國家技術(shù)發(fā)明獎上零的突破。

為什么能夠支持突變型峰值服務(wù)的云計算系統(tǒng)（SPS）如此受青睞？僅僅因為“雙11”嗎？當(dāng)然不是。SPS最耀眼的優(yōu)點就是可以支持暴增的流量服務(wù)需要。這讓阿里巴巴、中國聯(lián)通、新浪微博、中國郵政、優(yōu)酷視頻、餓了么等，扛住了瞬間暴漲百倍甚至千倍的交易量洪峰。

21世紀(jì)進(jìn)入第2個10年，信息洪流下，電子商務(wù)、交通出行、醫(yī)療健康、文化社交、電信運營、生活服務(wù)等領(lǐng)域無一可避免突變型峰值的沖擊。這時，SPS的出現(xiàn)無疑是雪中送炭。尤其在計算資源的高效整合利用方面取得重大突破之后，在保證終端用戶請求服務(wù)質(zhì)量的前提下，SPS將硬件資源利用率從10%提高到45%。

這是什么概念？2015年年初，衛(wèi)寧健康云服務(wù)產(chǎn)品的在線用戶到3000家時，就開始出現(xiàn)響應(yīng)遲滯、拒絕服務(wù)等現(xiàn)象。但從同年12月起，采用強隔離富容器智能混合部署、分布式數(shù)據(jù)分析加速等技術(shù)后，它能同時支撐5000多家醫(yī)院就診高峰期時段多種在線離線服務(wù)。

交通出行也一樣。現(xiàn)在已經(jīng)不僅限于每逢佳節(jié)必堵車了，每逢雨雪天氣、早晚高峰期一樣易堵車，這樣的交通狀況令打車也成了一大難題。2020年國慶長假前，部分出行App系統(tǒng)大面積崩潰把“最難打車日”送上了熱搜。究其原因，最主要的就是當(dāng)突變型峰值到來之時缺乏高可靠高吞吐技術(shù)的支撐。“數(shù)據(jù)失效時存儲陣列恢復(fù)慢且擴(kuò)展困難”，明白了其中的難點，SPS對癥下藥，發(fā)明了基于存儲陣列的多級緩存算法優(yōu)化技術(shù)、多盤容錯存儲陣列編碼及快速擴(kuò)展技術(shù)，提高了數(shù)據(jù)可靠性及訪問速度，實現(xiàn)了存儲陣列單節(jié)點數(shù)據(jù)恢復(fù)吞吐率從1.61GB/秒到2.75GB/秒的提升。高德地圖兩年前就應(yīng)用了相關(guān)技術(shù)，這使其在2018年國慶期間導(dǎo)航規(guī)劃105億次，成為全國第一個日活用戶破億出行服務(wù)App。“地球不爆炸，高德地圖不放假”，或許這次熱搜事件上，來自高德地圖官方的戲謔性表態(tài)最能說明SPS的優(yōu)勢了。

獲得國家獎，對SPS是一個巨大的肯定。但過敏意認(rèn)為，他們的工作還要繼續(xù)下去。畢竟隨著5G時代的來臨，客戶端的數(shù)據(jù)處理能力只會越來越強，數(shù)據(jù)交換也會更頻繁。新冠肺炎疫情以來，“云”成了一種趨勢。人們在云端看診、開會、辦公、上課、看演出……運算需求增長迅猛。過敏意希望，SPS的應(yīng)用場景能進(jìn)一步拓展，把這朵看不見、摸不著的“云”做大做強，有效支持和響應(yīng)日益增長的客戶端需求，這也是他們下一步要考慮的重大問題。

在實驗室和學(xué)生討論

城市之光

“十年磨一劍”，過敏意覺得值得。

令他驕傲的是，S P S已經(jīng)響應(yīng)國家“一帶一路”倡議，進(jìn)入東南亞、中東、歐洲，面向全球提供云計算服務(wù)了。但他的目光卻沒有停滯在“突變型峰值”上。在他眼里，大數(shù)據(jù)像一道光，應(yīng)該照亮的不只是某個行業(yè)，而是整個城市。

在過敏意全職回國前，2006年年初，我國發(fā)布的《國家中長期科學(xué)與技術(shù)發(fā)展規(guī)劃綱要》就提出了“重點研究城市基礎(chǔ)數(shù)據(jù)獲取與更新、城市多元數(shù)據(jù)整合與挖掘、城市動態(tài)監(jiān)測與應(yīng)用”等發(fā)展戰(zhàn)略，要求在2020年之前建立城市綜合信息平臺。城市大數(shù)據(jù)計算理論與方法研究逐漸被列為國家重大戰(zhàn)略。

那時的過敏意，主持的“普適計算的關(guān)鍵理論與技術(shù)的研究”已經(jīng)得到國家自然科學(xué)基金重點項目的支持立項。看到國家層面對大數(shù)據(jù)的支持，以及對相關(guān)科研的重視和支持程度，過敏意認(rèn)為回到上海交通大學(xué)，他有太多有益的事要做了。

的確如此。自從2007年全職回國后，國家杰出青年科學(xué)基金、國家自然科學(xué)基金中芬合作項目、國家原“863”目標(biāo)導(dǎo)向重點項目、國家原“973”計劃……項目接二連三地進(jìn)來，過敏意甚至將自己的研究側(cè)重點調(diào)整到大數(shù)據(jù)和云計算上。

2020年6月，科技部公開了原國家重點基礎(chǔ)研究發(fā)展計劃驗收情況。結(jié)果顯示，過敏意的“城市大數(shù)據(jù)三元空間協(xié)同計算理論與方法”為“良好”。在這個項目中，他把目光投向國家在智慧城市建設(shè)中面臨的城市精細(xì)化管理需求。

從某種程度上說，城市大數(shù)據(jù)的知識和價值蘊藏于一個“人、機(jī)、物”三元空間里。在信息化推進(jìn)和發(fā)展過程中，很多城市的政府與公共服務(wù)部門都積累了大量的數(shù)據(jù)資源。按理說，再進(jìn)行大數(shù)據(jù)融合與集成就簡單多了吧，但問題是城市大數(shù)據(jù)來源廣泛、類型眾多、結(jié)構(gòu)復(fù)雜、動態(tài)實時且關(guān)聯(lián)也非常復(fù)雜，想要實現(xiàn)數(shù)據(jù)的“聚、通、用”非常難。

所謂的“聚、通、用”要達(dá)到什么程度？舉個例子，如果是在城市公共食品安全管理中，食品原材料的采購、加工、物流和銷售信息，消費者對食品的評論，以及醫(yī)院就診和藥店購買記錄等就屬于三元空間的大數(shù)據(jù)。而在他們的系統(tǒng)中，一旦對這些數(shù)據(jù)進(jìn)行深度融合，利用群智認(rèn)知方法，就能夠挖掘、推理潛在的食品安全隱患，定位、追溯問題環(huán)節(jié)，提供有害食品的安全預(yù)警，從而控制有害食品的蔓延。

為了實現(xiàn)這一點，過敏意團(tuán)隊確立了清晰的思路，“從數(shù)據(jù)感知到群智認(rèn)知再到智能服務(wù)”。項目由上海交通大學(xué)聯(lián)合浙江大學(xué)、西北工業(yè)大學(xué)、中國科學(xué)院深圳先進(jìn)技術(shù)研究院共同承擔(dān)。自2015年項目啟動之后，他們要做的就是以數(shù)據(jù)三元化、認(rèn)知群智化、計算層次化為特征，建立一套新型城市大數(shù)據(jù)計算理論與方法體系。相關(guān)成果發(fā)布后，得到了超過30個ACM/IEEE Fellow、國際著名期刊主編等學(xué)者的引用，受到高度認(rèn)可和肯定。其中，實現(xiàn)群智感知的CrowdOS開源系統(tǒng)平臺，支持二次開發(fā)，已在城市管理和公共安全方面展開示范應(yīng)用，2019年9月開源上線以來已經(jīng)有包括美、英、日等在內(nèi)的30余個國家的科研人員訪問和下載。高性能分布式深度計算引擎SINGA，目前已經(jīng)成為Apache頂級項目（http://singa.apache.org）。作為世界使用排名第一的Web服務(wù)器軟件，Apache可以運行在幾乎所有廣泛使用的計算機(jī)平臺上，能與之聯(lián)手，是SINGA的重要突破，也受到了國內(nèi)外學(xué)術(shù)界和工業(yè)界的極大關(guān)注。目前，網(wǎng)易、shentilium等公司已經(jīng)在其服務(wù)器集群上部署了SINGA。

作為項目首席科學(xué)家，過敏意經(jīng)常在各種場合針對三元空間數(shù)據(jù)利用進(jìn)行深入淺出的講解。項目組其他骨干人員也做出了同樣的選擇。如果說計算令城市更智慧，他們期冀此刻就種下星星之火，吸引更多同道中人加入到建設(shè)智慧城市的隊伍中來。那將是一個流光溢彩的未來。

過敏意的“道”

“我的整個學(xué)術(shù)生涯比較長，已經(jīng)有30多年了。”過敏意說。對計算機(jī)的好奇，使得他在不同時期有著不同的側(cè)重點。比如：南京大學(xué)時側(cè)重軟件工程，在日本時做過數(shù)據(jù)挖掘、分子計算、生物信息學(xué)研究等，回國之初做普適計算，后來又集中于云計算和大數(shù)據(jù)。“轉(zhuǎn)型要付出很多，但也拓寬了研究領(lǐng)域，可以把不同的研究方向融會貫通，形成新的大課題。”他表示，計算機(jī)科學(xué)本來也很難涇渭分明，真要較真的話，其實他也從未繞開過“并行與分布式系統(tǒng)”“高性能計算”這些圈子。

回國十余年，過敏意身上變化最大的就是一頭黑發(fā)漸白。“但我心態(tài)還可以，沒什么能讓我沮喪的”，他強調(diào)道，并不掩飾自己的斗志。他一直是篤定的，打定主意不回頭的那種。

21世紀(jì)初，日本還是世界第二大經(jīng)濟(jì)體。但過敏意更愿意換個角度去看問題。“我們國家蒸蒸日上，差距正在縮小，最重要的是國家非常重視科技投入。與其在日本培養(yǎng)人才，不如回國去培養(yǎng)人才，為祖國的教育和科技事業(yè)做點貢獻(xiàn)。”一有這個想法，他就再也回不到原來平穩(wěn)的一眼看到退休的生活中去了。“終身在日本，非我所愿。”他說。

給“城市大數(shù)據(jù)三元空間協(xié)同計算理論與方法”做總結(jié)時，過敏意在PPT的最后寫道：建立一支有凝聚力，高層次的城市大數(shù)據(jù)研究團(tuán)隊。

培養(yǎng)人才，他一直是認(rèn)真的。

2019年9月，阿里巴巴達(dá)摩院宣布啟動第二屆青橙獎評選，將面向信息技術(shù)、芯片、智能制造等基礎(chǔ)研究領(lǐng)域，遴選出10名青年科學(xué)家。上海交通大學(xué)青年研究員陳全位列其中，他是過敏意的學(xué)生。2008年，阿里云創(chuàng)始人王堅找過敏意合作時，陳全也參與了該項目。提起這位學(xué)生，過敏意很是欣慰，陳全曾獲中國計算機(jī)學(xué)會2015年度優(yōu)秀博士論文獎，在美國密西根大學(xué)完成博士后研究后回到上海，現(xiàn)已成為過敏意團(tuán)隊的骨干力量。到2020年第三屆青橙獎頒布時，團(tuán)隊的另一位青年教師冷靜文博士也榜上有名，一個團(tuán)隊連續(xù)兩屆獲得青橙獎，一時傳為佳話。

而在學(xué)生王鴻偉的記憶里，過敏意一直在給他們創(chuàng)造寬松自由的環(huán)境，支持他去參加各種學(xué)術(shù)會議，甚至支持他提前半年多畢業(yè)去斯坦福大學(xué)做博士后。現(xiàn)在他也有回上海交通大學(xué)的打算。

但學(xué)生還是少數(shù)，過敏意團(tuán)隊的重要組成骨干還是其他海歸。用他的話說，這是為了避免“近親繁殖”，開闊視野。“我為人人，人人為我，團(tuán)隊就應(yīng)該各有擅長，取長補短，協(xié)同發(fā)展。”多年過去，他打造出和諧向上的團(tuán)隊文化。他樂于看到，走出去的學(xué)生為人處事受人稱道，無論在高校還是企業(yè)都能獨當(dāng)一面；走進(jìn)來的人自由成長，道路越走越遼闊。

他相信且堅持“規(guī)范”，這里的規(guī)范不是指套路和模板，而是在求解找真相的過程中，要一絲不茍、精益求精。他做到了。至今，他本人在各種學(xué)術(shù)期刊、會議上發(fā)表了400余篇論文，出版中英文著作6部，授權(quán)發(fā)明專利40多項，在國際學(xué)術(shù)會議上7次獲得最佳論文；2020年又當(dāng)選歐洲科學(xué)院院士。而近幾年里，他的團(tuán)隊中幾乎每年都有青年骨干脫穎而出，入選各類青年計劃。

“各人有各人的道”，過敏意的“道”很單純，他不迷信英雄主義，認(rèn)為只有團(tuán)隊效益提升到最高，才能干成大事。就像，不管現(xiàn)在的他在外界看來有多成功，他滿心里只有：對云計算要有更高的要求，以解決現(xiàn)在解決不了的問題。

“就算遇到難題，只要堅持下去，總歸是車到山前必有路，柳暗花明又一村。”過敏意時常以此勉勵身邊的年輕人，“做學(xué)問當(dāng)心無旁騖，切忌像猴子掰玉米，掰一路扔一路，到最后什么也得不到。”