“騰訊大數據-天工”助力萬物互聯，抬高云計算競爭壁壘

磐石之心

2021年的上海車展最大看點并不是新車，而是火爆的自動駕駛技術以及車聯網。美團王興說，車成了互聯網技術的載體。筆者非常贊同這一看法。

在自動駕駛和車聯網的背后是大數據、云計算以及各種網絡服務。在萬物互聯的時代，會有越來越多的行業成為“載體”，而這些載體不停地產生數據，這就必須提升數據的處理分析能力、安全防護能力，同時還要規避數據孤島，讓數據發揮最大價值。

無獨有偶，4月18日，騰訊發布自研的第四代數智融合計算平臺“騰訊大數據—天工”。騰訊稱，這一數據平臺是新基礎設施的重要組成部分，通過數智融合計算以安全方式打通數據孤島，橋接多方數據，以統一的數據處理引擎更高效地挖掘數據價值，以智能化的方式驅動整個數據處理閉環，為開發者、企業、以及政府的數字化、智能化升級提供更好服務。

那么，“騰訊大數據—天工”發布的背景是什么？具體解決了哪些問題？接下來，筆者將用非常通俗易懂的語言與各位讀者分享。

萬物互聯時代面臨的問題和難題

在文章開頭，我們提到車的自動駕駛技術和車聯網，咱們就以此為例來看下車聯網時代面臨的一系列難題。

車想要實現自動駕駛，就必須對道路、障礙物以及各類突發情況進行識別，然后通過算法對這些情況進行建模。簡單講，車想要自動駕駛，必須先學習識別路況。

而這些路況信息十分復雜，需要通過車不斷的進行路測去采集道路數據，采集駕駛員數據等各種不規則數據，然后對數據進行分析和學習。

在數據采集、分析和學習的過程中，面臨數據的計算、數據孤島、數據的應用等多個問題。

想要對海量數據進行計算，就必須提高算力。想要突破數據孤島，就需要讓路況、障礙物、突發事件、駕駛員等各類數據發生關聯，而應用數據過程中，還需要保證數據的安全。

除了自動駕駛行業外，在金融、制造、家居等任何需要數字化的領域都會遇到類似問題，這也對數據平臺這一基礎設施的能力提出了更高要求。這也是騰訊大數據平臺升級的行業背景。

騰訊大數據基礎設施的變遷

為應對萬物互聯時代，海量復雜數據的處理和分析，需要構建一個強大的數據處理基礎設施，這包括服務器、算力、數據庫等。

目前，騰訊大數據日接入消息量超過55萬億，日實時計算量超過65萬億，平臺整體算力超過500萬核，日分析任務達到1500萬，騰訊大數據平臺的能力不斷被刷新，騰訊云已經成為國內算力最強的云廠商，同時也是日實時計算量最大的公司。

騰訊云自研的星星海服務器，對應云上實例星星海SA3可提供最高232個核心的單節點算力，能夠進一步滿足用戶在視頻編解碼、離線渲染、數據庫、AI等場景下對算力性能的需求。

數據庫方面，騰訊云原有的TDSQL、TBase、CynosDB三大產品線統一升級為“騰訊云企業級分布式數據庫TDSQL”。

作為數據的底層處理平臺，騰訊的大數據平臺也一直隨著數據處理需求的變化而升級。2009年，第一代平臺以離線計算為主要模式化，依托Hadoop生態，結合業務場景進行局部優化，處理任務通常需要小時甚至天級別時間完成。

2012年，以Spark/Storm為代表的實時計算處理框架為代表，騰訊大數據平臺的處理性能邁入毫秒時代，在開源框架基礎上重寫了核心模塊，顯著提升了性能。

2015年附近，隨著深度學習浪潮興起，騰訊大數據進入第三代，從0到1自研了機器學習框架Angel，意味著整體大數據平臺進入機器學習時代。

2019年開始，騰訊大數據在規劃第四代計算平臺，包括批流融合、數據湖、聯邦學習等新型技術，圍繞安全、智能、統一等提出了下一代騰訊天工數智融合計算平臺。

作為第四代大數據平臺，騰訊天工數智融合計算平臺把AI、大數據以及最熱門的隱私計算全都融合在一起，實現在保護數據隱私的同時，提供聯合數據分析、聯合數據建模等能力。

目前，騰訊大數據技術既可支撐內部所有業務，又可以服務各類企業、政府機構。比如，內部的企業微信、騰訊會議、微信小程序、微信支付等都在用。外部客戶包括中行、建行、招行、中國人保、太平洋保險、海通證券、江蘇消防、山東電力、湖南國電等。

騰訊天工數智融合計算平臺為何難以復制？

有些人會說，騰訊大數據平臺使用的是Hadoop、Spark/Storm等開源框架，是不是同行們也可以輕松實現騰訊天工數智融合計算平臺的能力？

其實，這個疑問是多余的。首先，沒有幾家企業具備騰訊的業務范圍和數據規模。這是少有企業具備騰訊同樣復雜的數據處理需求和數據處理能力，騰訊的業務涵蓋了社交、游戲、視頻、金融、辦公、教育等幾乎所有行業，而且多個行業都是行業領先，而同行則只覆蓋一個或幾個行業的業務。

這也讓騰訊可以在全行業中打磨自己的數據平臺，同時海量的數據處理能力也是其他同行不具備的。目前，騰訊大數據平臺日接入消息量超過55萬億，日實時計算量超過65萬億。

其次，在IaaS、PaaS以及SaaS上的綜合實力。當前一些第三方調研機構的份額排行，大多數只提供IaaS的數據，事實上除了公有云外，PaaS＼SaaS服務早就大行其道。而騰訊除了在傳統的公有云上具備領先地位外，其PaaS＼SaaS服務更是涵蓋范圍廣，服務用戶多，合計市場份額一直在國內位居第二。

得益于業務范圍廣、數據量大、云計算服務范圍廣的優勢，“騰訊大數據—天工”可以支持千億級規模的海量數據訓練，性能參數領先業界5倍，金融級安全強度的騰訊隱私計算技術已廣泛應用在醫療、金融風控、數字政務等眾多領域。

“騰訊大數據-天工”可以支持千億級規模的海量數據訓練，性能參數領先業界5倍，在此基礎上，提供3072bit加密和TEE硬件雙保險。同時，憑借自研隱私計算技術，騰訊大數據相關團隊獲得iDash 2020世界隱私計算大賽冠軍。

一句話，“騰訊大數據-天工”是難以被復制和超越的，具有極強的競爭壁壘，也必然從根本上提升騰訊云各類解決方案服務客戶的能力，實現差異化競爭。

結語

面對即將爆發式增長的萬物互聯時代，在多年技術積累和需求的強力推動下，騰訊云已經打通了IaaS+PaaS+SaaS全方位云服務體系，在服務器、算力、算法、數據庫、大數據平臺、PaaS/ SaaS解決方案上都完成了全面的布局，綜合云計算服務的市場份額領先，并保持高速增長。

可以說，現在萬事俱備只欠東風。騰訊產業互聯網業務正處在爆發前夜，值得期待！