大數據發展到了什么階段

李榮

大數據時代，大數據分析與應用大肆盛行。越來越多的大公司大企業大集團，都越來越重視大數據的影響和作用。可以說，誰搶得大數據的一手可靠資料，誰就能在未來的業務發展和拓寬中占據優勢，就能在相關領域首先拔得頭籌。但是，大數據發展前景現在到底如何，大數據的可靠性由誰說了算，大數據的真實性有誰可以保證，甚至還可以再倒退一點點來問問，如今的大數據究竟發展到了什么階段？

很少人能夠清楚地知道這一點吧！畢竟在大數據分析與應用火爆的年代，一般人都只是了解大數據的皮毛和表面，而對于大數據發展前景、大數據背后的來源及處理分析等精密的工作程序肯定不了解，也不會感興趣。而且對于一般人，也不可能會去真正弄明白大數據分析與應用背后蘊藏的種種可靠性、客觀性、真實性的來源支撐與科學手段處理。

在日新月異且喜新厭舊的技術初創企業界，已有3年歷史的“大數據”聽起來似乎已經有點過氣。雖然Hadoop在2006年已經出來，但“大數據”這個概念大概是在2012 - 2015年左右才真正火起來的。也就是在這段時間里，至少是在媒體或者專家眼里，“大數據”才開始慢慢成為了新的“金子”或者“石油”。然而，在跟業界人士交談中，大家越來越感覺到這項技術已經在某種程度上陷入了停滯或迷惑期。2017年可能是數據領域的那些一些人轉移興趣，開始沉迷于AI以及機器智能、深度學習等許多相關概念的年份。

拋開不可避免的炒作周期曲線態勢不管，我們的“大數據版圖”已經進入第4個年頭了，趁這個時候退一步來反思一下去年發生了什么，思考一下這個行業的未來會怎樣是很有意義的，看看如今的大數據到底發展到了什么階段。那么2019年大數據到底還有多大的發展和進步空間呢？我們不妨探討一下。

企業技術=艱苦工作

大數據有趣的一點在于，它不再像當初經歷過那樣有可能成為炒作的題材了。

經過炒作周期后仍能引起廣泛興趣的產品和服務往往是那些大家能夠接觸、可以感知的，或者與大眾相關聯的：比如移動應用、社交網絡、可穿戴和虛擬現實等。

但大數據基本上就是管道設施的一種。當然，大數據為許多消費者或商業用戶體驗提供了動力，但它的核心是企業技術、數據庫和分析等，這些東西都是在后端運行的，沒幾個人能看得見。就像工作在這一領域的人都知道，用一個晚上的時間就想適應企業端的新技術是不可能的。

大數據現象在早期主要是受到了與一批骨干互聯網公司（尤其是Google，Facebook，Twitter等）的共生關系的推動，這些公司既是核心大數據技術的重度用戶，同時也是這些技術的創造者。這些公司突然間面對著規模前所未有的龐大數據時，由于本身缺乏傳統的（昂貴的）基礎設施，也沒有辦法招募到一些最好的工程師，所以只好自己動手來開發所需的技術，后來隨著開源運動的迅速發展，一大批此類新技術開始共享到更廣的范圍。然后，一些互聯網大公司的工程師離職去創辦自己的大數據初創企業。其他的一些“數字原生”公司，包括嶄露頭角的獨角獸公司，也開始面臨著互聯網大公司的類似需求，由于它們自身也沒有傳統的基礎設施，所以自然就成為了那些大數據技術的早期采用者。而早期的成功又導致了更多的創業活動發生，并獲得了更多的VC資助，從而帶動了大數據的起勢。

快速發展了幾年之后，現在我們面臨的是更加廣闊但也更加棘手的機遇：讓中等規模到跨國公司級別的更大一批企業采用大數據技術。這些公司跟“數字原生”公司不一樣的是，他們沒有從零開始的有利條件，而且他們失去的會更多：這些公司絕大部分的現有技術基礎設施都是成功的。當然那些基礎設施未必是功能完備的，組織內部許多人也意識到對自己的遺留基礎設施進行現代化改良應該是早點好過晚點，但他們不會一夜間就把自己的關鍵業務取代掉。任何革命都需要過程、預算、項目管理、試點、局部部署以及完備的安全審計等。大企業對由年輕的初創企業來處理自己基礎設施的關鍵部分的謹慎是可以理解的。還有，令創業者感到絕望的是，許多（還是大多數？）企業仍頑固地拒絕把數據遷移到云端（至少不愿遷移到公有云）。

還需要理解的另一個關鍵是：大數據的成功不在于實現技術的某一方面（像Hadoop什么的），而是需要把一連串的技術、人和流程糅合到一起。你得捕捉數據、存儲數據、清洗數據、查詢數據、分析數據并對數據進行可視化。這些工作一部分可以由產品來完成，而有的則需要人來做，一切都需要無縫集成起來。最后，要想讓所有這一切發揮作用，整個公司從上到下都需要樹立數據驅動的文化，這樣大數據才不僅僅是個“東西”，而且還是那關鍵的“東西”。

部署階段

所以，這就是在經過幾年引人矚目的初創企業如雨后春筍冒頭，VC投資頻登頭條后，我們開始步入大數據的部署期和早期成熟期的原因。

更有前瞻性的大公司（姑且稱之為傳統技術采用周期的“早期采用者”）在2011-2013年間就開始實驗大數據技術，推出了若干的Hadoop試點計劃（往往是因為趕時髦）或者嘗試一些點方案。他們招募了各種各樣此前并不存在的崗位（如“數據科學家”或“首席數據官”）；他們進行了各種努力，包括把全部數據都堆到一個數據容器（“data lake”），然后希望緊跟著就會發生奇跡（往往不會）；他們逐步擴大自己的內部能力，試驗了各種供應商，從試點計劃到生產中的局部部署，然后到現在爭論要不要全企業鋪開（全范圍鋪開實施的情況還很罕見）。許多情況下，他們正處在這樣一個重要的拐點上，即經過大數據基礎設施的數年建設后，能夠展示的成果還不多，至少在公司內部的商業用戶看來是這樣的，但是大量吃力不討好的工作已經做完了，現在開始進入到有影響力的應用部署階段了。只是從目前來看，這種建構在核心架構之上的應用數量還不成比例。

接下來的一波大公司（稱之為傳統技術采用周期的“早期多數使用者”）大多數時候對大數據技術是持觀望態度的，對于整個大數據方面的東西，他們還在心存一定程度的困惑中觀望。直到最近，他們還在指望某個大型供應商（比如IBM）會提供一個一站式的解決方案，不過現在看來這種情況近期內并不會出現。他們看待這個大數據版圖的態度是心懷恐懼，在想自己是不是真的需要跟這一堆看起來并沒有什么不同的初創企業合作，然后修補出各種解決方案。

生態體系正在成熟

與此同時，在初創企業、供應商這一塊，整個第一波的大數據公司（2009 - 2013年間成立的那批）現在已經融了數輪的資金，企業規模已經得到了擴大，并且從早期部署的成功或失敗中學到了東西，現在他們已經能夠提供更成熟的、經受過考驗的產品了。少數一些已經成為了上市公司（包括2015年上市的HortonWorks和New Relic），而有的（比如Cloudera，MongoDB等）融資已經達上億美元了。

這個領域的VC融資活動仍然很有生氣，2016年的前幾周我們見證好幾輪相當可觀的后期階段大數據融資事件：Data Dog（9400萬美元）、BloomReach（5600萬美元）、Qubole（3000萬美元）和PlaceIQ（2 500萬美元）等。2015年大數據初創企業拿到的融資額達到了66.4億美元，占整個技術VC總融資額11%。

隨著該領域的創業活動持續進行以及資金的不斷流入，加上適度的少量退出，以及越來越活躍的技術巨頭（尤其是Amazon，Google，IBM），使得這個領域的公司日益增多。

在基本趨勢方面，行動開始慢慢從左轉到右（即創新、推出新產品和新公司），從基礎設施層（開發者、工程師）轉移到分析層（數據科學家和分析師）乃至應用層（商業用戶和消費者），“大數據原生應用”已經在迅速冒頭———這多少符合了我們原先的一些預期。

1.大數據基礎設施：仍有大量創新

Google關于MapReduce和BigTable的論文（Cutting和MikeCafarella因為這個而做出了Hadoop）的誕生問世已有10年了，在這段時間里，大數據的基礎設施層已經逐漸成熟，一些關鍵問題也得到了解決。

但是，基礎設施領域的創新仍然富有活力，這很大程度上是得益于可觀的開源活動規模。

2016年無疑是Apache Spark之年。自我們發布上一版大數據版圖以來，這個利用了內存處理的開源框架就引發眾多討論。自那以后，Spark受到了從IBM到Cloudera的各式玩家的擁護，讓它獲得了可觀的信任度。Spark的出現是很有意義的，因為它解決了一些導致Hadoop采用放緩的關鍵問題：Spark速度變快了很多（基準測試表明Spark比Hadoop的MapReduce快10 ～ 100倍），更容易編程，并且跟機器學習能夠很好地搭配。

除了Spark以外，還出現了其他的一些令人興奮的框架，比如Flink，Ignite，Samza，Kudu等，這些框架的發展勢頭也很好。一些思想領袖認為，Mesos（數據中心資源管理系統，把數據中心當作一臺大計算資源池進行編程）的出現也刺激了對Hadoop的需求。

即便在數據庫的世界里，新興的玩家似乎也越來越多，多到市場已經難以承受的地步，這里發生了很多令人興奮的事情，從圖形數據庫（如Neo4j）的成熟，到專門數據庫的推出（如統計時序數據庫InfluxDB），乃至于CockroachDB的出現（受Google Spanner靈感啟發誕生的融合了SQL與NoSQL長處的新型數據庫），數據倉庫也在演變（如云數據倉庫Snowflake）。

2.大數據分析：現在跟AI結合了

大數據分析過去幾個月出現的一股趨勢是，越來越關注利用人工智能（形式和風格各異）來幫助分析大規模的數據，從而獲得預測性的洞察。

其實最近出現復興的AI很大程度上算是大數據的產物。深度學習（最近受到關注最多的AI領域）背后的算法基本上是幾十年前就誕生了的，但直到最近能夠以足夠便宜、足夠快速地應用到大規模數據之后才發揮出了它的最大潛能。AI與大數據之間的關系如此緊密，以至于業界專家現在認為AI已經令人懊惱地“與大數據陷入了熱戀當中”。

不過反過來，AI現在也在幫助大數據實現后者的承諾。分析對AI、機器學習越來越多的關注也符合大數據下一步演進的趨勢：現在數據我都有了，但究竟從中能得到什么樣的洞察呢？當然，這件事情可以讓數據科學家來解決，從一開始他們的角色就是實現機器學習，否則的話就得想出模型來發現數據的意義。但是機器智能現在正在逐漸發揮輔助數據科學家的作用———只需要倒騰數據，新興的產品就能從中提煉出數學公式（如Context Relevant）或者自動建立和推薦最有可能返回最佳結果的數據科學模型（如DataRobot）。一批新的AI公司提供的產品能夠自動識別像圖像這樣的復雜實體（如Clarifai，Dextro）或者提供強大的預測性分析（如HyperScience）。

同時，隨著基于無監督學習的產品的傳播和改善，看看它們與數據科學家之間的關系如何演變將非常有趣———將來這二者是敵還是友呢？AI當然不會很快取代數據科學家的位置，但預計會看到數據科學家通常執行的更簡單一點的工作越來越多的自動化，從而可以極大提高生產力。

但不管怎樣，AI、機器學習絕不是大數據分析唯一值得關注的趨勢。大數據BI平臺的普遍成熟及其日益增強的實時能力也是一個令人興奮的趨勢（如SiSense、Arcadia Data等）。

3.大數據應用：真正的加速

隨著一些核心基礎設施的挑戰得到解決，大數據應用層正在快速構建。

在企業內部，已經出現了各種工具來幫助跨多個核心職能的企業用戶。比方說，銷售和營銷的大數據應用通過處理大規模的內外部數據來幫助找出哪位客戶可能會購買、續約或者流失，且速度越來越實時化；客服應用幫助個性化服務；人力應用幫助找出如何吸引和挽留最好的員工等。

專門的大數據應用幾乎在任何一個垂直行業都有出現，從醫療保健（尤其是基因組學和藥物研究）到金融、時尚乃至于執法（如Mark43）。

有兩個趨勢值得強調一下：

首先，這些應用很多都是“大數據原生”的，本身都是依托在最新的大數據技術基礎上開發的，代表了一種客戶無須部署底層大數據技術即可利用大數據的有趣方式———因為那些底層技術已經是打包的，至少對于特定功能來說是這樣的。比方說，ActionIQ就是在Spark基礎上開發的（或者說是Spark的一個派生），所以它的客戶能夠在營銷部門利用Spark而不需要自己部署Spark，這種情況下是沒有“裝配線”的。

其次，AI在應用層也有很強大的存在。比方說，在貓捉老鼠的安全領域中，AI被廣泛用來對付黑客、實時識別和對抗網絡攻擊。去年已經出現了一個AI驅動的數字助手行業，支持從任務自動化到會議安排以及購物等幾乎一切事情。這些解決方案對AI的依賴程度不一，從幾乎100%自動化到“有人參與”等情況各不相同，但是可以明確的是，人的能力在AI的幫助下得到了增強。

從很多方面來看，我們仍然處在大數據現象的早期發展階段，盡管已經花費了數年時間，但減少基礎設施來存儲和處理大規模數據還只是第一階段。AI、機器學習已經成為大數據應用層的一股迅猛趨勢。大數據與AI的結合將會推動很多行業的驚人創新，從這個角度來說，大數據的機會也許要比大家想象的還要大。

然而，隨著大數據繼續走向成熟，這個術語本身可能會消失，或者變得太過時以至于沒有人會再使用這個詞，這就是成功賦能技術令人諷刺的命運歸宿———由于技術的廣泛傳播，然后到達無所不在的地步，最后被人熟視無睹。