大數據分析：云推動的變革正在進行中

James Kobielus

與幾年前的行業應用相比，今天的大數據分析市場已經截然不同。未來十年，這一全球性行業的各個領域都將掀起變革、創新和顛覆的浪潮。

在最近發布的市場研究年度更新報告中，SiliconAngle媒體分析集團Wikibon發現，全球大數據分析市場2017年比前一年增長了24.5%。這比上一年報告中預測的要快得多，主要原因是公有云的部署和應用比預期要強，以及平臺、工具和其他解決方案的加速融合。而且，企業通過大數據分析更快地走出試驗和概念驗證階段，并從部署中獲得了更高的業務價值。

展望未來，Wikibon預測到2027年，大數據分析市場整體年增長率將達到11%，全球達到1030億美元。未來幾年市場的大部分增長是依靠物聯網（IoT）、移動和其他邊緣計算等應用領域采用大數據分析來維持的。

未來十年大數據分析發展的主要趨勢

正如Wikibon研究所證實的，未來十年將推動大數據分析行業發展的主要趨勢如下：

·公有云提供商正在擴大其影響范圍。大數據行業匯聚了三大主要公有云提供商——亞馬遜網絡服務、微軟Azure和谷歌云平臺，大多數軟件供應商開發的解決方案都是在這些平臺上運行的。這些和其他大數據公有云提供商，包括IBM和Oracle這些老牌的大數據供應商，提供托管IaaS和PaaS數據湖，鼓勵客戶和合作伙伴在其上開發新的應用程序，并遷移老的應用程序。結果，純數據平臺/NoSQL供應商似乎變得平淡無奇，在多元化公有云提供商占據主導地位的大數據領域被逐步邊緣化了。

·公有云相對于私有云的優勢在繼續擴大。公有云正在成為每一客戶群首選的大數據分析平臺。這是因為公有云解決方案比本地堆棧更為成熟，增加了更豐富的功能，而且在總體擁有成本上更有競爭力。相對于為本地部署所設計的大數據分析解決方案工作環境，公有云能夠更迅速地擴展其應用程序編程接口生態支持系統，增強其管理工具。

·企業大數據工程在全面部署公有云的過程中，中間會采用混合云作為過渡。很多大型企業的大數據計劃都會考慮混合云，但主要是作為一種過渡策略。這是因為企業越來越傾向于把更多的大數據資產放在公有云上。認識到這一趨勢后，傳統的大數據供應商正在針對混合應用情形優化其產品。出于同樣的原因，正在重新設計基于本地的大數據平臺以便在公有云中部署。

·基于云的大數據孤島融合幫助企業加速實現時間價值。用戶開始加快將其孤立的大數據資產整合到公有云中。公有云提供商成為主流，打破了迄今為止一直困擾企業私有大數據架構的跨部門孤島。同樣重要的是，不論基于云的還是基于本地的大數據解決方案都正在融合為集成產品和服務，以降低復雜度，加速實現時間價值。更多的解決方案提供商正在提供標準化的API，目的是簡化訪問、加速開發，在其大數據解決方案堆棧中實現更全面的管理。

·創新的大數據初創公司把越來越復雜的人工智能應用推向了市場。創新的應用程序提供商借助于人工智能解決方案，開始顛覆大數據競爭格局。對于新進入市場的企業，其大部分創新都是針對公有云或者混合云部署而設計的，在每一個大數據領域都掀起了競爭浪潮。過去幾年中，很多數據庫、流處理和數據科學新初創公司進入了市場。

·顛覆性的大數據方法正在成為既有平臺的可行替代方案。不久之后，融合了物聯網、區塊鏈和流計算的下一代技術領域將出現新一代的“ 獨角獸”大數據平臺提供商。大部分這些下一代大數據平臺將針對機器學習、深度學習和人工智能的管理端到端DevOps流水線進行優化。而且，大數據平臺正在被設計成用于人工智能微服務以及邊緣設備中。

·Hadoop正在成為一個大數據難題。我們看到的跡象表明，市場把Hadoop視為一種傳統的大數據技術，而不是顛覆性的業務應用戰略平臺。然而，Hadoop是一種成熟的技術，廣泛應用于很多用戶IT部門中的非結構化信息提取等關鍵應用情形中，在很多企業中仍然有很長的使用壽命。從長遠考慮，供應商通過在獨立開發的硬件和軟件組件之間實現更平滑的互操作性，來增強他們的產品服務。

·用戶在開放的生態支持系統中越來越多地混合部署多家供應商的大數據產品并進行匹配。很少有大數據供應商提供采用了私有、非標準，或者非開源組件的解決方案。客戶正利用當今競爭激烈的市場，借助大數據分析供應商不斷增強自己。反之，供應商則將他們的工具分散到模塊化體系結構中，在這種架構中，客戶可以在各種功能級別上交換組件。在鎖定一家全堆棧供應商已經成為過去的市場上，對于希望持續獲得市場份額的供應商而言，這是最好的方法。

·采用創新方法對數據庫進行解構和重組。從架構的觀點來看，我們所熟悉的數據庫越來越少了。展望未來，流、內存和無服務器大數據分析基礎設施將占據絕對主導地位。供應商正在探索新的方法來重新構建核心數據庫功能，以滿足新出現的需求，例如自動機器學習流水線和面向邊緣的認知物聯網分析等。在這一演進過程中，越來越多的高性能業務分析功能被集成到各種類型的數據平臺中，導致分析和應用數據庫開始融合。此外，數據庫存儲引擎正在成為主要用于機器數據的存儲庫，通過關鍵值索引和對象模式等可選結構對這些數據進行尋址。

大數據增強型編程會越來越復雜。開發人員能夠使用越來越多的不同DevOps工具，自動完成機器學習、深度學習、人工智能和其他人工智能資產等各種任務的開發、部署和管理。越來越多的這些解決方案是利用專門的機器學習算法來推動超參數調整等機器學習開發功能。

·封裝好的大數據分析應用程序變得更加普及。在未來十年中，更多的用戶將通過預構建、預訓練和模板化云服務的形式獲得大數據分析解決方案。更多的這些服務將自動適應并調整它們的嵌入式機器學習、深度學習和人工智能模型，以不斷交付最佳業務成果。更多的這些服務將結合經過預先訓練的模型，客戶可以對其進行調整和擴展，以滿足自己的具體需求。

大數據分析演進和部署面臨的障礙

盡管針對大數據分析應用的預測看起來很樂觀，但仍然一直有一些問題，這些問題使得用戶很難最大限度地發揮出這些技術的投資價值。其中最主要的有：

·過于復雜。大數據分析環境和應用仍然過于復雜。供應商應繼續簡化這些環境的接口、體系結構、特性和工具。這樣做將使得復雜的大數據分析功能能夠被主流用戶和開發人員所使用，很多這類人員所在的企業缺乏具有必要專業技能的IT員工。

·繁瑣的開銷。對于很多IT專業人員而言，大數據分析管理和治理過程仍然過于孤立，不但成本高而且效率低。供應商需要建立經過預封裝的工作流程，幫助大批專業人才更有效、迅速、準確地管理數據、元數據、分析和服務功能。

·過長的流水線。大數據分析應用開發和運營流水線仍然太耗時，而且是由人工完成的。供應商需要加強工具的自動化功能，以便提高用戶技術人員的工作效率，同時確保即使是技術能力不太高的人員也能處理復雜的任務。

·客戶應用。大數據分析專業服務仍然是開發、部署和管理很多自定義應用程序的基礎。對于跨混合云的數據驅動應用來說，這一點尤其適用，因為這些應用涉及到不同的平臺和工具，并包含了難以理解的復雜的數據過程。供應商應針對普通大數據分析應用加強經過預封裝的應用內容，同時給用戶提供自助服務和可視化工具，在沒有外部幫助的情況下也能夠完成具體的復雜業務邏輯。

對于企業IT，Wikibon的主要建議是開始將更多的大數據分析開發工作遷移到公有云環境中。這將有助于提高利用亞馬遜網絡服務、微軟、谷歌、IBM和其他公有云提供商提供的快速成熟、低成本服務的能力。企業應該考慮構建企業混合云，以確保在未來幾年順利過渡到公有云。

James Kobielus是SiliconAngle Wikibon的人工智能、數據科學以及應用開發首席分析師。

原文網址

https：//www.infoworld.com/article/3261145/big-data/big-data-analytics-the-cloud-fueled-shift-now-under-way.html