2018年數據分析的六大趨勢

Thor Olavsrud 沈建苗

數據分析和相關的數據技術與社交媒體、移動和云計算一道已成為數字時代的幾大顛覆者。隨著許多公司從2017年開始從數據生成型企業轉向數據驅動型企業，數據和分析已成為許多企業的重心。2018年，這些技術需要開始實現價值。

數據湖需要證明商業價值，否則就完蛋

多年來數據在企業界迅速積累。隨著數據源從互聯網轉移到移動端和機器，物聯網會進一步加快生成數據的速度。

實時流數據平臺提供商DataTorrent的首席執行官Guy Churchward說：“這迫切需要以一種經濟高效的方式來擴展數據管道。”

對于許多企業來說，由Apache Hadoop之類的技術作為支撐，解決方案就是創建數據湖――面向整個企業的數據管理平臺，用于以原生格式存儲企業的所有數據。數據湖有望消除信息孤島，因為它提供了單一數據存儲庫，整個企業可以將該存儲庫用于從業務分析到數據挖掘的各個方面。很多廠商號稱原始、無人管理的數據湖是無所不包的大數據萬靈藥。

雖然數據湖已被證明存儲海量數據很有效，可是從這些數據中獲取可付諸行動的洞察力卻很難。

Churchward說：“數據湖讓許多公司順利地度過了數據‘靜態和‘批處理時代。然而早在2015年，這種架構被過度使用的弊端開始顯露出來，現在數據湖成了實時數據分析的致命弱點。先放置數據再分析數據，這立刻使公司處于極大的劣勢。獲取洞察力，并盡快采取行動，然而依賴過時事件數據的公司無法看清情況、應采取的行動以及任何可能的即時補救措施。在這個方面，“足夠好”從戰略上來說很致命。

Splice Machine的首席執行官Monte Zweben贊同這個觀點。Zweben預測，2018年，“Hadoop迎來全面幻滅的時代，許多公司喪生于數據湖。這是因為把基于Hadoop的計算引擎搭起來很復雜，無法獲得投資回報。”

數據目錄專業公司Alation的戰略和聯盟副總裁Ken Hoang表示，想在2018年生存下去，數據湖就得開始證明其商業價值。

Hoang說：“在過去幾年，數據湖（新的數據傾倒場）已經歷了試驗性部署，除非它證明能實現價值，否則會開始關閉。成功數據湖的特征是擁有這樣一種企業目錄，可以將信息發掘、人工智能和信息管理結合起來，為企業提供新的洞察力。”

然而，Hoang并不認為數據湖完全失敗。他預測，數據湖及其他大型數據樞紐會通過他所謂的“超級樞紐”（super hub）找到新的生機，“超級樞紐”可以通過機器學習提供“環境即服務”（context-as-a-service）。

Hoang說：“過去25年部署的大型數據樞紐（比如數據倉庫、主數據管理、數據湖、Salesforce和ERP）導致了更多的數據孤島，而這些孤島之間無法輕易理解、關聯或共享。樞紐中的樞紐能夠跨這些樞紐關聯資產，因而實現環境即服務，這反過來會帶來更相關、更精準的預測性洞察力，從而更迅速地獲得更顯著的運營業務成效。”

MapR的首席應用架構師Ted Dunning預測會出現類似的轉變：由于大數據系統成為存儲、訪問和運營等方面的重心，企業會考慮構建一種全局數據結構，以便全面訪問來自多個數據源的數據和面向真正多租戶的系統的計算資源。

Dunning說：“我們會看到越來越多的企業將計算當成數據流，而不是當成處理完后存入到數據庫中的數據。這些數據流獲取關鍵的業務事件，體現業務結構。統一的數據結構將成為構建這種大規模數據流系統的基礎。”

自助服務數據分析專業公司Alteryx的首席戰略官Langley Eide表示，并非只有IT部門擔負起責任讓數據湖實現價值，業務部門的分析員和首席數字官（CDO）也要在2018年擔負起責任。

Eide說：“大多數分析員并沒有充分利用涌入數據湖的大量非結構化資源，比如點擊流數據、物聯網數據和日志數據等，主要是由于這些數據很難利用起來。而事實上，如果分析員不去處理這些數據，就沒有盡到責任。人們普遍認為，許多數據湖是不良資產――人們不知道有什么數據、如何訪問數據，或者如何從數據獲取洞察力。更多的CDO和企業希望從數據湖獲得更高的投資回報，這個現狀在2018年會發生變化。”

Eide預測，2018年我們會看到分析員們將Excel和SQL之類的“蠻力”工具換成更注重編程的方法和技術，比如數據編目，從數據中發掘并獲取更多的價值。

CDO將成熟起來

由于新的趨勢是從數據中獲得更好的洞察力，Edie還預測CDO的角色在2018年會成熟起來。

“數據實質上是新的石油，CDO開始被認為是解決當今企業最重要的問題：從數據中獲取價值的關鍵角色。由于預算通常不到1000萬美元，CDO面臨的最大挑戰和機遇之一就是，讓企業的數據資產更貼近業務用戶，從而使大加宣傳的自助服務機會成為現實。2018年，努力在集中式功能與嵌入在業務部門的功能之間取得平衡的CDO最終將獲得更多的預算。”

Eide認為，讓資源、技能和功能能夠在卓越中心和業務部門之間迅速轉移的CDO將會取得最大的成功。為此，敏捷的平臺和方法是關鍵。

數據管理員崛起？

數據分析初創公司Dremio的首席執行官兼聯合創始人Tomer Shiran是Apache Arrow開源項目發展背后的一大推手，他預測企業會需要一種新的角色：數據管理員（data curator）。

Shiran表示，數據管理員介于數據使用者和數據工程師之間。數據使用者是指使用Tableau和Python等工具，用數據來解答重要問題的分析師和數據科學家，而數據工程師是指使用腳本語言、Spark、Hive和MapReduce在系統之間移動和轉換數據的人員。要想獲得成功，數據管理員不但要了解運用于數據的技術，還要了解數據的含義。

Shiran說：“數據管理員負責了解整個企業內不同的群體需要執行的數據分析類型，了解哪些數據集非常適合于這項工作，并了解需要哪些步驟將數據由原始狀態轉換為數據使用者執行的工作所需的形態和形式。數據管理員使用自助服務數據平臺之類的系統，加快讓數據使用者便于訪問必要數據集的端到端過程，無需制作無數的數據副本。”

數據治理戰略將成為所有高管的重要課題

歐盟的《通用數據保護條例》（GDPR）將于2018年5月25日生效，它如陰霾一般籠罩在數據分析領域的上空，可是并非所有企業做好了準備。

美富律師事務所（Morrison & Foerster）全球隱私和數據安全部門的多位律師解釋，GDPR將直接適用于歐盟所有成員國，它徹底改變了公司征得同意后才能收集和處理歐盟公民數據的方式。這些律師包括：全球隱私業務部聯合主任Miriam Wugmeister、歐洲隱私專家Lokke Moerel以及全球風險和危機管理業務部主任John Carlin（美國司法部國家安全司前總檢察長助理）。

他們解釋：“那些有賴于征得同意才能開展所有處理工作的公司再也無法這么做，需要具備其他的法律依據（即必要的合同條文和合法權益）。公司要實施一套全新的生態系統來進行通知并征得同意。”

雖然GDPR處罰金額可能很高――行政罰金可能高達2000萬歐元或全球年營業額的4%（以金額高者為準），但許多企業、尤其是美國企業并沒有做好準備。

Hortonworks的首席技術官Scott Gnau說：“千年蟲問題來臨時，每個人都在為是否真正碰到不好說的問題做準備。今天，似乎很少有人為2018年5月即將實施的GDPR做準備。為何如此？我們目前處于這樣一個階段，每個企業不僅要處理‘接下來的工作，還要努力處理需要解決的問題。許多企業可能依賴首席安全官來確定規則、系統和參數等，幫助全球系統集成商找出最佳的行動方案。但要讓一個人來完成這項工作是不現實的。”

Gnau表示，正確貫徹GDPR需要企業高管充分了解，做好準備，并與本企業的各部門進行溝通。企業需要在數據資產的整體治理方面有更大的把握。但是重大數據泄密（比如2017年曝光的Equifax數據泄密）意味著，它們會努力在讓員工自助訪問數據與保護同樣這些數據免受潛在的威脅之間求得平衡。

因此，Gnau預測數據治理將成為2018年所有企業關注的重點。“一個關鍵的目標應該是，開發出一套兼顧數據民主化、訪問、自助分析和監管的系統。將來我們為數據安全地設計架構的方式將影響到每個人：美國和海外的客戶、媒體和合作伙伴等。”

多云數據管理專業公司Veritas Technologies的解決方案營銷主管Zachary Bosin預測，美國公司會是最先依據GDPR受到處罰的企業之一。

Bosin說：“盡管截止日期馬上就到，但Veritas在全球調查的公司中只有31%認為自己符合GDPR。對違規行為的處罰非常嚴厲，該法規將影響到與歐盟公民打交道的任何一家公司。”

元數據管理繼續盛行

當然，擺在面前的不僅僅是GDPR。數據日益泛濫，全球各國政府因而在制定新的法規。在企業內部，團隊訪問數據的現象比以前普遍得多。這一切使得數據治理以及數據質量、數據整合和元數據管理顯得更為重要。

分析軟件提供商Infogix的產品管理高級副總裁Emily Washington說：“除了人工智能和物聯網等早期的趨勢外，現在多了元數據管理和確保數據隱私以符合GDPR等法規，但2018年一個令人意外的趨勢將是數據管理技術的融合。企業在日益評估簡化整體技術架構的方式，因為它們想成功地利用大數據和分析技術來打造更好的客戶體驗，實現業務目標，獲得競爭優勢，并最終成為市場領導者。”

Williams表示，獲取有意義的洞察力并提高運營效率需要靈活、整合的工具，好讓用戶迅速獲取、準備、分析和治理數據。尤其是，元數據管理對于滿足企業數據環境中的數據治理、法規遵從和數據管理需求將至關重要。

預測分析有助于改善數據質量

隨著數據項目進入到生產環境，數據質量日益受到關注。隨著物聯網進一步打開數據閘門，尤為如此。Infogix表示，2018年企業會借助機器學習算法，改善數據質量異常檢測。通過利用歷史模式來預測未來的數據質量結果，企業可以動態檢測原本被忽略的異常情況，或者只有通過手動干預才能在后期階段發現的異常情況。

Washington說：“由于更多的數據通過物聯網等技術而生成，管理和利用數據變得越來越難。集成的自助工具提供了全面的企業數據視圖，以便得出及時而有意義的結論。進入到2018年，企業的數據資產做到完全透明對于成功的數據分析項目將至關重要，以便滿足數據治理和隱私要求、用數據資產來賺錢等等。”