如果您的數據湖變成了數據沼澤，那么是時候采取措施了

John+Dix

與德勤的分析實踐領導討論常見的分析問題和新的解決方案

編譯 charles

作為Deloitte分析實踐的領導，Paul Roma指導公司所有業(yè)務的分析產品，所以他了解公司要應對的一系列問題。《網絡世界》總編輯John Dix最近和Roma討論了公司面臨的分析問題（提示：上面提到的沼澤），幫助提取更多價值的工具（認知分析和機器學習），還有不斷發(fā)展的執(zhí)行管理角色（標題并不重要，重要的是問題歸誰）等很多問題。

客戶通常希望您解決什么問題？他們想要解決一個具體的問題，還是更大的問題，關鍵的分析問題？

一般而言，我們的工作是要得到具體的業(yè)務成果。客戶可能希望提高他們的消費者凈推廣得分（NPS，Net Promotion Scores），這是對消費者與某一公司及其產品的關系進行評分的行業(yè)標準。它之所以稱為凈推廣，因為它是啟發(fā)式的，把幾個因素綜合在一起，并建立一種方式來判斷您自己。再比如，醫(yī)療機構可能來找我們，幫助他們改進某些醫(yī)療保健協(xié)議的結果，所以我們通常談論的是業(yè)務成果。

通過訪談，您發(fā)現公司有他們需要的分析工具，或者他們也在尋找新技術輸入嗎？

較大的客戶會擁有分析工具。我們到訪的公司中沒有一家是什么都沒有的。問題更多地集中在使用上，而不是數據短缺，因為他們有大量的數據。現在，經過多年的積累，一般都會有匯總起來的數據倉庫或者數據湖。但是，我已經看到數百萬美元花在了數據湖上，實際成為我所謂的數據沼澤。他們花了所有的錢把一切都放在一起，而不對其做任何事情。現在的主要問題是怎樣使用數據獲得更好的結果。

考慮到有這么多的數據和許多挖掘數據的各種工具，您打算怎樣幫助客戶向前推進呢？

我提供三種方法來思考它。首先，如果您是基于結果，那么您會面對某些問題來解決問題。如果我想改進消費者關系，或者如果我想改進醫(yī)療保健的結果，那您至少是基于您想做什么。在分析數據時，經驗會引導您創(chuàng)建某些域，并采取非結構化數據湖，開始應用結構化邊界。

一旦做好了，您就可以開始使用更高級的工具，例如認知分析工具，在數據湖上應用結構，使用自然語言處理和機器學習，從數據中得出推測。

先進的技術已經不僅僅是提交報告，然后查看圖表，了解其含義。現在，機器學習實際上可以創(chuàng)建因果分析，告訴您哪些變量的前提是什么，或者哪些數據域對特定結果最有影響。例如，在醫(yī)療保健中，機器能夠說明為什么某一規(guī)程的重新住院率較高。因果分析導致這類分析。

先進的技術可能最能幫助我們去理解所有數據。沒有先進的技術，就沒有辦法深入分析。沒有工具來深入分析數據，只是運行報告會產生無盡的紙張，坦率地說，您永遠不可能讓任何人理解。

我們在很多業(yè)務中采用了定制的算法——無論是在醫(yī)療保健、供應鏈還是客戶營銷上，還采用了機器學習算法和監(jiān)督學習周期工具，我們可以針對他們的數據運行這些工具，得出推測，您可以憑借經驗來研究這些推測。

有趣。這些算法適用于縱向市場，建立這些算法有沒有一個共同的基礎？

我們有水平和縱向市場。縱向市場調整到制造業(yè)中的供應鏈或者消費品中的供應鏈，以及生命科學領域的治療方案等市場，而水平市場始終不變。（后者的一個例子）是我們獲得專利的稀疏矩陣完成算法。如果某一特定問題的數據湖并不足以滿足您需要的所有變量，它運行預測算法來填充它，并創(chuàng)建關于趨勢的假設。我們按照與大型醫(yī)療保健公司的糖尿病協(xié)議來運行它，準確性達到93%，我們可以推測出誰不符合他們的糖尿病協(xié)議，而且并不需要與其相關的任何合規(guī)數據。

這意味著您可以推測出誰沒有做自己應該做的事情？

是的。例如，有人沒有稱重，有人沒有做運動。它不能準確預測他們沒有做什么，因為我們剛剛開始，但它可以預測誰不合規(guī)。我們希望將其準確度提高到90以上，然后我們將能夠審查整個醫(yī)院系統(tǒng)，因為在這一點上變得可以預測。在出現合規(guī)問題之前，您可以看到趨勢得分。這個人有可能不合規(guī)，然后您可以讓護士給他打電話，問他，您吃胰島素的時候遇到麻煩了嗎？您沒有做運動是有什么原因嗎？您沒有去看醫(yī)生，是因為您乘車遇到問題了嗎？您可以開始尋找治療方案中的具體問題，以嘗試提供幫助。

這是您合同結束后留下的嗎？

過去四年里，德勤已經成為產品和軟件提供商。這是我以前努力的結果，為我們的公司開發(fā)出產品和解決方案，所以我對此非常熟悉。我們現在提供軟件即服務產品，如果您愿意，我們會留下安裝解決方案。我們都能做到。這不過只是涉及到我們要解決哪個問題——哪個是最有意義的，哪個是最經濟的。

這類分析的促因來自于企業(yè)內部？

我認為最強的促因來自于業(yè)務部門，而不是董事會。我們?yōu)楣芾砣藛T提供了很多工具，但通常您從業(yè)務主管開始，成功后，業(yè)務主管將其呈現給CEO和董事會，它變得更受歡迎，通常再應用到下一個業(yè)務部門。

我和一家金融公司的首席數據官談過話，他告訴我，當他們開始一些大數據工作時，他們必須對關鍵客戶數據的一系列差異進行協(xié)調。這對于很多企業(yè)而言是不是很典型？

是的。老實說，管理好數據似乎永遠有問題。用于管理數據的工具變得越來越好，但是數據產生的速度太快，超過了工具的能力所及。這是一個非常典型的問題，是一個關鍵的方向性問題。它幾乎成為每個問題的核心。

對于首席數據官——首先出現在金融領域的職務，但似乎更多的行業(yè)也出現了這一職務。隨著對分析的重視程度的提高，您會看到有新角色出現嗎？

絕對有。在某些企業(yè)中，首席營銷官就是首席數據官。在其他企業(yè)中，首席數字官是擁有數據的人。我們首先要理解的第一件事是，誰擁有它，在哪一級別擁有的，什么級別的管理層真正的擁有數據。我們不需要鼓勵每家企業(yè)都有CDO。我們鼓勵的是數據適當的所有權和管理權，這樣可以優(yōu)先處理數據。

大多數客戶解決這種所有權問題了嗎？

一半一半。我要說的是，有一半的情況是，公司正處在這一過程中，他們會有一個路線圖，其中會說明要通過哪些方式來提高數據安全性，通過哪些方式來改進先進的分析方法，他們會討論如何讓客戶更好的掌握數據。

另一半在各方面還沒有路線圖，在這些情況下，我們通常建議把很多這類計劃放到一起，從供應鏈到營銷、制造、金融等等，都可以努力得出更好的業(yè)務結果。把計劃放在一起，組織起來使用會更劃算。

談點別的，這些新的物聯(lián)網投入有沒有帶來其他的大數據問題，沒有嗎？您看到了什么？

我們現在有相當大的物聯(lián)網實際應用，需求迅速攀升。從它是一個數據問題來說，我們參與其中是因為某些成果策略存在問題，因為物聯(lián)網項目通常比較昂貴而且耗時，很少有進展很快的項目。在過去的3到5年里，我們看到公司不斷投入，并沒有得到他們想要的回報。現而在的技術便宜得多，更好用。從我們的角度來看，我們認為它現在已經準備就緒了，取決于使用情況，我們看到了需求，有的正在實施，實現了投資回報。

還有沒有任何其他重要的事情，我在這里沒有想到的，但卻急于解決的？

我們沒有談到的一個趨勢是認知。您如何構建直觀的系統(tǒng)，我可以采用它，開始像我們一樣思考，開始理解口語，開始理解圖像和圖片？

谷歌預測，在未來三年內，超過50%的搜索是以音頻、圖片和視頻的形式出現的。讓我說的話，他們錯了一年。讓我說應該是四年。這種變化仍然非常大，將滲透到業(yè)務，滲透到我們的流程，滲透到應用程序中。

我們的企業(yè)系統(tǒng)解釋口語和非結構化數據的能力以及以這些方式與我們互動的能力正在快速發(fā)展。我們有很多這方面的項目。它是很多行業(yè)中巨大的投資領域。

具體而言？

第一是醫(yī)療保健，其次是金融服務。但所有行業(yè)都會有投入，包括酒店和休閑業(yè)，這是因為消費者的參與。由于客戶的參與，酒店業(yè)一直是消費品的巨大用戶。我會說，您參與的程度越高，這些技術對您的幫助越大。

醫(yī)療保健領域有什么例子？

一個很好的例子，我們采用了其中的幾個，使用認知技術建立一個實際案例，獲取電子病歷、藥房處方記錄、家族病史和健康風險評估，并在入戶之前為醫(yī)生編輯好這些內容，突出顯示它們，“您需要看看這部分血液差異（這基本上是一次血液測試），因為LDL超出范圍，大細胞是有問題的”，開始實際分析并提供建議。

然后醫(yī)生可以反問：“你能給我推薦藥物嗎？”它會給出建議——“我會推薦這種藥物，但不會使用這個，因為家庭病史有X類型過敏反應，因此這種藥物禁止使用。”

機器可以在實時對話中給您提出這些建議。機器建立了一個認知鏈，允許您進行各種對話，它學會如何跟隨醫(yī)生，推斷他們會問什么問題。第一次使用它時，它并不會去查看所有藥房處方，提出建議。但是當醫(yī)生每次都問時，它會將其添加到告訴醫(yī)生的第一件事情中，隨后它會做到這一點。沒有任何人編寫軟件，系統(tǒng)開始變得更聰明。您訓練它而不是開發(fā)它。坦率地說，這一趨勢顛覆了我們的參與方式，也顛覆了我們的開發(fā)方式，以及我們考慮系統(tǒng)及其應用的方式。

（作者John Dix最早是在IDC從事網絡和分布式處理開發(fā)，1986年幫助創(chuàng)刊《網絡世界》，隨后就職于《計算機世界》。）

原文網址：

http：//www.networkworld.com/article/3159555/big-data-business-intelligence/if-your-data-lake-turned-into-a-data-swamp-it-might-be-time-to-take-the-next-step.htmll