Splunk“魔法”：把機器數據變成答案

宋辰

把非結構化的機器日志“提純”成不同層級的結構化數據分析表，并通過可視化的方式展現出來，這正是大數據分析一直在找尋的答案。

IDC的調查報告顯示：企業中80%的數據都是非結構化數據，而這些數據每年都在按指數增長60%。

面對爆炸式增長的數據，企業挖掘到大數據中的潛在價值，才能實現“數據為王”。

Splunk是一家在舊金山有著13年歷史的年輕公司，其商業智能軟件可以實時對APP、服務器或網絡設備的機器數據進行索引、監控與分析，并將結果生成圖形化報表，而這一過程在幾分鐘內就可以完成。IT運營、應用管理、安全合規、網絡智能與商業分析，Splunk的這些主要業務功能正迎合了大數據時代企業對數據應用的需求。

從機器數據到商業

優勢

如果把結構化的數據比喻成一份“數據菜單”，那么，非結構化的數據就像一個大型的雜貨店。

互聯網用戶在論壇、微博、微信或其他渠道發表各種評論，企業日常運行中的服務器日志等，這些非結構化數據來自于移動互聯網、物聯網，以及服務器、存儲和網絡等基礎設施中的機器數據。機器數據具有數量龐大、增長速度快、復雜性高、多樣化的特點。

相比結構化的數據庫數據，非結構化數據是無法用固定結構來邏輯表達實現的數據，這就決定了使用非結構化數據需要更多數據工程師或高級分析師。即便分析師熟悉相關的數據，對每個業務問題，都需要他們具備數據工程相關技能來應對潛在的復雜數據準備過程。但是，這不僅需要一系列特定的技能，并且非常耗時，因此用來支持分析和決策的時間就所剩無幾了。如何將非結構化數據轉化成結構化數據，對于公司規模化高效處理業務問題在人力成本和經濟效率方面都具有重要價值。

在迪拜國際機場，每年9000萬旅客過境，預計2020年旅客數量將達到1億人，目前機場的兩條跑道已經滿負荷運營，要解決客戶滿意度，辦法只有提高跑到使用效率。通常，機場安檢需要耗時10分鐘，迪拜機場通過密集分布的傳感器來初步檢測旅客的“安全等級”，并根據檢測級別分配安檢通道；一年1.5億件行李，每小時到達的6000名旅客在行李未到時，手機上就會接收到行李何時送達，以及傳送帶提取信息；現在，迪拜機場提前4小時就可以預測到即將有多少乘客到達。這些改變，來自Splunk系統的部署。迪拜國際機場安全事務副總裁Michael Ibbitson表示：“如果使用得當，Splunk系統僅在能源上，就能為迪拜機場每年節省2500萬美元支出。”

歐洲貨運公司DB Cargo在其擁有的2000節列車車廂內安裝了Splunk系統，通過分析結果預測列車哪里存在問題，是否需要維修；致力于打擊全球販賣人口的非營利組織Global Emancipation Network使用Splunk系統的分析技術關聯看似不同的電話號碼數據集、廣告信息來發現販賣團伙，實現快速地收集信息、快速地行動。

Splunk總裁兼首席執行官Doug Merritt表示：“在眾多的成功案例中，Splunk已經幫助非盈利組織使用分析技術來打擊販賣人口，優化交通運輸領域的太陽能發電，加速人道主義和災難應急響應。Splunk的數據分析曾幫助了企業的成長和成功，而現在，Splunk使世界各地的個人、各種社區、非盈利組織和教育機構同樣也取得了成功。Splunk與我們的合作伙伴一起，正在利用機器數據來改變世界。”這些機器數據可以是日志、配置文件、消息和告警等，既可以來自本地，也可以來自云。

在“第八屆Splunk年度大會conf2017”公布的最新數據顯示，在全球財富100強中有超過85家公司都在使用Splunk，而Splunk在全球的企業用戶有14000多家。

安全這根“中樞神經”

日志分析除了用于運維監測外，新興的大數據安全市場同樣有其用武之地。

在安永最新發布的第19屆《全球信息安全調查報告 》中提到，過去兩年中，有87%的董事會成員和企業高管都表示對其公司層面的網絡安全缺乏信心；64%的企業沒有或只有非正規的威脅情報計劃；55%的企業沒有或只有非正規的漏洞識別能力。

“傳統的安全思路，像家里的防盜門，一層層加防護，但是總有人會進來。后來，我們才會意識到，對于防盜來說，最重要的是監視系統，它可以及時發現入侵，并發出警報。”Splunk全球安全事業部總經理和公司高級副總裁宋海燕說，“Splunk認為，安全最重要的是可以提供預測性防護，及早發現、及時解決。”

隨著與外部機構的互聯不斷增加，企業生態也在快速壯大，數據交換量與日俱增。Splunk想做的是“安全指揮中心”。Splunk自己不做終端、網絡、加密，但其客戶會有此類產品，為了讓客戶對信息安全情景有一個全方位的認知，Splunk會將數據收集起來，將關聯分析的結果提供給客戶。Splunk能帶給客戶的最大幫助是通過與40多個合作伙伴的合作，收集各個方面的數據，做出動態性的響應，從而及時預測漏洞。

“從安全角度看，借數據的關聯關系發現潛在風險屬于業界前沿；再下一步是機器基于數據訓練、學習，做出自動化的判斷。”安永大中華區風險咨詢服務高級經理高軼峰表示，“但這些的前提都是建立在足夠數據采集量的基礎之上，內部的日志收集的全不全，外部的情況是否夠多、夠準確。”

盡管在安永的那份報告中，55%的受訪者表示在接下來的12個月內，其網絡安全預算還會繼續上浮。可是，保障網絡安全需要的不僅僅是預算。

安永風險咨詢服務部合伙人顧卿華表示，與企業業務穩定性、合規性這些最基礎要求有關的投入是必須要發生的。

使用 Splunk 可以利用企業現有的所有系統，包括安全系統，在幾分鐘內收集、分析和實時獲取數據，并從中快速找到系統異常問題和調查安全事件，監視端對端基礎結構，避免服務性能降低或中斷，以較低成本滿足合規性要求，實現自動的SOC（安全運營中心），相當于為企業提供了一個安全研究團隊。endprint

Ai支點可以撬起

什么？

不同于其它大數據分析公司，Splunk強調自己是在收集數據的時候“不建模”。對此，Splunk公司IT市場高級副總裁Rick Fitz解釋道：“我們按照時間線分類儲存，只是儲存原始數據，并沒有增加額外費用。研究表明，客戶對數據是按照新舊數據來使用，熱數據是馬上要處理的，冷數據會放到更便宜的存儲上。冷凍數據不到合規時一般不會用。當傳感器采集來的新數據進來，老的數據慢慢被淘汰掉，新的數據做標簽，以備日后提取。”Splunk將搜集來的機器數據編成索引，并提取企業原有數據進行對比，分析出更有價值的結果。

數據是一種戰略優勢，企業正在尋找將數據轉換為答案最快、最有效的方法。Gartner在《2017年度10大戰略技術發展趨勢》的報告中提到，人工智能（AI）和先進的機器學習技術是被廣泛關注的新興技術，將在企業甚至整個行業中掀起革命浪潮。它們能夠大幅度降低勞動力成本，產生意想不到的新見解，從原始數據中發現新模式，并建立預測模型。

Splunk首席產品官Richard Campione表示：“機器學習對于客戶成功和Splunk的發展都非常重要。我們的無縫集成功能使每個人都能夠使用機器學習，我們的客戶可以更好地預測未來結果，更有效地分析他們的數據。隨著任何人都可以使用的機器學習和評價指標的發展，Splunk Enterprise 7.0和Splunk Cloud能夠比以往更快速、更容易地提交任務關鍵問題的答案。”

Splunk Enterprise 7.0和Splunk Cloud是在“第八屆Splunk年度大會conf2017”上最新發布的Splunk大數據分析產品。Splunk公司產品營銷總監Jon Rooney表示，利用機器學習，新的系統取消了人工的規則和配置，通過數據訓練，可以減少系統警告數量和宕機情況的發生。

評價指標監測和報警加速了至少20倍，核心搜索技術經過優化，速度提高了3倍。采用這些增強措施后，客戶可以使用Splunk平臺，通過集成由強大的可擴展算法支持的機器學習技術，預測未來IT、安全和業務成果。機器學習技術的發展使得用戶能夠對數據進行收集、準備、轉換、探索，以及可視化操作，并發布數據深度分析結果。

Splunk在亞洲市場看到了很大的機會。“我們從澳大利亞開始進入亞洲，現在來到中國。目前已經找到了中國本土的SI合作伙伴，并與OEM結為合作伙伴。與在全世界一樣，Splunk通過構建合作伙伴生態，讓更多企業更快地使用Splunk平臺實現數字化轉型。”Splunk公司首席營銷官Brian Goldfarb表示。endprint