別被物聯網數據洪流淹沒

隨著物聯網（IOT）的普及應用，我們開始進入萬物互聯的世界。借助供熱系統、生產控制系統和幾乎無所不在的RFID，企業收集了大量數據。雖然具體到不同企業程度不同，但是大家都在向這個目標邁進，這一點確定無疑。

這有好有壞。好的是，有了這些數據，公司得以運營得更有效率，員工更聰明地工作，企業營收也會增加。不好的是，很少有公司已經為處理這么龐大的數據量做好了準備。幸好，在這條路上已經有不少公司做出了大膽探索，并且已經取得了不錯的效果，比如物聯網的先驅GE、英特爾等。接下來我們來看看他們是如何做的。

問題之所在

在正式開始之前，我們先看看數據量的問題有多嚴重。根據銷售大數據分析平臺的公司Datameer提供的數據，到2019年將有高達350億的設備會連接到互聯網，這些設備中內嵌的傳感器將產生大約4萬EB的數據。這是關于數據量的。

而在數據類型方面，情況同樣異常復雜，因為涉及的數據可以是任何東西產生的。例如，制造企業可以使用傳感器來檢查他們的工廠和設備，以確保一切運行順利或者用以改善制造工藝;零售商可以使用它來更好地跟蹤銷售，了解供應鏈的情況;甚至我們日常使用的家用設備也會收集數據來進一步方便我們的生活。

因此，當我們看到埃森哲和GE發起的一項聯合調查顯示，大數據是企業當下最關注的事情也就不足為奇了。88%的受訪高管說，大數據是它們的三大重點工作之一。82%的受訪人還表示，在未來三年內他們將新建或在現有的數據處理和分析平臺中新增大數據能力。

GE的IOT之路

從各方面來看，GE都堪稱物聯網和大數據應用的先驅。GE將物聯網和大數據技術應用到其自己的企業中，并為那些希望充分利用物聯網數據的公司提供服務。GE公司的業務范圍很廣，從航空到能源管理，到醫療保健、石油和天然氣、交通運輸等，隨著其工廠分布到世界各地，它不得不比大多數其他公司更早地面對物聯網的數據洪流。

GE將自己處理物聯網數據的經驗進行了總結，形成了針對物聯網和大數據的可供銷售的產品和服務，這個業務歸屬于GE智能平臺事業部。GE智能平臺軟件首席軟件架構師Rich Carpenter認為，大多數希望利用物聯網數據的企業面臨的第一個挑戰是收集數據，這個任務的艱巨程度要遠遠超過你的想象。

“GE面臨這樣的問題就很多。”他說，“我們有400工廠分布在全球，還有數量驚人的未連接進來的設備，因為很多設備在互聯網開始流行之前就已經安裝了。”

他介紹說，GE將設備分為三類，即完全無需連接的設備、能夠連接但需要做一些工作來完成連接的設備，以及已連接或很容易就可以連接的設備，然后針對不同類型的設備分別制定了數據收集策略。

但是，僅僅只是從物聯網設備收集數據還是不夠的，還需要對它們進行一些轉換。因為物聯網數據可以有許多不同的格式，它們可能彼此互不兼容或與數據分析軟件不兼容。

在工業生產現場GE安裝了數據收集裝置，稱其為現場代理（Field Agent），它們可以安全地連接到公共云或私有云，把數據存儲在云中。這些設備不僅要保證發送數據的安全，同時還要確定收集什么類型的數據、使用什么協議來收集它們，以及該數據應該如何被存儲。

在數據被收集上來后，企業還需要理解它，并挖掘它蘊含的有用信息。這本身就是非常困難的，然而更大的挑戰是要利用發現的這些信息來進行指導工作，比如建立一個更高效的制造工廠。

Carpenter警告說，許多公司就被阻擋在這個階段。他對這些公司提出了自己的建議：“有些公司選擇先從一個制造工廠作為試點，希望在解決所有數據采集和分析有關的問題之后再推進到第二個、第三個。這里的挑戰是往往需要很久才能解決所有的問題，即使只是一個工廠。根據我們的經驗還可以有更好的解決方案，就是在試點工廠70%的問題解決了之后，就可以擴展到整個企業，這能更迅速地給企業帶來更多的價值。”

Carpenter還表示，幾乎所有企業最終都必須將物聯網數據納入到處理和分析范疇，成為真正的數據驅動型企業。“這不僅是對制造企業或那些已經知道必須部署物聯網的企業而言，所有的公司都需要，無論是資產管理和維護、ERP、供應鏈或提高移動工作人員的工作效率等。”

先理清公司業務目標

英特爾數據中心集團大數據分析戰略總監Vin Sharma同意Carpenter的說法，認為幾乎所有企業最終都需要利用物聯網的數據。

“農業、制造業、醫療保健等，這些行業需要利用物聯網數據的原因很容易理解。”他說，“但我們認為，每個企業都應該充分利用所有能得到的數據，包括來自物聯網的數據。我很難想象某個行業不需要這些數據。以零售為例，通過利用RFID來監測商品的庫存，能給企業帶來明顯價值。還有，許多公司都希望獲得客戶的360度視角，比如醫療行業中病人、農業行業中的農民或者零售行業中的消費者。”

Sharma說大多數企業在物聯網應用上犯的一個最大錯誤不是技術上的，而是對自己的業務目標了解不足。

“一個常見的問題是，公司在正式部署物聯網之前沒有一個清晰的業務目標，對此沒有非常明確的定義，并不清楚他們要解決哪些問題。”他說，“如果這方面不明確，就會影響物聯網的部署。相反，如果企業對自己需要達到的目的非常清晰和明確，往往就能非常迅速采取行動。”

Sharma以服裝行業為例，解釋了在實施物聯網項目之前明確定義業務目標的重要性。比如，公司庫存不準導致服裝積壓，產生浪費，降低了企業的利潤。同時，庫存不準還會波及供應鏈上的其他車間。為此，企業準備改善商品庫存的準確率來提高企業的利潤，這就意味著企業對想要解決的問題有了一個非常明確的目標。帶著這個目標，公司可以設計一個系統，在系統中使用RFID來獲得有關商品庫存更精確的信息，從而提高數據的準確性。

企業在物聯網應用上常犯的第二個錯誤與物聯網項目所涉及的范圍有關。通常，這些項目過大，很難部署和管理。

“我們看到很多企業之所以取得成功，就是因為它們從一開始就會列出一個非常具體的項目內容或者范圍做概念驗證，然后進行小規模的試點，接下來再分別在水平方向和垂直方向擴展項目范圍和所涉及的業務內容。”他說。

就上面提到改善商品庫存的例子，他建議，首先在某個地方的一個店做試點，解決遇到的所有問題。在此之后，再擴展到其他所有的店，最后再增加收集數據類型的種類，擴大效果。

利用基于云的Hadoop平臺

在明確了要解決的問題之后，接下來就需要建立一個數據處理的平臺。因為離開了數據分析和處理平臺，企業收集的物聯網數據仍然無法為企業所用。近年來，越來越多的企業傾向于選擇開源的Hadoop作為首選的數據處理平臺。原因是：它能利用便宜的通用硬件來建立計算機集群，然后在集群之上提供分布式存儲來處理龐大的數據集。

這里的挑戰是部署Hadoop并不容易，許多企業并沒有這樣的專業人員。此外，很多企業也沒有那么大的投入來為處理海量的物聯網數據建立這樣一個平臺。因此，那些提供基于云的Hadoop服務的公司就如雨后春筍般涌現。這些Hadoop平臺能提供處理大數據（也包括物聯網的數據）的服務。這樣，其他企業就可以專注于數據分析，而不用考慮構建、部署和管理平臺的問題。

前面提到的Datameer就提供這些平臺之一。Datameer的平臺2009年正式對外提供服務。不過，公司技術產品營銷高級主管安德魯·布魯斯特提醒企業千萬不要被物聯網的炒作所誤導。

他說：“目前，物聯網還處于概念普及期，聽起來似乎企業面臨的數據問題都是全新的。而實際上并非如此，這些問題本質上還是數據流的分析和處理。而與過去不同的是，今天我們從中所能獲得的數據無論是種類、數量還是獲取數據的頻率都有了大幅增加。”

他說，物聯網數據處理最大的難題是，它們來自使用不同協議的不同設備，使用彼此并不兼容的數據標準，有時候數據是高度結構化，而有時候又不是。

“對關注物聯網的企業我最想提的建議是，最好能找到一種技術或者工具讓它們能在所有物聯網數據之上創建一個抽象層。這樣，當企業得到很多不同類型的數據仍然可以處理它。因為該平臺能夠實現不同標準的兼容。另外，最好還有一個產品，能夠盡可能多地將來自不同數據源的數據實現集成。”

Brust還表示，雇用擁有合適分析技能的人也非常重要。他承認數據科學家都供不應求，但他認為沒有必要一定要雇用數據科學家這個職位的人。

“關于數據科學家人們對其認識還有一些神秘感。總體上，你不應該認為一定要有這樣技能的人才能進行數據處理和分析。”他說，“如果你有訓練有素的技術人員，他們熟練掌握數據倉庫和相關的IT技能，你完全可以為他們提供完成工作所需的培訓和專業知識，讓他們勝任這項工作。這樣，你不僅有了合適的人才資源完成了項目，還通過為IT人員提供機會，而讓更多的人能繼續留在你的企業中。”

Altiscale也有一個基于云的Hadoop平臺。Altiscale首席運營官Mike Maciag認為，物聯網數據的分析和處理和以往大數據明顯不同。

“在很多情況下，物聯網數據是許多小數據匯集而成的龐大的數據集合。”他說，“這些數據源源不斷地產生，從幾百MB到數百TB再到PB級。此外，這些數據經常是非結構化的，因此在分析它們之前需要大量的處理工作。還有一個獨特之處是，許多數據在云中生成，通過云匯集到你這里來。”

他說，在某種程度上要求企業改變考慮數據的方式。比如，過去數據的標準處理方式是ETL，即提取數據，轉換數據、然后將其存儲到數據庫中。隨著物聯網的興起，處理方式改變為提取它、存儲它，然后再轉換它。

正因為如此，他建議，要確保存儲所有收集進來的數據，不要輕易把它扔掉，即使你還不知道用它來做什么。也許有一天公司有了新的戰略和商業模式，那時候它們就可能會成為寶貝。

而實際上，幫助企業推出新的戰略和新的經營方式正是企業現在就需要開始制定和改進物聯網大數據戰略的重要原因。正如GE的Carpenter所說，“這是競爭的需要。企業需要基于真實數據來開展業務，而不是想象中的東西。競爭對手正在這么做，如果你不這樣做，你就會被拋在后面。”