今天,什么樣的數據在產生?傳統的數據大家都知道,比如在一個企業內部,有大量的數據,它們基本上是格式化的,像CRM、ERP等,還有在整個運行當中的處理企業內部的數據。此外,社交網絡給我們帶來大量人類的一些數據,你可以看到各方面的數字:每天3億的用戶,大量的微博、微信等等。但是不要忘記人類其實產生了很多的機器,這些感應器產生的數字更大,它每天都在產生。
大數據:記錄人類歷史
大數據對人們有什么作用?大數據正在記錄著我們人類發生的歷史。也許往前追溯1000年、2000年,甚至3000年,我們并不是很知道人類在干些什么,而是通過考古去挖掘,去發現以前文獻里的一些蛛絲馬跡。但是試想1000年、2000年之后的人類看我們今天,有如此大量的信息,他便可以重現,到了這種程度,他可以重新模仿和重現今天的世界。通過定位我們每個人使用的手機,一生的軌跡都可以重現。所以在網上所說的話和所做的事情,不知不覺當中就成為數字足跡,都已經被記錄下來。大數據對商業來說有巨大的價值,它可以被形容成是一個自然的資源,取之不盡,不像石油挖了之后沒有了。
回顧一下大數據的“4個V”:Volume(大量)、Variety(多樣)、Velocity(高速)、Veracity(精確)。首先是大量,第二是多樣性,比如各種各樣的語音、非結構的數據、圖像等,第三個是速度,大數據產生的速度非常快。最后一個并不是很多人注意的,是不精確性,并不是說每個數據都相當精確,有很多的含糊性和矛盾的。其實矛盾是一件好事,往往說信息量大是什么意思?不精準,挖掘出來才是有價值的,大家都知道的就不是消息了,就不是新聞了。
大數據要跟應用相結合,就像我們講云計算一樣,云計算的關鍵并不在于技術,而主要是應用。大數據只有通過分析才真正可以找到它的應用,跟應用相結合,行動是挖掘和采集大數據的根本原因,并不是為了記錄而記錄。
大數據的商業價值體現在幾個方面,比如制造業中新產品的開發過程。2006年我曾與馬云交流,探討淘寶真正的競爭實力是什么?我認為真正的競爭實力是C2B,就是小米的模式。淘寶手上拿著大量的用戶,它的每一個產品都可以讓這些消費者進行決策,這些決策當中有很多的數據可以挖掘,然后根據消費者的喜好,創造新的產品。
此外,還有反洗錢、資產的管理優化,對客戶的洞察等方面的應用。所有這些都需要有一個非常好的平臺,云計算是大數據能夠運算的基礎。一方面它是大數據的平臺,有信息的整合和治理的過程;另一方面是一個分析平臺,大數據離開分析平臺是無法進行挖掘的。再有就是解決方案,所謂應用為王,就是進行實施、服務。
從球場到商場 應用無處不在
這里面有幾個比較關鍵的技術,第一是存儲級的內存;第二是流計算,因為它的速度相當快;第三是硬軟件的結合;最后是創新的算法來進行大數據的分析。給大家舉一個例子,前不久中國的網球公開賽,我們就運用了大數據進行分析。我們進行大量的數據采集,這個軟件在法網、澳網等一些大賽當中,已經應用了十幾年。它抓取了大量數據,有些數據我們有可能認為是沒什么用的,比如一個球打完之后,周邊的人的吶喊聲或者鼓掌聲,這些都是數據。但是在這種數據當中其實體現了很多的信息,是人們對它的一種熱情呢?還是說氛圍、氣場好呢?我們都說不清楚。但是所有的數據放在一起之后,你可以精確地判斷出這場球球沒打完之前誰可以贏,試想我們對一個球賽可以做到如此,商業就像戰場一樣,你怎么樣勝過你的對手,你的企業哪些是弱點,哪些是強處?都可以來計算。在醫學上面我們有很多應用,在一個新生兒剛剛出生的時候,這時生命剛剛開始,如果對這段時間所有的醫療數據監控并且進行處理,你可以看到很多規律,并且可以預測這個新生兒會不會出現問題。
零售業中有很多大數據的應用,比較知名的是一個父親通過一家百貨店寄來的商品促銷廣告,知道了女兒懷孕的事。女性在懷孕過程中會有一些行為習慣的改變,比如不喜歡買有味道的商品,如果一個人以前都是買某一種潤膚膏,突然買了一個沒有味道的潤膚膏,種種的蛛絲馬跡加在一起,從大數據的運算當中就可以推測出這位女性懷孕了。
大數據對電力行業也有相當多的幫助,特別是智能電表,放在一些場所,可以及時地計算電量,可以為電網部署帶來很大的幫助。在金融方面,反洗錢、反欺詐等,金融當中有相當多的領域可以用大數據進行幫助。
IBM推出智慧地球,智慧地球的落地是在智慧城市和智慧的行業和企業。智慧城市當中有一點大家都是比較熟悉的就是交通,現在世界上某一個城市,正在應用IBM的技術,當一個交通事故剛剛發生的時候,交警已經到達現場,救護車也到達現場。就好像是它們已經知道在這個地方交通事故會發生,而救護車早到一分鐘和晚到一分鐘對他的生命,對他的救護都是至關重要的。我們怎么能夠做到這一點?其實人類很多的行為和行動是可預知的,在以往的大量的交通數據,包括時間、路況和行車速度,再加上別的一些因素,可以分析出,有90%的概率在這個點可能會發生交通事故。那么,能不能避免這個交通事故的發生?也是可以的。我們只要加上一些參數,比如說用交通車控制它,使得流量慢慢減弱,或者把燈光打得更加亮一些,使當地車流的每一個駕駛員都得到警示等,這些措施可以使得交通事故的發生率降低,使得一個交通事故不容易發生。這就是大數據對我們人類所帶來的事情,給我們每個企業和每一個人的生活所帶來的便利。