你身邊十大生活場景看“大數據”

宗河

美國NASA如何能提前預知各種天文奇觀？風力發電機和創業者開店如何選址？如何才能準確預測并對氣象災害進行預警？包括在未來的城鎮化建設過程中，如何打造智能城市等等。這一系列問題的背后，其實都隱藏著大數據的身影，不僅彰顯著大數據的巨大價值，更直觀地體現出大數據在各個行業的廣闊應用。這些行業應用也都更直白地告訴人們，什么是大數據。

這些現象其實都在說明一個問題：如果你對這些現象感到驚訝，那么你落伍了；如果你對這些現象感到興奮，那么你看完本文一定大有收獲。不過在展開之前，我們首先知道什么是大數據。

根據研究機構Gartner的定義，大數據是指需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。從數據的類別上看，“大數據”指的是無法使用傳統流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶采用非傳統處理方法的數據集。

通俗地講，大數據具有4V特點：Volume（數據量大）、Velocity（實時性強）、Variety（種類多樣）、Veracity（真實性）。更為重要的是，大數據還具有Value（價值）的特點。我們選取幾個最具代表性的故事來說明大數據。

第1、草船借箭：大數據讓你“神機妙算”

情節概覽：草船借箭，想必讀過書的人都知道這一歷史典故。它發生在三國時期，由于周瑜長期以來“羨慕嫉妒”諸葛亮的才干，故意刁難并要求諸葛亮在十天內趕造十萬支箭。然而，諸葛亮卻表示不需要十天的時間，并以下軍令狀的勇氣和自信，承諾在三天內就能提供這十萬支箭。后來，當然如諸葛亮所料，輕輕松松地利用“草船”“借”到了曹軍的十萬多支箭。

總結分析：“草船借箭”體現的是三國時代背景下，諸葛亮的足智多謀。但換在現在來看，“草船借箭”能夠付諸實施，很大程度上得益于孔明對氣象的準確觀察和預測，這種觀察預測和當今的天氣預報本質上是一回事，只不過孔明加入了對當時所處形勢的預判。

“草船借箭”和大數據有什么關系呢？對天象的觀察是基于一種對風、云、溫度、濕度、光照和所處節氣的綜合分析。這些數據來源于多元化的“非結構”類型，并且數據量較大，只不過這些數據輸入到的不是電腦，而是人腦并最終通過計算分析得出結論。需要注意的是，單純的概率統計和數據分析，失去眾多非結構類型數據支撐的分析、結論都不是“大數據”。

當然，“草船借箭”只能算是大數據的雛形，并不能和當今真正意義上的“大數據”相比，但筆者希望通過這種人盡皆知的歷史典故，揭開對“大數據”的更直觀、更深刻認識。

第2、智慧城市：智能交通視頻監控

情節概覽：每次出門，是否總擔心路上遇到交通擁堵？每次行車，是否總害怕前方遇上交通事故？這些問題，恐怕當今社會每個人都曾遭遇過。通過現有的IT技術在大數據時代背景下，完全可以打造一座智慧之城。

筆者曾在南京深刻感受到智慧城市視頻監控系統給整個城市帶來的變革。基于強大的云平臺運行智慧交通云系統、云視頻監控和智能分析應用，實時采集和處理南京1000個攝像頭、每天數百TB的海量交通數據，并對整個南京140萬機動車規模的交通數據進行實時查詢和分析。

除此之外，云計算平臺還可以跟蹤車輛的行車記錄、統計分析交通擁堵路段。以往需要人工參與并監控的交通擁堵和車禍等信息，現在完全可以交由該平臺進行處理，主動分析攝像頭搜集的各個路段信息，并分析視頻、主動報警、主動通知用戶。

總結分析：智慧城市，很大程度上就蘊含了交通作為城市動脈的數據流。通過視頻監控，采集各個道路視頻攝像頭信息，并對比歷史記錄和實時車流、人流進行分析，可以計算和預測該路段當前、未來的交通情況，也可以動態調整交通狀況并實時預警。其數據量之大、結構類型之多、實時性之高，足以體現大數據在智慧城市的應用前景和價值所在。

第3、生態中國：讓大數據、云計算監測預警環保

情節概覽：中國是一個人口大國，同時也是一個能源大國。其中，山西省更是以盛產煤炭資源而著稱的能源大省。在過去的現代化建設中，在開采礦產和煤炭資源過程中，出現了很多破壞生態環境的做法。

然而，得益于物聯網技術和IT技術的突破性發展，近年來，在開采礦產資源過程中破壞生態植被、出現生產事故的幾率大大減少，相反還出現了可以實時監測并提前告警的智能化解決方案。

筆者去煤炭大省山西太原了解了這一發展動態。目前該省物聯網、安全生產和節能環保、能源物流等項目都被整合到—個物聯網云平臺上，并通過“云端”的方式不斷推進。具體來說，“云”負責承載業務并通過資源池化為用戶（包括政府、公益部門和企業部門等等）提供接入服務，由嵌入式電路及其之上的智能終端設備組成的“端”，負責采集并實時監測全省各個煤礦（包括瓦斯含量、溫度、濕度等數據），從而打造出智能化、自動后的“數字礦山”。除了煤礦物聯網之外，還可通過公關物聯網、環保物聯網等服務平臺，對地下管網（“地眼工程”）、污水處理、城市道路提供服務。

總結分析：坦白說，物聯網并不是大數據，但物聯網本身具有大數據特征，而且在發展的過程中也需要應對大數據這種挑戰。對于傳感器數據量已經達到PB級別、且結構化和半結構化數據日益增長的物聯網平臺來說，需要和企業一樣共同面對大數據帶來的挑戰，挖掘大數據中所潛藏的巨大價值。

物聯網，尤其是基于類似山西省的這種煤炭、環保、公益物聯網平臺，在遇上大數據的時候，更多的需要考慮甚至重新部署設計，以獲得更為靈活高效的實時監控和預警，并幫助各類企業和環保等公益事業部門做出更科學合理的決策分析。可以預見，生態中國、美麗中國，需要物聯網，更需要大數據解決方案。

第4、云平臺：個性化自主學習

情節概覽：教育是一個國家和社會最具靈魂性的領域。對于教育而言，關系到每個人的切身利益，而且伴隨著每個人的成長旅程。教育可以改變人的命運，同樣，教育方式和教育理念也可以改變人的一生。不同于以往的“趕鴨上架”式教育模式，借助信息技術在二十一世紀的教育模式將發生根本性轉變。這些轉變中，以“個性化學習”模式最具變革性。比如在重慶石堰鎮中心學校，采用了一種“一對一數字化學習”的模式推動傳統教育的變革。

具體做法是，通過引進英特爾“一對一數字化學習”項目，前期先在實驗班開展實施，給每一個學生都派發個人學習終端（小電腦），并在一對一數字化教學環境下，加強互動教學與整合信息技術的培養，將傳統的學習以教師為中心轉變為以學生為中心的自主、交互式教學。如何實現個性化學習呢？讓學生融入到快樂自主學習的狀態，培養知識探究的求學精神，最后還會通過課程標準和學習評價系統，對每個學生在不同科目上的學習進度、興趣愛好、知識關聯上的不同，針對性地做出教學指導和建議。目前，該學校已經全面開展了這種個性化數字學習模式。

總結分析：“一對一數字化學習”并不一定是最理想的個性化學習模式，但卻是目前最具實踐性并幫助取得教育信息化改革突破的最好方式。個性化學習，會通過學生在自己的學習平臺上的多媒體學習資料、學習進展、互動（包括書面和音視頻）、自主學習（利用平臺主動學習相關領域科學知識），幫助學生完善知識結構并加快學生對自身興趣愛好的挖掘和特長的培養。

對學習評價體系，也會根據每個學生的這些行為特征和學習內容，對考核和科目設置進行評價，并最終幫助培養學生早日成為創新人才。雖然單個學生的各種數據（結構、非結構）量并不一定很大，但從整個教學模式的轉變，尤其是在教育信息化改革的背景下，這種學習方式也體現出了基于大數據的個性化學習發展方向。

可以預見，未來個性化學習終端，將會更多的融入學習資源云平臺，根據每個學生的不同興趣愛好和特長，推送相關領域的前沿技術、資訊、資源乃至未來職業發展方向等等，并貫穿每個人終身學習的全過程，也就是個人云平臺中貫穿自己終身教育的應用。

第5、網絡求職：“上位”變得更加簡單

情節概覽：求職，是每個學子走向社會的必經之路，也是實現個人價值最為常見的方式之一。在這里，我們講的并不是大數據時代下涌現出的大數據相關崗位，也不是介紹大數據促進rr就業機會，而是如何通過大數據讓“對”的人才更好、更快地在“對”的崗位“上位”。

網絡求職，是廣大求職者找工作的一種重要途徑。從開始之初的簡歷制作、投放技巧到面試技巧等等，其實說的都是一個問題，以更好的技巧來找到更好的崗位。如果說傳統的網絡求職更多的是投機取巧的話，那么大數據時代下的網絡求職則是智能分析。當然，這種智能化既有利于招聘者也有利于求職者。

網絡上的每一秒鐘，都有^在發電子郵件、在線交易、觀看視頻、內容檢索等等。而網絡求職更多的就是內容檢索。1秒鐘背后的上萬億URL，要求高效的數據檢索和算法。互聯網搜索經歷了數據、信息到知識、智慧搜索的發展過程。目前的搜索引擎正處在從信息搜索向知識搜索發展的階段。

近年來，在搜索領域出現了一種基于語義的分析搜索技術，這種技術在招聘求職行業擁有廣泛的用途。通常來說，招聘流程包括三大過程：異構數據轉化成同構信息、篩選并提煉信息、信息高效存儲和推送。由于文化背景、語言背景、教育背景等不同而造成的表達方式不同，會導致人才簡歷、招聘啟示、用戶行為在表現方式上的不同。通過語義分析技術將它們轉化成可以對比、關聯、篩選的同構信息，并將合適的人才信息與合適的崗位信息進行匹配。

總結分析：單純看求職者簡歷，數據量再大也不屬于大數據；僅憑招聘啟示，再復雜多樣的表達方式也同樣不屬于大數據。如何更智能、更高效、更準確地為人才和雇主搭建起橋梁，才是大數據應用的精髓所在。

一方面，企業主需要有更多渠道來尋找更具有成長價值的人才，而在網絡這個平臺上，由于海量求職信息的充斥，使得企業主尋找合適人才的時間成本和資金成本都很高。廣大獵頭在市場上得以快速發展就是最好證明。另一方面，應聘者需要更準確地尋找到自己適合的成長平臺。通過網絡途徑，將自己的教育背景、從業經歷、技能特長等固化到個人屬性之中，并以此對海量數據信息進行篩選分析，找到稱心如意的崗位。

語義搜索能理解工作和技能的特征，識別同一個詞在不同語境中不同的語義。一方面把簡歷和職位信息映射到語義網絡中去，另一方面把用戶搜索和用戶行為也映射進去，最終通過語義網絡實現精準搜索和匹配，將招聘者或求職者從搜索和分析工作中解脫出來，讓二者的匹配能達到最優。

第6、信用卡：消費者的管家和助理

情節概覽：信用卡不同于儲蓄卡，它鼓勵透支消費并按照協議進行償還，如此反復并建立起現代消費的良性循環，實現商家、銀行和消費者三者都獲益。

信用卡的發展，乃至于整個銀行業的發展，都與計算機技術、通訊技術的發展息息相關不可分割。比如信用卡安全碼就是根據戶主的信用卡卡號以及一套復雜算法計算得出，以此區別信用卡的真偽。

相比電子商務，銀行業尤其是信用卡領域接觸大數據來得還是晚一些，但信用卡的發行和使用，其實也都與大數據息息相關。一方面，銀行在確保安全可靠的情況下，會給那些優質客戶提供高級別信用卡（比如極具身份地位象征的“黑卡”）；另一方面，他們還會根據信用卡持有人的消費記錄對其進行精準營銷、級別調整等等。

有沒有想過，信用卡能在卡主無意識的情況下暴露出其行蹤？甚至能根據卡主的使用情況大體了解一個人的興趣愛好、工作居住情況、人際關系和業余時間安排等等。因為信用卡是在刷卡消費，而儲蓄卡僅僅是通過取款消費。因此信用卡更能直觀、準確、全面地反映出卡主的個人特征。

比如，當持普通信用卡的用戶所持信用卡是沒有附加航空意外險和航空里程積分的產品，但是當該持卡人使用該卡購買了機票，作為發卡銀行就會主動向該客戶推薦帶有航空意外險和航空里程積分的航空公司聯名信用卡。同樣，用戶還會經常收到頻繁消費或者關注度高的產品促銷信息，這些信息的背后其實也都潛藏著大數據的應用，通過用戶無數的交易行為、還款記錄、消費地點等，對其進行分門別類，并對日后的額度提升、用戶升級、商業貸款提供依據。

總結分析：數據將是未來銀行的核心競爭力之一，在“大數據時代”，銀行所面臨的競爭不僅僅來自于同行業內部，外部的挑戰也非常嚴峻。雖然銀行對于傳統的結構化數據的挖掘和分析在所有行業中都處于領先水平，但銀行傳統的數據庫信息量并不豐富也不完整（僅僅擁有客戶基本身份屬性，沒有客戶的個性屬性），缺乏對用戶性格特征、興趣愛好、消費習慣、行業和家庭狀況等等信息的收集和了解。

此外，信息技術的發展，使得用戶的資金交易信息越來越多地來自網銀瀏覽、服務通話、ATM錄像監控等等非結構化數據。銀行缺乏對這些數據的分析和整合，進一步凸顯在信用卡環境下大數據應用的緊迫感。因此，新時代下的信用卡更突出了大數據的應用價值。

第7、天文探測：了解宇宙的金鑰匙

情節概覽：我們時不時的會從新聞中看到各種天文奇觀、星系、星團、行星的報道，而且不僅能給出大致的形態、結構、距離等屬性信息，甚至還可以給出天文奇觀上演的準確時間以及星體年限等信息。

比如登上美國NASA重點觀察名單的代號為4179的“圖塔蒂斯”行星。當時NASA形容這款行星為“形狀似花生，又似啞鈴，直徑約5公里，每3.98年就會經過地球一次。”2004年，該小行星曾與地球“近距離接觸”，兩者距離最近時僅為150萬公里。更為重要的是，人們還能精確預測其飛臨近地點的準確時間。

我們國家的嫦娥二號衛星是距地球約700萬公里遠的深空成功飛越的行星，并對其進行了高清晰成像。

我們經常看到的天文奇觀預測報告，其實很多都來自于NASA背后的海量數據收集、管理、分析。從1959年以來，NASA JSC（約翰遜航天中心）已收集400多萬靜態圖像，總達950萬英尺的16毫米膠卷，85000卷錄像磁帶，以及總時長81616小時的視頻模擬及數碼檔案。通過開發10（在線影像）應用平臺，對影像文件名與所有相關元數據連接，并對其進行存檔、管理以備科研之需。

總結分析：天文學是最先經歷信息爆炸的科學領域之一，其數據量之大、類型之復雜，恐怕不是一般的行業領域所能比擬的。

首先在觀測方面，普通的人眼是不行的，需要通過天文望遠鏡來實時監測，并對天文物體的距離、運動軌跡進行跟蹤拍照，這些生成的圖片數據單個都有上GB的規模（高清原始圖像）；通過這些觀測收集的數據，還需要對其進行處理和備份，并通過高性能計算平臺，對其挖掘。篩選挖掘出有價值的數據信息，分析獲得所要開展科研的情報。

第8、風力發電：科學選址精確測定遠程監測

情節概覽：為什么在大城市里面看不到風能發電機？為什么風力發電機都齊整有序的排列？早期的風力發電場更多是選擇在風力大、地勢平坦、常年盛行的地理位置，而如今，人們更多的會通過科學計算來準確選擇風力發電機的選址和間距。

一家丹麥風力公司Vestas，通過使用超級計算機以及大數據模型解決方案，精確定位其風力發電機，以達到最大發電量，并減少能源成本。從全球天氣系統中收集的數據，與公司現有發電機的數據結合，存儲于風庫中。

現在，該公司的風庫存儲有2.8PB數據，這些數據涵蓋地面至300英尺高空的氣溫、氣壓、空氣濕度、空氣沉淀物、風向、風速以及公司的歷史數據記錄。另外，該公司還增加全球森林砍伐追蹤圖、衛星圖像、地理數據以及月相與潮汐數據。

總結分析：風速及風向的變化對風力發電機的發電量有著較大的影響。通常，塔架越高，風速越大，氣流越平穩，發電量越大。因此風力發電機的

第9、預防犯罪：讓小偷自投羅網

情節概覽：《黑貓警長》大家都很熟悉，它講述的是“黑貓警長”如何精明能干、對壞人窮追不舍、跌宕起伏的故事情節。拿到大數據時代背景下的話，雖然它也能體現“黑貓警長”的盡職盡責、聰明能干，但更多的會歸結到一個問題：為何還是如此的被動、低效？疾病可以預防，難道犯罪不能預防么？

答案是肯定的。美國密歇根大學研究人員就設計出一種利用“超級計算機以及大量數據”來幫助警方定位那些最易受到不法份子侵擾片區的方法。具體做法是，研究人員通過大量的多類型數據（從人口統計數據到毒品犯罪數據到各區域所出售酒的種類、治安狀況、流動人口數據等等），創建一張波士頓犯罪高發地區熱點圖。同時，還將相鄰片區等各種因素加入到數據模型中，并根據歷史犯罪記錄和地點統計并不斷修正所得出的預測數據。

IBM也通過大數據技術和整合預防犯罪和數選址應慎重考慮，每一次安裝都不同，而且要考慮塔筒高、電池組的距離、當地規劃要求以及建筑和樹木這些障礙物等因素。這些因素的背后，考驗的是施工方對這些數據（包括數值數據和圖像、遙感、檢測等數據）的分析能力，并幫助決策生成科學合理的方案。可以預見，風能包括未來的潮汐能等清潔能源的應用，都將引入更多的大數據技術和解決方案，幫助人類更加科學合理的利用這些可再生能源。據智能軟件資源，為執法部門、國防、國家安全和私營機構提供智能和調查服務。當然，這種服務也可以被用來提供數字營銷、運營管理等服務。

總結分析：美國中情局曾經利用過云計算和大數據技術找到恐怖分子，也屬于此類話題。其實，對于犯罪分子而言，往往事先都有犯罪動機（所謂的“激情犯罪”另當別論），也就是刑法上的所說的“行為人為追求某種結果的發生而故意采取某類行為”的主觀故意。

而在大數據時代下的個人，其生活狀況、消費習慣、家庭背景、社會經歷、身份特征等等，都將成為數據集的人格化，可以通過這些數據來區分任何一個人。作為執法部門，考慮到整個社會的利益，需要也有必要對某些潛在的特定高危人群進行布控（尤其在犯罪高發地區）。在經過對數據的收集、傳輸、存儲、分析等一系列過程之后，最終將為執法部門提高執法效率，變被動為主動，由教育勸解變犯罪預防。

第10、天氣預報：天公的心我最懂

情節概覽：2012年7月21日北京遭遇特大暴雨，在一天之內，平均降雨量達164毫米，這是北京市61年以來最大規模暴雨。此次暴雨因來勢兇猛給廣大市民生活帶來巨大影響。其實，攤上這種事兒，最主要的還是需要氣象部門及時、準確地做出預警，并協同其他運營部門，將這種預警信息第一時間下發給北京市民（包括在京旅行的人士）。也正是如此，那場暴雨不僅暴露出了管理工作上的漏洞，也引起了業內人士關于一場“大數據”的探討。

在美國NOAA（國家海洋暨大氣總署）其實早就在使用大數據業務。每天通過衛星、船只、飛機、浮標、傳感器等收集超過35億份觀察數據。收集完畢后，NOAA會匯總大氣數據，海洋數據，以及地質數據，進行直接測定，繪制出復雜的高保真預測模型，將其提供給NWS（國家氣象局）做出氣象預報的參考數據。目前，NOAA每年新增管理的數據量就高達30PB（1PB=1024TB）。由NWS生成最終分析結果，呈現在日常的天氣預報和預警報道上。

總結分析：氣象對社會的影響涉及到方方面面。傳統上依賴氣象的主要是農業、林業和水運等行業部門。而如今，氣象儼然成為了二十一世紀社會發展的資源，并支持定制化服務滿足各行各業用戶需要。

氣象研究和預報，需要借助海陸空多種設備，通過多個地點的數據采集，形成完整的數據模型，并根據氣象學的原理推斷未來的氣象狀況。最為常見的就是大家在電視上所熟知的氣象衛星。它從太空上對整個地球包括地球上的大氣層進行觀測，這些觀測數據會結合氣象衛星云圖和走勢分析，為氣象部門的天氣預報提供參考。通常采集的這些數據都是非結構類型，而且變化趨勢呈現隨機性特點。