大數據的前世今生

張洪云　姜茂盛

近年來，“大數據”一詞頻頻見諸于各類媒體、著論、乃至美國等國家領導人的戰略藍圖中。“大數據”由一個朦朧的詞匯逐漸摘掉面紗，走入大眾，成為企業、科研機構、政府部門等各界的“新寵”。大數據緣何如此之熱、它有何種魅力吸引全球的眼光？大數據到底有何用途？在大數據時代，與我們的生活息息相關的社會管理、城市管理會受到什么樣的影響？本文立足于此，分享大數據的前世今生。

一、大數據的由來與應用

大數據并非新事物，天文學、地質學、量子物理、基因學等最先經歷信息爆炸的學科，創造出了“大數據”概念。1980年，未來學大師阿爾文·托夫勒在《第三次浪潮》一書中，將大數據熱情地贊頌為“第三次浪潮的華彩樂章”。本書風行世界，影響深遠，大數據的意義也由此廣為流傳。不過，大約至2009年，隨著互聯網大發展，特別是社交化網絡的遍地開花，“大數據”才成為互聯網信息技術行業的流行詞匯。

迄今為止，大數據仍沒有一個統一的定義。最初，大數據指需要處理的信息量過大，超出了一般電腦在處理數據時所能使用的內存量，工程師們必須改進處理數據的工具。麥肯錫定義為“大小超出了典型數據庫軟件的采集、儲存、管理和分析等能力的數據集”。在隨后的發展中，大數據更多的被認定為巨量資料，指所涉及的資料量規模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。

雖概念尚未統一，但大數據的特征已被廣泛認同：（1）數據量巨大（Volume），從TB級別躍升到PB級別（1PB=1024TB）。（2）數據類型繁多（Variety），除結構化數據外，還包括大量的非結構化數據與半結構化數據。（3）價值密度低（Value），以視頻為例，連續不間斷的監控過程中，可能有用的數據僅為幾秒。（4）處理速度快（Velocity），1秒定律。

同時，大數據的來源日漸豐富，包括互聯網企業的SNS、微博、搜索索引、視頻、電子商務交易信息等；物聯網的RFID、傳感器網絡、車聯網信息等；運營商的多項記錄；包括天文學、大氣科學、基因組學、生物地球化學、生物學及其他復雜或跨學科的科研；也包括軍事偵察、醫療記錄、攝像檔案等等。因為大數據所蘊藏的巨大價值，大數據的研究和應用迅速升溫，現在大數據的應用已經融入人類社會的多個領域。

大數據初露崢嶸，正逐步應用于政治、經濟、文化、軍事等各個領域。谷歌通過觀察人們在網上的搜索記錄，預測出2009年甲型H1N1流感的爆發，而且具體到特定的州和地區，比官方報告還要及時；華爾街德溫特資本市場公司首席執行官保羅·霍廷，每天的工作就是用電腦分析全球3.4億微博賬戶的留言，判斷民眾情緒，從而決定股票的買入和賣出，大家高興就買入，焦慮就賣出；美國總統競選團隊用數據分析方法來尋找和鎖定潛在的己方選民，并定位拉攏那些中間派選民，《時代》周刊網站刊文指出，數據挖掘團隊才是奧巴馬連任的功臣……

大數據如此被熱捧，關鍵在于大數據可以為世界經濟、社會發展等多方面創造重要價值，提高企業和公共部門/組織的效率與競爭力，并為消費者創造大量經濟剩余。例如，如果能夠富有創造性且有效地利用大數據，預計美國的醫療行業每年通過數據獲得的潛在價值可超過3000億美元，能夠使美國醫療衛生支出降低超過8%；充分利用大數據的零售商凈利潤增長可能達到60%以上，制造業的產品開發、組裝成本降低50%左右；通過利用大數據實現政府行政管理方面的運作效率提高，估計歐洲的公共管理部門每年可創造價值2500億歐元，歐洲發達經濟體可以節省開支超過1000億歐元（這其中尚不包括可以用來減少欺詐、錯誤以及稅差的影響作用）。

各大行業都在充分利用大數據，享受數據紅利。如通訊行業利用大數據預測客戶行為，發現行為趨勢，找出存在缺陷的環節，從而及時采取措施，保留客戶。醫療行業匯集大量病人相關的臨床醫療信息，通過大數據處理，更好地分析病人信息。商業運營行業通過商務信息獲得新的收入來源，并根據這些信息及時調整營銷政策。銀行業利用數據收集和分析工具，確定最好的網點位置，幫助銀行更好地運作業務，推動業務成長。

二、大數據，讓城市更美好

大數據在城市管理中發揮著越來越重要的作用。智慧地球、智慧城市的呼聲使大數據成為亮點，物聯網、車聯網的建設愈發展現出“數據讓生活更美好”的前景。維克托邁爾·舍恩伯格在其《大數據時代》一書中提及，大數據對城市管理的最重要一個借鑒就是通過全方位的數據控制和分析，為政策的制定提供高準確率的參考性和預見性，推動城市管理更加科學化。無論是公共衛生、民生工程抑或便民服務，大數據這一從思維出發的變革從上至下滲透到社會發展的各個層面，從而引領社會變革。

大數據在城市管理中的作用頗為多樣化，通過分析交通、福利和經濟等領域的大數據，可以讓政策制定更為科學有效。在城市規劃方面，通過對城市地理、氣象等自然信息和經濟、社會、文化、人口等人文社會信息的挖掘利用，可以為城市規劃提供充分的決策支撐，驅動城市管理服務向科學性、前瞻性邁進。在交通管理方面，通過對歷史交通信息的深度分析，可以多角度認知交通問題的成因，治標治本；同時，通過對道路交通信息的實時監測，能有效緩解交通擁堵，并快速響應突發狀況，為城市交通的良性運轉提供科學的決策依據。在輿情監控方面，通過網絡關鍵詞搜索及語義智能分析，能提高輿情分析的及時性、全面性，全面掌握社情民意，提高公共服務能力，應對網絡突發的公共事件，打擊違法犯罪。在安防與防災領域，通過大數據的挖掘，可以及時發現人為或自然災害、恐怖事件，提高應急處理能力和安全防范能力。

（一）大數據助力城市交通。

交通的擁堵是城市一直無法忽視的問題，針對這個問題一些國家和擁堵的特大城市達成了一個共識，那就是大數據可以有效的緩解擁堵的交通。通過在城市多處設置的傳感器，相關部門能隨時掌握在某個地方有多少輛汽車，車速是多少。有了這些數據就可以建立起模型進行分析，從而指導人們確定出行計劃，避免擁堵。大數據的核心是發現和預測，利用這個特點，可以提升交通運輸行業的服務水平。

例如，全國高速公路收費數據，結合重點營運車輛聯網聯控信息和交通流量調查信息，可以獲知某一時刻、某一區域的車流量、人員流量，甚至是物流信息，從而預測未來30分鐘或1個小時甚至更長時間內的路網交通狀況，一旦有突發事件，也可以實時判定對區域交通的影響趨勢，并及時采取措施。

深圳市交通警察局認為，物聯網、車聯網的發展，給智能交通帶來了新的契機，云計算也使龐大的信息處理變得更加簡單，隨著未來技術應用不斷拓展，管理模式不斷創新的變革階段，大數據、大交通、大管理的概念將逐步形成，科技也將從保障、維護的角色逐步過渡引領實戰。

北京對重點擁堵日的交通措施便主要從交通運行特點和歷年數據分析而來。依據9月交通擁堵情況預測，交管部門對重點擁堵日的擁堵指數和峰值的測算精確到了小數點，2013年9月堪稱“最堵月”。北京已正式實施相關專項行動方案，規定在重點擁堵工作日及晚高峰降雨等特殊天氣，各企事業單位可實施彈性工作時間。相關消息的亮點，不在于實施彈性工作時間，而是對未來交通狀況進行科學預測，并及時出臺對策。這為緩解城市交通擁堵提出了一個新思路、新模式，也為運用大數據治理交通擁堵提供了重要借鑒，這樣的交通治理手段，已初步具備大數據技術運用的能力。

未來，大數據下的智慧交通，融合了傳感器、監控視頻、GPS等多種設備產生的海量數據，與氣象監測設備產生的天氣狀況等數據相結合，綜合形成城市居民出行的指導信息，并及時、準確的推送信息。這些信息不是簡單的幾條路徑供我們選擇，或紅綠色標示的路況概覽，而是直接提供最佳的出行方式和路線。

大數據用于交通管理，可以打破交管部門行政區域的限制，具有更大范圍的信息集成和組合效率，能更好的提高交通運轉效率、配置公共交通信息資源，促進交通智能化管理、均衡性發展。交通大數據的應用，將使城市居民出行更順暢。

（二）醫療大數據的應用。

醫療行業對于城市居民意義重大。在臨床質量分析、醫療資源分配、醫療輔助決策、科研數據服務、個性化健康引導等方面，大數據可助力相關組織建設形成全民醫療健康公共服務平臺。

首先，對于醫療服務的提供方和支付方來說，在減少醫療成本的同時不斷提高醫療質量和效率仍然困難重重，而這也是改善民生的重大機遇。2010年，全美醫療支出占國內生產總值的17.9%，比2000年增長13.8%。而且，某些慢性疾病如糖尿病的患病率正在增加，正在消耗更多的醫療資源。對這些疾病和其他相關健康服務的管理將深刻地影響國家的福祉。在這方面大數據可以發揮作用，為在廣大人群中取得最有效的醫療效果，更多地使用電子健康記錄，并與新的分析工具相結合，將提供挖掘信息的機會。研究人員可以利用信息尋找有效的統計趨勢，并依據真實的醫療服務質量開展醫療評估。

其次，醫療大數據分析可以帶來業務流程的精簡，通過精益生產降低成本，找到符合需求的工作更高效的員工，從而提高護理質量并給病人帶來更好的體驗，也給醫療服務機構帶來額外的業績增長潛力。美國醫療保險和醫療補助服務中心的測試儀表盤，將其作為建設主動、透明、開放、協作型城市管理的一部分。最后，基因組學、蛋白組學新的治療技術已經發展到了應用的邊緣。如人類的基因組測序，以前人類基因組花了十年的時間研究，現在只要花一千美元，不到一周的時間就可以測出一個人的基因組，這些數據就可以應用到個性化診斷治療。

此外，利用大數據技術還可以制定量身打造的健身計劃。咕咚手環是首款基于百度云開發的便攜式可穿戴設備，主打“運動狀況提醒”、“睡眠監測”、“智能無聲喚醒”三大功能。知名運動品牌耐克還推出了"Nike+"跑鞋，通過無線Nike+iPod運動組件與iPod實現信息互通，將Nike+運動鞋與iPod連接后，iPod就可以存儲并顯示運動日期，時間、距離、熱量消耗值和總運動次數，運動時間，總距離和總卡路里等數據。醫療保健上大數據的應用已經越來越多，我們也正適應大數據所帶給我們的便捷。

（三）應用大數據預防和打擊犯罪，保護城市居民的安全。

利用大數據還可以預防和打擊犯罪。大數據分析工具，正在將每一位普通警員都變成神探，甚至能預測犯罪。最新的案例顯示，大數據在警務中的應用已經收到了良好的效果。作為美國警界最早的大數據預測分析試點單位，圣克魯斯警察局能夠通過城市大數據預測犯罪地點和時間。大數據分析可以幫助警察分析歷史案件，發現犯罪趨勢和犯罪模式，找出共同點和相關性，通過分析城市數據源和社交網絡數據，甚至能預測犯罪。過去需要幾天，幾周甚至幾個月的數據資料分析，在最新的警用大數據分析系統中幾個小時內就完成，從而大大加速了圣克魯斯警察辦案的效率。

密歇根大學曾在網上發布報告指出，研究人員正在用大數據來幫助警方定位那些最易受到不法份子侵擾片區的方法，利用大量數據創建一張波士頓犯罪高發地區熱點圖。在研究某一片區的犯罪率時，他們還將相鄰片區的各種因素列為他們考慮的對象。隨著將越來越多的數據加入到研究中來，研究者們認為他們能在額外變量是如何影響犯罪率這一問題上得到更準確的結論，并且為警察更具針對性的鎖定犯罪易發點、抓獲逃犯提供支持。

另一個大數據應用的例子是2013年波士頓馬拉松爆炸案，那次爆炸造成3人死亡，多人受傷。FBI在波士頓馬拉松爆炸事件后在案發現場附近采集了10TB左右的數據，通過大數據分析，他們提前鎖定了嫌疑人，當然此次大數據的應用還不是很成熟，警方也沒有正面承認。但在未來大數據分析技術爐火純青后，社交媒體規范和信息分享機制健全，數據來源和質量可靠時，那時利用大數據鎖定嫌疑犯將變得簡單而高效。

（四）大數據解決城市的突發事件。

在突發事件判斷和應對方面，大數據技術可以發揮更大的作用。2011年3月美國國家海洋和大氣管理局在大數據技術的支持下在日本大地震發生幾分鐘后就發布了詳細的海嘯預警，并擬定了詳細的應急方案，制作了海嘯影響模型發布在一些網站上，成為政城市應用大數據處理突發事件的典范。谷歌研發出來的流感追蹤器，可以監控相關的流感搜索字樣，進而展示出在美國不同州的流感活動，與此同步的疾病預防控制中心的地圖也能夠及時顯示流感疫情的擴散程度。美國還研發出其他的一些大數據工具，能接收并處理來自醫生、醫院及實驗室的大量數據，為流感疫情的蔓延提供一個清晰的圖像，進而可以幫助醫生能夠有效地阻止流感疫情的蔓延。“7·21”北京暴雨，因求救人數眾多，救援電話被打爆，被困人員轉向微博平臺。一條包含人物、時間和地點三要素的微博可迅速了解救援所需，打開微博附加坐標數據即可實現地圖定位，為及時救災提供方便。雅安地震中，微信群及各大互聯網公司推出的尋人平臺也為救災提供了多渠道支持。大數據在城市突發事件中已經展現出了獨有優勢。

大數據在城市規劃與管理中的應用體現在方方面面。如在食品安全領域，針對食品安全和管理的需求，建設食品安全大數據服務平臺；在終身教育領域，針對全民學習、終身教育的需求，建設教育大數據服務平臺；在公共安全領域，針對公共安全領域治安防控、反恐維穩、情報研判、案情偵破等實戰需求，建設基于大數據的公共安全管理和應用平臺；在科技服務領域，針對科技服務數據整合、交互式服務、發展趨勢預測、戰略決策支持等需求，探索科技服務鏈整合、眾包分包、供需對接的交互式平臺型服務模式，建立科技服務業資源共享體系，建設跨領域科技服務與工程創新平臺。

總之，大數據對一個城市的管理起到的作用至關重要，對一個城市的經濟、醫療、教育、交通、治安等方面都顯出了不可替代的角色，城市管理中靈活而合理的運用好大數據將會使一個城市的運行更加潤滑和流暢。

三、大數據發展遇到的問題

首先，認知觀念混亂問題。（1）大數據是全數據，忽視甚至蔑視抽樣；（2）連續數據就是大數據；（3）數據量級大是大數據；（4）數據量大好于量小。有學者認為，抽樣數據只要抽樣合理，結論就是準確的；連續只是一個數據結構；大量級的噪音會得出錯誤結論；大小與價值關系不大。其次，大數據的隱私問題。很多的數據涉及到一些人的隱私，像這樣的數據如何利用而又不產生糾紛，需要政策、技術等多方共同努力。再次，大數據分析的技術并不完善。大數據具有多樣性特征，而具有復雜的提取和分析技術還有待研發。最后，大數據由誰來開發利用。大數據分析出來的秘密有可能會涉及到國家安全，那么大數據究竟應該怎樣來利用和開發呢？

大數據的應用已漸漸普及推廣，這些應用或早或晚，或快或慢，悄然地改變著行業格局，沖擊著傳統思維，鋪墊著大數據時代的道路。大數據時代已露端倪，2012年3月，美國政府發布《大數據研究和發展倡議》，投資2億美元發展大數據，用以強化國土安全、轉變教育學習模式、加速科學和工程領域的創新速度和水平；2012年7月，日本提出以電子政府、電子醫療、防災等為中心制定新ICT（信息通訊技術）戰略，發布“新ICT計劃”，重點關注大數據研究和應用；2013年1月，英國政府宣布將在對地觀測、醫療衛生等大數據和節能計算技術方面投資1.89億英鎊。這對我國來說也是一個巨大機遇，我們應乘著大數據的快車，迎接重大的時代轉型。

（責任編輯：笛音）