大數據在智慧城市中的應用

李光亞，張敬誼，童慶

大數據在智慧城市中的應用

李光亞，張敬誼，童慶

伴隨智慧城市的發展，多源、異構、冗余的大數據應運而生。利用數據挖掘、決策分析等技術，實現大數據轉化為數據資產，必將成為大數據時代智慧城市智能化、互聯化的必要手段。闡述了智慧城市概念、智慧城市數據資源及大數據處理技術，分析了智慧城市中的大數據綜合應用，闡明了大數據在智慧城市重點行業領域的應用現狀，并對其進行展望，為未來智慧城市中大數據的深入應用提供解決方案和思路。

智慧城市；大數據

0 引言

當前，城市發展面臨諸如人口膨脹、環境惡化、公共衛生事件頻發、交通擁堵、資源浪費等的挑戰，人們的生活也因此受到不利的影響。而且，隨著城市化文明進程的推進，人們日益膨脹的需求與城市日益有限的供給之間的矛盾會繼續增大，未來人們的生活質量和城市的發展不容樂觀。基于和諧發展的智慧地球、智慧城市是未來的發展趨勢。

智慧城市是指在物聯網和互聯網結合的基礎上，通過各種智能化的應用，提升城市基礎設施的運作效率，提升城市運行管理和公共服務水平，讓人們的生活更美好。截止2013年，我國已經有311個城市提出或正在建設智慧城市。

大數據是支撐智慧城市發展的重要信息資源，城市運行體征是通過數據進行量化表現出來的，通過大數據技術收集各部門有關城市運行體征的數據，可幫助城市管理者進行數據匯總、分析，最終對城市體征的量化形態即各類數據進行管理。大數據與智慧城市的關系可表述為：大數據的發展源于物聯網技術的應用，并用于支撐智慧城市的發展；智慧城市的衡量指標由大數據來體現，大數據促進智慧城市的發展；物聯網是大數據產生的催化劑，大數據源于物聯網應用[1]。

本文通過分析智慧城市的數據資源組成，綜述數據資源管理技術，并在此基礎上闡述智慧城市中的大數據綜合應用以及在重點領域的行業應用，為后續智慧建設城市中大數據應用及創新提供參考。

1 智慧城市概述

智慧城市是創新與新信息技術發展、成長于社會創新環境下的新興城市形態，是傳統城市文明與新知識、新技術的創新融合的產物。智慧城市將極大改變城市的管理方式和生活方式，并有效保障城市的可持續發展。建設和發展智慧城市，是經濟增長的新動力和經濟發展方式轉變的重要契機，也是提高城鎮化質量，緩解的“大城市病”的重要方式。

智慧城市具有以下特征：

（1）感知與互聯。通過智能傳感器，對城市的物理空間進行全面感知，對城市核心的運行系統進行實時監測。通過互聯網將智能傳感器網絡連接起來，實現對數據的智能存儲、管理、使用。

（2）重視基礎建設。通過互聯網、物聯網、衛星傳感器網的融合，以及多源異構數據的整合，為智慧城市的建設提供信息基礎設施，從源頭上保障智慧城市的良性發展。

（3）協同與智能。在建設智慧城市基礎設施的基礎上，協調智慧城市各要素、單元、系統的高效運行；通過構建新的服務模式與服務體系，對各類數據進行處理、挖掘，提供各種不同層次的智能化服務。

（4）鼓勵創新。在城市智慧信息基礎設施上，鼓勵各級各類主體進行各種形式的創新應用，不斷為城市經濟、文化的可持續發展提供動力。

2 智慧城市的數據資源與技術

智慧城市的數據來源廣泛、結構多樣，涵蓋智能交通、智能醫療、智能樓宇、智能電網、智能農業、智能安防、智能環保、智慧旅游、智慧教育、智能水務等大數據資源，涉及眾多方方面面智慧城市應用范疇[2]。其多是互聯網、傳感設備、視頻監控、移動設備、智能設備、非傳統IT設備等渠道產生的海量結構化或非結構化數據，并且時時刻刻都在源源不斷地滲入城市日常管理和運作的方方面面[3]。

智慧城市的數據資源體量巨大，但有價值的信息密度低，需要進行深度整合和分析，將不同來源、不同格式、不同類型、不同應用的數據進行規范、融合，形成“智慧城市”的數據資源體系，打破各系統間數據不能共享的現狀，實現空間信息和非空間信息的統籌管理、統一服務、共享共用[4]。

從智慧城市的業務需求角度來說，一方面，智慧城市管理需要深度整合、分析數據；另一方面，大數據環境下的智慧城市運行體征管理，需要對城市運行狀況進行信息的收集和整合。因此，需要從整合現有信息資源并為未來的信息化建設提供統一支撐的角度，打破各個系統間數據不能共享的現狀，實現空間信息和非空間信息的統籌管理、統一服務、共享共用。

從業務內容角度來看，智慧城市需要有建立在標準規范之上的信息資源體系，它是一個分層的樹狀結構，包括元數據資源、數據資源、服務資源三大類，如圖1所示：

圖1 智慧城市信息資源體系層次結構

從技術實現的角度上來看，對智慧城市數據資源的管理，可采用數據生命周期管理、大數據采集、大數據存儲、大數據處理、智慧城市大數據決策分析等技術。

（1）數據生命周期管理。主要對智慧城市業務數據的產生、規范、使用和存檔的各個階段進行有效地監控和管理，以保證數據的共享性、完整性、可靠性和有效性等，并以此為基礎提供給上層決策分析系統。

A.數據共享性。采用主數據管理技術，消除“信息孤島”，加強各系統間關聯性，建立規范、統一的數據源，實現數據共享。

B.數據完整性。采用元數據管理技術，從數據格式、源頭、服務等方面建立信息資源規范，以確保數據的完整性。

C.數據可靠性。采用數據清洗技術，可以有效的清除臟數據、保證數據的質量。

D.數據有效性。對數據歸類和特征分析，利用在線存儲、近線存儲、歸檔存儲等技術進行選擇存儲，保證數據的有效性[5]。

（2）大數據采集。主要通過網絡數據獲取，媒體流獲取，日志信息獲取和傳統應用數據獲取等技術在智慧城市場景中獲取大數據。

A.網絡數據獲取。主要利用互聯網搜索引擎技術如網絡爬蟲等實現有針對性、行業性、精準性的數據抓取，按照一定規則和篩選標準進行數據歸類，形成數據庫文件。

B.媒體流數據獲取。媒體流接入服務采用集群的方式，為每個接入源動態確定一個存儲服務器，實現視頻、音頻數據以分布式文件方式落地。

C.日志信息獲取。常通過成熟分布式框架如 Chukwa、Flume、Scrib等，實現日志信息的分布式收集和統一處理。

D.傳統應用數據獲取。主要采用ETL將分布的、異構的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成，最終按照定義好的數據模型，將數據加載到目標數據庫中。

（3）大數據存儲。主要利用CAP原則，通過對大數據特征分析，選擇合適的存儲方案。

A.數據存儲硬件：本地存儲、SAN存儲和云存儲。

B.數據存儲技術[6]：關系型數據庫、No-SQL數據庫、實時數據庫、分布式文件存儲、列式數據庫等。

（4）大數據處理。主要是采用基于大數據方案的計算技術、數據挖掘技術和大數據可視化技術實現數據處理。

A.計算技術[7]：輕量級彈性計算平臺、Map-Reduce離線計算框架、Spark內存計算框架、Storm流式計算框架等。

B.數據挖掘技術：大數據下的頻繁模式挖掘技術、大數據下的聚類分析方法、大數據下的分類和預測算法、大數據下的序列挖掘算法。

C.大數據可視化技術：借助于圖形化手段，清晰有效地傳達與溝通信息。大規模數據的可視化和繪制主要是基于并行算法設計的技術，合理利用有限的計算資源，高效地處理和分析特定的數據集的特性，主要技術：數據流線化、任務并行化、管道并行化、數據并行化。

（5）智慧城市大數據決策分析。主要利用當前成熟的模型技術，對海量冗余的數據源進行抽取轉換等操作，以形成高質的智慧城市數據資產，為城市的發展決策提供明確的數據支撐。常見的大數據決策分析技術如下：

A.融合多領域信息的數據知識模型。首先，在標準統一的領域數據知識模型的基礎上，建立面向不同主題的多領域數據知識模型。然后，在建立面向領域的和面向主題的數據知識模型的基礎上，形成多領域多層次數據知識模型結構。

B.面向智慧城市決策支持的分布式海量數據的管理技術。通過對智慧城市大數據的進行決策分析，實現海量數據管理和決策分析的雙向耦合，為決策支持提供數據管理層面的有效支撐。涉及技術有：分布式大數據的平臺、基于云計算的海量異構數據的存儲管理技術、分布式決策模型、流數據挖掘技術。

C.輔助決策模型的智能組合技術。建立針對模型的規范化描述，使模型分析的結果也可以滿足數據知識模型體系的數據標準，從而能夠為其它決策分析模型所利用，在此基礎上能夠建立模型鏈的實例化應用，擴展輔助決策支持的范圍，真正發揮多層級輔助決策支持的能力。包括：決策模型標準化、模型鏈建立與實例化、模型鏈評估與優化。

D.高性能多用戶協同的輔助決策技術。通過可視化技術，以更直觀、有效的方式將數據分析結果展示給用戶。主要技術有：決策模型的可視化展現技術、可視化動態分析模型、可視化智能決策方案。

3 智慧城市中的大數據綜合應用

智慧城市助推大數據的產生，也給大數據提供了廣闊的應用市場。智慧城市數據資源多源、異構、冗余，需要從數據采集、整合、分析的整個流程，進行綜合數據管理，將其轉變為城市的有效、高質的數據資產，發揮大數據在城市建設發展中的最大效用，如圖2所示：

圖2 大數據綜合應用

（1）大數據采集

網絡大數據和政府部門數據資源是智慧城市大數據資源的主體，對推動城市智能化、創新化、互聯化起著舉足輕重的作用。

網絡大數據采集包含對互聯網數據采集、物聯網數據采集和個人數據采集。互聯網數據的采集涉及頁面和后臺數據兩個層面，頁面數據可以通過爬蟲程序直接抓取所需的數據，而網站后臺數據層次較深、相對較復雜，常通過開放或授權數據接口讓各方方便獲取數據、開發應用；同時對互聯網海量的網頁，可以建立大數據抓取集群，實現統一的互聯網數據抓取，保證抓取的實時性。物聯網數據采集，主要是建設城市統一的數據監測采集系統，實現行業數據如車聯網大數據、環境物聯網大數據等的統一采集、統一管理，各行業按需調用相應的數據服務即可。個人數據采集，主要是對個人日?；顒訑祿?、與政府企業資源設施互動數據等采集，有助于創新社會管理、提升公共服務、建立個性化服務。

政府部門數據資源，共享度低，數據采集重復性高，且易形成“信息孤島”。進行跨部門大數據管理，以城市一體化為目標，建設城市運營數據的統一采集，建立起跨部門的數據共享體系，為各領域的智慧應用提供大數據統一服務。

（2）大數據開放服務

大數據要發揮巨大價值，開放是關鍵。智慧城市建立統一的大數據開放服務，有助于打破信息孤島，并實現數據授權，有助于發展數據產業。智慧城市大數據開放服務的基本思路為：政府數據開放、機器可讀；應用云計算等新模式；鼓勵社會化的數據再開發；城市一體化而不是部門孤島。大數據開放服務，將連接居民、政府、社會開放設備和平臺，形成一個大數據服務生態環境，將使居民更方便的獲取信息、政府實現跨部門數據共享、數據再開發利用使數據增值、數據利用更加安全、城市數據服務一體化等

（3）大數據決策分析

大數據能提升智慧城市決策支持的能力，形成更智能的趨勢分析。建立大數據技術與業務深度融合的模式，簡化各領域應用大數據進行分析決策的難度，實現對決策支持的服務。

大數據的分析服務，提供大數據分析的工具引擎，包括多源數據關聯分析、數據建模、數據仿真、數據報告等共性功能。深入的分析和挖掘，大數據可以為智慧城市的很多領域服務，包括交通運行、醫療衛生、社會管理、農業、商業、金融以及宏觀經濟等。如對醫療大數據進行分析，可以幫助政府更科學地進行醫保預算，實現醫?？刭M，提升醫療機構的疾病診斷能力，提升市民的健康水平；對應用電子商務大數據進行分析，可以一定程度上預測經濟狀況，按需生產；對公共大數據的分析，可發揮數據的協同作用。

總之，在智慧城市中綜合應用大數據，可以形成趨勢判斷、數據共享，將有助于智慧城市的創新社會管理、各行業的互聯互通、良性競爭與可持續發展。

4 智慧城市中的行業應用

充分利用智慧城市大數據潛能，以滿足城市各行業發展需求。智慧城市中大數據行業應用重點領域有民生、市場監管、政府服務、基礎設施等，涵蓋了醫藥衛生、環境保護、智慧教育、交通物流、市民服務、市場監管、公共安全、國土資源、科技服務、文化創意、電子政務等方方面面。

（1）民生領域

智慧城市中采集的人口數據、環境數據、交通數據、健康數據、監控數據、經濟數據等是民生大數據的重要組成部分。同時，互聯網上用戶相關的民生大數據的采集是在用戶參與下，由運營商、服務方分別采集完成的。通過民生大數據的開放和共享，構建民生大數據集市，需求方可按需獲取數據。

民生大數據將在民生領域的輿情、預測、決策、調控等方面發揮巨大的作用。大數據技術對于把握民生民情民意具有重要意義，可以提煉廣大市民的需求，使民生服務領先一步，比市民本人知道得更多、了解得更細、發現得更早，可以分析社會現象本質，揭露潛在的民生問題，還可預測趨勢，指導民生決策，使立法、監管先行，防患于未然。

（2）市場監管領域

市場實時數據、歷史數據、其他數據源等共同構成市場監管領域大數據集[8]。

通過大數據智能分析算法和數據挖掘技術，實時分析市場數據，以對市場變化及時做出反應。分析歷史數據，提取出被監管對象的行為模式、消費者的行為模式以及他們行為模式的趨勢，并結合實時數據分析，可對非正常的活動提出預警。將新的數據源整合至監管領域大數據集，可提高對非正常事件進行預警的準確度。對不同行業大數據分析，可支持多行業的監管。

（3）政府服務領域

運用大數據，通過多渠道數據采集、快速綜合的數據處理技術，增強社會管理能力，實現政府公共服務的管理創新、技術創新和服務模式的創新。

首先，大數據在政府服務領域的應用。一方面，通過大數據共享性應用，實現政府各部門之間、政府與市民之間的信息共享，提高政府各機構協同辦公效率和為民辦事效率[9]。另一方面，大數據價值應用，通過大數據決策分析，展示給人們關注信息之間的關聯度，實現信息價值的放大。

其次，應用大數據和云計算等新技術，構建實體社會管理與虛擬社會管理相結合的社會管理一體化模式，實現智慧城市的創新社會管理。

A.動態感知：對現實社會和虛擬社會中的人員、場所、設備設施、活動、輿論等信息進行動態采集。

B.互聯互通：實現區、街道鎮、居委、商務樓宇等社會綜合管理部門的信息共享，并與市級公安、司法、住房等社會管理相關部門信息整合。

C.應用智能：構建社會管理業務模型，對采集的海量大數據信息進行分析處理，形成趨勢判斷，為社會綜合治理提供預警和處理的智能化手段。

D.管理創新：形成虛擬社會管理的綜合應用，并對實體社會管理提供支撐。

（4）基礎設施領域

城市基礎設施是對城市生存、發展所必須具備的社會性基礎設施和工程性基礎設施的總稱[10]。

運用大數據，通過對各基礎設施如軌道交通、電力設施等數據采集、分析，將有助于促進城市基礎設施建設的完善。如在軌道交通領域，通過采集客流信息、軌交數據、監測數據等，形成軌道交通大數據集。通過對大數據的數據挖掘和決策分析，進行大客流預測、事件預警、推送出行路線等，為規劃新的路線提供決策支持，為安全暢通提供保證，也將有利于城市綜合交通的優化。

（5）醫藥衛生領域

在醫療改革的國家政策背景下，大數據在醫藥衛生行業的應用也日顯重要。

醫藥衛生領域，病人個人信息、診療信息、處方醫囑、檢查報告等共同構成醫藥衛生的大數據資源?？赏ㄟ^對這些數據源的采集、抽取、轉換，形成醫療信息資源庫，為居民個人、醫生、衛生管理部門提供數據支持。

面向居民，醫療信息資源庫為居民提供個性化健康管理，如智能導診、健康記錄、健康問答、個性化保健建議、健康咨詢、健康預警、個性化健康教育等。

面向醫生，醫療信息資源庫為醫生診斷提供個性化臨床決策支持。如，基于醫療大數據分析提煉病種的關鍵特征指標，形成糖尿病、高血壓、腫瘤幾個病種的診療模型。

面向衛生管理，醫療信息資源庫將有助于精細化衛生管理。如，采用特異群組挖掘技術，針對就醫行為大數據，并結合持卡人的多元信息，設計異常就醫行為檢測算法。

5 總結

大數據的使用已經成為一個國家各領域提高生產力、創新能力以及競爭力的關鍵要素。雖然我國在智慧城市建設、在大數據的開發和利用方面取得了一定的成績，但是我們要清楚地認識到，在智慧城市的現今階段大數據的開發和利用所面臨的困難：

政府各個部門之間的數據共享程度低；

政府數據開放剛剛起步；

大數據生態環境中各個角色的權利義務不清；

數據資產所有權的界定和保護；

數據利用中的安全和隱私保護問題；

處理大數據能力的技術和平臺；

大數據相關的人才匱乏。

面向未來，在智慧城市的建設過程中如何更好的利用大數據，需要進一步的思考、解決和實踐：

（1）建立政府數據開放的機制：參考國外政府大數據開放所遵循的原則，完整性、原始性、及時性、可獲取性、可處理性、非歧視性、非專有性、非許可性等；鼓勵政府部門共享和開放，建立數據質量評估機制，鼓勵第三方挖掘政府信息資源的積極性，出臺相關的獎勵措施。

（2）加強對數據隱私、安全、知識產權、法律法規、標準規范的研究與制定：建立相關標準規范、法律法規；研究個人數據保護的法律瓶頸；明確擁有者、使用者、第三方社會資源、最終用戶等各方的責任、權利和義務；加強對數據主權研究；加強對數據跨境流動監管；加強數據風險分級管理。

（3）加強大數據人才（分析、管理、技術）培養與培育：尤其注重培育跨界復合型人才，既要熟悉政府業務，又要熟悉大數據技術；加強對政府信息化和管理決策部門、對大數據技術人才的相關培訓，技術與業務的結合點。

（4）推動技術、產品與服務的加速融合與創新：鼓勵多種形式的服務模式的探索和創新；鼓勵政府部門購買大數據相關的產品和服務；鼓勵社會第三方基于大數據的運營模式探索和創新；支持大數據公共服務平臺、專業大數據公共平臺、產學研聯盟以及相關基礎設施的建設。

（5）大數據時代真的已經來臨，智慧城市的建設更加離不開大數據相關技術和產品的應用、服務和管理模式的創新、融合業務和運營模式的探索，大數據不僅是引領新一輪城市經濟社會發展的重要驅動因素，一定意義上也將是人類社會發展進程中的劃時代變革。

[1] 陳素梅. PACS存儲系統的設計與實現[D].深圳：廈門大學,2013.

[2] Fay Chang,Jeffrey Dean,et al. Bigtable: A Distributed Storage System for Structured Data[J]. ACM Trans Comput. Syst., 2008, Vol.26.

[3] Jeffrey Dean,Sanjay Ghemawat Commun. MapReduce: Simplified Data Processing on Large Clusters[J]. ACM 2008.

[4] 宋杰.面向多類型數據源的數據倉庫構建及ETL關鍵技術的研究[D].沈陽：東北大學, 2008.

[5] 李明高.“大數據”之于“電子政務”[J].信息化建設,2013(1):18-19.

[6] 龐擁軍.城市基礎設施建設評價研究[D].天津：天津大學, 2008.

The Application of Big Data in Smart City

Li Guangya, Zhang Jingyi, Tong Qing
(Wonders Information Co., Ltd, Shanghai 201112, China)

With the rapid development of Smart City, multi-source, different- structured and redundant big data has been well developed. Technologies such as data excavation and decision analysis provide an opportunity for big data to transfer into data asset which is necessary measures for the intelligence and interconnection of Smart City. Besides, the paper described the concepts, data resource and technologies of data analysis of Smart City. Furthermore, it claimed the synthetic application of big data of wisdom city. What's more, it demonstrated the application status of big data in current key industries and an expectation of its future development. Finally, it provided proposals and ideas for a further application of big data of Smart City.

Smart City; Big Data

TP311.13

A

2014.11.12）

1007-757X(2014)12-0001-04

李光亞（1973-），男，萬達信息股份有限公司，高級工程師（教授級），博士，研究方向：軟件工程、大數據管理、云計算、城市智能化，上海，201112

張敬誼（1974-），女，萬達信息股份有限公司，高級工程師，博士，研究方向：大數據管理、計算智能、移動醫療，上海，201112

童 慶（1977-），男，萬達信息股份有限公司，高級工程師，博士，研究方向：大數據管理、電子商務，上海，201112