智慧城市中的大數據分析

常廣炎

摘要：以物聯網、云計算等新一代大數據技術為核心的智慧城市建設理念，是未來城市發展的全新模式。智慧城市一個重要職能就是采集、存儲、分析、挖掘城市運行中所承載的大數據，具備全面感知和全面分析的能力，同時能夠展示和擴展。智慧城市的建設，有利于解決城市發展問題，有利于提升城市信息管理水平。在智慧城市發展過程中必然產生大數據，因此需要通過處理大數據來體現智慧，其核心是智慧城市信息系統的大數據處理平臺，其關鍵技術對于智慧城市的建設和運轉起決定性作用，對提升城市服務、提高管理水平和城市的可持續發展具有重大的應用價值。

關鍵詞：智慧城市；云計算；物聯網；大數據；Hadoop

1.智慧城市簡介

智慧城市就是運用互聯網+、物聯網、計算機網絡、云計算等新一代信息技術手段，對城市運行系統海量數據的關鍵信息進行的采集、存儲、智能處理和分析，對社會管理、政府管理及社會公共服務的各種需求做出智能化響應和智能化決策支持，從而實現城市的智慧式管理和運行。智慧城市將改變人們傳統的生產、生活方式和思想觀念，將原有的粗放式模式改變為科學可持續發展的創新驅動和市場發展模式，以滿足城市的可持續發展，從而構建城市發展的全新城市形態。智慧城的關鍵特征有以下幾點。

1.1全面感知

智慧城市中分布大量的感知終端，通過傳感器網絡，捕捉到人們的生活、生產及城市環境的多種數據。信息感知網絡應覆蓋城市的個個角落，能夠大量采集不同形態、不同屬性的各種數據。隨著物聯網技術的發展和應用，將為智慧城市提供更多的信息資源。

1.2深度互聯

智慧城市的信息感知是以多種信息網絡為基礎的，城市中擁有快捷的互聯通道，數據通過互聯網、移動互聯網和有線電視網等網絡實現陜速互聯，各個部門專用網絡的加入，實現信息資源的一體化。智慧城市將大大增加信息的交互程度，將多個分散獨立的小網連接成互聯互通的大網絡，使網絡的價值大大提升，形成更強的驅動力。

1.3智能處理

智慧城市擁有海量級PB單位的信息數據，這些大數據是智慧城市得以正常運轉、決策、控制、展示的基礎，智慧城市要具有對所擁有的海量信息進行智能處理的能力，這要求通過大數據處理平臺將收集到的數據進行效的集中存儲和處理，并對數據進行分析，產生具有價值的信息，為自主進行判斷和預測提供支持，從而實現智能決策。這一過程中還需要體現出自我學習的能力，主要是通過數據挖掘和機器學習，從歷史信息中提煉相關的知識，指導未來的分析和處理。在技術上，以云計算為代表的分布式處理框架和線性擴展能力，為智慧城市的智能處理提供了有力支撐。

1.4開放應用

開放性是智慧城市的信息應用特征，信息的應用不能局限在政府或城市管理部門對信息的掌控和分配。智慧城市應具有信息開放式應用的能力，最終目標是要能夠將處理后的各類信息送給信息的需求者，從而完成信息的完整增值利用，其中搭建開放式的信息應用平臺是關鍵，通過該平臺使個體間進行信息交互，充分利用系統現有能力，大大提升智慧城市的信息資源并產生新應用。

2.智慧城市中的大數據特征

在智慧城市中，城市的管理與服務涉及各個領域，智慧城市中產生的大數據由于體量巨大，處理要求高，傳統的信息技術和IT架構已不能解決問題。這些大數據具有的特征如下。

2.1數據量巨大

智慧城市中諸多領域都產生大量的數據，通常是在PB級以上，如中國1個1 000萬人口的城市50年積累的醫療數據量就達到了50 PB。智慧城市的智慧化管理需要多方協同管理，共享數據，這就需要把多領域的數據進行綜合的分析和匯集，如流行病的預防，需要綜合分析人口數據、社保數據、醫保數據、醫院數據等，進行這樣的綜合分析需要將這些數據集中存儲于大數據平臺上，這是傳統的數據庫平臺不能完成的。

2.2種類繁多，增長迅速

智慧城市中的大數據匯集眾多領域、眾多行業的數據，數據類型多樣化且結構復雜，有結構化的，半結構化或非結構化數據點大多數。靠傳統的關系數據庫系統己不解決其存儲問題，更談不上進行分析。例如，銀行、學校更多是結構化的數據；交通管理包含大量的視頻和圖像是非結構化數據；氣向、醫療數據是半結構化的。隨著社會經濟的發展伴隨數據量的高速增長，如一個1 000萬人口的中等城市，每天采集交通卡口過車數量數據約占幾個TB。

2.3價值巨大

維克多·邁爾·舍伯恩認為“大數據的重要價值在于建立數據驅動的關于大數據相關分析，而建立在相關分析基礎上的預測是大數據的核心！大數據讓人們知道‘是什么”。從價值層面上看，智慧城市中的大數據經過加工分析后，蘊含了無窮無盡的價值，對城市的運行和管理起到了極大的輔助作用。一是實現巨大經濟效益，如大數據使美國零售業凈利潤增長達到60%，使制造生產成本下降50%；二是能夠增強社會管理水平，在政府和公共服務領域的大數據應用，能夠提高政府部門的決策水平，增加服務效率和提升社會管理水平，有效推動政務工作的開展，將會產生巨大社會價值；三是能夠提高安全保障能力，通過對大數據整理、分析，可以有效地預測金融、國防、安全等領域的風險，提高國家安全保障能力。

3.大數據處理平臺構成

智慧城市建設的關鍵構建大數據處理平臺，該平臺的主要功能是為智慧城市提供支撐環境，來實現智慧應用管理、數據關聯分析和數據深度挖掘、展示和擴展等功能。大數據平臺的組成如下：

3.1云計算公共平臺

智慧城市集成海量級的數據，數據多數是非結構化的數據，傳統的關系型數據庫無法進行處理，只有借助云計算的分布式處理框架和線性擴展能力，才能滿足智慧城市基礎平臺的需要，目前應用比較廣泛的是基于Hadoop的分布式處理框架云平臺。在海量數據存儲方面，Hadoop中的HDFS是一個典型的海量存儲系統，它采用主從結構體系，存儲服務器集群由一個主節點和眾多數據結點構成，從而實現分布式數據存儲和集群冗余機制，能夠把PB級的數據存放到分布式服務器上，并提供數據安全可靠性。在對海量數據進行綜合分析和挖掘處理，其計算量非常大，分為在線計處和離線計算。對于實時性不高的信息處理，采用離線計算平臺，Hadoop的云計算框架MapReduce是離線計算的典范，具有較高的穩定性和擴展性。阿里巴巴的數據平臺就是依托Hadoop來實現的。在線計算方面，目前比較成熟的是基于Hbase的準實時數據庫及MysQL Cluster基于流式處理實時響應平臺，這兩種技術能夠對海量數據進行綜合分析，響應時間短，實時性強，有利于實現數據交互，解決了離線平臺處理耗時長，反應慢的問題。為應急指揮、現場響應及動態控制等各種應用場景提供技術支持。

3.2統一的數據存儲平臺

智慧城市采集數據類型復雜眾多、數據量海量，統一的數據平臺進行存儲管理是必須的，同時還要提供大規模分布式存儲與數據備份的支持。Hadoop～HDFS是一個典型的分布式海量存儲系統，能夠把PB級的海量數據存儲在大規模的分布式集群服務器上，同時能夠保證數據的讀寫效率和安全。HDFS的設計目標是為存儲超大數據文件，它具有“一次寫入，多次讀取”的功能，具有降低并發控制、簡化數據聚合、支持高吞吐量的訪問的特點，在安全性方面，具有硬件錯誤檢測并自動恢復功能，使某些結點發生故障時，整個集群的工作不受影響。

3.3數據共享交換平臺

為了滿足各種數據交換需求，必須提供并制定數據標準，該平臺將提供智慧路由、實時服務、異步服務、安全控制等功能。是集數據交換開發、部署、管理、監控為一體的數據交換全生命周期管理的數據交換平臺。

3.4智能數據統計分析平臺

智慧城市平臺的核心是智能數據綜合統計分析功能，該平臺支持大數據的檢索查詢、統計分析、數據挖掘、預測和展示功能，通過對數據的分析挖掘，提供相應的輔助決策功能。

4.大數據在智慧城市中的應用

4.1城市公共信息管理

對城市的公共信息如人口、交通、經濟、醫療、社保等信息進行管理，建立統一的公共信息管理平臺，實現海量、多尺度、多時態的信息管理。

4.2智慧醫療

醫院里有大量的病例數據，傳統的數據處理技術對其進行數據的挖掘非常困難，在大數據云平臺的環境下能夠得以實現，這在疾病治療和亞健康管理上將發揮巨大的作用，進一步促進醫療水平的提高。

4.3智能交通

運用大數據于整個交通運輸管理體系，建立交通智慧信息發布平臺，來實現車輛識別、跟蹤、交通流量分析控制等應用，來解決城市交通堵塞和環境污染，保證交通安全，提高運輸效率。

4.4智慧教育

現代教育信息化服務體系系統構成智慧教育的核心。該系統由數字教學資源庫、公共服務平臺和云端設備組成。任何時間和地點學習者都可借助云端設備進行高質量個性化的學習。

4.5智慧社區

智慧社區是通過社區服務平臺來實現的，采用的是O2O模式，將實體經營和網上經營相結合，拓展了服務方式，為市民日常家居生活提供便捷服務。居民可以通過社區服務平臺選擇并定制自己的所需服務。

5.結語

大數據的出現，預示著數據在信息系統中的性質和作用發生了根本的改變。智慧城市既受制于大數據又得益于大數據，智慧城市與大數據的共生關系促進了信息系統的革新。智慧城市建設要依托新興的云計算技術，始終以技術創新和模式創新為理念，將原有的粗放式發展模式改變為創新驅動和市場主導的發展模式，發揮大數據的巨大潛力，實現智慧城市的設計目標。