基于大數據的智慧安全應用服務系統設計與研究

任子暉 王雨晴 張兆義 時明 陳誠

摘 要：近年來，伴隨著國內平安城市、無線城市的快速普及與發展，平安城市運行中產生了海量的城市視頻數據，并呈快速增長趨勢，另外，無線城市在日常運營中，前端AP設備采集了大量以終端MAC為主的探針數據。如何有效融合及利用沉淀的海量數據資源，為城市公共安全管理提供強有力的信息化手段引起了重點關注，是目前研究的熱點問題。文章通過對前端AP采集的數據、城市視頻大數據進行分布式存儲、融合、計算及分析，搭建基于大數據的智慧安全應用服務系統，可達到人群計數、擁堵預警、人車同蹤等功能。

關鍵詞：平安城市；無線城市；手機MAC；公共安全

中圖分類號：F49 文獻標志碼：A 文章編號：2095-2945（2018）36-0088-02

Abstract： In recent years， with the rapid popularization and development of domestic safe city and wireless city， the operation of safe city has produced a mass of urban video data， and showed a rapid growth trend. In addition， the wireless city in daily operation， the front-end AP equipment collects a large number of probe data mainly from terminal MAC. How to effectively integrate and use the precipitation of massive data resources for urban public security management so as to provide a strong means of information technology has attracted attention. This is a hot issue in the current research. Through the distributed storage， fusion， calculation and analysis of the data collected by the front-end AP and the city video big data， the intelligent security application service system based on big data is built can achieve the crowd count， congestion warning， people and vehicles with the track and other functions.

Keywords： safe city； wireless city； Mobile MAC； public security

1 概述

近年來，隨著國家對平安城市、無線城市、智慧城市投資力度的不斷加大，國內“平安城市”、“無線城市”建設正如火如荼的展開，據統計，臺灣、香港、上海、北京、廣東、湖北、江蘇、山東、安徽等30余省的超300個城市已建設成無線城市。截至目前，全國基本上所有地市和重點區縣都已經完成第一期的平安城市建設，使城市大多數公共區域均實現了視頻監控。“平安城市”、“無線城市”在日常運行中，產生了海量的視頻數據、以手機MAC數據為主的無線數據資源，并呈快速增長的趨勢。

目前城市各大公共場所的信息化安全管理以視頻監控+人工巡邏為主。在發生群眾聚集或犯罪行為時，依靠辦案民警或管理部門對監控畫面進行肉眼識別，或在案發后調閱存儲視頻進行排查，難以起到預防作用。在公安機關進行案件偵破過程中，調閱視頻監控的人工檢索方式耗時長，耗費工作人員精力大。隨著大數據、云計算技術的不斷成熟，如何利用無線網絡所沉淀的大數據資源，結合視頻監控大數據資源進行智能化分析處理，打造新型智慧化城市，構建信息化環境下的安全社會，成為城市相關管理者亟待解決的問題。

綜上所述，城市管理者急需一個智能化的，能有效結合海量視頻大數據和網絡大數據資源的分析應用系統。本系統以公安、城市安全管理等部門需求為導向，研發基于大數據的智慧安全服務系統，探究整合“無線城市”、“平安城市”及社會網絡視頻資源的技術實現途徑，形成統一標準的網絡及視頻數據接口。實現高效的資源存儲管理及分析應用，創新“無線+視頻監控”的智慧應用，為公安、城市管理部門的治安管理、應急處置、打擊犯罪等提供有力的支撐手段。

2 系統整體設計

基于MAC地址+活動時間兩個維度，可以確定具體軌跡的活動地點與時間，可以通過AP所在的經緯度查詢與之最近的監控視頻，再通過時間維度調出當時發生的監控錄像，進行智能研判。基于大數據的智慧安全服務系統整體框架如圖1所示。整體架構包含四層，各層作用如下：（1）前端采集：通過用戶接入的采集攝像機和MAC采集設備（AP），獲取視頻數據及移動終端的MAC地址、終端品牌等信息。（2）傳輸網絡：通過網絡將前端采集的數據上傳到大數據處理平臺。（3）大數據處理平臺：對前端采集的數據進行清洗、轉換、融合、存儲和管理。（4）業務應用系統：與視頻監控數據相結合，利用大數據分析算法，對前端采集的海量數據進行挖掘分析，針對不同的應用要求，快速找到相關信息。

3 技術路線

（1）數據采集。本項目中所需數據資源涉及無線網絡大數據和視頻監控大數據兩部分，其中視頻監控大數據可將用戶的視頻流媒體服務器或存儲服務器引入系統接口；無線網絡大數據可利用城市無線局域網和后續增補點位采集的信息、單位個體自建的無線信息。

（2）數據整合。本文通過研究GB/T28181-2011（國家標準聯網接口協議）、ONVIF、PISA等網絡傳輸協議和H.264、MPEG-4等系列視頻編解碼算法，形成統一標準的視頻流媒體服務器接口；采用基于不同廠商AP探針模塊的UDP包接收解析技術，實現對不同廠商AP設備探針模塊發送數據的解析，匯入系統統一數據庫，將不同廠商的設備數據統一出口標準，納入大數據處理平臺，實現海量異構無線大數據與視頻大數據的融合。

（3）海量數據存儲。本系統采用HDFS、HBase、ElasticSearch三種系統進行數據的統一存儲。HDFS作為本系統數據的基礎存儲平臺。針對視頻數據，本文通過hadoop提供的API接口，實現將接收到的視頻流文件從本地上傳到HDFS中。面對海量數據查詢與檢索，必須要求系統具備很高的數據結構設計與性能，傳統數據庫幾乎無法完成多條件的查詢。為了實現海量數據秒回查詢，本系統對需要實時讀寫、隨機訪問的數據存入HBase中，HBase是一個高可靠性、高性能、面向列、可伸縮的分布式數據庫，并基于Elasticsearch建立分布式海量數據檢索服務，Elasticsearch的性能是solr的50倍，作為HBase數據倉庫的查詢入口，實現實時檢索，穩定，可靠，快速。另外，HBase技術在廉價PC Server上可搭建起大規模結構化存儲集群，在實現系統PB級數據存儲能力的同時又節省了系統硬件投入。在本系統中，由于采集的數據量巨大，對分布式服務器節點的性能和存儲空間要求較大，本文通過采用LZO（Lempel-Ziv-Oberhumer）壓縮技術，將原始數據壓縮到12%左右，減少了78%的存儲資源，使集群能保存更多的數據，延長集群的使用壽命。

（4）數據計算及分析。本系統采用基于Hive進行標準SQL化分布式數據計算與挖掘，對存儲在HDFS中的海量數據，特別是MAC數據，采用類SQL的查詢語言（HiveQL），對數據進行離線管理和分析。實時計算適用于對歷史數據依賴不強，短時間內變化較大的數據。如人車同蹤、尋找犯罪同伙等隨環境和時間實時變化的數據都可能用到實時計算。離線式的批處理框架MapReduce已經不能滿足業務，大量的場景需要實時的數據處理結果來進行分析，決策。本系統采用SparkStreaming進行實時數據流并行分析與計算，SparkStreaming是Spark提供的分布式的大數據實時計算框架，是基于SparkCore的擴展，它提供了動態的，高吞吐量的，可容錯的流式數據處理，可從多個數據庫中獲取數據，然后使用復雜的算法和高級的函數算子進行數據處理加工。最后可以將處理后的數據輸出到文件系統，數據庫和可視化界面，實現本系統高復雜、高強度的業務場景需求。

4 系統測試

完成系統的開發之后，采用了黑盒和白盒的測試方法對系統進行測試，經測試，系統的功能、性能和兼容性等滿足預期要求。

5 系統應用

構建信息采集熱點，結合網格化管理等技術手段，形成一個基于MAC信息的人員定位網絡，同時與視頻監控、網格化管理結合，可廣泛用于集體事件人員批量鎖定、社區網格化管理、景區管理等領域。

（1）人群計數及擁擠預警。利用采集的MAC地址數據，描繪系統應用區域內的人群密度信息，結合視頻監控資源，實時監測預警，避免群體性突發事件。（2）MAC地址碰撞。運用大數據技術對MAC地址等數據進行挖掘分析，初步確定可疑人員信息，并結合視頻監控進一步確認，輔助社區景區管理及公安人員破案。（3）人車同蹤。MAC地址數據和視頻監控數據相結合，以MAC地址和車牌號為定位特征，可將同一時間、同一地點的人車進行同步軌跡回放。（4）尋找犯罪團伙和目擊證人。尋找犯罪同伙：不同案發地點采集到多個相同的MAC地址，可以排查是否是團伙作案。尋找目擊證人：從案發地點采集到的MAC地址信息，找到該MAC地址對應的人的真實身份，快速的定位現場目擊證人。（5）可視化布控告警。MAC地址精確布控：支持通過設定MAC地址、布控時間、布控地點等完成布控單。布控實時預警：滿足管理人員在線實時查看布控信息的需求，在出現符合布控條件的MAC時，支持彈出視頻及聲音警報。布控審批：滿足對使用者提交的布控單進行審批的功能，根據布控單的審批階段及時在對應人員的賬號下顯示。告警閉環處理：當被布控的MAC地址出現時，可以有下面三種提示方式：大屏展示、短信通知和彈出客戶端，同時關聯現場視頻，并讓街面警員協助盤查。

6 結束語

利用平安城市、無線城市發展契機，通過對城市視頻數據、前端AP設備采集的手機MAC數據的采集、傳輸、存儲、融合、計算分析等，搭建基于大數據的智慧安全應用服務系統，并提出該系統的五大應用場景：人群計數及擁堵預警、MAC地址碰撞、人車同蹤、尋找犯罪團伙和目擊證人、可視化布控告警，為城市公共安全管理供強有力的信息化支撐和保障。

參考文獻：

[1]高見，袁得崳.基于WIFI探針的預警系統設計與研究[J].中國人民公安大學學報，2016，3（1）：89-93.

[2]楊揚，郝明磊，張璇.基于WiFi探針技術的無線安防系統設計[J].電子測量技術，2018，41（15）：128-132.