基于大數據的智能卡口信息綜合應用平臺設計

杜慶靈,李洪波,趙 凱

(1.河南警察學院 信息安全系,河南 鄭州 450046；2.開封市公安局 科通處,河南 開封 475000)

道路交通智能監測系統(簡稱智能卡口)是治安防控的重要技術手段，也是“平安中國”的重要組成部分，它是采用計算機、網絡、智能視頻等技術實現對車輛信息的獲取，如車輛牌照號、車身、車型、車的顏色、某時通過某地點等信息。利用這些信息，公安機關可對車輛實施有效的管控，同時可與政府其他部門共享這些信息。各級公安機關在省界、市界、縣界、鄉界、重點路口、城市出入口及高速公路安裝了數量眾多的智能卡口系統，對公安機關打防管控工作提供了強有力的支撐。在“平安城市”“平安鄉鎮”的建設過程中，各級公安機關也建設了許多微卡口，這些微卡口盡管不如標準的智能卡口系統在車輛信息獲取方面功能強大，但也提供了非常有用的車輛信息。智能卡口(含微卡口)獲取的車輛信息有兩大類：一類是抓拍的車輛圖片，另一類是從圖片中提取的信息。如前面提到的車輛牌照號等，這些信息可為結構化或非結構化信息，車輛圖片是非結構化信息，而從車輛圖片中提取的車輛牌照號以及具有測速功能的智能卡口系統測到的通過某一點的車速，則是結構化信息。如何更好地挖掘利用這些結構化、非結構化信息，一直是智能卡口應用部門，尤其是公安機關研究的重要內容。[1]

近年來，各級公安機關進行了智能卡口系統的大規模建設，開展了基本的應用，取得了一定的成績，但這些結構化、非結構化的信息不能得到充分的利用，沒有發揮它們應有的價值。隨著智能卡口系統建設規模的擴大及工作需求，各智能卡口系統之間需要進行聯網，實現省、市、縣之間車輛信息的共享，并得到深度挖掘、分析和應用。原有的智能卡口系統對車輛信息的管理方式已不能適應新的需求，這就促使各級公安機關采用新的技術，實施對智能卡口信息的有效管理與應用。智能卡口系統產生的是海量數量，且各智能卡口系統分布在不同地點，以省轄市為例，有市本級自建的智能卡口系統，也有所屬各縣建設的智能卡口系統，有的數據可以在市、縣兩級存儲(如結構化數據)，而圖片信息因其量太大，不宜匯總到市級存儲，存儲在縣本級即可，但市級應能統一管理、調度這些圖片信息，同時省級公安機關也應能管理、調度本省的智能卡口信息。基于實際工作需求，結合智能卡口特點，大數據技術是對智能卡口信息管理的比較理想的技術，有的公安機關利用大數據技術，構建了智能卡口信息管理系統，但那是初步的，并沒有充分利用大數據技術各組件，在應用層面僅提高了信息查詢速度，并沒有真正實現分布式管理及深度應用。[2]本文以省轄市級公安機關為研究對象，研究利用大數據技術構建智能卡口信息管理平臺的問題，給出平臺的具體設計，包括功能、體系結構等，并分析其性能。

1 大數據技術

大數據技術包括基礎技術和應用技術。基礎技術主要指構建大數據處理的各個基本組件，如數據庫、流計算、內存計算等；應用技術主要是指結合行業應用的各種算法、模型等。下面給出大數據平臺通用架構和關鍵技術。

1.1 大數據平臺通用架構

大數據平臺通用架構主要包括數據采集、分布式數據庫、數據索引、數據分析等模塊，如圖1所示。

圖1 大數據平臺通用架構圖

數據采集： 主要通過采集工具采集歷史數據，通過高速數據總線采集實時數據，進入大數據平臺。

分布式數據庫： 主要管理結構化、非結構化、半結構化數據，并具有擴展性。

數據索引：采用高速搜索引擎對數據進行快速檢索、統計分析等。

數據處理分析：基于分布式計算、集群處理，實現流式計算及大規模數據計算。

1.2 大數據平臺關鍵技術

大數據平臺是數據的存儲、計算中心，具有分布式、統一管理等特點，可匯集各種類型的數據，為大數據的綜合應用提供支撐。大數據平臺技術架構如圖2所示。

圖2 大數據平臺技術架構圖

分布式文件系統：負責大數據的存儲，將數據分別存儲在多臺獨立的存儲設備，實現統一的管理和調度，是分布式計算的基礎。

分布式資源管理：基于Hadoop分布式資源管理架構，負責存儲、計算等資源的管理。

分布式數據庫：是分布式、按列存儲、多維度結構的實時分布式數據庫，適合構建低延時的數據服務系統。

內存計算引擎：是一種分布式的計算框架，其核心是彈性分布式數據集，可快速在內存中對數據集進行多次迭代，支持復雜的數據挖掘算法和圖形計算算法。

分布式協作：是對大型分布式系統的可靠協調系統，提供集群節點間的資源協調服務，保證分布式系統的可靠運行。

分布式數據總線：負責數據的采集、整合與交互，基于發布/訂閱的分布式消息系統。

2 智能卡口信息綜合應用平臺設計

利用大數據技術，可以構建省轄市級智能卡口信息綜合應用平臺[3-5]。

2.1 平臺整體拓撲結構

平臺整體拓撲結構如圖3所示。

圖3 平臺整體結構拓撲結構圖

圖3表明，省轄市級智能卡口信息綜合應用平臺可布署在視頻卡口專網側，公安業務專網側也可通過安全邊界利用卡口的信息開展應用。這樣布署的好處在于許多應用可直接在視頻卡口專網側展開，不需要通過邊界，只有當與其他公安業務結合應用時才通過邊界。同時，縣級公安機關只建智能卡口管理系統開展本級應用，并將卡口數據上傳至所屬市級平臺，也可共享本市、省的聯網卡口信息。省級公安機關構建智能卡口信息綜合應用平臺，聯網全省卡口信息，并為全省智能卡口信息應用服務。

2.2 平臺邏輯架構

基于智能卡口信息，應用大數據技術，解決傳統的數據管理系統難以支撐海量機動車過往信息的接收、存儲、處理分析等問題，構建智能卡口信息綜合應用平臺，平臺采用分布式架構，實現實時流式計算、分布式數據存儲、計算及數據挖掘等。平臺邏輯架構圖見圖4。

圖4 平臺邏輯架構

該平臺邏輯上可分為4層：數據資源、數據存儲、數據計算、業務應用。

數據資源層：接收來自智能卡口、電子警察(燈控路口闖紅燈自動抓拍系統)、微卡口、視頻監控等系統的車輛及相關信息，經預處理后送向數據存儲層。

數據存儲：數據資源送來的數據有視頻、圖片等，這些數據有結構化的，也有半結構化和非結構化的，可根據數據的特征及應用采用不同的數據庫方式存儲。

數據計算：包括動態數據計算和靜態數據計算。靜態數據計算主要是總線計算，對實時要求不高，可屏蔽SQL和NOSQL調用。動態數據技術對實時要求較高，如報警處理和車輛布控等，要求利用大數據的高并發、高強度的計算能力。

業務應用：大數據技術采用分布存儲實現對海量數據的管理，利用高效的搜索引擎可實現對各種查詢的秒級響應，利用各種算法模型可對海量數據實現深入挖掘。結合公安業務，可實現車輛軌跡分析、套牌分析、稽查布控等應用。

3 平臺的功能設計及性能分析

3.1 平臺功能設計

省轄市級智能卡口信息綜合應用平臺根據業務需求應具有多種功能，各功能模塊如圖5所示。

卡口聯網：具有匯聚聯接本級及全市所屬各縣智能卡口并上聯至全省的功能，它是卡口信息綜合應用的基礎。

數據匯聚：根據資源共享、分級管理的要求，匯聚所屬縣級所有卡口數據，包括實時過車數據、卡口圖片二次分析數據等。

圖5 平臺功能模塊示意圖

車輛布控警告：平臺具有布控和撤控功能，能響應各級智能卡口管理平臺(系統)的布控、撤控指令，根據用戶需求，可按車牌號碼、車輛顏色、車輛類型、布控的有效時間段等條件對車輛進行布控。

卡口圖片二次分析：前端卡口抓拍的圖片，在進行了一次分析抓到過車的基本信息后，該平臺可對圖片進行二次分析，以獲取更多的有用信息，這些信息包括車身顏色、車型識別、車標識別、車輛品牌識別、遮陽板識別、安全帶，以及司機接打電話等狀態的智能識別和檢測。

以圖搜圖：根據目標車輛的特征，平臺自動分析照片中的目標車輛特征，進而在系統中進行篩迭、檢索符合條件的處理軌跡。具體過程如下：圖片二次識別服務器從卡口圖片中提取車輛特征信息，并將該信息存儲到卡口大數據集群中，當需要時，導入一張目標圖片，平臺根據圖片中車輛的特征信息，查詢目標車輛，對指定時間段內的卡口圖片進行查找，結果按相似度從高到低進行排列顯示。

大數據挖掘： 該模塊提供全省、全市道路、車輛、車流、卡口等相關信息的數據挖掘分析，包括按時間、車型、車輛屬地、道路車流等信息進行多維度數據挖掘統計分析。

3.2 平臺的性能分析

由于平臺采用HDFS和HBase等成熟的分布式系統框架，確保了系統的擴展性和穩定性，具有海量接入和大并發量訪問的能力。平臺利用分布式計算技術，可提供快捷的數據分析、挖掘能力，支持費結構數據的結構化處理，可進行智能研判；平臺采用全文檢索技術，通過對海量的視頻圖像建立結構化信息索引，實現對視頻圖像數據的快速查詢，結合智能技術，實現以圖搜圖方式的搜索視頻和圖像，采用全分布式系統架構，提供海量數據的存儲能力，包括分布式文件系統和分布式數據庫系統，用于存儲非結構、半結構化數據。

4 結語

智能卡口產生的信息具有大數據的特征，屬大數據范疇。由于智能卡口分布廣泛，數據存儲分散，為了更好地管理、應用這些信息，大數據技術是必然選擇。大數據技術分為基礎技術和應用技術，本文主要利用大數據基礎技術，結合公安、政法及政府其他部門行業的應用，研究大數據在處理智能卡口信息的應用技術，屬大數據應用技術領域。在大數據技術架構下，給出了省轄市級智能卡口信息綜合應用平臺的設計，本文的討論可為省級、省轄市公安機關建設智能卡口信息綜合應用平臺提供參考。