基于大數(shù)據(jù)的機動車緝查布控平臺構(gòu)建*

方艾芬 蔡崗 繆新頓

1．公安部交通管理科學(xué)研究所 2．道路交通安全公安部重點實驗室

一、引言

為進一步推進公路交通安全管理科技建設(shè)，提升動態(tài)化、信息化條件下公路交通安全管控水平，2012年10月以來，公安部交通管理局組織研發(fā)推廣了全國機動車緝查布控系統(tǒng)聯(lián)網(wǎng)應(yīng)用。通過整合共享各地車輛智能監(jiān)測記錄系統(tǒng)（以下簡稱卡口系統(tǒng)）信息資源，建立橫向聯(lián)網(wǎng)、縱向貫通的全國機動車緝查布控系統(tǒng)，實現(xiàn)大范圍車輛緝查布控和預(yù)警攔截、車輛軌跡和交通流量分析研判、重點車輛管控、交通違法行為甄別查處、偵破涉車案件等應(yīng)用。截止目前，全國31個省（區(qū)、市）已完成緝查布控系統(tǒng)聯(lián)網(wǎng)工作，接入卡口14000多個，匯聚機動車通行數(shù)據(jù)70多億條，在偵破肇事逃逸案件、查處涉車違法行為以及治安防控、反恐維穩(wěn)等方面開始發(fā)揮重要作用。

隨著聯(lián)網(wǎng)單位和接入卡口的不斷增加，當(dāng)前各省、市部署的機動車緝查布控系統(tǒng)積聚了海量的過車數(shù)據(jù)等信息，開始面臨以下挑戰(zhàn)：

（1）數(shù)據(jù)越來越海量?？谙到y(tǒng)7×24小時不斷上傳過車數(shù)據(jù)和圖片，以一個中等規(guī)模省市為例，每地市每日采集過車信息150萬條，每年采集過車信息5億條，全省每年將匯聚100億條過車信息，數(shù)據(jù)從GB級發(fā)展到TB級、PB級。如何將如此海量的數(shù)據(jù)用好、管好成為一大難題。

（2）數(shù)據(jù)應(yīng)用越來越復(fù)雜。各地充分利用海量數(shù)據(jù)資源，組織研發(fā)各類分析軟件，研判轄區(qū)道路通行流量、大客車、?；奋嚨戎攸c車輛通行情況，排查套牌假牌、逾期報廢仍上路行駛等嫌疑車輛。數(shù)據(jù)應(yīng)用的需求從分類、聚類到復(fù)雜多系統(tǒng)碰撞及各種分析、研判、評估。如此復(fù)雜的應(yīng)用對運算方式提出了極高的要求，傳統(tǒng)系統(tǒng)架構(gòu)很難滿足需求。

（3）查詢響應(yīng)速度越來越慢。目前機動車緝查布控核心系統(tǒng)采用ORACLE關(guān)系型數(shù)據(jù)庫，關(guān)系型數(shù)據(jù)庫在數(shù)據(jù)量增大的情況下，執(zhí)行檢索（尤其是模糊檢索、關(guān)聯(lián)查詢）的速度會發(fā)生幾何級下降（表1）。由于傳統(tǒng)關(guān)系型數(shù)據(jù)庫缺乏分布式計算能力，所以面向大數(shù)據(jù)時只能越來越慢，即便經(jīng)過優(yōu)化也還是不能滿足大數(shù)據(jù)應(yīng)用的要求，造成嚴(yán)重的性能瓶頸。

為應(yīng)對以上挑戰(zhàn)，筆者單位對大數(shù)據(jù)技術(shù)在機動車緝查布控系統(tǒng)中的應(yīng)用進行了深入研究，預(yù)研了一套基于大數(shù)據(jù)技術(shù)的機動車緝查布控平臺，并通過了實際應(yīng)用驗證。本文在此重點介紹平臺的構(gòu)建技術(shù)和應(yīng)用案例。

二、大數(shù)據(jù)技術(shù)

大數(shù)據(jù)是指無法在一定時間內(nèi)用傳統(tǒng)數(shù)據(jù)庫軟件工具對其內(nèi)容進行抓取、管理和處理的數(shù)據(jù)集合。業(yè)界用4個V概括大數(shù)據(jù)的基本特征，即volume（量大）、variety（多樣化）、value（價值密度低）和velocity（處理要求快）[1]。量大是指數(shù)據(jù)規(guī)模至少在TB級；多樣化，一方面指數(shù)據(jù)有不同的來源，另一方面指數(shù)據(jù)類型有結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化等多種形式；價值密度低指這些數(shù)據(jù)的單一來源或單一維度并不能帶來有效的價值，只有形成一定規(guī)模并關(guān)聯(lián)起來，才能體現(xiàn)大的價值；處理要求快主要指數(shù)據(jù)分析的實時性要求很高。機動車緝查布控系統(tǒng)采集的流式過車數(shù)據(jù)完全符合大數(shù)據(jù)的基本特征。

大數(shù)據(jù)技術(shù)被設(shè)計用于在成本可承受的條件下，通過非常快速的采集、發(fā)現(xiàn)和分析，從大量化、多類別的數(shù)據(jù)中提取價值，是IT領(lǐng)域新一代的技術(shù)與架構(gòu)。其中，以Hadoop為代表的分布式計算平臺正在被大量互聯(lián)網(wǎng)公司、企業(yè)采用，實現(xiàn)對海量數(shù)據(jù)的運行和管理。

Hadoop分布式計算框架主要包含以下關(guān)鍵技術(shù)：

（1）HDFS 分布式文件系統(tǒng)。它可以構(gòu)建從幾臺到幾千臺常規(guī)服務(wù)器組成的集群，并提供高聚合輸入輸出的文件讀寫訪問。

（2）MapReduce并行計算組件。用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算（分布式計算），由Map（映射）和Reduce（化簡）兩部分組成，為數(shù)據(jù)的高并發(fā)讀寫提供了全新的、水平可擴展的（Scale out）、經(jīng)濟的技術(shù)架構(gòu)。

（3）HBase列存儲技術(shù)。它是一個建立在HDFS之上提供高可靠性、高性能、列存儲、可伸縮、實時讀寫的分布式數(shù)據(jù)庫系統(tǒng)，主要用來存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù)。HBase提供的列存儲NoSQL技術(shù)，能提供比傳統(tǒng)行存儲的RDBMS成百上千倍的快速檢索效率。

（4）Hive數(shù)據(jù)倉庫技術(shù)。它提供了類似于傳統(tǒng)SQL的編程模型，為海量機動車軌跡碰撞和分析過程提供了友善的編程模型和方法，同時能利用Map/Reduce的高并發(fā)性特性。

三、平臺構(gòu)建

（一）建設(shè)要求

針對傳統(tǒng)關(guān)系型數(shù)據(jù)庫難以支撐海量機動車通行軌跡信息的存貯、處理、分析等現(xiàn)狀，基于X86架構(gòu)的通用服務(wù)器，構(gòu)建新型架構(gòu)的機動車緝查布控系統(tǒng)平臺，具備分布式海量存儲能力、高性能并發(fā)讀寫能力以及分布式計算及分析挖掘能力，同時要求具備良好的擴展性，平臺按需擴容后，存儲、查詢和分析性能需要保證近線性變化，系統(tǒng)總吞吐能力近線性增加。

（二）平臺架構(gòu)

平臺總體架構(gòu)分為數(shù)據(jù)接入層、數(shù)據(jù)存儲層、大數(shù)據(jù)引擎層、業(yè)務(wù)應(yīng)用層等四個層次，主要內(nèi)容包括車輛通行海量數(shù)據(jù)接入、存貯、大數(shù)據(jù)分析引擎和緝查布控業(yè)務(wù)應(yīng)用等。

1．信息接入層

實時接入各類車輛通行信息數(shù)據(jù)資源信息，通過數(shù)據(jù)采集、數(shù)據(jù)轉(zhuǎn)換、結(jié)構(gòu)重組等過程后，統(tǒng)一上傳到數(shù)據(jù)存儲層。

2．?dāng)?shù)據(jù)存儲層

采用ORACLE數(shù)據(jù)庫和Hadoop /HBase分布式存儲數(shù)據(jù)庫相結(jié)合的方式。對于數(shù)據(jù)量可控、訪問頻繁的數(shù)據(jù)資源，仍然采用ORACLE關(guān)系數(shù)據(jù)庫進行管理，充分發(fā)揮關(guān)系數(shù)據(jù)庫在一定數(shù)據(jù)量范圍內(nèi)高效、訪問便捷的優(yōu)勢；對于數(shù)據(jù)量爆發(fā)性增長、且內(nèi)部聯(lián)系緊密的數(shù)據(jù)資源，采用HDFS/HBASE存儲與管理；對于需實時提取訪問的采用內(nèi)存數(shù)據(jù)庫從HBASE和ORACLE數(shù)據(jù)庫中通過ETL工具進行準(zhǔn)實時換入和換出。海量車輛通行數(shù)據(jù)和圖片采用大數(shù)據(jù)技術(shù)進行存貯，并提供面向大數(shù)據(jù)引擎層和業(yè)務(wù)應(yīng)用層的數(shù)據(jù)訪問服務(wù)。其它布、撤控等業(yè)務(wù)處理信息仍采用ORALCE關(guān)系型數(shù)據(jù)庫進行存貯。

3．大數(shù)據(jù)引擎層

采用Map/Reduce技術(shù)，實現(xiàn)海量數(shù)據(jù)分布式計算分析，并通過業(yè)務(wù)處理接口實現(xiàn)和業(yè)務(wù)應(yīng)用層的數(shù)據(jù)交換；通過基于JMS的消息處理引擎，實現(xiàn)對黑名單和重點車輛的實時分析和處理。

4．業(yè)務(wù)應(yīng)用層

面向終端用戶提供信息交互的應(yīng)用層面。通過Web頁面展示的方式實現(xiàn)機動車緝查布控系統(tǒng)的智能化、綜合性應(yīng)用。

（三）平臺功能

平臺主要提供卡口實時監(jiān)控、車輛緝查布控、預(yù)警簽收處置、信息分析研判等功能。其中分析研判功能是基于數(shù)據(jù)檔案化、應(yīng)用搜索化的理念，在大數(shù)據(jù)環(huán)境下，實現(xiàn)基于機動車過車信息的不同主體數(shù)據(jù)挖掘分析。主要分析研判功能包括：

1．過車軌跡查詢分析

精確查詢：通過號牌種類、號牌號碼、時間等條件查詢機動車通行數(shù)據(jù)；模糊查詢：通過模糊的號牌號碼、卡口、時間、車身顏色等條件查詢機動車通行數(shù)據(jù)。也可以通過模糊條件查詢出機動車基本數(shù)據(jù)，進而關(guān)聯(lián)查詢機動車軌跡數(shù)據(jù)。

2．?dāng)?shù)據(jù)碰撞分析

跨地區(qū)的海量機動車過車數(shù)據(jù)碰撞，分析出假套牌車輛；重點車輛、報廢車輛與過車數(shù)據(jù)的分析碰撞，發(fā)現(xiàn)未按規(guī)定時間、路線、已報廢仍在路面行駛的車輛信息。

3．車輛出入統(tǒng)計分析

挖掘統(tǒng)計一段時間內(nèi)在某個區(qū)域內(nèi)（可以設(shè)定中心城區(qū)、地市區(qū)域、省市區(qū)域、高速公路網(wǎng)等區(qū)域）、進出區(qū)域、主要干道的經(jīng)常行駛車輛、“候鳥”車輛、過路車輛的數(shù)量以及按車輛類型、車牌發(fā)證地的分類統(tǒng)計。

4．重點車輛分析

挖掘統(tǒng)計一定地域范圍內(nèi)客運、危險品運輸?shù)戎攸c車輛通行數(shù)量，研判發(fā)現(xiàn)通行規(guī)律。對在路段行駛時間異常的車輛、首次在本路段行駛、逾期報廢、未年檢仍在道路行駛的重點車輛、2～5點仍在道路行駛的客運車輛等進行預(yù)警提示。

5．嫌疑車輛分析

挖掘在不同地點多次同行的車輛。根據(jù)確認的車輛，尋找同行車。挖掘不同時間段通過一個或多個卡口的車輛篩選分析。分析判斷部分車輛經(jīng)常白天某個時間點進城后不出城或是晚上某個時間點進城或出城，篩選有規(guī)律性車輛。

6．道路通行信息服務(wù)

基于卡口車輛通行數(shù)據(jù)，實時對外發(fā)布公路道路擁堵、車流量、平均速度等通行狀況。

7．圖像二次甄別

通過對機動車過車圖像的二次識別，識別車輛品牌等特征信息，比對車輛登記信息，發(fā)現(xiàn)套牌假牌車輛，并進行實時預(yù)警。

（四）關(guān)鍵技術(shù)

在海量數(shù)據(jù)處理方面，主要應(yīng)用以下三方面的關(guān)鍵技術(shù)：

1．HDFS分布式文件系統(tǒng)構(gòu)建

在數(shù)據(jù)接入層，為保障文件寫入效率，采用基礎(chǔ)的HDFS文件管理接口，實現(xiàn)對車輛過車全景圖片和特征圖片的存儲；在業(yè)務(wù)應(yīng)用層，采用HDFS中的FTP接口，實現(xiàn)緝查布控系統(tǒng)的統(tǒng)一圖片訪問。

2．HBASE分布式數(shù)據(jù)庫構(gòu)建

HBASE表結(jié)構(gòu)和傳統(tǒng)關(guān)系型數(shù)據(jù)庫表差別較大，它由主鍵（Rowkey）、版本（Timestamp）、列族（Column Family）三部分組成[2]，HBASE不存在除主鍵和版本列之外的索引，僅能通過主鍵和主鍵及時間戳的range來檢索數(shù)據(jù)。車輛通行信息庫中，將卡口編號、方向、號牌號碼等關(guān)鍵信息納入主鍵，再疊加12位序列號生成全國唯一軌跡信息；版本信息采用過車時間戳代替，可提高針對時間段的查詢分析速度；列族信息中存儲號牌顏色、車輛品牌、車輛型號等相關(guān)信息。

3．Map/Reduce分布式計算

通過Map/Reduce分布式計算引擎，將業(yè)務(wù)應(yīng)用層提出假套牌分析、伴隨車輛分析等具體任務(wù)分解至各HBASE節(jié)點服務(wù)器進行并行計算，進而提高數(shù)據(jù)分析的效率。

四、應(yīng)用案例

筆者單位采用Hadoop2.2、Hbase0.94在實驗室搭建機動車緝查布控平臺大數(shù)據(jù)運行環(huán)境，同時導(dǎo)入了20多億條實際通行車輛記錄，開展了車牌檢索、套牌車分析、重點車輛逾期未報廢、未年檢仍上路行駛，凌晨2～5點仍上路行駛等試驗測試，測試結(jié)果表明，大數(shù)據(jù)技術(shù)的引入，能很好的解決ORACLE無法實現(xiàn)的功能。

平臺基礎(chǔ)硬件環(huán)境如表2所示；各種車牌檢索響應(yīng)耗時如表3所示。

下面對嫌疑套牌車分析過程進行簡要說明。

（1）建立套牌車分析算法模型。對比同一車牌經(jīng)臨兩個卡口地理距離和時間差，基于同一車輛不可能在短時間內(nèi)出現(xiàn)在兩地的原理，判別嫌疑套牌車輛，其中，兩卡口之間的地理距離通過卡口備案的經(jīng)緯度信息進行計算。

（2）建立基于HBASE的過車信息庫。過車信息表主鍵設(shè)計為號牌種類+號牌號碼+序列值，版本信息設(shè)計為過車時間戳。將各地緝查布控系統(tǒng)實際運行中采集的20多億條過車數(shù)據(jù)寫入HBASE數(shù)據(jù)庫，合計花費11.5小時，平均每秒4.8萬條。

（3）套牌車分析測試。開發(fā)Map/Reduce分布式計算任務(wù)進行套牌車分析，篩選出套牌嫌疑車4358輛，花費11分鐘。

五、結(jié)束語

目前各地已匯聚了海量的機動車通行信息，由于傳統(tǒng)關(guān)系型數(shù)據(jù)庫難以支撐當(dāng)前海量信息的存貯、處理、分析等應(yīng)用需求，嚴(yán)重制約了機動車緝查布控系統(tǒng)的進一步深化應(yīng)用。大數(shù)據(jù)應(yīng)用平臺以其高性能、低成本、高可靠性、高可伸縮性等特性決定了未來在機動車緝查布控領(lǐng)域必能有很大的發(fā)展和應(yīng)用，本文提出的基于大數(shù)據(jù)的機動車緝查布控平臺構(gòu)建技術(shù)有重要的現(xiàn)實意義。

[1]王俊修,譚林.智能倉儲物聯(lián)網(wǎng)云平臺設(shè)計與研究[J]．警察技術(shù), 2013 (2):16-18.

[2]張榆,馬友忠,孟小峰．一種基于HBase的高效空間關(guān)鍵字查詢策略[J]．小型微型計算機系統(tǒng),2012,33(10):2141-2146.