面向公共安全的多源異構數據結構化提取關鍵技術研究

夏 明，劉川杰，王 奇

（1.四川九洲投資控股集團有限公司，四川 綿陽 621000；2.成都九洲電子信息系統股份有限公司，四川 成都 610041）

1 現狀趨勢分析

習近平總書記在全國公安工作會議上指出，要把人工智能作為推動公安工作創新發展的大引擎、培育戰斗力生成新的增長點，全面助推公安工作質量變革、效率變革、動力變革[1]。近年來，部、省、市、縣四級公安機關，網安、技偵、刑偵、情報、科信等各個警種，都根據業務需要和實戰需求有針對性地開展了大數據應用平臺建設，大數據平臺已發展成為全國規模最大、覆蓋最廣、應用最多的行業應用系統。在公安部警務信息化總體部署中，也要求各地加快推進大數據應用系統建設，提升警務大數據匯集融合力度，推進公安機關信息化作戰的能力和水平。

隨著我國公安信息化的深入發展，全國多地市州已開始進行“智慧公安/智慧警務”探索，以天網視頻監控、交通出行、網絡社交、通信等為信息來源，開展調度指揮信息化系統建設工作。但在實際部署過程中，由于收集信息中存在大量音、視、圖、文等非結構化信息，難以對決策指揮調度提供結構化信息支撐。為此，提出以人工智能處理技術為抓手、以實戰應用服務為目標，推進公安行業多源異構數據的智慧處理水平，提升公安業務科技服務水平，

以數據智能分析為核心有力支撐公安行業的業務智能化轉型。

2 多源異構數據結構化提取關鍵技術研究

2.1 圖像信息結構化提取關鍵技術研究

為實現人、車、物等目標對象的檢測識別，實現人員管控、區域活動安保、重要通道管控等功能，本文以重點監控人員、車輛、危險物品等圖片信息為研究對象，開展基于深度學習的圖像信息結構化提取關鍵技術研究[2-5]。

（1）基于Yolov5深度神經網絡模型的目標檢測技術。針對警情預兆識別、多圈層安保預警、重大活動安保、群體性事件預警等應用場景，提出采用Yolov5深度神經網絡模型，以采集的行人場景圖像數據作為輸入，智能分析采集圖像中所包含的具體事物，并將這些事物的所屬類別以及在圖像中的位置進行標注，進而實現目標對象檢測。

（2）基于FaceNet 人臉識別深度神經網絡模型的行人身份識別技術。在重點人員區域專題圖生成、重點人物管控預警、重點群體動向關注等應用場景中，為實現人員異常軌跡查詢、重大活動安保、多維度身份布控等功能，提供精準身份識別和驗證能力，利用FaceNet 深度神經網絡模型對采集圖像中的人臉信息進行識別，并將識別到的人臉特征與數據庫中存儲的人臉特征進行對比分析，從而判斷出該人員的身份信息。

（3）基于ResNet18神經網絡模型的車輛全特征識別技術。提出基于ResNet18神經網絡模型，通過識別引擎檢測到車輛，并進行車身顏色、車型、品牌、型號、車牌號等全特征識別，實現車輛圖像智能分析，為智能搜車、按車型布控、高危車輛預警研判等業務場景實現提供車輛全特征識別能力。

2.2 視頻信息結構化提取關鍵技術研究

面向區域安保、群體性事件預警處置等應用場景，針對大規模群體聚集等復雜場景下視頻監控信息，為實現多圈層安保預警、人員異常軌跡查詢、重點群體動向關注等功能，提出以智慧視頻分析為基礎，重點開展視頻信息結構化提取關鍵技術研究[2-5]。

（1）基于RecurrentYolo 模型的行人單鏡追蹤技術。為實時獲取目標人物的移動軌跡信息，項目利用長短時記憶（LSTM）將YOLO 深度卷積神經網絡擴展到時空域，利用回歸直接預測卷積層和遞歸單元的跟蹤位置；基于使用YOLO 檢測器的跟蹤檢測方法，以45幀/秒的速度實時處理圖像，并收集豐富和健壯的視覺特征，最終輸出精準的目標位置信息，實現人員異常軌跡查詢、重點人員區域專題生成等功能。

（2）基于AMOC 神經網絡模型的行人跨鏡追蹤技術。利用AMOC 神經網絡模型，提取和采集視頻序列圖像的特征，同時提取運動光流的運動特征，采用分類損失和對比損失來進行模型訓練，通過融合運動信息的序列圖像特征來提高行人跨境追蹤的準確度，便于對特定人物進行跟蹤布控。

2.3 文本信息結構化提取關鍵技術研究

對采集到的聲音、文本等警務數據信息，利用深度神經網絡模型進行分析，通過文字識別提取其中的事件信息，重點開展文本信息結構化提取關鍵技術研究[2-5]，實現警情預兆識別、預警預測等場景應用。

（1）基于EAST 深度神經模型的自然場景文字識別技術。該方法結合上下文的圖像編碼方法，利用CNN從底層像素中獲得高層視覺特征，并利用CNN 局部感知特性建立起高層特征與底層像素的位置關系，然后捕獲圖像全局信息，并基于ARSG 的文字解碼方法，同時完成字符定位和文字識別功能，為平臺多維度身份布控、無感盤查預警等業務場景提供技術支撐。

（2）基于TextRNN+Attention 神經網絡模型的的文本信息結構化表達與理解技術。文本信息結構化以公安信息學為基礎，以自然語言方式錄入計算機不能識別的文字、圖案等安保數據，根據公安信息學環境，使用自然語言處理、機器學習等技術，轉化為可存儲、查詢、統計、分析和挖掘的數據結構。采用TextRNN+Attention神經網絡模型同時讀取非結構化圖片文字與結構化文本文字作為輸入，同時完成非結構化圖片文字的結構化轉換，以及對結構化文本文字進行智能化地語義理解，為線索分析、群體性事件預警等功能實現提供語義理解和意圖分析支持。

3 行業應用分析

圍繞公安行業應用大數據元素的流動，通過對源數據，特征數據和決策數據進行多模態信息融合、結構化提取、分析處理，增加數據分析維度，提升算法模型的實戰性和準確性。本文提出多源異構數據智慧驅動的平臺架構[6-8]，為公安警情預警、人員管控、風險感知等業務提供數據支撐。

首先利用深度神經網絡結構與多級特征，智能化提取非結構化數據并識別、輸出、轉換成能被計算機認知的結構化信息，實現目標對象的精準檢測識別與定位：針對圖像非結構化信息，采用FaceNet 深度神經網絡，將非結構化的人臉特征信息轉換為結構化的數據結構，精準識別人臉面部特征，并將識別的特征與數據庫進行對比，確認其身份信息；結合ResNet18 與Yolov3 神經網絡模型，智能識別非結構化車輛圖像，實現基于圖像信息的車輛全特征識別。采用RecurrentYOLO 深度神經網絡模型，利用最新的LSTM 構造，解決非結構化流式數據的特征提取、分析與識別問題。采用EAST 深度神經網絡模型，通過建立低層文字特征與高層文字特征之間的映射關系，實現在自然環境下精準的文字識別功能，將非結構化文字信息轉換為結構化數據結構；采用TextRNN+Attention 的神經網絡模型結構，實現對結構化文本信息的智能化分類與理解，解決非結構化文字信息無法被計算機錄入、存儲于利用的問題。

通過驗證可實現天網覆蓋情況下，活動頻繁的前科人員、重點人員、關注人員、車輛等目標任務的檢測、識別和追蹤，實現了活動區域、重點防范區域的研判、提前預警、重點地段巡邏等相關防范工作，覆蓋地級市的全省地域。同時，通過實時采集、存儲和分析音、視、圖、文等海量多源異構信息，自動抓拍、自動識別、自動比對、自動報警、實時提醒、自動存儲、自動歸檔等大量的自動和實時功能，實現了人、物的24小時不間斷監測、監控和預判。著實提高了民警在案件偵察、找人找物、治安管控、秩序維護等方面的工作效率，真正做到了為基層減負、減壓。

4 結束語

為解決面向公共安全、公安領域多源異構數據結構化提取問題，本文重點闡述了圖像、視頻和文字等多種非結構化數據提取關鍵技術，并給出一個針對公安業務實戰應用解決方案。依托大數據為基石、人工智能技術為手段，構建城市公共安全大數據智慧驅動平臺是解決城市公共安全問題的重要抓手。本文以深度神經網絡、自然語言處理等人工智能技術，以數據智能驅動為引擎融合公共安全場景應用，為城市公共安全管理提供了技術支撐。