基于AI的多模態融合感知綜合決策系統設計實現

摘" 要： 針對傳統軍事要地安防系統智能化程度較低，各自獨立互不關聯，缺少頂層數據綜合治理等問題，選取外圍周界、重要卡口、無人巡更和區域高點四種典型安防業務場景開展建模，通過數據標準化接入、智能研判分析、安防態勢顯示三個處理環節，構建基于AI的多模態融合感知綜合決策系統，實現前端感知多維化、中臺研判智能化、后端處置多樣化，有效支撐了重要軍事目標安全防衛，系統后續也具有良好的可擴展性與可維護性。

關鍵詞： 要地防衛； 多模態數據融合； 場景建模； 規則定制； 感知處置決策； 智能化安防系統

中圖分類號： TN919?34； TP302.1" " " " " " " " " " " " 文獻標識碼： A" " " " " " " "文章編號： 1004?373X（2025）01?0173?06

Design and implementation of multimodal fusion perceived synthetic decision making system based on AI

FENG Xiaohui1， AI Run2， LIU Linqing1， XU Zhen1

（1. Xi’an Longview Electronic Engineering Co.， Ltd.， Xi’an 710100， China;

2. Unit 32605 of PLA， Chongqing 400060， China）

Abstract： The traditional military security systems have low level of intelligence， and they are independent and unrelated， and lack comprehensive management of top?level data， so four typical security business scenarios， namely peripheral perimeter， important checkpoints， unmanned patrols， and regional high points， are selected for modeling. By the three processing steps of standardized access of data， intelligent judgment analysis and security situation display， an AI?based multimodal fusion perceived synthetic decision making system is constructed to realize the multi?dimensional front?end perception， intelligent judgment in the middle platform and diversified back?end disposal. The constructed system can support the security defense of important military targets effectively. In addition， the system has good scalability and maintainability in the future.

Keywords： important area defense; multimodal data fusion; scene modeling; rule customization; perceived disposal decision; intelligentized security system

0" 引" 言

近年來國際環境不斷變化，重要軍事目標面臨的威脅日益加劇，另一方面人工智能、大數據、云邊計算等技術飛速發展[1]，但傳統安防產品從設備層面看，各單體大多獨立工作、互不關聯，從數據層面看，業務信息僅在本系統內部流轉，缺乏面向復雜應用場景的頂層設計與數據綜合治理[2]。因此，設計新型要地防衛系統，通過有效集成與整合各類感知預警信息，形成針對性處置決策，實現入侵及時發現、隱患及時處置、風險及時防范變得十分迫切。

本文所述系統聚焦安防業務場景建模，在平臺層面通過異構（圖像、視頻、結構化信息等）異源（可見光數據、微波數據、定位數據等）多模態數據共享、數據融合與信息互補[3?4]實現“感知?研判?處置”三個環節的智能聯動，構建了威脅可預警、行為可檢測、攻擊可防御、事件可處置的整體安全防御體系。

1" 系統設計實現

1.1" 系統組成

1.1.1" 硬件組成

系統硬件分為監控中心內場硬件與外場硬件兩部分，如圖1所示。前者包括席位計算機、后臺服務器等；后者包括周界防衛設備、攝像頭、雷達、無人機偵察干擾設備、手機頻譜偵測設備、便攜北斗定位卡、聲光驅離設備、微波車輛迫停設備、升降柱、無人車和無人機。

1.1.2" 軟件組成

系統軟件根據功能分為數據標準化接入軟件、智能研判分析軟件、數據存儲回放軟件、視頻分析處理軟件和安防態勢顯示軟件，分別運行于數據接入服務器、研判分析服務器、數據存儲服務器、視頻處理服務器和安防態勢顯示席計算機。

1.2" 場景化建模

根據防區威脅對象、防衛需求、防護等級、地理環境等要素進行業務邏輯分析與建模，形成有針對性的告警處置策略，實現精準化、無人化、智能化綜合防衛。按照分層部署、立體防護的設計思路，系統場景化建模包含外圍周界、重要卡口、無人巡更和區域高點四種典型應用場景。

1.2.1" 模型運行規則

模型運行規則的作用是對各安防場景模型計算輸出的數據執行一系列預置的邏輯判斷后得出相應結果。針對不同場景模型或同一場景模型的多個實例化應用，模型運行規則可差異化定制，系統部署時根據各場景實地情況編輯錄入數據庫。

模型運行規則包括自動告警規則、自動處置規則兩類，前者規定各類告警的觸發條件或判定依據，后者規定針對不同警情采取的處置方式、處置強度等，其內容包含規則編碼、規則名稱、規則應用場景、規則說明、規則內容等，規則內容為JavaScript腳本格式[5]。

例如，一層條件判斷規則模板格式為：

lt;如果gt;（（條件1）且（條件2）或（條件3））

lt;則gt;（輸出結果1）

lt;否則gt;（輸出結果2）

其中：“條件1”“條件2”“條件3”為包含模型輸出變量的表達式，各表達式疊加“與”“或”“非”邏輯運算形成判斷條件；“輸出結果1”“輸出結果2”為編寫的表達式、數值或文本，場景模型以該輸出結果為依據，給出最終告警處置信息。模型運行規則詳見各場景模型處理流程。

1.2.2" 外圍周界場景模型

周界作為系統的最外圍防線，周邊或人車密集或自然環境復雜。針對人員攀爬、翻越、長時間逗留等威脅，通過設計“多種周界+視頻+北斗定位+聲光驅離”的多模態感知處置決策模型，能夠有效提升告警準確性與處置及時性，并避免植被、天氣、小動物等擾動導致的虛警。

外圍周界場景模型如圖2所示。

外圍周界場景建模處理流程如下。

1） 實時識別周界沿線監控視頻中的人車目標[6?7]。

2） 接收并緩存各周界設備告警信息，包括告警時間、告警設備、告警位置、告警類型等。

3） 根據“周界告警時間匹配規則”查找告警信息列表中該時段內是否存在其他周界設備告警記錄，若時間匹配成功則執行下一步。

4） 將當前周界告警信息與時間匹配成功的告警信息進行位置融合計算，根據“周界告警位置融合規則”進行融合判定，若位置融合成功則執行下一步。

5） 調取周界告警點附近該時刻的視頻圖像識別結果進行視頻復核，若存在人車活動則執行下一步。

6） 執行“周界目標融合匹配規則”分析目標屬性，若周界告警位置與同時刻在線北斗定位卡的位置匹配失敗，則可排除內部人員活動引發的告警，復核感知確認該點位存在異常人車，發送綜合研判告警。

7） 根據“周界自動處置規則”選擇距告警點最近的處置設備，確定工作參數，生成處置方案并下發。

1.2.3" 重要卡口場景模型

卡口作為區域進出通道，面臨人車通行管理壓力，通過設計“雷達+視頻+北斗定位+聲光驅離+微波迫停+物理拒止”的多模態感知處置決策模型能夠確認合作目標身份，對非法人員靠近、車輛超速闖關等行為探測預警，并采取聲光驅離、非接觸式迫停、物理拒止手段實現人車有效管控。其關鍵邏輯是根據目標類型（人、車）及距離設定廣播警示區（五級告警）、聲光驅離區（四級告警）、微波拒止區（三級告警）和人工處置區（二級告警），實現分類分級告警處置。

重要卡口場景模型如圖3所示。

重要卡口場景處理流程如下。

1） 接收雷達探測信息，包括目標編號、距離、方位、俯仰、速度、類型等，若目標位于“雷達警戒區規則”內則執行下一步。

2） 根據目標信息調轉球機攝像頭對高威脅等級目標進行視頻跟蹤與確認。

3） 根據“雷達目標融合匹配規則”進行目標融合計算[8]，若雷達目標位置與同時刻在線北斗定位卡位置匹配成功，則判定其為合作目標，否則為非合作目標。

4） 根據目標融合結果，對人員、車輛分別執行相應告警及處置規則，發送綜合研判告警信息，生成處置方案下發：

① 對合作車輛執行“車輛超速判定/處置規則”；

② 對非合作人員執行“人員五級告警/處置規則”“人員四級告警/處置規則”；

③ 對非合作車輛執行“車輛五級告警/處置規則”“車輛四級告警/處置規則”“車輛三級告警/處置規則”“車輛超速判定/處置規則”。

5） 實時識別卡口門前視頻監控中的人車，結合目標融合結果，根據“人員非法聚集（人數、時長）判定規則”“車輛超時停留（時長）判定規則”檢測異常行為并執行相應處置。

1.2.4" 無人巡更場景模型

面向核心區域內高價值目標設計“無人機+無人車+北斗定位+聲光驅離”的多模態感知處置決策模型實現全天候、自主化巡更，并可對突發情況快速抵近偵察，察（偵察識別）?打（聲光驅離）一體處理方式能夠有效提升巡檢效率，縮減反應時間。

無人巡更場景模型如圖4所示。

無人巡更場景處理流程如下。

1） 接收無人機、無人車回傳的視頻、人車識別結果及定位信息。

2） 若無人車人臉識別[9?10]結果與“人員白名單規則”中人臉比對成功，則判斷該人員為合作目標。

3） 根據“無人車/無人機定位目標融合匹配規則”進行目標融合計算，若目標定位位置與同時刻在線北斗定位卡位置匹配成功，則判定為合作目標；否則為非合作目標。

4） 根據人臉比對、目標融合結果，對人員、車輛分別執行相應告警及處置規則，發送綜合研判告警信息，生成處置方案驅動機載/車載設備實施告警驅離。

5） 針對關注目標，人員可操控無人機進行跟蹤。

1.2.5" 區域高點場景模型

隨著民用無人機的普及，要地面臨的低空飛行器入侵問題凸顯，利用區域內制高點地形優勢設計“無人機偵察+無人機電子干擾+手機頻譜偵測”的多模態感知處置決策模型，通過偵測異常頻譜信息，實現對非法無人機與人員闖入的預警處置。

區域高點場景模型如圖5所示。

區域高點場景處理流程如下。

1） 接收低空無人機頻譜偵測結果，包括數據鏈工作頻段、定位位置等；接收手機頻譜偵測結果，包括手機IMSI碼、定位位置。

2） 若無人機或手機信號分別位于“無人機禁飛區規則”“手機信號警戒區規則”內，則執行下一步。

3） 將偵測的無人機與“無人機白名單”進行位置匹配，若匹配失敗，則發送告警信息，并根據“無人機干擾規則”控制設備在相應頻段釋放電子干擾，使其返航或迫降。

4） 將偵測的手機IMSI碼與“人員白名單規則”中的登記信息進行匹配，若匹配失敗，則發送異常手機信號告警。

1.3" 軟件設計實現

1.3.1" 數據標準化接入軟件

對系統內外部數據建模，分析其接口類型、通信方式、數據流向、數據內容、數據頻率、占用帶寬，基于業務需求定義對各類信息的數據元素要求，制定統一的標準化數據交互格式，確保本系統對內外部系統（設備）的兼容性與擴展性。

數據標準化接入原理如圖6所示。

數據標準化接入工作流程如下。

1） 軟件啟動后執行數據監聽等初始化處理。

2） 接收設備或其他系統上報的源信息，將其按照標準化數據交互格式（如周界告警信息、圖像識別結果、設備位置、設備狀態等）適配后，通過消息中間件[11]傳輸至系統內部。

3） 從消息中間件接收系統內部軟件發送的標準格式數據（如控制指令、告警處置信息等），按照目的方專有數據格式適配后發送。

1.3.2" 智能研判分析軟件

智能研判分析軟件采用框架?組件[12?13]式結構，框架部分負責組件管理、對外數據交互，組件部分是若干獨立的計算模型，并支持擴展，計算模型是將外圍周界、重要卡口、無人巡更、區域高點等多模態感知處置決策模型編碼實現的軟件單元。

智能研判分析軟件架構如圖7所示，具體工作流程如下。

1） 從數據庫讀取各場景基本信息（包括部署設備、適用規則等），創建場景計算模型實例。

2） 將各場景部署設備信息、告警處置規則導入相應計算模型實例。

3） 接收標準化格式的設備工作數據，根據數據類型編碼解析、提取、傳輸相關字段至關聯的計算模型。

4） 輸入驅動模型對設備業務數據、位置數據、圖像分析處理結果等進行校準、匹配、關聯、計算分析。

5） 對計算結果執行自動告警規則、自動處置規則，給出綜合研判告警信息與處置方案。

6） 根據處置方案下發設備控制命令，實施自動處置。

1.3.3" 安防態勢顯示軟件

安防態勢顯示軟件以數字地圖為背景，標繪區域內重要設施、設備、目標位置及狀態，實時顯示告警、處置決策結果和視頻圖像，通過數據可視化為人員提供直觀、形象的多維信息展示，如圖8所示。同時支持電子圍欄、區域撤/設防、設備遠程控制、人員指揮調度、規則可視化管理、數據分析與效能評估、事件復盤回溯等功能。

2" 系統應用

針對外部安防形勢嚴峻，內部物防技防能力不足，以及既有安防系統（設備）信息“孤島”問題，本系統通過多模態融合感知處置決策，實現對各類威脅的及時告警與精準處置，并有效接入融合已有安防系統，發掘數據價值，相互形成合力，較好地滿足了某部后勤戰備保障的緊迫需求。對于使用過程中出現的設備更新、業務需求變化等情況，系統采用的數據標準化接入、規則定制化管理、模型組件化部署技術確保其具有良好的兼容性、維護性與擴展性，完全能夠處理上述情況。

系統工作效能具體如表1所示。

3" 結" 語

針對目前安防系統存在的問題，本文提出一種基于AI的多模態融合感知系統。該系統具有良好的兼容性、維護性等優勢。隨著系統運行數據的不斷積累，后續可通過數據分析、機器學習等方法對場景模型及規則、圖像識別算法等不斷進行優化改進，確保決策過程與結果更加科學準確，進一步提升系統整體防衛能力。

注：本文通訊作者為馮曉輝。

參考文獻

[1] 吳迪.淺談“十四五”期間安防行業的發展趨勢[J].中國安防，2021（4）：50?53.

[2] 黃海.視頻與雷達數據融合在圍界入侵報警的應用探討[J].智能建筑與智慧城市，2019（6）：37?39.

[3] 楊曦，宋彬.多模態數據融合與檢索技術[M].西安：西安電子科技大學出版社，2021.

[4] 戴亞平，馬俊杰，王笑涵.多傳感器數據智能融合理論與應用[M].北京：機械工業出版社，2021.

[5] 弗里斯比.JavaScript高級程序設計[M].4版.北京：人民郵電出版社，2020.

[6] 耿創，宋品德，曹立佳.YOLO算法在目標檢測中的研究進展[J].兵器裝備工程學報，2022，43（9）：162?173.

[7] 牛為華，殷苗苗.基于改進YOLO v5的道路小目標檢測算法[J].傳感技術學報，2023，36（1）：36?44.

[8] 邢旭峰，謝仕義，黃妙芬，等.基于近海雷達與AIS探測目標融合算法研究[J].海洋技術學報，2020，39（3）：8?15.

[9] 余璀璨，李慧斌.基于深度學習的人臉識別方法綜述[J].工程數學學報，2021，38（4）：451?469.

[10] 季瑞瑞，謝宇輝，駱豐凱，等.改進視覺Transformer的人臉識別方法[J].計算機工程與應用，2023，59（8）：117?126.

[11] 倪煒.分布式消息中間件實踐[M].北京：電子工業出版社，2018.

[12] 伽瑪.設計模式：可復用面向對象軟件的基礎[M].北京：機械工業出版社，2019.

[13] 林祥纖.深入理解設計模式[M].北京：機械工業出版社，2023.

基金項目：中國兵器工業集團有限公司自主科技創新項目（JA02223103）

作者簡介：馮曉輝（1984—），男，陜西西安人，碩士研究生，高級工程師，研究方向為系統軟件設計。

艾" 潤（1987—），男，重慶人，碩士研究生，研究方向為軍事倉儲物流。

劉林青（1991—），男，陜西商洛人，助理工程師，研究方向為軟件開發。

眭" 臻（1982—），女，陜西咸陽人，碩士研究生，高級工程師，研究方向為系統軟件設計。