基于AI的橋梁防撞安全預警應用研究

汪祝慶、黃健、王彤

（1.江蘇蘇信交通科技有限公司，江蘇南京 210000；2.南京市交通運輸綜合行政執法監督局，江蘇 南京 210000）

1 橋梁防撞安全管理現狀問題分析

橋梁建設為經濟發展在帶來巨大便利的同時，也存在種種困境。如因橋墩占用原有航道水域，導致船舶可航水域通航凈寬、凈高受限，從而直接或間接引發水上交通安全事故或造成安全隱患；因橋墩的修建改變了原有水道的流場特征，從而導致船舶在橋墩水域航行受限，更進一步增加了船舶碰撞橋墩的風險。船舶碰撞橋梁事故一旦發生，造成的損失將無法估量，輕則船、橋損傷，重則船毀橋塌，甚至發生重大人員傷亡和環境污染事故。當前的橋梁防撞安全管理中存在以下問題：

第一，船舶自動識別系統（Automatic Identification System，AIS）[1]可以提供船舶位置，該系統服務于防撞預警，但AIS 有信號遲延風險，實時性較差，有可能探知的船舶已經不在當前位置。加上AIS 偶有故障或未開機，橋區就不能獲知船舶當前狀態，且橋區檢測系統無法干預解決這種故障，因此這是一種被動監測。另外，由于水位是變化的，AIS 并不能有效實施對船舶的限高監測。

第二，船舶在水中停船要經過很長一段距離，需要感知離橋足夠距離的船舶狀態，為船舶預警留下足夠處理的時間。但觀測攝像機需要在足夠的高度下才能全景航道船行情況，而在航道上下游不允許架設高桿的情況下，觀測攝像機只能安裝在橋梁側進行長程觀測，這就會降低圖像的質量甚至可能采集不到圖像。此外，雨霧等低照度條件同樣會影響到觀測攝像機對現場的監控。

第三，多方式示警模塊（包括船名船號識別子系統）可在感知到船舶異常后，獲得船名并匹配船舶數據庫中電話，呼叫警示船舶；由于目標追蹤可迅速定位船舶位置，因此在夜間可通過激光可見光掃射駕駛艙來提醒船舶；通過LED 等聲光報警提醒船舶；通過甚高頻基站和AIS 基站呼叫異常船舶，以保證最快速度通知船舶處理險情。此外，還能夠將告警信息發送執法部門客戶端，便于執法部門分析指揮調度并依法取證。

2 橋梁防撞安全預警方案

針對橋梁防撞安全管理中的問題，本文有針對性地提出以下安全預警方案：采用圖像定位技術，根據圖像感知提取船舶的位置、尺寸、狀態，結合AIS 定位及船舶尺寸提取信息。比對預存的航道圖和限寬閾值，發現偏航與超寬等異常，觸發預警。采用計算機視覺（CV）手段和卷積神經網絡，實現船舶目標檢測，同時結合目標檢測，實現目標追蹤。通過人工智能對攝像機畫面的分析，保證實時性，由于系統的歸屬性，保證故障風險可控，一旦自檢系統有問題，可及時搶修而不是被動地等第三方修復故障，滿足主動預警的要求。結合雷達限高檢測和AIS 數據輔助，可形成信息融合后的主動預警系統。

3 基于卷積神經網絡的船舶識別與追蹤

3.1 基于卷積神經網絡的船舶目標檢測

通過高清攝像機拍攝水面船舶，對水面上航行的船舶進行目標檢測和定位。通過目標檢測和定位能夠自動、高效地識別追蹤目標，為檢測船舶航速、離橋距離等提供支持。卷積神經網絡對圖像進行卷積、池化、輸出等多層組合操作，完成提取圖像語義，模型能夠高效提取圖像特征，且泛化能力較強。目標追蹤算法中，傳統算法分為一階段目標追蹤和兩階段目標追蹤，其中一階段目標追蹤是預測圖片中圈定范圍內的類型、偏移量等，如YOLO[2]、SSD 算法[3]；兩階段目標追蹤是先做初步檢測，然后生成候選區域并對其進行詳細分類和微調，如Fast R-CNN[4]。Faster R-CNN是在Fast R-CNN 的基礎上增加了PRN 層實現。

本文比對采用的Faster R-CNN 網絡模型包括四部分，分別為卷積層部分、PRN 層、池化層和全連接FC 層?；贔aster R-CNN 網絡模型的船舶目標追蹤流程圖如圖1 所示。

圖1 基于Faster R-CNN 網絡模型的船舶目標追蹤流程圖

首先輸入圖像，經過VGG16 的特征提取，來獲取區域建議網絡（PRN）需要的全部特征。RPN 利用特征圖生成若干個候選區域以及每個區域的概率值，按照非極大值抑制方法對候選區域的概率值進行計算，經過RPN 網絡產生的候選區域進行映射處理，并投影到特征圖上，通過投影獲得特征矩陣，把得分最高的區域放入感興趣區域的池化層ROI pooling（Region of interest）。候選區域的特征圖經ROI pooling處理后，縮放到7×7 大小，分別送入目標分類和回歸兩個分支，計算出分類結果，同時通過回歸預測，獲取邊界框區域，即通過全連接層輸出預測類別和位置。

3.2 基于DeepSort 的船舶軌跡追蹤

前面通過采用改進的Faster R-CNN 網絡，有效實現對目標船舶的檢測，其算法精度較高。本節從檢測結果上來實現對目標船舶的跟蹤。采用的跟蹤算法為DeepSort，該算法提取較深層的目標特征，以增加模型的泛化能力，從而有效地解決目標特征提取性能較差的問題，實現對船舶跟蹤的穩定性，且算法精度較高。

Sort 是把IoU（Intersection over Union，在特定數據集上衡量檢測目標準確度的標準）作為前后幀目標關系指標，其僅僅根據匹配檢測目標的邊界距離，來完成對前后幀目標的判斷，其對邊界內的特征進行匹配。若追蹤目標出現一些障礙遮擋時，易出現目標頻繁切換問題。為了解決此問題，在進行前后幀匹配時，DeepSort 采用級聯匹配算法，把目標間距、特征的相似度作為衡量前后幀之間關系的標準，以提高算法的準確度，排除一些錯誤的軌跡預測。

DeepSort 核心流程包括三個步驟：預測（Track）、觀測（Detection+數據關聯）和更新，其中預測就是預測后一幀目標的Bbox，當完成目標檢測后，其結果在前后兩幀中不存在關聯關系，因此需要在觀測步驟中完成數據關聯操作。在目標追蹤過程中，卡爾曼濾波是當前跟蹤算法中最為典型的算法，其適用于不斷變化的場景中，在目標追蹤過程中，存在一些不確定信息或者一些噪聲干擾，卡爾曼濾波可通過目標先前的運動狀態，對其作出相應的預測，得到后續時刻的目標運動狀態。

在算法模型中，先通過Faster R-CNN 網絡對目標進行檢測識別，提取特征，然后利用馬氏距離來計算追蹤目標的卡爾曼濾波預測值與本幀采集的目標完成關聯度計算。在復雜的追蹤場景中，船舶周圍的物體與目標存在較快的移動或者遮掩，通過馬氏距離可判斷易出現錯誤判斷的情形，因此引入余弦距離算法來作為輔助判斷，需要重新通過Faster R-CNN 網絡來獲取目標物特征，對目標物特征和已追蹤軌跡、目標之間的維度差異來進行關聯。馬氏距離與余弦距離算法對關聯值的影響：當值介于設定的兩個閾值范圍之間，則視為關聯成功。如果目標對象在關聯成功后，需要繼續進行IoU 匹配，如果目標對象與已有軌跡在設定的幀內沒有再次匹配，則表示此幀追蹤是無效的，如果再次匹配成功，則表示此幀追蹤是有效的，通過此方法最后獲取當前目標軌跡。

4 橋梁防撞安全預警系統設計

4.1 系統體系結構設計

系統體系結構分為：數據層、業務層、展示層和前端UI，在云主機、獨立服務器以及第三方虛擬主機運行。

數據層：負責完成存儲過程、數據緩存、事務、讀寫數據庫，對采集的船舶視頻、圖片等緩存進行管理。當采集到圖像數據時，保存到非結構化數據庫，同時數據層存儲一些目標檢測、追蹤模型的參數配置，對檢測和追蹤結果進行保存，同時對每天發生的預警事件進行管理，方便檢索和處理。

業務層：用于實現船舶感知、異常預警、取證采集的業務定義，同時用以定義統計分析、系統日志的設置等。船舶感知用于定義船舶高清攝像以及圖片取幀參數等；異常報警用于定義報警規則，當觸發報警規則時，系統實現自動報警處理；除了檢測和追蹤外，還需要完成預警、報警的相關數據統計。

展示層：用于提供模塊操作。該平臺模塊包括圖像采集模塊、參數配置模塊、預警模塊、橋梁碰撞報警模塊、通信模塊等。

前端UI：用于定義平臺的操作界面，包括頁面表單、CSS、HTML5 等。

4.2 系統模塊設計

系統模塊包括圖像采集模塊、參數配置模塊、預警模塊、橋梁碰撞報警模塊、通信模塊等。下面分別論述部分模塊的設計。

4.2.1 參數配置模塊

對模型參數、平臺參數等進行設置，其中模型參數包括超參設置、訓練參數等；該模塊對系統的一些配置，包括預警規則、碰撞報警條件等的設置，系統用戶權限管理分配等。

4.2.2 預警模塊

橋梁防撞預警的目標是在船舶未到達橋區前，監測過往船舶，如果某船舶超寬、超高或偏離航道，及時給予警告，防患于未然。以偏航為例進行說明，需要知道船舶當前位置，并與系統內置的航道范圍電子地圖進行比對，如果船舶不在航道范圍內，則視為異常。

4.2.3 橋梁碰撞報警模塊

感知層采用震動傳感器，震動傳感器對物體進行振動測量時，能將機械振動參數轉化為電參量信號，具有高靈敏、快速、高性能等特點。在橋梁關鍵部位部署震動傳感器，能夠根據震動力度及范圍，用于監測是否發生碰撞預警的信號，或者當發生碰撞時用于判斷碰撞程度。

4.2.4 通信模塊

系統云服務器負責報警信息的處理、計算，報警信號的分發及監控系統遠程查看。通信模塊為系統提供感知數據傳輸，包括監控圖片、視頻上傳的地址、參數配置等。

5 橋梁防撞安全預警設計

5.1 船舶感知與識別

基于視頻識別技術進行預警監測，首先要能采集到足夠清晰的畫面，然而現有預警系統在雨霧天氣、夜間等昏暗環境時采集的圖像模糊，影響對船舶尺度、定位、距離、航向等信息的分析?，F有人工智能算法易受光照條件、天氣因素、圖像質量、目標大小、物體遮擋、偽裝等因素影響，導致識別效率不高。在知識積累與使用方面，與傳統的結構化存儲和調用不同，模擬人腦占有信息機制，構建類腦知識庫并依據進化模型實現經驗積累，依據記憶喚醒規律調用知識參與數據分析。在數據分析方面，構建類腦緩沖池，搭建基本算子和情境識別機制的算法模型，實現信息感知。由于先驗知識以類腦思維方式參與識別，訓練樣本少、部署快、識別準確實時、問題可回溯、開銷小。

5.2 超限預警分析

根據圖像感知提取船舶的位置、尺寸、姿態，結合AIS 定位及船舶尺寸提取信息。比對預存的航道圖和限寬閾值，發現異常，觸發預警。檢測到超限異常后，將預警性質（偏航、超高、超寬、違停）、異常船舶位置、身份、異常值等上傳至服務器，推送至客戶端系統，啟動船舶超限報警。在觀測點架設激光感應器，設定高度為橋梁下沿，當高于橋梁下沿的船舶經過時，會對激光感應器形成遮擋，意味著船舶超高，觸發預警，通過上下架設雙感應器的方式進行設計，防止飛鳥經過造成誤報警。

5.3 數字孿生再現

通過BIM、GIS 和數據孿生技術，根據航道圖等資料，實現橋區三維場景還原，實時定位追蹤異常問題，統計分析異常原因，多種手段實現排除異常，進行異常檔案管理，實現安全診斷分析以及監測系統自檢。

5.4 多方式提醒及預警

除客戶端警示以外，自建高頻小基站，實現與到達船舶的通信；自建AIS 小基站，實現與到達船舶的信息交互；橋側安裝LED 屏幕，顯示信息警示船舶；監控點安裝聲光報警，用語音和光閃警示船舶。系統感知到船舶接近時，通過以上措施廣播式主動示警，提醒過往船舶注意安全；系統感知到船舶異常時，通過以上措施主動告警并實時跟蹤異常狀態是否消除。

6 結語

人們在享受橋梁建設為經濟騰飛帶來巨大便利的同時，也不得不面對因橋梁的修建帶來的種種困境。為解決橋梁建設帶來的安全問題，提出在安全風險較大的橋梁加裝主動防御的防撞預警、碰撞報警系統。橋梁防撞預警和碰撞報警系統基于AI 視頻技術，通過深度學習和優化智能算法，顯著提升對船舶目標跟蹤檢測的準確性，針對提升航道運行效率，減少橋梁碰撞等問題，實現防撞預警、碰撞報警等功能，解決橋梁資產保護中的難題，有效防范風險。