基于深度學習的圖像識別技術在非法采砂監管中的應用

湯文華，陳燦斌，向舒華，申寒冬

（1.湖北省水利水電科學研究院，武漢430070；2.廈門興康信科技股份有限公司，福建廈門361016；3.湖北省水利水電科技推廣中心，武漢430070）

0 引 言

非法采砂對長江河勢穩定、防洪、通航安全以及生態環境等存在極大的危害［1-3］，一直以來都是長江水域治理的頑疾，雖然主管部門嚴厲打擊此類違法犯罪多年，但不法分子仍然為了暴利而趨之若鶩。非法采砂船大多為“三無船只”（無船名船號、無船籍港、無船舶證書），晝伏夜出，流動作案，并選擇易于逃跑或藏匿處盜采。即使是安裝有AIS等身份識別設備的采砂船，也會在作案時關閉AIS 或更改AIS 信息以逃避管理部門的追查。此外，通過追蹤執法部門的人員和船只，非法采砂人員還能夠及時了解執法行動，在必要時中止盜采行為，迅速逃竄或藏匿，極易導致關鍵證據的滅失，使得執法難度越來越大。為解決河道非法采砂監管的痛點、難點，必須引入基于深度學習的圖像識別等新技術，以提升監管效能。

1 圖像識別在非法采砂監管中的技術實現

深度學習是建立在計算機神經網絡理論和機器學習理論上的系統科學，程序在處理相關任務時，會通過自

我學習而不斷完善，提高處理性能。近幾年，基于深度學習的圖像識別技術獲得了飛速的進展，在人臉識別、醫學圖像分析、遙感圖像分類、交通視頻監控和字符識別等方面都有比較成功的應用［4，5］。為實現非法采砂智能監管，需將船舶圖像輸入神經網絡模型中，對圖像的各種特征進行識別、提取、分類，并且不斷訓練學習。利用訓練好的模型從實時視頻中快速有效的提取船舶目標并跟蹤目標，自動判別船舶類型和身份，對船舶異常行為進行告警，從而成為非法采砂監管上的一個有力的技術手段，緩解監管難題。

1.1 船舶圖像采集平臺

對于深度學習應用型系統，計算力和數據量是影響應用效果的兩個關鍵因素。在計算力滿足條件的前提下，需要將海量高質量的素材數據喂給神經網絡模型進行訓練，模型效果會隨著素材數量的增多而變好。反之，數據集數量不夠、標注質量不高，都會嚴重影響最終檢測結果。

為采集高質量、多時段（白天、夜晚）、多天氣（晴天、陰天、雨天）、多角度的圖像素材，需要搭建實時的船舶圖像采集平臺，產生龐大的數據量。數據包括通過高清攝像機抓拍的過往船舶圖片和錄制的船舶運動視頻等。為了采集夜間素材，還需配備紅外激光攝像機和熱成像攝像機。

船舶圖像數據在現實作業環境中會受到水上環境、天氣、光線變化的干擾，對一定范圍內的船只聚集、異物遮擋情況作出錯誤判斷。因此在廣泛收集素材的基礎上，還需要由專人做素材審核，以確保素材標注的質量。標注目標時，方框大小和位置應合適。只要是能被分辨的目標，即使被部分遮擋或是小目標，都應該被標注。被遮擋太多或者人眼無法分辨的，則不做標注，這樣使模型更有通用性。

1.2 船舶目標檢測

基于深度學習神經網絡的目標檢測算法有多種，我們采用基于回歸思想的Yolo V3算法［6］。該算法綜合性能較好，可實現45 幀/s 的運算速度，在準確性和對小目標的檢測效果上也都能滿足船舶目標實時檢測的要求。

利用深度學習在大數據目標檢測領域的優勢，神經網絡可以大量學習標注過的素材，逐漸提取圖像從淺層到深層的特征，反復優化，最后得到效果較好的模型。對于給定的單張靜態二維圖像，模型能夠對圖片中感興趣的目標進行識別，并輸出目標在原圖片中的位置坐標（一個矩形區域），通常以（left，top，width，height）的形式給出。經實踐證明，推理優化后的目標檢測模型可以準確快速地檢測出圖像中的所有船舶，包括密集目標、小目標和遮擋目標等。

深度網絡的訓練過程需要大量的數據進行參數擬合。訓練樣本是具有標注的圖片，將大量帶標的訓練樣本放入網絡中，網絡根據設定好的優化函數，以標注作為監督信號，讓網絡學習圖片的低層特征到高層語義特征，而后再在某個高維的特征空間，讓網絡擬合訓練數據集的分布。具體地，首先將帶標注樣本做增廣和歸一化。接著將處理后的圖片矩陣輸入網絡，網絡通過設定好的運算路線預測出船舶目標，然后再計算預測位置和標注位置之間的損失，利用損失計算梯度，回傳優化網絡參數，而后再反復繼續訓練。最終的理想狀態是損失最小化，也就是預測結果和真實結果趨于一致。

深度網絡的測試過程相對訓練過程而言相對簡捷。測試過程就是一個真實的預測過程，將測試圖片做歸一化后就直接輸入網絡中，讓網絡預測出船舶位置，如圖1。而如果想要計算網絡的準確率，則需要測試圖片也有標注，利用預測結果和真實結果進行比較，計算出網絡的準確率。

1.3 多目標跟蹤

對于視頻畫面的多目標跟蹤，就是在船舶目標檢測的基礎上，將視頻中不同幀內的同一運動目標關聯起來，從而計算出目標的位置、速度、加速度以及運動軌跡等運動參數。

視頻信息具有時序性，前后兩幀畫面中的目標具有關聯性。對每幀畫面進行檢測，得到所有感興趣的船舶目標，并且將第N幀和第N+1 幀中的同一目標關聯起來，賦予同一個ID。一個目標從進入視頻檢測

范圍到離開，該目標的ID不變，由此實現目標跟蹤。

實際環境中，目標速度過快會導致第N+1 幀與第N幀的目標位置對比關聯出現誤差。為此，我們采用卡爾曼濾波算法來進行目標的軌跡預測，根據目標前幾幀的軌跡來預測它下一幀的位置。優化后，對畫面中的所有目標都能進行穩定的跟蹤。

目標跟蹤一方面關聯了不同畫面中的同一目標，為船舶圖像拼接提供條件，另一方面，船舶的運動參數也是其行為分析的重要數據。此外，基于視頻的目標跟蹤，在一定程度上能夠彌補雷達的盲區，保證每一個過往船舶都能被跟蹤、識別，不發生遺漏。

1.4 船舶分類模型

采砂監管的監控對象主要是采砂船和運砂船，因此需要利用船舶分類模型將他們從航道上航行的貨船、漁船、客汽渡船、公務船等多種船舶中甄別出來。

船舶分類模型采用模板匹配技術和神經網絡模型相融合的識別分類算法。首先，對采集到的船舶圖像提取分類標識性特征量，將特征量與數據庫中所有種類的船舶模型進行模板匹配，排除相似度較低的船舶分類。然后，將圖像信息輸入到各個分類的神經網絡中進行分析，最后對得到的輸出結果進行判斷和比較，得出最佳匹配類型。

在神經網絡模型方面，我們采用殘差網絡ResNet（Residual Network）作為目標分類卷積神經網絡。ResNet以其獨特的殘差結構（Residual Unit）大大地加深了網絡的深度，從而大大加快神經網絡的訓練速度，極大提升模型的準確率。在對圖像進行的多層卷積運算中，低層卷積提取船舶的特征點信息，如輪廓、觸點、邊緣等，高層卷積提取整個畫面的高層語義信息，再應用全連接神經網絡，對提取的卷積特征做線性變換，使船舶特征變換至高維子空間，最后對高維子空間特征做分類。基于上述原理的神經網絡模型識別速度快，分類準確率高，抗類間干擾性較強。

分類的過程主要是讓神經網絡去學習圖片的特征過程，網絡的學習過程實質上是一個從特殊到普遍的過程。將訓練樣本放入網絡中，讓網絡去擬合出圖片的分布情況，在某個高維的特征空間中計算出分類超平面。而后在測試的過程中，網絡首先將圖片映射到該高維特征空間，而后利用其在空間中的位置到分類超平面之間的相對關系對其類別進行判定。

相對其他任務，目前在圖片分類任務上，深度網絡能很好地擬合圖片的分布情況，且分類準確率一般都很高。

1.5 重點船舶信息庫

采砂監管重點關注采砂船和運砂船，抓拍的船舶圖片經過分類識別后，自動為這兩類船舶建立船舶圖像庫。圖像庫也收錄從其他渠道收集到的重點船舶圖片。

利用船舶分割模型對圖像進行目標背景分離，得到目標圖像，去除江水及岸邊背景的影響，然后利用機器學習的方法進行特征提取，形成船舶特征庫。

對于正常開啟AIS 的采砂船和運砂船，將AIS 檔案資料與船舶圖像資料關聯起來；對于沒有AIS信息的船只，則采用人工補齊資料的方式形成完整檔案記錄。

1.6 船舶身份識別

當目標被分類為采砂船之后，需要繼續將該圖片的船舶特征與船舶特征庫進行匹配，以判定船舶身份。從圖片中提取的圖像特征在一定程度上可以當做圖片的特定標識，通常用一個多維向量或者一串128 位二進制數字表示。通過圖像特征對比，可以評價圖片相似度，從而通過一張圖可以找出相似的其他圖片，即所謂“以圖搜圖”。當兩張圖片所提取的特征點的匹配點超過一定數量時，則認為這兩張圖片相似。

從成千上萬張圖片源中查找與目標相似的圖片，比對速度是十分關鍵的。用圖像特征構建出一個二叉樹，為這些特征創建索引，可以提高特征對比速度。采用多GPU 并行運算的方式，可加速圖像處理，處理速度大大提升。

當特征庫里存在匹配結果時，可以得到目標采砂船在數據庫里登記的各種信息，包括之前是否有非法采砂的行為；當數據庫里不存在匹配結果時，表示該采砂船是未經登記的非法采砂船，自動對該船進行非法采砂標記，形成報警記錄。

2 非法采砂智能監管系統技術實現

從系統的角度，整個非法采砂的智能監管除了基于深度學習的圖像識別之外，還需要多傳感器目標融合、光電聯動跟蹤、多攝像機接力跟蹤、目標行為分析、違法取證，最終在基于地圖服務的可視化服務平臺上進行展示、報警和回放。

雷達站部署雷達、攝像機，并與中心機房專線直連。一個雷達站搭配一臺AIS基站，實現周邊30公里內AIS數據的接收。至少有一個雷達站部署紅外熱成像，實現夜間的監控。CCTV監測點部署抓拍攝像機和聯動攝像機，如果要實現夜間監控，則需配置紅外激光攝像機。

2.1 多傳感器目標融合

多傳感器目標融合就是將多個傳感器獲取的數據、信息集中在一起綜合分析以便更加準確可靠地描述目標信息，從而提高系統決策的正確性。雷達可以主動監控較大范圍水域里的運動目標，獲取船舶實時位置，記錄其完整的歷史軌跡信息；AIS 基站可以接收幾十公里水域內船舶主動發送的身份信息；圖像識別可以獲得船舶的類別和身份信息。采用目標融合技術，將雷達目標、AIS 目標和圖像識別目標在時間、空間上進行統一校準后再作相關處理，形成一個目標，取得比單個數據源更一致、更準確、更有用的信息，并能與船舶數據庫匹配，獲取歷史資料。

2.2 多攝像機接力目標跟蹤

由于單臺攝像機監控范圍有限，也可能出現目標被遮擋的情況，所以需要使用多臺攝像機，滿足大范圍的目標跟蹤。對某一重點目標的持續跟蹤以單攝像機跟蹤為基礎，在超出單攝像機視野覆蓋范圍后，由下一臺攝像機自動接力跟蹤。

光電聯動跟蹤是單攝像機目標準確快速跟蹤的一種有效方法，即智能跟蹤算法根據雷達目標的坐標信息，引導攝像機對船舶進行聯動追蹤，通過對攝像機焦距、倍率、角度和調整速度的控制，實現跟蹤畫面運動平滑，目標比例合適，始終保持目標居中顯示，達到良好的視覺效果。多攝像機接力目標跟蹤由統一的后臺算法來調度指揮，將單攝像機按先后順序逐個跟蹤監控目標，實現跟蹤目標的準確交接。跟蹤算法為適應目標及場景的各種變化，實現長時穩定的跟蹤，需要進行快速目標定位，提高實時性與準確性，以及對目標姿態變化、遮擋等情況的適應性。

2.3 目標行為分析

在實現目標檢測后，持續記錄目標的運動軌跡（二維坐標點集合），并基于此作進一步的行為分析及事件檢測，是智能監管的關鍵環節。行為分析不僅可以對合法登記的采砂船的作業合法性進行判斷，還可對無證船、偽裝船的盜采行為進行識別。通過分析目標軌跡點數據，可以判斷目標是否經過抓拍線、是否進入指定區域（禁采區、可采區）、是否越過電子圍欄（越界報警），或者是否存在逗留、聚集、徘徊、速度或航向突變等行為。在監控過程中，這些行為模型根據所觀察到的行為進行自我學習和更新，從而不斷適應監控場景中運動行為的變化，正確地判斷當前行為正常與否。對存在非法采砂行為的船只，自動將其標記為疑似非法船只，通過聯動抓拍、錄像、跟蹤以及記錄其運動軌跡，形成證據鏈，為采砂監管執法提供技術支撐。

2.4 綜合展示平臺

整個監控區域內的目標跟蹤、錄像、報警、回放等功能需要一個直觀、可視化的信息呈現方式。建設基于GIS（電子江圖與衛星圖混合）的綜合展示平臺，將各類應用功能和信息在此平臺上疊加展示（包括船舶動態監控、過線抓拍識別、聯動跟蹤取證、違法報警、記錄回放、船舶檔案庫等），可實現監管系統的高效利用。

系統中的報警和回放功能極為關鍵，通過短信平臺向現場執法人員及時發送報警信息，能讓現場執法人員準確把握時機。配備移動應用終端后，現場人員可快速定位跟蹤目標，防止非法采砂船逃逸。

3 結 語

通過在重點監管區域應用該智能監管系統，實現了對各類船舶目標的監測和身份識別，并對重點采砂船、運砂船進行了跟蹤和記錄，初步驗證了該系統的有效性。作為一種新的手段，本系統匯集多種新技術，使現場管理更加有的放矢，為智慧執法提供技術保障。

由于科研經費較為有限，本項目中的雷達監控范圍和夜間熱成像效果均未能完全滿足實際應用場景的需要，環境光照變化大（水面反光、夕照、背光、大霧等）和背景復雜（長期停泊船舶、浮標、淺灘、水草樹木遮擋）等問題也需要通過進一步調整監控布點來完善。 □