面向水面輪船行為認知的海纜安全監控技術

李凱鵬，王云葛，邵淵，吳星笑

（象山電力實業有限公司，浙江寧波 315700）

海底電纜，簡稱海纜，主要為遠距離島嶼提供電力。海上漁船拖網或錨泊會破壞海纜。拖網時，漁網等漁具會刺入海床，拉斷淺埋的海纜；錨泊時，錨容易將海纜鉤住，并在起錨時鉤斷海纜，甚至會出現船員直接下水將海纜砍斷等情況。為了保護海纜，相關部門派專門人員觀測海域情況。一般地，對于海纜監控，將設置專門的相機來代替人工觀察。視頻監控需要人工判斷輪船行為，沒有實現真正意義上的智能監控。人工監控存在缺陷，即在長時間的工作后，人體會非常疲勞，此時容易忽略海纜出現的異常情況，而且人的主觀意識也會漏掉對海面異常情況的監控。文中采用新方法對海面進行實時監控，該方法克服了人工監控的缺陷，降低事故發生的概率，保障海纜安全穩定運行。

1 相關技術

1.1 深度學習與卷積神經網絡

深度學習是一種人工智能模型，用較深的人工神經網絡學習樣本數據的內在規律[1]。在計算機視覺領域，最常用的深度學習模型是卷積神經網絡（Convolutional Neural Network,CNN）[2]。CNN 是一種基于感受野的網絡，由卷積層、池化層和全連接層構成。卷積層的主要作用是提取特征。池化層的作用是保留主要特征、增大感受野、減少參數。全連接層主要對卷積層提取到的特征進行分類。

1.2 目標檢測

目標檢測的目的是找出畫面中所有感興趣的目標，確定目標的類別及其在畫面中的位置[3]。工業上常用的目標檢測算法基本都基于深度學習技術，主要有Faster R-CNN[4]和YOLO[5]。Faster R-CNN 精度高但速度慢，而YOLO 速度快但精度低。文中需要實時監控海面船只，因此YOLO 算法更適合。但是該項目的監控場面巨大，輪船航速相對于整個監控畫面顯得非常慢；Faster R-CNN 支持更高的分辨率，可防止小目標丟失，因此也可以選擇使用Faster R-CNN。

Faster R-CNN 需要有一個強大的BackBone 負責特征提取，一般選用CNN 作為BackBone。目前在工業界最常用的CNN 是ResNet[6]、VGG[7]。ResNet 采用殘差結構解決深度網絡的退化問題，并使用BottleNeck 結構減少參數[8]。

1.3 多目標跟蹤算法

多目標跟蹤（Multi Object Tracking,MOT）是在一段視頻中同時跟蹤多個目標[9]。海面上不止有一個輪船目標，有些存在違規行為，有些正常行駛，因此需要分別對待每一個輪船目標，并分析它們的行為，故使用多目標跟蹤算法。

2 模型設計

2.1 檢測模型

由于監控場景巨大，因此遠處輪船在畫面中顯得格外小，這對檢測過程帶來了巨大的困難。如何檢測小目標一直都是CNN 的研究課題。在CNN 中存在著大量下采樣，這些下采樣增大了感受野，也同時降低了圖像的分辨率，但下采樣又是必須存在的。特征金字塔網絡（Feature Pyramid Network,FPN）既可以保留下采樣，又可以保留分辨率[10]。C2、C3、C4、C5 分別是ResNet50 第二、第三、第四、第五個Block的特征圖。特征圖邊框粗細表示特征表達能力的強弱。如圖1 所示，特征圖M5 由C5 得到，M4 由M5 上采樣和C4 融合得到，M3、M2 和M4 獲取方式一致。

FPN 將強表達能力、低分辨率的深層特征圖和弱表達能力、高分辨率的淺層特征圖融合成強表達能力、高分辨率的特征圖。文中項目監控區域較大，離相機較遠的輪船在成像畫面中非常小，因此在檢測模塊中加入FPN。

卷積核的目的是提取特征。普通卷積的尺寸是固定的方形尺寸（例如3×3、5×5）。同一層普通卷積核的感受野尺寸相同，但是特征圖的不同位置對應不同尺寸或不同形狀的特征，這些特征需要自動調整尺寸和形狀的感受野。普通卷積對特征尺寸和形狀的變化適應性差，泛化能力不強。

目前解決上述問題的方法是通過大量樣本訓練，以提高卷積核的泛化能力。因為在該項目的實際場景下，無法獲取大量數據樣本，所以考慮使用可變形卷積網絡（Deformable Convolution Network,DCN）[11]。

方形卷積不是最好的形狀，因此必須使網絡自身學習形狀，以適應不同的特征。實際上完成上述操作并不需要改變卷積核形狀。卷積操作本質上是卷積采樣點作用于對應特征圖上的像素點。DCN 為每個卷積采樣點加上一個偏移量以達到改變形狀的效果。

一個常規的3×3 卷積有9 個采樣點，其中(-1,-1)表示左下采樣點，(-1,0)表示左采樣點，依次類推。常規3×3 卷積的輸出用式（1）表示：

其中，pn∈R表示位置，w(pn) 表示pn的權重，x(p0+pn)表示pn對應特征圖中的像素值。

如果需要改變卷積核形狀，本質上只需要改變采樣的特征圖上的像素位置即可。

式（2）中，與x(p0+pn)相比，x(p0+pn+Δpn)表示采樣位置發生了改變，而w(pn)沒有發生改變。

最終的結果是只需采樣的像素位置發生偏移，就可以完成可變形卷積操作。

如圖2 所示，用一個額外的卷積層來學習offset。DCN 對特征圖的每個像素位置都生成一組偏移量。以3×3 卷積為例，需要生成3×3×2=18 個的offset，18表示該位置的9 個采樣點對該像素x方向和y方向的偏移量。然后將特征圖和offset 共同作為輸入，采樣點先發生偏移，再進行卷積。

DCN 可以適應特征的形狀和尺寸，無需大量樣本，也可以很好地學習特征，這對難以獲取樣本的場景相當友好。

2.2 跟蹤模型

目前工業界最常用的跟蹤算法是Simple Online and Realtime Tracking（SORT）[12]算法。SORT 算法由目標檢測、卡爾曼濾波預測[13]和匈牙利算法匹配[14]三部分組成，其總體框架如圖3 所示。使用目標檢測獲取目標位置，使用卡爾曼濾波（Kalman filter）預測并更新目標位置，使用匈牙利算法匹配預測位置和檢測位置。

卡爾曼濾波是一種利用線性系統狀態方程，通過系統輸入、輸出觀測數據，并對系統狀態進行最優估計的算法。卡爾曼濾波的預測過程如式（3）、（4）所示：

式（3）為狀態預測公式，-1表示t-1 時刻的物體狀態；是t-1 時刻的控制量；F為狀態轉移矩陣，表示根據t-1 時刻的狀態推測t時刻的狀態；B是控制矩陣，表示控制量如何作用于當前狀態。是t時刻的物體狀態。式（4）表示不確定性在各個時刻的傳遞關系，Pt-1是t-1 時刻的噪聲，Q是預測模型本身的噪聲。整個過程表示對物體運動狀態的估計，并做了預測。這種預測是不準確的，因此需要根據觀測到的數據對預測值進行更新。

卡爾曼濾波的更新過程如式（5）-（7）所示：

式中，Kt是卡爾曼系數；Zt是觀測值；H為觀測矩陣，表示估計值與觀測值的轉換。整個更新過程表示根據觀測值來修正預測值，使預測值更加接近實際情況。

將n個卡爾曼預測邊界框指派給n個目標檢測邊界框，使用匈牙利算法，匈牙利算法是一種快速使總匹配度最優的算法。由于每對邊界框匹配程度不同，而匈牙利算法可以尋找匹配最優解。

式（8）中，Xij表示第i個檢測框和第j個預測框的匹配結果，Cij表示第i個檢測框和第j個預測框的匹配度系數矩陣。

2.3 行為分析

單應性原理表示兩個平面之間的對應關系，包括剛體變換、仿射變換、投影變換。剛體變換只改變物體位置，包括平移、旋轉，無法改變物體形狀。仿射變換改變物體位置和形狀，如長方形變成平行四邊形。投影變換徹底改變物體位置和形狀。文中項目監控海面，海面上的物體在成像中的形狀發生了徹底的改變，因此使用投影變換。

式（9）中的矩陣為單應性矩陣，有8 個未知量，需要至少求出8 個已知量，即4 組坐標。(x＇,y＇)是海平面上的坐標，用經緯度表示；(x,y)是圖像平面上的坐標。單應性矩陣就是它們之間的變換關系，已知海平面的坐標就可以求出圖像平面坐標，反之亦成立。

緯度是地面上一點到地球球心的連線與赤道平面的夾角；經度是地面上一點與兩極的連線所在平面與本初子午線所在平面的夾角。使用半正矢公式（式（10））計算1、2 兩點的圓心夾角α，利用式（11）計算兩點之間的實際距離d。

其中，N代表緯度，E代表經度，EARTHRADIUS代表地球半徑。最后通過經典的速度公式求取此時輪船航行的時間。根據輪船錨泊或捕撈時航速較低的特征，設置航速閾值為2 海里/時，低于2 海里/時的航速判定為輪船違規。

3 實驗

3.1 數據集

實驗所使用的數據集是使用LabelImg 軟件進行人工標注的698 張包含輪船的圖像數據集，標注信息使用XML 保存。整個輪船數據集的格式與COCO數據集格式保持一致。隨機抽取其中600 張圖像作為訓練集，剩下98 張作為測試集。為了提高模型的泛化能力，通常使用數據增強和遷移學習等方法。數據增強（Data Augmentation）是一種擴充數據集的方式[15]。在訓練過程中，每個Epoch 會隨機抽取訓練集中50%的圖像進行水平或垂直翻轉。

3.2 檢測實驗

實驗所使用的硬件平臺是Intel Core i7-9700 CPU 和NVIDIA RTX 2080 GPU，其中GPU 提供CUDA通用并行計算架構，極大地提高了CNN 的訓練和推理速度。部署平臺是NVIDIA Jetson Xavier NX，ARM64 位架構的邊緣計算設備，該設備提供高達21 TOPS 的加速計算能力。

優化器采用SGD 加Momentum 的組合。學習率衰減方式為分段常數衰減。一共訓練了15個Epoch，初始學習率是0.01，當訓練到第9個Epoch 時，學習率降為之前的1/10，即0.001。當訓練到第13 個Epoch時，學習率降為初始學習率的1/100，即0.000 1。

模型訓練的batch size設置為1，由于批量太小，所以禁用Batch Normalization[16]。圖像尺寸統一縮放至800～1 333 pixel中的一個尺寸，即短邊最短為800 pixel，長邊最長為1 333 pixel，并保持原始寬高比不變。

遷移學習（Transfer Learning）[17-19]是將在某個領域中學到的知識應用到其他相關領域中的技術。將在COCO 上訓練過的參數遷移到文中模型，再從C3層開始微調參數。

普通模型記作R_50_C4，FPN 記作R_50_FPN，DCN 記作R_50_FPN_DCN。由于ResNet50 的C5 層特征圖太小，不適合目標檢測任務，因此普通RCNN 一般使用C4 層的特征圖。而在FPN 中，C2-C5層的特征圖都會使用，使用控制變量法保證其他所有參數不變。

最后實驗結果如圖4 所示。以IoU=0.5∶0.95 為指標，三個模型在第10 個Epoch 時趨于穩定，此時可以認為模型已經得到充分訓練。R_50_C4 的AP 值在0.45 左右；R_50_FPN 的AP 值在.48 左右；R_50_FPN_DCN 的AP 值在0.51 左右。可以看出，R_50_FPN_DCN 的檢測效果優于R_50_FPN，R_50_FPN 優于R_50_C4。在圖5 中，APsmall 是針對小目標的評價指標，可見R_50_FPN_DCN 的檢測效果優于R_50_FPN，R_50_FPN 優于R_50_C4。三個模型的最高值對比如表1 所示，由表1 可知，R_50_FPN_DCN 各方面表現優異。

表1 最高值對比

3.3 測速實驗

部署到邊緣處理設備NVIDIA Jetson Xavier NX之后，解除航速閾值，此時測試海面輪船的速度。船舶自動識別系統（Automatic Identification System,AIS）可以顯示每艘輪船2 min 或5 min 之前，甚至30 min以前的信息。船載AIS可能出現損壞或被用戶直接關掉等情況，有些海域沒有被AIS 基站覆蓋，所以項目并沒有使用AIS。但是，AIS上的一些信息仍可以作為參考，正常行駛的輪船航速一般是13～17海里/時。文中系統測得錨泊在岸邊的輪船速度為0.08 m/s，航速基本為0；錨泊在海面上的工程船速度是0.6 m/s，這種超低航速或靜止的輪船都會嚴重威脅到海纜的安全；正常行駛輪船的航速是6.1 m/s 或7.9 m/s，與一般輪船的正常航速相符，證明了測速系統的準確性。

4 結束語

一般情況下，輪船在有警告標志的海纜海域低速航行或停止時，基本上都是在捕魚或錨泊，但是也存在有些輪船出現故障，不得已在相關海域低速漂泊或停止。針對此類情況，文中方法會將它當成違規行為一并處理。在后續的工作中，將增加3～4 個相機，對目前相機監控到的所有輪船進行360 度放大監控，利用圖像識別算法識別輪船的錨和漁網是否存在違規行為。