基于多源異構數據融合的船舶目標檢測與跟蹤技術研究

馬瑞鑫，李子龍，陳 靜

(1.交通運輸部天津水運工程科學研究所，天津 300456； 2.大連海事大學 航海動態仿真和控制實驗室，大連116026)

隨著內河航運的快速發展，水上運輸船舶數量日益增多，水上交通壓力越來越大，單純依靠人工進行現場或視頻巡檢效率較低，針對船舶的智能監管，目前主要采用視頻監控、AIS、射頻識別、雷達等技術。但尚沒有完善的監控系統對水上交通出現的船舶超載、超限、遮擋船名、不按規定開啟AIS等違法違規行為進行智能監控及預警，智能化的監管手段仍顯不足。

當前水運行業傳統的視頻監控已經較為普遍，但如何從視頻中提取出關注的信息仍較為繁瑣，由于船名標識不規范、字符不清晰，基于計算機視覺的智能分析應用較少；AIS應用較為廣泛，但其必須依賴于船載終端的安裝及正確使用；雷達在沿海港口應用較為廣泛，但在內河中由于航道沿線山林阻隔及岸線阻擋應用較少。當前，單一的監測方法都有相應弊端，同時無法有效進行數據協同，尚沒有統一高效的融合方法使其從多源無序的監測數據中發掘精準的有價值信息。如何精準有效地從現有視頻中提取出船舶目標，實現船舶視頻目標的自動檢測與跟蹤；并協同多傳感器的多源數據融合分析，提高監測精細化水平，實現船舶監管的直觀表達是當前亟需解決的問題。

當前基于計算機視覺的目標檢測方法主要分為傳統目標檢測算法和深度學習目標檢測算法[1]。浙江大學劉寶龍[2]博士通過圖像分析、深度學習等計算機視覺技術對船名標識字符進行了檢測與識別，并提出了船名標識字符基準數據集。武漢理工大學相關研究人員[3]在傳統YOLOv3算法基礎上，提出了用于船舶目標檢測的增強YOLOv3算法，在霧天和低照度等不良天氣條件下均能實現船舶目標的高精度穩定檢測。但是基于深度學習的目標檢測算法因為需要大量樣本，受限于應用場景，在山區內河環境下獲取較為困難，傳統目標檢測方法主要有幀間差分法、光流法和背景減除法等[4]；在多傳感器數據融合方面，目前的內河船舶軌跡融合主要是AIS和雷達數據的融合，主要通過卡爾曼濾波器去噪法、修正的K近鄰域法等，核心在于判斷來自多個系統的兩條軌跡是否代表同一個目標[5]。葉蕾[6]研究了攝像機與激光測距儀在船舶過閘中的應用，并依據攝像機和激光測距儀研究了基于多傳感器結合的過閘船舶運動狀態檢測系統。L. Achiri等[7]利用AIS和SAR兩種數據源進行融合，實現船舶海事監管。孟琭[8]對當前主流的目標跟蹤算法進行了測試，分析了Kalman、深度學習方法在不同場景下的跟蹤效果。上述方法雖然取得了一定成果，但仍存在以下局限性，單一傳感器難以應對復雜環境感知信息，激光傳感器具備探測精度高，不受天氣狀況影響等優點，但無法獲取顏色、紋理等信息，只能反應目標的外形輪廓等特征；視頻彌補了激光在識別物體方面的劣勢，可以捕獲目標及環境的大量細節特征，但受天氣影響較大，且識別精度不高；AIS數據是一種結構化較為規范的數據，但其獲取方式依賴于船載終端的使用，不能進行主動式監管[9-10]。

針對以上問題，本文在現有研究基礎上針對視頻船舶目標檢測，提出了一種基于Canny邊緣檢測的三幀差分法與基于混合高斯背景建模的背景減除法相結合的船舶目標檢測算法，有效提高了傳統圖像目標檢測準確率；針對多傳感器目標融合，本文分析了激光點云數據和AIS數據的處理方法，并基于模糊數學的思路，提出了一種正態性隸屬度函數計算模糊相關矩陣的方法，實現了在動態視頻修正下的激光點云數據與AIS數據的船舶軌跡特征融合。

1 多源異構傳感器數據處理

1.1 船舶圖像目標檢測

本方法首先通過直方圖均衡化和中值濾波對視頻圖像序列進行預處理，對圖像出現的亮度或對比度不均勻進行處理，提高船舶目標提取的精準度。然后對連續的三幀圖像之間做兩兩相鄰兩幀的差分圖像計算，采用Otsu方法求取差分圖像的閾值，將差分圖像結果做二值化處理，最后將得到的2個二值圖像進行邏輯“與”運算，獲取兩個結果圖像中共同的目標部分，從而獲得船舶運動目標的輪廓信息[11]。

為了能夠盡可能準確標識出圖像中船舶目標的實際邊緣，再通過Canny算子對第N幀圖像進行邊緣檢測，得到目標圖像的輪廓信息，在得到圖像邊緣后與三幀差分法得到的輪廓信息進行邏輯“與”運算，即可得到船舶目標前景圖像。

繼續對第N幀圖像做背景減除運算，可得到當前幀的前景圖像，并進行二值化處理得到二值化圖像，將上述邏輯“與”計算得到的前景圖像和該二值圖像進行邏輯“或”運算，即可得到邊緣信息和船舶目標較完整的圖像信息。具體實現流程如圖1所示。

圖1 視頻圖像處理流程Fig.1 Video image processing

提取船舶前景圖像需要獲得圖像的背景信息。為克服外部環境變化較大的復雜場景，本文采用混合高斯背景建模法獲得背景圖像，混合高斯背景模型使用多個單高斯概率密度函數，通過所有密度函數的加權平均值來近似地表示某一像素點值的密度分布函數，令I(x,y,t)表示像素點(x,y,t)在t時刻的像素值，見式(1)

(1)

(2)

式中：T的值根據實驗結果設為0.7，是背景模型占有高斯分布的最小比例，根據背景情況，T越大則可以描述越復雜的動態背景模型。對于當前像素(x,y,t)，若它的值I(x,y,t)服從背景模型中第k(k≤B)個高斯分布，那么該像素點為圖像背景像素點，否則是目標前景。設ImageOutput函數為輸出圖像，則可由(3)式判定。

(3)

在圖像自動識別該像素為目標前景后，需要更新高斯分布去替代權重最小的當前值，這一新的高斯分布的期望值用當前的像素點值來表示。如果該像素為背景圖像中的像素點，則需要進行權重的更新，此處權重值是該圖像背景像素的各個高速分布的權重值。基于目標像素匹配的高斯分布，需要同時更新高斯模型中的期望值和偏差值。

1.2 船舶激光點云數據處理

本文采用的激光雷達是一個水平視角360°全方位的16線激光雷達，采用混合固態激光雷達方式，通過激光發射組件棱鏡快速旋轉的同時，由發射器發射高頻率激光束對外界環境進行持續性的掃描，經過測距算法提供三維空間點云數據及物體反射率，可以獲取船舶、水面的距離，通過激光束的扇面掃描在航道切面方向形成多道激光幕簾。當船舶通過激光幕簾時，可采集船舶每個段面的激光反射數據，系統將獲得船舶切向的多斷面輪廓尺寸數據，每個段面均由無數個激光反射數據組成，隨著船舶航行通過監測點，激光掃描儀即可采集完整的若干個段面的激光反射數據，從而獲取船舶完整的輪廓數據。

本激光雷達有效探測距離150 m，測量精度+/-2 cm以內，垂直視角30°(-15°～15°)，分辨率為2°，當轉速為10 Hz時，出點數高達30萬點/s，本文采用基于八叉樹的點云精簡方法，以實現在保持船舶點云數據幾何特征的同時減少點云數據量，同時采用基于聚類分析的場景點云自動裁剪算法實現水平面和船舶的三維立體重構，并通過自適應濾波算法濾除水面及船體的波動，即可獲得船舶的三維尺寸等參數，包括船舶的行駛方向、速度、干舷等特征。船舶實景和經精簡后的點云圖如圖2所示。

圖2 船舶實物和激光點云示意圖Fig.2 Schematic diagram of the ship′s physical object and laser point cloud

為減少盲區干擾，本文需兩臺激光掃描儀共同掃描，即在航道兩側各安裝一臺固定角度的激光掃描儀，實現盲區互補。對于多位置掃描所得到的點云數據，通過迭代最近點(Iterative Closet Point, ICP)算法將其匹配到一個統一坐標系中[12]。

激光點云數據為立體角坐標系，點云中每一個掃描點的位置信息由矢量(R,α,ω)表示，3個分量的物理意義如圖3所示。

圖3 點云數據極坐標系Fig.3 Polar coordinate system of point cloud data

由掃描點的隨體坐標系V=(X,Y,Z)和雷達的姿態信息(φ,θ,ψ)可以求出掃描點在以雷達位置為原點的大地坐標系下的坐標值VE

VE=(XE,YE,ZE)=DCM·V

(4)

(5)

1.3 船舶AIS數據

AIS系統是一種船舶自動識別系統，可以收發覆蓋范圍內的船舶動態、靜態信息，用于船舶目標的識別與信息交換。主要包括以下種類數據：

(1)靜態信息：IMO編號、呼號和船名、船長和型寬、船舶類型；

(2)動態信息：船位位置、UTC時間、對地航向、對地航速、船艏向、航行狀態、轉向率；

(3)航次相關信息：船舶吃水、危險貨物類型、目的港和預計到達時間、航線計劃等；

(4)安全相關消息：廣播和通知消息。

2 目標融合算法

2.1 融合流程分析

本方法所采用的單個傳感器(激光、視頻、AIS)均可獨立采集并形成各自的目標運動模型，系統對多個獨立的船舶運動模型進行對比匹配后，通過多傳感器融合計算確定統一的船舶運動模型。本方法先將激光點云數據和AIS數據進行船舶航跡融合計算，在視頻檢測出船舶運動目標后，實現船舶的目標跟蹤，對激光點云數據和AIS數據融合后的船舶軌跡進行修正，并將其綜合疊加顯示在動態視頻上，使船舶目標具有豐富實時的環境特征，且整體具有更好的測距精度和更高的識別率，具體流程如圖4所示。

圖4 多傳感器目標融合流程Fig.4 Process of multi-sensor target fusion

2.2 船舶軌跡融合方法

本文提出的多傳感器融合關鍵在于AIS和激光點云的船舶軌跡融合，AIS數據和激光點云數據必須統一到同一個時間系統。首先提取出各自監測的船舶動態數據，然后進行位置坐標變換和時間校正，在統一的融合時間節點上進行軌跡相關計算，最后基于關聯目標加權實現軌跡融合。

針對統一時間系統，激光傳感器的掃描周期是固定的，可以進行線性插值，AIS發送動態信息時間間隔隨著船舶航行狀態不同而不同，對其進行時間校準可采用三次樣條差值進行計算，求得t時刻的目標向量為X(t)，具體計算方法如下

X(t)=A0+A1(t-t0)+A2(t-t0)2+A3(t-t0)3

(6)

式中：A0、A1、A2、A3為變換系數，可以通過將AIS時間變成GMT時間，取4個目標向量代入，即可解出。

船舶軌跡融合的關鍵是判斷來自AIS和激光點云數據的兩條航跡線是否代表同一船舶，本文采用模糊數學的隸屬度函數[5]表示其航跡的相似性。

(7)

式中：ξ(ζp)為模糊因素集中第p個因素的隸屬度函數；ηp、ζp、σp分別為模糊因素集中第p個因素的權重、歐式距離和展度。隸屬度函數值越大，說明兩條航跡線相關聯程度越大。

對來自AIS數據的m條軌跡和來自點云數據的n條軌跡建立t時刻的模糊相關矩陣，即

(8)

式中：λmn(t)表示在t時刻AIS中的第m條軌跡與點云中的第n條軌跡的綜合相似度。

檢驗航跡的相似度，具體步驟為：

(1)確定閾值ε的大小，通常取ε≥0.5；

(2)在矩陣λ(t)中找到最大元素λmn(t)，如果λmn(t)≥ε，則判定AIS軌跡m和點云軌跡n相關，并從矩陣λ(t)中去掉λmn(t)所在的行和列元素，得到新的(m-1)*(n-1)維降階模糊矩陣λ1(t)；

(3)對λ1(t)重復上述過程，獲得λ2(t)…λk(t)，直到λk(t)中的所有元素均小于ε，則剩下元素對應的行列號代表的軌跡在t時刻不相關；

(4)如果某兩條軌跡信息相關，并且在任意t時刻均相關，則可判定它們來自于同一目標船舶，此時即可關聯這兩條軌跡信息。

2.3 空間變換矩陣

多源異構傳感器數據融合需要實現空間信息的匹配。點云數據位于以激光雷達為中心的激光雷達坐標系OlXlYlZl下，視覺圖像信息位于以相機為中心的相機坐標系OcXcYcZc下。需要對其坐標系進行聯合標定，激光雷達坐標系與相機坐標系的轉換關系[13]可以表示為

(9)

式中：R、T分別為2個坐標系的相對旋轉矩陣和平移矩陣。

3D點云B=(x,y,z)在校正過的相機中的投影位置A=(u,v)可以表示為

(10)

2.4 船舶目標動態跟蹤

通過多源傳感器識別出船舶目標后，需要實現對其運動跟蹤，而確定目標的運動模型是目標跟蹤的關鍵。船舶在通過監測水域中大多數保持勻速運動，運動狀態不會在短時間發生改變，因此本文對船舶運動建立CV模型[14]。假設t時刻船舶的狀態為Xt，表示為

(11)

式中：Vt為船舶t時刻的速度；Pt為船舶t時刻的位置，按照CV模型，得到船舶的位置及速度轉換關系為

(12)

可將式(12)寫成如下形式

(13)

在CV模型的基礎上運用卡爾曼濾波跟蹤船舶的運行軌跡，并得到船舶的實時運動狀態。根據上式預測當前船舶的運動狀態，對當前船舶運動狀態的預測是有噪聲的，因此需用協方差矩陣P來表示預測中的噪聲，即

Pt=Fcov(Xt-1,Xt-1)FT+Qt-1=FPt-1FT+Qt-1

(14)

式中：Q為過程噪聲的協方差。

具體流程如圖5所示。

圖5 卡爾曼濾波跟蹤船位Fig.5 Kalman filter tracking

3 系統展示

面向內河船舶安全監管，在某內河航道對本文提出的方法進行了試驗，并基于此研發了一套船舶態勢主動式智能感知系統。該系統可對進出轄區的船舶實現船舶輪廓識別、船舶干舷測量、船舶位置航速監測、船舶流量統計，船舶違章自動取證等功能。實現對內河航道船舶的高精度、全天候、不間斷地自動監測和統計分析。系統前端傳感器綜合采用了激光掃描儀、CCTV、AIS等設備，現場綜合采集環境示意圖和系統界面如圖6所示。

圖6 現場環境和系統展示Fig.6 Site environment and comprehensive information system display

4 結論

針對現有手段在船舶安全監管上的不足[15-16]，本文提出了一種船舶視頻目標自動檢測方法，并分析了激光點云數據處理，利用正態性隸屬度函數矩陣實現了在動態視頻修正下的船舶軌跡特征融合。基于本文提出的方法研發了一套多傳感器融合的船舶態勢主動式智能感知系統，可實現不依賴于船銘、船號等可見標識下的主動式全天候高精度自主監測。系統是信息化與傳統水運融合發展的重要實踐，對于提升海事管理水平，創新船舶監管手段具有重要意義。