基于雙目系統的海面遠距離測距研究

摘 "要： 為適應未來無人船發展趨勢，發現并定位海上遠距離目標，采用YOLOV8和局部立體匹配方法，提出一種雙目視覺遠距離定位技術方案。首先對雙目相機進行標定；然后采用YOLOV8算法對海上目標進行檢測；進一步通過局部立體匹配，對兩個相機檢測目標進行局部特征提取和局部特征匹配；最后基于匹配結果，根據雙目視覺原理計算所匹配目標的距離。實驗結果表明：該技術方案對距離為100～300 m、300～500 m、500～700 m、700～900 m的目標測距平均精度分別為90%、84%、75%、60%，處理速度為20 PFS。與傳統方法相比，所提方法直接聚焦海面目標，只對局部像素進行立體匹配，具有運行速度快、定位效果好的優勢。

關鍵詞： 目標檢測； 立體匹配； 雙目系統； 定位； 遠距離測距； YOLO； AIS； 相機標定

中圖分類號： TN911.7?34； TP3 " " " " " " " " " " "文獻標識碼： A " " " " " " " " " "文章編號： 1004?373X（2024）15?0151?06

Study on sea surface long?range ranging based on binocular system

ZHENG Hailin1， CUI Yaqi2

（1. North University of China， Taiyuan 030051， China; 2. Naval Aeronautical University， Yantai 264001， China）

Abstract： In order to adapt to the future development trend of unmanned ships and discover and locate long?range targets at sea， a binocular vision long?distance localization technology scheme is proposed by YOLOV8 and local stereo matching method. The binocular cameras are calibrated. The YOLOV8 algorithm is adopted to detect the targets at sea. Furthermore， by local stereo matching， the local feature extraction and local feature matching of the targets detected by the two cameras are carried out. On the basis of the matched results， the distance of the matched targets is calculated according to the principle of binocular vision. The experimental results show that the average accuracy of this technical solution for target ranging at distances of 100 to 300 m， 300 to 500 m， 500 to 700 m， and 700 to 900 m is 90%， 84%， 75% and 60%， respectively. Its processing speed is 20 PFS. In comparison with the traditional methods， the proposed method can focus on the targets at sea surface directly and implement stereo matching of local pixels only， so it has the advantages of fast operation speed and good positioning effect.

Keywords： target detection; stereo matching; binocular system; positioning; long?range ranging; YOLO; automatic identification system; camera calibration

0 "引 "言

隨著海上事業的發展，需要對海面目標進行探測與距離計算，以保證安全航行。但是海面測距面臨嚴峻的挑戰，首先距離較遠，其次海面情況復雜，風浪、雨水以及海霧對測距干擾較大。目前來說有多種探測手段，使用雷達對目標進行探測是海面探測的主要手段，因為水中信息傳輸主要依靠聲波，聲波是一種機械波，可以在水中傳播較遠距離[1]。雷達效果雖好，但也存在一定的局限性。首先采用雷達對目標進行探測，其隱蔽性較弱，而提高隱蔽性的方式一般采用電磁靜默的方式。該方式采用光電手段，并配合激光設備對周邊海域目標進行探測及定位；其次，此種探測方式存在成本高、易被偵查設備發現，針對經過偽裝的艦船探測效果不佳等問題。所以本文采用可見光的形式對目標進行探測。可見光探測一般采用雙目系統，因為雙目相機能夠獲得物體的深度信息，根據雙目系統來獲得物體的距離。目前雙目測距算法分為傳統算法與深度學習算法。傳統立體匹配算法最具有代表的是SGBM。SGBM是半全局立體匹配，使用互信息為代價子，求解全局能量函數，速度非常快，但是對于距離稍遠的物體匹配效果非常差，不能滿足本文海面遠距離測距的要求。目前深度學習算法具有代表性的是LEAStereo網絡，采用神經網絡的方式對每一個像素點進行匹配。該方法雖然細節效果好，但是有效測距距離太短，不能應用于海面，對于遠距離目標不能進行有效的探測。目前為止，對于海面測距一般采用三角形測距法，但是這種方式對設備的要求較高，且對于遠距離目標需要將兩相機分別放置在兩艘艦船之上，對于實際操作極為不利。綜上所述，開展雙目系統的海面遠距離測距研究對提高海面物體測距效果有著實際意義。

本文中主要使用了目標檢測、特征提取以及特征匹配來進行遠距離測距。首先對雙面立體視覺進行了研究，使用局部立體匹配的方式對遠距離物體進行匹配；其次對于海面物體的檢測進行研究，使用海面物體數據集進行訓練，從而實現對海面物體的高精度檢測；然后對特征提取和特征匹配算法進行了優劣對比，針對不同場景下的算法選擇做了詳細研究，同時將各種算法融合成一個新結構，以適用于海面的立體匹配，給出針對更遠距離、更高精度的立體匹配方法。

1 "雙目立體視覺原理

本文采用雙目測距的方式對海面物體進行距離測量。雙目視覺技術自20世紀60年代中期被提出[2]，是通過對多幅二維圖像進行分析，獲得有關數據并將其由二維向三維轉換的一個過程[3]。雙目視覺利用視差計算物體與原點之間的距離。視差指同一空間點在左右視圖中成像的差異[4]，當物體離原點越近，兩只眼睛看到的物體位置差異越大，反之越遠，兩只眼睛看到的物體位置差異越小。

為了計算視差，采用兩個攝像頭同時拍攝同一場景，通過測量兩攝像頭中同一物體在圖像上的像素差異，計算出物體距離。計算視差之前需要有如下幾個步驟。

1） 需要進行相機標定，因為直接計算視差是在理想環境下得到的，實際上直接計算視差誤差會非常大，所以需要獲得相機的內外參數，為后續操作做數據儲備；

2） 進行畸變矯正，能消除平行雙目視覺系統在制造安裝時兩相機無法完全平行的缺陷[5]，將實際情況模擬為理想情況，將成像平面矯正為同一水平面，這樣可以減小誤差；

3） 進行目標檢測，獲得目標的名稱、位置、目標框、中心點，為后續的局部立體匹配做準備；

4） 進行特征提取，提取圖像中的關鍵點；

5） 進行特征匹配用于計算視差，得到視差計算距離。

測距步驟如圖1所示。

對于相機標定，在圖像測量過程中，為確定空間物體表面某點的三維幾何位置與其在圖像中對應點之間的相互關系，必須建立相機成像的幾何模型，這些幾何模型參數就是相機參數。首先得到世界坐標系（[Xw]，[Yw]，[Zw]，1），世界坐標系描述的是物體在真實世界中的絕對位置；其次將世界坐標系轉換為相機坐標系，該坐標系是為了將世界坐標系轉換到圖像坐標系的一個過渡坐標系（[R]和[T]被稱為旋轉矩陣）；然后將相機坐標系轉換為圖像坐標系，圖像坐標系是相機的虛擬成像平面的坐標系，該坐標系的作用是獲得物體實際成像的坐標點，結合焦距實現坐標系的轉化；最后將圖像坐標系轉換為像素坐標系，圖像坐標是連續的，但是電腦中存儲的圖像是離散化的像素點，需要將連續的像素點轉化為離散的。最終將世界坐標系轉換為像素坐標系，并獲得相機的內部參數。

相機標定后得到相機內部參數，需要對相機進行畸變矯正，使實際情況模擬理想情況。矯正前的左右圖極線、光軸不在同一水平面，會導致測量出來的視差誤差過大。為了使極點在無窮遠處，左右兩圖高度一致，采用Bouguet極線矯正。首先分解左右兩個旋轉矩陣，將其變為左矩陣與右矩陣；其次通過調整旋轉矩陣，將左右相機各旋轉一半，使得左右相機的光軸平行；然后構建變換矩陣使得極線與成像平面在同一水平面，通過右相機相對于左相機的偏移矩陣完成；最后通過合成旋轉矩陣與變換矩陣相乘獲得左右相機的整體旋轉矩陣。左右相機的坐標系乘以各自的整體旋轉矩陣可以使左右相機的主光軸平行，且成像平面與極線位于同一水平面，即可完成畸變矯正。

2 "海面目標檢測

本文需要進行海上目標檢測以及海上目標測距，但是海上光照十分復雜，實際拍攝的圖像往往因為天氣、光照等各種環境因素使得整體圖像對比度較低[6]。直接使用原圖像進行目標檢測和測距，會受到外部條件的干擾，導致實驗效果不理想，所以需要對圖像進行預處理。飛濺起來的海水、雨水以及海霧，在圖像上呈現出一個小點或者一塊顏色較弱區域，在進行目標檢測之前，需要采用高斯濾波對圖像進行噪聲過濾，還需要增強圖像紋理和清晰度，將圖像中物體的邊緣特征增強。因為物體表面紋理越豐富，提取特征以及計算視差的效果就越好。物體的像素特征越區別于背景像素，提取特征點的效果就越好。除了使用直方圖均衡化之外，還對圖像進行銳化操作，增強圖像角點，以提高特征檢測的準確率。

圖像預處理結束后進行海面目標檢測。由于海面情況復雜，且搭載相機的船舶晃動，所以傳統目標檢測效果不佳。因為深度學習在目標檢測方面有著非常優異的表現[7]，故本文采用基于深度學習的目標檢測，兼顧速度以及準確率。本文使用的數據集大部分來源于公開數據集，少部分來自于網絡。數據集的優劣會直接影響到目標檢測的精準度，所以對來自網絡的圖片進行圖像增強和預處理。本文的數據集分為4類，分別為：艦船、浮標、礁石、島嶼。數據集的命名格式與coco數據集格式統一。目標檢測算法按網絡結構可分為兩大類：One Stage和Two Stage[8]。在實際的目標檢測中，需要快速確定目標位置，對海面上的物體進行實時檢測，所以采用One Stage的方式進行目標檢測。One Stage可直接回歸物體的類別概率和位置坐標值，速度快，通過主干網絡直接給出類別和位置信息。采用One Stage方式的有基于自然語言處理領域中的Transformer模型遷移到計算機視覺任務中的Transformer框架算法，其代表性算法為DETR[9]。DETR采用編碼器解碼器的方式進行目標檢測，速度快、準確率高，但是此方法訓練速度非常慢，難以收斂，泛用性不高，所以本文采用YOLO家族中的YOLOV8。YOLO算法是一種基于深度卷積神經網絡的實時目標檢測算法[10]。YOLOV8也是采用One Stage的方式，它是建立在以前YOLO版本成功的基礎上，并引入了新的模塊，改進了網絡結構，進一步提升了速度以及準確率，且收斂快，訓練速度快。

YOLOV8由Backbone提取特征模塊、Neck模塊和Head預測模塊組成。Backbone用于提取特征，采用從上到下、由淺入深的網絡結構提取深層次圖像特征；Neck模塊主要將淺層圖形特征與深層語義特征相結合；Head模塊用于預測目標框以及目標類別。YOLOV8采用目前主流的解耦頭結構，將分類和目標框分開檢測。

目標檢測效果如圖2所示。

3 "局部立體匹配

計算視差需要使用立體匹配算法，立體匹配算法的目的是將兩幅圖像中點對應起來計算，從而計算視差。因為海面目標單一，且圖像中只有海面的情況占多數情況，所以本文采用特征提取以及特征匹配的局部匹配方式來計算視差，且局部立體匹配算法實時性能好[11]，比傳統立體匹配算法速度更快，誤差更小，不需要將所有像素點都進行視差計算，只需要提取目標檢測框內的特征點進行特征匹配計算視差。

對于特征提取，本文對SURF和ORB兩種特征提取算法在海面上的特征提取效果做了對比實驗，結果如圖3所示。

SURF算法計算速度快，對尺度、旋轉、光照等變化具有較好的魯棒性和較高的特征匹配準確率。ORB算法計算速度最快，對尺度、旋轉、光照等變化具有較好的魯棒性，同時具有較高的特征匹配準確率和較低的計算量。但是相對于SURF算法，ORB算法的匹配準確率稍低。

如圖3所示，特征點大部分在目標上，且海面上的特征點不參與匹配計算，所以本文采用只匹配物體的特征來進行局部立體匹配，最后將匹配的坐標映射回原圖計算得到視差。使用ORB算法提取的特征點比使用SURF算法提取的特征點更少，但是也基本都在目標上，且速度更快，所以首次提取采用ORB算法，提取效果不理想時使用SURF算法進行第二次提取。

在初次提取時采用ORB算法，ORB算法主要由關鍵點提取及改進的特征描述子組成[12]。ORB可以快速選擇關鍵點，首先需要遍歷所有像素選擇出關鍵點。將每一個像素點與該像素點周圍一圈的等距非連續像素相對比，并設置一個閾值，此閾值與中心點像素值正相關。將周圍的像素與閾值做判斷，如果有連續多個像素點大于或小于該閾值，則將該中心點像素視作關鍵點。判斷關鍵點的計算公式如下：

[S=d， " "Ix≤Ip-ts， " "Ip-tlt;Ixlt;Ip+tb， " "Ip+t≤Ix] （1）

式中：[d]為暗點；[s]為相似點；[b]為亮點；[Ix]為中心點的亮度；[Ip]為圓上某點的亮度；[t]為閾值；[S]為找出的關鍵點。找出所有關鍵點后就能大致描述物體的輪廓。

將關鍵點轉化為特征向量，讓這些特征向量可以共同表示一個對象，并利用一組關鍵點創建二元描述符，再從關鍵點周圍界定好的鄰域內隨機選擇一對像素。關鍵點周圍的鄰域是一個具有特定像素寬度和高度的正方形。比較關鍵點像素與該點鄰域像素的亮度，如果關鍵點像素比鄰域的亮，則分配值為1的描述符，反之為0。遍歷所有關鍵點，構建特征描述符；最后保證旋轉不變性與尺度不變性。雙目視覺中，左右兩圖的相同物體可能因為視差導致大小顯示不均勻，所以需要保持旋轉與尺度不變性。構建圖像金字塔，再從每一層快速尋找關鍵點，因為金字塔的每層為原始圖像的縮小版本，所以原始圖像中的任何一點像素在圖像金字塔的像素級別也會降低，實現了部分尺度不變性使用。保持旋轉不變性，通過矩法來計算特征點以[r]為半徑范圍內的質心，特征點坐標到質心形成一個向量，作為該特征點的方向，以上步驟得到了特征點以及特征點的特征描述符。

當目標框內提取特征點的效果不理想時，進行第二次提取，使用SURF進行特征提取，SURF算法是由文獻[13]提出的一種圖像局部特征描述算子。首先以對每一個像素點構建黑塞矩陣的方式生成特征點。黑塞矩陣的行列式值代表了像素點周圍的變化量，提取特征點只需要提取行列式值的極大值和極小值。黑塞矩陣還能保持局部尺度不變性。對于圖像中的某一點，黑塞矩陣的定義如下：

[H（x，?）=Lxx（x，?）Lxy（x，?）Lxy（x，?）Lyy（x，?）] （2）

式中[L]為高斯二階偏導數在[x]處與圖像中像素點的卷積。將圖像生成多尺度圖像金字塔來構建尺度空間，并在每一層對每一個像素點構建黑塞矩陣，生成特征點，實現尺度不變性；其次對特征點進行主方向匹配，將經過黑塞矩陣處理后的每個像素點與二維空間和尺度空間鄰域內的多個點進行比較，篩選出比較穩定的特征點。以篩選出的每一個特征點為中心，計算一個圓形鄰域內的點在[x]和[y]方向上的響應。對兩個方向上的響應值進行高斯加權后，分別表示在水平和垂直方向上的方向向量。在所有的方向向量中最大的即為此特征點的方向；最后生成特征點的描述符，在特征點周圍取一個矩形區域塊，所取的矩形區域方向是沿著特征點的主方向，將矩陣相對主方向的水平方向值、垂直方向值、水平方向絕對值、垂直方向絕對值這4個值作為每個區域的特征向量。將此特征向量作為該特征點的描述子。

在進行了多次實驗后，提取特征得到以下結論：一般情況下第一次提取到有效特征點的概率為90%，需要進行第二次特征提取的概率為10%，得到特征點后，先對特征點進行過濾操作，將非目標框內特征點過濾，后續不需要將非目標點進行匹配；然后進行特征點匹配，如何在左右兩幅圖像中選擇合適的區域進行特征點匹配這是非常關鍵的問題。本文采用了代價計算的方式選擇左右兩圖匹配區域，采用了兩種特征點匹配算法來計算視差。

代價計算選擇匹配區域。首先使用水平Sobel濾波將左右圖像進行邊緣處理，得到圖像的梯度信息。將水平Sobel濾波處理后的圖像上的每個像素點映射為一個新圖像，映射函數為：

[Pnew=0， " "Plt;-preFilterP+preFilter， " "-preFilter≤P≤preFilter2×preFilter， " "Pgt;preFilter] （3）

式中：[P]表示圖像上的像素；preFilter為一個常數參數，將處理好的圖像保存用于代價計算。利用圖像經過采樣的方式得到SAD代價，最終得到像素矩陣的偏移量，從而將左圖的目標框映射到右圖。

在左右兩圖都找到特征框后，進行特征點匹配，本文采用了交叉匹配的方式。對于交叉匹配，首先建立匹配條件，采用特征點最近的方式，只用到左圖中的特征點[A]與右圖中的特征點[B]距離最近，并且右圖圖中的此特征點[B]到左圖中的此特征點[A]也是最近，且左圖中沒有其他特征點到右圖特征點[B]距離最近，此時返回最佳匹配[A]和[B]；其次選擇左圖中的特征點與右圖中的特征點按照建立的匹配條件進行匹配；最后按照降序排列取最佳匹配的50個關鍵點進行繪制，并輸出坐標。

特征點匹配后，需要計算視差，將匹配的兩特征點進行水平位移檢測得到視差。根據雙目系統理論，將視差轉化為深度，獲得局部點云信息，最后得到距離信息。

4 "效果驗證

驗證測距效果。首先使用AIS傳播自動識別系統，獲取艦船的信息，將其經緯度坐標與相機的GPS信息相結合轉換為實際距離信息；其次將船舶的經緯度坐標繪制成點圖與相機中的艦船做關聯，使艦船的圖像坐標系與世界坐標系相關聯，如圖4所示。

圖4中，左下側的點為待測點目標，右下側的點為相機GPS信息，最高處的點為其他船舶。根據經緯度計算公式得到距離為115 m。

測距效果如圖5所示。其中方框中間的數字為距離，方框左上角數字為物體置信度，本次精度為96%。

本文做了多組測試，表1為在各距離段下多組測試的情況，平均FPS為20，在100～300 m之間效果最好。

5 "硬件構成

使用ZED2相機、筆記本電腦和Jetson nano邊緣計算模塊作為本次實驗的硬件模塊。ZED2相機是雙目相機，采用兩個高清攝像頭，像素可達1 920×1 080，兩攝像頭基線長度為12 cm，焦距為2.12 mm。筆記本電腦處理器為i5?7700k，顯卡為1050 Ti，因為算法中需要使用目標檢測和測距算法，都對處理器和顯卡有一定要求，主要用于編寫代碼、調試相機、標定相機、測試代碼。Jetson nano邊緣計算模塊是一個特殊的開發板，也是一個功能強大的小型計算機，專為AI應用程序設計。它尺寸小巧、便于攜帶、耗電量低且算力適中，可以對目標檢測算法進行加速運算。Jetson nano計算模塊實物如圖6所示。

本文利用Pycharm和Matlab 2020兩個工具進行設計和實現，主要采用Python進行編譯，使用Pytorch框架。通過Matlab對雙目相機進行標定，使用Pycharm對相機進行畸變矯正、目標檢測、立體匹配代碼編寫。

6 "結 "語

本文研究了海面遠距離測距的方法，將目標檢測和雙目視覺理論結合，提出了局部立體匹配的方法。針對海面上目標檢測進行了改進，對不同的特征匹配算法進行比較，在不同的情況下使用合適的特征匹配算法，并使用硬件搭載實施。本文仍然存在不足之處，后續還需進一步進行改進：首先是硬件問題，相機的分辨率有待提高，分辨率越高遠距離物體的測距效果越好；其次是算法問題，本文使用的算法對于近距離的測距效果不好，有待優化；最后在未來的實驗中將使用高倍率相機以及可移動云臺對遠距離、全方位物體進行測距。

參考文獻

[1] 鄧彬，李韜，湯斌，等.基于太赫茲雷達的聲致海面微動信號檢測[J].雷達學報，2023，12（4）：817?831.

[2] HENRY P， KRAININ M， HERBST E， et al. RGB?D mapping： Using depth cameras for dense 3D modeling of indoor environments [C]// 12th International Symposium on Experimental Robotics Experimental Robotics. Heidelberg， Germany： Springer， 2014： 477?491.

[3] 姚安素.基于雙目立體視覺測體積的算法研究[D].北京：北京理工大學，2018.

[4] 韓坤昊，賈振堂.融合多層次特征及互注意力機制的視差估計[J].國外電子測量技術，2023，42（10）：35?42.

[5] 成彬，馮勇平，雷華.基于雙目立體視覺的連鑄輥尺寸三維測量方法[J].電子測量技術，2024，47（3）：135?143.

[6] 龐明，鞠金寶.海面復雜背景下圖像增強算法研究[J].科技創新與應用，2023，13（31）：36?41.

[7] 蘇山杰，陳俊豪，張之云.基于深度學習的車輛目標檢測算法綜述[J].汽車文摘，2022（8）：14?23.

[8] 申彩英，朱思瑤，黃興馳.雙目視覺的智能汽車目標檢測算法研究[J].重慶理工大學學報（自然科學），2023，37（11）：11?19.

[9] CARION N， MASSA F， SYNNAEVE G， et al. End?to?end object detection with transformers [C]// Proceedings of 16th European Conference on Computer Vision. Heidelberg， Germany： Springer， 2020： 213?229.

[10] 吳博陽，毛勝軻，林特宇，等.基于改進YOLOv8的風電葉片表面損傷檢測與識別方法[J/OL].機電工程：1?9[2024?03?19].http：//kns.cnki.net/kcms/detail/33.1088.TH.20240319.1117.007.html.

[11] 郭俊陽，胡德勇，潘祥，等.基于改進ORB特征的圖像處理方法[J].海南熱帶海洋學院學報，2024，31（2）：47?52.

[12] 游達章，周宏耀，張業鵬.基于特征優化的Census立體匹配方法[J].湖北工業大學學報，2024，39（1）：41?45.

[13] BAY H， ESS A， TUYTELAARS T， et al. Speeded?up robust features （SURF） [J]. Computer vision and image understanding， 2008， 110（3）： 346?359.

作者簡介：鄭海霖（2000—），男，四川宜賓人，碩士研究生，研究方向為圖像處理。

崔亞奇（1987—），男，河南人，副教授，講師，研究方向為深度學習和多傳感器信息融合。