999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于GAM-YOLOv8的遙感圖像艦船目標(biāo)跟蹤

2025-03-02 00:00:00楊笑天譚金林魚昕趙俊哲劉銘
關(guān)鍵詞:深度學(xué)習(xí)

摘要: 針對(duì)衛(wèi)星遙感圖像艦船目標(biāo)追蹤和軌跡繪制,提出了一種全局注意力(global attention mechanism, GAM)模塊改進(jìn)YOLO(you only look once)v8算法(GAM-YOLOv8)與DeepSORT算法相結(jié)合的方法。在YOLOv8網(wǎng)絡(luò)結(jié)構(gòu)中加入GAM模塊,以提升模型提取衛(wèi)星遙感圖像特征的能力,提高艦船目標(biāo)追蹤的精度和穩(wěn)定性;實(shí)施基于RGB(red, green, blue)-HSV(hue, saturation, value)融合顏色空間轉(zhuǎn)換卷積模塊的數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充數(shù)據(jù)集,幫助模型捕捉更多維度的特征信息,進(jìn)一步提升識(shí)別準(zhǔn)確度;利用DeepSORT算法通過(guò)結(jié)合目標(biāo)的特征外觀和運(yùn)動(dòng)信息,增強(qiáng)追蹤過(guò)程中的穩(wěn)定性與精度,有效減少身份切換和目標(biāo)丟失。實(shí)驗(yàn)結(jié)果表明,本文提出的GAM-YOLOv8與DeepSORT相結(jié)合的方法,相較于原始YOLOv8模型,在遙感圖像艦船目標(biāo)檢測(cè)與跟蹤任務(wù)中均表現(xiàn)出了顯著的性能提升,在準(zhǔn)確度、召回率和平均準(zhǔn)確率精度上分別提高了7.6%、7.9%和6.0%,在幀率、多目標(biāo)跟蹤準(zhǔn)確度和多目標(biāo)跟蹤精確度上分別提升了17.7%、6.9%、1.9%,身份切換次數(shù)降低了10.0%。

關(guān)鍵詞:衛(wèi)星遙感;深度學(xué)習(xí);目標(biāo)跟蹤;YOLOv8

doi:10.13278/j.cnki.jjuese.20240305 中圖分類號(hào):P237 文獻(xiàn)標(biāo)志碼:A

收稿日期: 2024-11-20

作者簡(jiǎn)介: 楊笑天(1991-" ),男,工程師,碩士,主要從事遙感大數(shù)據(jù)智能處理、分析與應(yīng)用,E-mail:415542866@qq.com

通信作者: 劉銘(1979- ),男,教授,博士,主要從事機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析與數(shù)據(jù)挖掘研究,E-mail:liuming@ccut.edu.cn

基金項(xiàng)目: 吉林省發(fā)改委基本建設(shè)項(xiàng)目(2022C043-2);吉林省自然科學(xué)基金(20200201157JC)

Supported by the Basic Construction Project of Jilin Provincial Development and Reform Commission (2022C043-2) and the Natural Science Foundation of Jilin Province (20200201157JC)

Ship Target Tracking Based on GAM-YOLOv8 Remote Sensing Images

Yang Xiaotian1,2, Tan Jinlin1,2, Yu Xin1,2, Zhao Junzhe3, Liu Ming3

1. Shaanxi Aerospace Technology Application Research Institute Co., Ltd., Xi’an 710100, China

2. Xi’an Space Radio Technology Research Institute, Xi’an 710100, China

3. School of Mathematics and Statistics, Changchun University of Technology, Changchun 130012, China

Abstract: Aiming at target tracking and trajectory drawing of ships in satellite remote sensing images, a method combining the global attention mechanism (GAM) module improved YOLO (you only look once) v8 algorithm (GAM-YOLOv8) and the DeepSORT algorithm is proposed. The GAM module is added to the YOLOv8 network structure to enhance the model's ability to extract satellite remote sensing image features and improve the accuracy and stability of ship target tracking. The data enhancement technology based on the RGB (red, green, blue)-HSV (hue, saturation, value) fusion color space conversion convolution module is implemented to expand the data set, helping the model capture more dimensional feature information and further improve the recognition accuracy. The DeepSORT algorithm is used to enhance the stability and accuracy of the tracking process by combining the target's feature appearance and motion information, thereby effectively reducing identity switching and target loss. Experimental results show that the proposed method of combining GAM-YOLOv8 with DeepSORT shows significant performance improvement in remote sensing image ship target detection and tracking tasks compared with the original YOLOv8 model. The accuracy, recall rate, and average precision are increased by 7.6%, 7.9%, and 6.0%, respectively. Meanwhile, the frame rate, multi-target tracking accuracy, and multi-target tracking precision are improved by 17.7%, 6.9%, and 1.9%, respectively, and the number of identity switches is decreased by 10.0%.

Key words: satellite remote sensing; deep learning; target tracking; YOLOv8

0 引言

近年來(lái),隨著國(guó)家大力發(fā)展航空航天事業(yè),國(guó)產(chǎn)衛(wèi)星技術(shù)不斷發(fā)展,越來(lái)越多的遙感衛(wèi)星應(yīng)用于國(guó)防領(lǐng)域。對(duì)艦船目標(biāo)的跟蹤與軌跡繪制對(duì)于維護(hù)國(guó)家海洋安全具有一定的作用,在導(dǎo)彈制導(dǎo)、視頻監(jiān)控、預(yù)警偵察等領(lǐng)域具有重要意義[1]。由于艦船目標(biāo)在遙感衛(wèi)星圖片上目標(biāo)較小,持續(xù)跟蹤很容易丟失目標(biāo),無(wú)法精確繪制航行軌跡,遙感圖像艦船目標(biāo)跟蹤和軌跡繪制研究一直面臨挑戰(zhàn)。因此,光學(xué)遙感圖像艦船目標(biāo)跟蹤與軌跡繪制研究具有重大意義。

傳統(tǒng)的遙感艦船目標(biāo)跟蹤算法存在如下問(wèn)題:基于粒子濾波的方法[2],由于數(shù)據(jù)量大、迭代次數(shù)多導(dǎo)致求解速度慢,不能達(dá)到實(shí)時(shí)應(yīng)用的效果;基于卡爾曼濾波的方法[3-4],部分遮擋方式會(huì)導(dǎo)致跟蹤不完善的問(wèn)題;基于近鄰傳播聚類與核匹配追蹤的方法[5],核匹配追蹤過(guò)程花費(fèi)時(shí)間過(guò)長(zhǎng)。傳統(tǒng)的遙感艦船目標(biāo)跟蹤算法雖然有一定的效果,但是在目標(biāo)形態(tài)變化上非常敏感,不適合在復(fù)雜環(huán)境下使用。

近年來(lái),隨著深度學(xué)習(xí)的發(fā)展,深度學(xué)習(xí)算法被應(yīng)用于光學(xué)遙感圖像中的艦船目標(biāo)跟蹤和軌跡繪制,也取得了很好的效果。根據(jù)感興趣目標(biāo)的數(shù)目,目標(biāo)跟蹤可分為單目標(biāo)跟蹤[6-7]和多目標(biāo)跟蹤[8-9]。單目標(biāo)跟蹤在視頻初始幀畫面上框出單個(gè)目標(biāo),預(yù)測(cè)后續(xù)幀中該目標(biāo)的大小和位置。典型的算法有均值漂移(用卡爾曼濾波、粒子濾波進(jìn)行狀態(tài)預(yù)測(cè))、TLD(tracking-learning-detection)[10]、KCF(kernelized correlation filter)[11]等。在單目標(biāo)領(lǐng)域,Bertinetto等[12]提出了SiamFC(Siamese fully-convolutional networks)算法,網(wǎng)絡(luò)架構(gòu)輕量,運(yùn)行速度快。Li等[13]提出了SiamRPN(Siamese region proposal network)算法,該算法基于SiamFC引入了Faster R-CNN(region proposals+ convolutional neural networks)[14]中的RPN模塊,讓追蹤可以回歸位置、形狀,省去了多尺度測(cè)試,提高了算法跟蹤速度和性能。而多目標(biāo)追蹤是追蹤多個(gè)目標(biāo)的大小和位置。Bewley等[15]提出了SORT(simple online and realtime tracking)目標(biāo)跟蹤算法,主要研究有效關(guān)聯(lián)對(duì)象以實(shí)現(xiàn)在線和實(shí)時(shí)應(yīng)用,核心組件包括卡爾曼濾波器和匈牙利算法,但忽略了檢測(cè)組件之外的外特征,并且僅將邊框的位置和大小用于運(yùn)動(dòng)估計(jì)和數(shù)據(jù)關(guān)聯(lián)。Pramanik等[16]提出了粒狀RCNN(G-RCNN)和多類深度SORT(MCD-SORT)兩種新模型,分別用于視頻中的對(duì)象檢測(cè)和跟蹤。G-RCNN通過(guò)引入粒狀概念和時(shí)空信息改進(jìn)了對(duì)象檢測(cè)精度,而MCD-SORT通過(guò)限制類別關(guān)聯(lián)提升了多類對(duì)象的跟蹤性能。Hou等[17]提出了一種改進(jìn)的DeepSORT算法,通過(guò)引入低置信度軌跡過(guò)濾和自生成的UA-DETRAC車輛重新識(shí)別數(shù)據(jù)集,減少了不可靠檢測(cè)對(duì)車輛跟蹤的影響。

現(xiàn)有的艦船目標(biāo)跟蹤及軌跡繪制大多采用單目標(biāo)跟蹤算法。然而,光照、云層等天氣因素對(duì)遙感圖像的影響往往導(dǎo)致底面出現(xiàn)雜波、艦船尾跡以及其他島嶼等干擾,進(jìn)而影響檢測(cè)結(jié)果。在跟蹤過(guò)程中,航道、港口等場(chǎng)景中冗余信息較多,增加了模型的處理難度。因此,針對(duì)遙感圖像進(jìn)行數(shù)據(jù)增強(qiáng)操作[18],能夠幫助模型更好地提取圖像特征,提升學(xué)習(xí)能力,從而提高模型的準(zhǔn)確性和魯棒性。本研究在YOLO(you only look once)v8網(wǎng)絡(luò)結(jié)構(gòu)中加入全局注意力(global attention mechanism, GAM)[19]模塊,以更好地提取圖像特征[20-21],提高網(wǎng)絡(luò)對(duì)艦船目標(biāo)的跟蹤能力和檢測(cè)精度;并提出了一種結(jié)合GAM-YOLOv8與DeepSORT算法的光學(xué)遙感艦船目標(biāo)跟蹤與軌跡繪制方法,利用GAM-YOLOv8模型在檢測(cè)階段快速準(zhǔn)確地識(shí)別衛(wèi)星遙感圖像中的艦船目標(biāo),通過(guò)DeepSORT算法對(duì)檢測(cè)后的艦船目標(biāo)進(jìn)行多目標(biāo)跟蹤,為衛(wèi)星遙感圖像中艦船目標(biāo)的追蹤與軌跡識(shí)別提供解決方案。

1 改進(jìn)的YOLOv8模型

1.1 YOLOv8模型

YOLOv8模型由輸入、骨干網(wǎng)絡(luò)、特征融合和預(yù)測(cè)4個(gè)部分構(gòu)成(圖1)。輸入端對(duì)圖像進(jìn)行尺寸調(diào)整、數(shù)據(jù)增強(qiáng)和錨框尺寸聚類;骨干網(wǎng)絡(luò)的結(jié)構(gòu)為CSPLayer2Conv(cross-stage partial layer with 2 convolutions);頸部采用Darknet Bottleneck、SPPF(spatial pyramid pooling-fast)模塊融合不同維度的特征圖;預(yù)測(cè)端分別針對(duì)各種尺度的特征圖輸出預(yù)測(cè)框、置信區(qū)間,最后經(jīng)過(guò)非極大值抑制(non-maximum suppression, NMS)算法[22-23]得到置信度最高的預(yù)測(cè)框作為最終預(yù)測(cè)結(jié)果。

1.2 基于融合顏色空間轉(zhuǎn)換卷積模塊的數(shù)據(jù)增強(qiáng)

遙感圖像在衛(wèi)星成像過(guò)程中常常受到底面雜波、艦船尾跡、其他島嶼等因素的影響,這些干擾會(huì)導(dǎo)致模型在訓(xùn)練時(shí)產(chǎn)生誤差,從而無(wú)法準(zhǔn)確提取特征并生成有效的檢測(cè)框,影響目標(biāo)的檢測(cè)與跟蹤效果。因此,本文利用融合顏色空間轉(zhuǎn)換卷積模塊(圖2)進(jìn)行數(shù)據(jù)增強(qiáng),通過(guò)將RGB(red, green, blue)圖像轉(zhuǎn)換為HSV(hue, saturation, value)[24]圖像對(duì)圖像集進(jìn)行擴(kuò)充,使模型可以從更多維度提取特征,得到更多的特征信息,從而提升模型的訓(xùn)練精確度。

融合顏色空間卷積模塊由兩個(gè)RGB像素級(jí)卷積模塊和一個(gè)顏色空間轉(zhuǎn)換卷積模塊共三個(gè)模塊組成。RGB像素級(jí)卷積模塊由結(jié)構(gòu)相同的卷積模塊對(duì)特征進(jìn)行卷積處理,并加入輕注意力機(jī)制與殘差機(jī)制進(jìn)行特征提取,生成新數(shù)據(jù)。顏色空間轉(zhuǎn)換卷積模塊將輸入特征從RGB通道轉(zhuǎn)換為HSV通道,實(shí)現(xiàn)對(duì)圖像的RGB-HSV顏色空間轉(zhuǎn)換,加入卷積層進(jìn)行權(quán)重訓(xùn)練,最后再將得到的輸出進(jìn)行HSV-RGB轉(zhuǎn)換操作。將三組模塊的輸出特征進(jìn)行融合,輸出得到特征圖。

1.3 GAM-YOLOv8模型

1.3.1 CAM模塊

通道注意力(channel attention model, CAM)是一種通過(guò)通道維度特征加權(quán)增強(qiáng)神經(jīng)網(wǎng)絡(luò)性能的機(jī)制,主要通過(guò)對(duì)不同通道分配不同的注意力權(quán)重,讓網(wǎng)絡(luò)可以自適應(yīng)地關(guān)注更重要的通道特征,同時(shí)抑制不太重要的通道特征。CAM模塊架構(gòu)如圖3a所示。

令輸入特征圖為X∈RC×H×W。首先,通過(guò)對(duì)特征圖進(jìn)行全局池化,將其從空間維度H×W壓縮為通道維度:

1.3.2 SAM模塊

空間注意力(spatial attention module, SAM)模塊旨在讓網(wǎng)絡(luò)自動(dòng)關(guān)注輸入特征圖中的重要空間區(qū)域,通過(guò)生成一個(gè)SAM圖,動(dòng)態(tài)地對(duì)特征圖中的每個(gè)像素賦予不同的權(quán)重,從而引導(dǎo)網(wǎng)絡(luò)更加關(guān)注關(guān)鍵信息區(qū)域,抑制無(wú)關(guān)信息。SAM模塊架構(gòu)如圖3b所示。

輸入特征圖X∈RC×H×W經(jīng)7×7卷積層得到維度為C/r×H×W的特征圖,再經(jīng)7×7卷積層得到C×H×W的特征圖,應(yīng)用Sigmoid激活函數(shù),得到最終調(diào)整的特征圖X″。

1.3.3 GAM模塊

GAM模塊集成了CAM和SAM,同時(shí)關(guān)注通道和空間維度的特征,通過(guò)自適應(yīng)地調(diào)整每個(gè)位置每個(gè)通道的特征,幫助模型提取更加重要的特征信息,提升對(duì)關(guān)鍵特征的敏感度,增強(qiáng)模型的表現(xiàn)力。GAM模塊架構(gòu)如圖3c所示。

融合CAM和SAM后的加權(quán)特征圖為

式中:WCAM為經(jīng)過(guò)CAM計(jì)算得到的權(quán)重;WSAM為經(jīng)過(guò)SAM計(jì)算得到的權(quán)重。

1.3.4 GAM-YOLOv8模型

在進(jìn)行遙感圖像艦船目標(biāo)跟蹤時(shí),衛(wèi)星成像時(shí)艦船目標(biāo)小,像素在整個(gè)遙感圖像中占比小,可能會(huì)因?yàn)閺?fù)雜航道干擾艦船跟蹤、跟蹤艦船上空出現(xiàn)積云導(dǎo)致跟蹤效果不佳。本文引入GAM模塊增強(qiáng)YOLOv8模型對(duì)遙感圖像特征的提取能力,對(duì)多個(gè)顏色空間進(jìn)行融合,從更多的維度提取遙感圖像特征,提高模型的泛化性。GAM-YOLOv8模型結(jié)構(gòu)如圖4所示。

2 基于GAM-YOLOv8的遙感圖像艦船目標(biāo)跟蹤

2.1 基于GAM-YOLOv8的目標(biāo)跟蹤算法

當(dāng)前的目標(biāo)跟蹤算法多數(shù)缺少表現(xiàn)良好的目標(biāo)檢測(cè)器;如果將表現(xiàn)良好的目標(biāo)檢測(cè)器加入到目標(biāo)跟蹤算法中,將會(huì)大大提升目標(biāo)跟蹤的準(zhǔn)確性和實(shí)

時(shí)性。當(dāng)前的目標(biāo)檢測(cè)算法Faster R-CNN和YOLOv8在檢驗(yàn)?zāi)繕?biāo)準(zhǔn)確度上相差不大,但FasterCSPLayer2Conv. 分類到類別;SiLU. Sigmoid線性單元;DarkNet Bottleneck. DarkNet瓶頸。

R-CNN的檢測(cè)時(shí)間是YOLOv8的數(shù)倍。如果將模型部署到硬件設(shè)備上實(shí)現(xiàn)對(duì)艦船目標(biāo)跟蹤的話,使用YOLOv8是更好的選擇,因?yàn)閅OLOv8可以

更好地進(jìn)行實(shí)時(shí)目標(biāo)檢測(cè),對(duì)目標(biāo)進(jìn)行跟蹤的速度將大大提升。本文對(duì)YOLOv8模型進(jìn)行改進(jìn),并在其基礎(chǔ)上利用現(xiàn)有DeepSORT跟蹤模型的思想對(duì)模型進(jìn)行進(jìn)一步改進(jìn)和優(yōu)化,得到性能更好、檢測(cè)速度更快的艦船目標(biāo)追蹤模型。

DeepSORT跟蹤模型主要使用卡爾曼濾波器、匈牙利算法等對(duì)同一目標(biāo)在視頻不同幀中的出現(xiàn)更好地進(jìn)行歸類,實(shí)現(xiàn)目標(biāo)追蹤算法,所以本研究在YOLOv8檢測(cè)目標(biāo)之后運(yùn)用了卡爾曼濾波及匈牙利算法。對(duì)輸入的遙感艦船視頻以30幀/s進(jìn)行拆分,將之輸入到GAM-YOLOv8模型中對(duì)圖像中的目標(biāo)進(jìn)行檢測(cè)。當(dāng)檢測(cè)到目標(biāo)時(shí),使用卡爾曼濾波器預(yù)測(cè)目標(biāo)位置,通過(guò)匈牙利算法對(duì)目標(biāo)進(jìn)行匹配和判斷。如果檢測(cè)目標(biāo)和預(yù)測(cè)目標(biāo)匹配,則將特征添加到特征集中方便模型提取;如果不匹配,則進(jìn)行暫存操作。為了防止檢測(cè)結(jié)果在后續(xù)幀中出現(xiàn),暫時(shí)存儲(chǔ)檢測(cè)器和跟蹤器,設(shè)置后續(xù)5幀內(nèi)出現(xiàn)檢測(cè)結(jié)果證明檢測(cè)目標(biāo)持續(xù)出現(xiàn),則更新跟蹤器及目標(biāo)特征集;若沒(méi)有出現(xiàn),則刪除目標(biāo)特征集和跟蹤器。對(duì)YOLOv8識(shí)別出的目標(biāo)進(jìn)行跟蹤時(shí),如果連續(xù)3幀出現(xiàn)目標(biāo),則創(chuàng)建一個(gè)目標(biāo)集,將目標(biāo)的ID加入其中;如果連續(xù)5幀后目標(biāo)消失,則從目標(biāo)集中刪除目標(biāo)。基于GAM-YOLOv8的遙感圖像艦船目標(biāo)跟蹤方法的具體流程如圖5所示。

2.2 實(shí)驗(yàn)設(shè)置

2.2.1 實(shí)驗(yàn)平臺(tái)及參數(shù)

實(shí)驗(yàn)基于Windows操作系統(tǒng)和GPU(graphics processing unit)平臺(tái)進(jìn)行,硬件環(huán)境為NVIDIA" GeForce RTX3090,軟件環(huán)境為Windows10操作系統(tǒng)、Pytorch2.3.1框架和python3.10,并使用了GPU進(jìn)行加速訓(xùn)練,CUDA(compute unified device architecture)版本為12.5。

2.2.2 數(shù)據(jù)來(lái)源

本研究數(shù)據(jù)來(lái)源于Google Earth。在Google Earth遙感影像中找到各個(gè)航道、港口和河道,對(duì)這些地方進(jìn)行截取圖片操作,自制數(shù)據(jù)集,得到563張關(guān)于帶有艦船目標(biāo)的圖片;然后通過(guò)LableIimg標(biāo)簽工具對(duì)遙感圖片中的艦船目標(biāo)進(jìn)行打標(biāo)簽操作。由于截取的圖片中包含了海洋航行的艦船、復(fù)雜航道上的艦船、云層厚度較厚條件下衛(wèi)星成像的遙感圖片等各種情況下的艦船遙感圖像, 使用此數(shù)據(jù)集訓(xùn)練GAM-YOLOv8模型可以使模型更具有泛化性,更好地提取不同情況下艦船目標(biāo)的特征,進(jìn)一步提升基于GAM-YOLOv8模型在復(fù)雜條件下的目標(biāo)檢測(cè)性能。

針對(duì)數(shù)據(jù)集中遙感圖像的艦船目標(biāo)進(jìn)行數(shù)量統(tǒng)計(jì),結(jié)果如圖6所示。訓(xùn)練集中艦船數(shù)量為2 610艘,測(cè)試集艦船數(shù)量為677艘。

2.2.3 目標(biāo)檢測(cè)性能評(píng)價(jià)指標(biāo)

為了更好地檢測(cè)GAM-YOLOv8模型性能,本文采用準(zhǔn)確度、召回率和平均準(zhǔn)確率精度作為評(píng)價(jià)指標(biāo)。數(shù)學(xué)表達(dá)式如下:

式中:P為準(zhǔn)確度;NR為檢測(cè)出來(lái)的艦船數(shù)量;NF為沒(méi)有檢測(cè)出來(lái)的艦船數(shù)量;R為召回率;NQ為沒(méi)有檢測(cè)出來(lái)的非艦船數(shù)量;Pm為平均準(zhǔn)確率精度;QR為類別總數(shù);q為類別索引;Paq為第q類別的平均精度。

2.2.4 目標(biāo)追蹤性能評(píng)價(jià)指標(biāo)

本文采用幀率、多目標(biāo)跟蹤準(zhǔn)確度、多目標(biāo)跟蹤精確度、身份切換次數(shù)四個(gè)指標(biāo)對(duì)目標(biāo)追蹤模型的性能進(jìn)行評(píng)估。多目標(biāo)跟蹤準(zhǔn)確度和多目標(biāo)跟蹤精確度的數(shù)學(xué)表達(dá)式分別為:

式中:AMOT為多目標(biāo)跟蹤準(zhǔn)確度;NP為誤檢目標(biāo)數(shù)量;NN為漏檢目標(biāo)數(shù)量;NIDSwitch為身份切換次數(shù),即跟蹤過(guò)程中目標(biāo)標(biāo)識(shí)被錯(cuò)誤切換的數(shù)量;NT為真實(shí)的目標(biāo)總數(shù);PMOT為多目標(biāo)跟蹤精確度;M為匹配目標(biāo)數(shù);Ni為第i次匹配過(guò)程中成功匹配目標(biāo)對(duì)的數(shù)目;dij為第i次匹配第j個(gè)目標(biāo)對(duì)預(yù)測(cè)邊界框與真實(shí)邊框之間的距離。

2.3 實(shí)驗(yàn)結(jié)果分析

2.3.1 目標(biāo)檢測(cè)算法對(duì)比實(shí)驗(yàn)

利用上文的數(shù)據(jù)集,本文使用5種目標(biāo)檢測(cè)模型(YOLO系列模型YOLOv5、YOLOv7、YOLOv8,F(xiàn)aster R-CNN,SSD)與改進(jìn)的YOLOv8模型(GAM-YOLOv8)進(jìn)行對(duì)比實(shí)驗(yàn),每個(gè)模型的迭代次數(shù)為600次,實(shí)驗(yàn)結(jié)果如表1所示。根據(jù)實(shí)驗(yàn)結(jié)果,GAM-YOLOv8模型在準(zhǔn)確度、召回率和平均準(zhǔn)確率精度評(píng)價(jià)指標(biāo)上均表現(xiàn)最優(yōu),分別達(dá)到了0.883、0.957和0.942。與原始YOLOv8模型相比,GAM-YOLOv8模型在準(zhǔn)確度、召回率和平均準(zhǔn)確率精度上分別提高了7.6%、7.9%和6.0%。

我們對(duì)改進(jìn)YOLOv8模型前后的計(jì)算復(fù)雜度進(jìn)行了對(duì)比,結(jié)果如表2所示。GAM-YOLOv8在參數(shù)量、所占內(nèi)存、GFLOP上都比原始YOLOv8模型大,意味著它具有更強(qiáng)的表示能力和學(xué)習(xí)能力。

這些數(shù)據(jù)表明,GAM-YOLOv8模型在艦船檢測(cè)領(lǐng)域具有較高的應(yīng)用價(jià)值,為相關(guān)研究和實(shí)際應(yīng)用提供了有力的模型選擇。

基于GAM-YOLOv8對(duì)數(shù)據(jù)集進(jìn)行艦船目標(biāo)檢測(cè)的結(jié)果如圖7所示。從圖7中可以看出,使用

2.3.2 目標(biāo)跟蹤算法對(duì)比實(shí)驗(yàn)

本文利用原始YOLOv8模型與DeepSORT結(jié)合算法與本文的GAM-YOLOv8與DeepSORT結(jié)合算法進(jìn)行對(duì)比實(shí)驗(yàn),評(píng)估艦船跟蹤系統(tǒng)的性能。實(shí)驗(yàn)使用的視頻中每一幀圖像尺寸為1 920×1 080。實(shí)驗(yàn)環(huán)境與上文目標(biāo)檢測(cè)環(huán)境一致。實(shí)驗(yàn)結(jié)果如表3所示。

根據(jù)實(shí)驗(yàn)結(jié)果,我們發(fā)現(xiàn)GAM-YOLOv8與DeepSORT結(jié)合的方法(本文方法)在各項(xiàng)指標(biāo)上均優(yōu)于YOLOv8-DeepSORT方法。在時(shí)間復(fù)雜度方面,GAM-YOLOv8與DeepSort結(jié)合方法的幀率達(dá)到了12.6,顯著高于YOLOv8-DeepSORT的10.7,表明其在實(shí)時(shí)性方面具有更好的表現(xiàn)。同時(shí),GAM-YOLOv8與DeepSORT結(jié)合的方法在多目標(biāo)跟蹤準(zhǔn)確度和多目標(biāo)跟蹤精確度上分別達(dá)到了60.24%和72.56%,相較于YOLOv8-DeepSort的56.35%和71.23%,顯示了更高的跟蹤準(zhǔn)確度和精度。此外,該方法在身份切換次數(shù)上也減少為63次,低于YOLOv8-DeepSORT的70次,這進(jìn)一步證明了其在維持目標(biāo)身份穩(wěn)定性方面的優(yōu)勢(shì)。因此,GAM-YOLOv8與DeepSORT結(jié)合的方法在艦船跟蹤系統(tǒng)中展現(xiàn)出更加優(yōu)異的性能。

2.3.3 消融實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證RGB-HSV數(shù)據(jù)增強(qiáng)技術(shù)和GAM模塊對(duì)原始YOLOv8-DeepSORT算法跟蹤性能的提升,對(duì)實(shí)驗(yàn)改進(jìn)部分進(jìn)行了消融實(shí)驗(yàn),結(jié)果如表4所示。以原始的YOLOv8-DeepSORT為基準(zhǔn),單獨(dú)加入RGB-HSV數(shù)據(jù)增強(qiáng)技術(shù)和GAM模塊時(shí),多目標(biāo)跟蹤準(zhǔn)確度指標(biāo)和身份切換次數(shù)會(huì)有性能上的提升,當(dāng)兩者結(jié)合到一起應(yīng)用于YOLOv8-DeepSORT時(shí),改進(jìn)的效果最佳,與原始YOLOv8-DeepSORT模型相比,在幀率、多目標(biāo)跟蹤準(zhǔn)確度、多目標(biāo)跟蹤精確度上分別提升了17.7%、6.9%、1.9%,身份切換次數(shù)降低了10.0%。

使用GAM-YOLOv8-DeepSORT對(duì)衛(wèi)星遙感視頻中的艦船目標(biāo)進(jìn)行實(shí)時(shí)跟蹤的目標(biāo)監(jiān)測(cè)結(jié)果如圖8所示。從圖8中可以清晰地觀察到艦船的實(shí)時(shí)航行軌跡和目標(biāo)跟蹤效果,進(jìn)一步證明了本研究提出的目標(biāo)跟蹤算法在跟蹤能力方面表現(xiàn)出色。

3 結(jié)論

1)本文針對(duì)光學(xué)衛(wèi)星遙感圖像中艦船目標(biāo)頻繁出現(xiàn)且難以追蹤的問(wèn)題,成功提出了一種改進(jìn)的衛(wèi)星遙感圖片艦船目標(biāo)追蹤及軌跡繪制方法——GAM-YOLOv8與DeepSORT結(jié)合的方法。通過(guò)在YOLOv8模型中引入GAM模塊,顯著提升了模型在衛(wèi)星遙感圖像特征提取方面的能力,進(jìn)而增強(qiáng)了艦船目標(biāo)的追蹤精確度和軌跡繪制的穩(wěn)定性;采用基于RGB-HSV融合顏色空間轉(zhuǎn)換卷積模塊的數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)充數(shù)據(jù)集,進(jìn)一步提高了模型的訓(xùn)練效果和準(zhǔn)確度。

2)GAM-YOLOv8與DeepSORT算法結(jié)合的方法在準(zhǔn)確度、召回率、平均準(zhǔn)確率精度等方面相較于原始YOLOv8模型均有顯著提升,且在幀率、多目標(biāo)跟蹤準(zhǔn)確度、多目標(biāo)跟蹤精確度和身份切換次數(shù)等性能指標(biāo)上表現(xiàn)更為優(yōu)異。與原始YOLOv8模型相比,GAM-YOLOv8模型在準(zhǔn)確度、召回率和平均準(zhǔn)確率精度上比分別提高了7.6%、7.9%和6.0%,在幀率、多目標(biāo)跟蹤準(zhǔn)確度和多目標(biāo)跟蹤精確度上分別提升了17.7%、6.9%和1.9%,身份切換次數(shù)降低了10.0%。

3)本文的研究成果為衛(wèi)星遙感圖像中艦船目標(biāo)追蹤和軌跡識(shí)別領(lǐng)域提供了一種有效的解決方案,具有一定的研究貢獻(xiàn)和實(shí)踐價(jià)值。

參考文獻(xiàn)(References):

[1] 林雨準(zhǔn),劉智,王淑香,等. 基于卷積神經(jīng)網(wǎng)絡(luò)的光學(xué)遙感影像道路提取方法研究進(jìn)展[J]. 吉林大學(xué)學(xué)報(bào)(地球科學(xué)版),2024, 54(3): 1068-1080.

Lin Yuzhun, Liu Zhi, Wang Shuxiang ,et al.Research Progress of Road Extraction Method for Optical Remote Sensing Images Based on Convolutional Neural Network[J]. Journal of Jilin University (Earth Science Edition), 2024, 54(3): 1068-1080.

[2] 李臣,魏巍,劉曉波. 基于改進(jìn)哈里斯鷹優(yōu)化粒子濾波的目標(biāo)跟蹤方法[J]. 機(jī)械與電子,2024, 42(10): 22-27.

Li Chen, Wei Wei, Liu Xiaobo.A Mobile Target Tracking Method Based on Enhanced Harris Hawk–Optimized Particle Filtering[J]. Machinery and Electronics, 2024, 42(10): 22-27.

[3] 侯亞琨,彭珍瑞. 未知激勵(lì)下基于改進(jìn)強(qiáng)跟蹤卡爾曼濾波的結(jié)構(gòu)響應(yīng)重構(gòu)[J]. 機(jī)械強(qiáng)度,2024, 46(6): 1271-1278.

Hou Yakun, Peng Zhenrui. Structural Response Reconstruction Based on Improved Strong Tracking Kalman Filter with Unknown Excitation[J]. Mechanical Strength, 2024, 46(6): 1271-1278.

[4] 儲(chǔ)岳中,徐波,高有濤,等. 基于近鄰傳播聚類與核匹配追蹤的遙感圖像目標(biāo)識(shí)別方法[J]. 電子與信息學(xué)報(bào),2014, 36(12): 2923-2928.

Chu Yuezhong, Xu Bo, Gao Youtao, et al. Technique of Remote Sensing Image Target Recognition Based on Affinity Propagation and Kernel Matching Pursuit[J]. Journal of Electronics and Information Technology, 2014, 36(12): 2923-2928.

[5] 章濤,吳仁彪. 近鄰傳播觀測(cè)聚類的多擴(kuò)展目標(biāo)跟蹤算法[J]. 控制與決策,2016, 31(4): 764-768.

Zhang Tao, Wu Renbiao. Multiple Extended Target Tracking Using AP Clustering[J]. Control and Decision, 2016, 31(4): 764-768.

[6] 任明亮,賈志強(qiáng),盛慶紅,等. 基于自適應(yīng)平滑KF-PDA算法的艦船單目標(biāo)跟蹤[J]. 數(shù)據(jù)采集與處理,2024, 39(6): 1470-1478.

Ren Mingliang, Jia Zhiqiang, Sheng Qinghong, et al. Single Target Tracking of Ships Based on Adaptive Smoothing KF-PDA Algorithm[J]. Data Acquisition and Processing, 2024, 39(6): 1470-1478.

[7] 王德鋮,張著洪. 基于果蠅視覺(jué)神經(jīng)網(wǎng)絡(luò)的單目標(biāo)運(yùn)動(dòng)檢測(cè)與跟蹤[J]. 智能計(jì)算機(jī)與應(yīng)用,2024, 14(4): 1-11.

Wang Decheng, Zhang Zhuhong. Fly Visual Neural Network Based Single Target Motion Detection and Tracking[J]. Intelligent Computer and Applications, 2024, 14(4): 1-11.

[8] 曹偉,王曉勇,劉咸祥. 基于改進(jìn)VisionTransformer模型的團(tuán)隊(duì)體育視頻多目標(biāo)跟蹤深度學(xué)習(xí)框架[J]. 中北大學(xué)學(xué)報(bào)(自然科學(xué)版),2024, 45(6): 832-842.

Cao Wei, Wang Xiaoyong, Liu Xianxiang.A Deep Learning Framework for Multi-Object Tracking of Team Sports Videos Based on the Improved Vision Transformer Model[J]. Journal of North University of China (Natural Science Edition), 2024, 45(6): 832-842.

[9] 薛昱,馮西安. 一種純方位多目標(biāo)跟蹤的聯(lián)合多高斯混合概率假設(shè)密度濾波器[J]. 電子與信息學(xué)報(bào),2024, 46(11): 4295-4304.

Xue Yu, Feng Xi'an. Joint Multi-Gaussian Mixture Probability Hypothesis Density Filter for Bearings-Only Multi-Target Tracking[J]. Journal of Electronics and Information Technology, 2024, 46(11): 4295-4304.

[10] Abbass M Y, Kwon K C, Kim N, et al. A Survey on Online Learning for Visual Tracking[J]. The Visual Computer, 2021, 37: 993-1014.

[11] Liu S, Liu D, Srivastava G, et al. Overview and Methods of Correlation Filter Algorithms in Object Tracking[J]. Complex amp; Intelligent Systems, 2021, 7: 1895-1917.

[12] Bertinetto L, Valmadre J, Henriques J F, et al. Fully-Convolutional Siamese Networks for Object Tracking[C]//Proceedings of the European Conference on Computer Vision. Amsterdam: [s.n], 2016: 850-865.

[13] Li B, Yan J, Wu W, et al. High Performance Visual Tracking with Siamese Region Proposal Network[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City: [s. n.], 2018: 8971-8980.

[14] Ren S, He K, Girshick R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 39(6): 1137-1149.

[15] Bewley A, Ge Z, Ott L, et al. Simple Online and Realtime Tracking[C]// IEEE International Conference on Image Processing. Phonenix: IEEE, 2016: 3464-3468.

[16] Pramanik A, Pal S K, Maiti J, et al. Granulated RCNN and Multi-Class Deep Sort for Multi-Object Detection and Tracking[J]. IEEE Transactions on Emerging Topics in Computational Intelligence, 2021, 6(1): 171-181.

[17] Hou X, Wang Y, Chau L P. Vehicle Tracking Using Deep Sort with Low Confidence Track Filtering[C]// 16th IEEE International Conference on Advanced Video and Signal Based Surveillance.Taipei: IEEE, 2019: 1-6.

[18] 宋宇康,唐貴進(jìn). 基于雙顏色空間與多網(wǎng)絡(luò)融合的水下圖像增強(qiáng)[J]. 南京郵電大學(xué)學(xué)報(bào)(自然科學(xué)版),2023, 43(3): 44-56.

Song Yukang, Tang Guijin. Underwater Image Enhancement Based on Dual Color Space and Multi-Network Fusion[J]. Journal of Nanjing University of Posts and Telecommunications (Natural Science Edition), 2023, 43(3): 44-56.

[19] Liu Y, Shao Z, Hoffmann N. GlobalAttention Mechanism: Retain Information to Enhance Channel-Spatial Interactions[EB/OL]. [2021-12-10]. https://doi.org/10.48550/arXiv.2112.05561.

[20] 歐陽(yáng)繼紅,王梓明,劉思光. 改進(jìn)多尺度特征的YOLO_v4目標(biāo)檢測(cè)方法[J].吉林大學(xué)學(xué)報(bào)(理學(xué)版),2022, 60(6): 1349-1355.

Ouyang Jihong, Wang Ziming, Liu Siguang. YOLO_v4 Object Detection Method with Improved Multi-Scale Features[J]. Journal of Jilin University (Science Edition), 2022, 60(6): 1349-1355.

[21] 李美霖,芮杰,金飛,等. 基于改進(jìn)YOLOX的遙感影像目標(biāo)檢測(cè)算法[J]. 吉林大學(xué)學(xué)報(bào)(地球科學(xué)版),2023, 53(4): 1313-1322.

Li Meilin, Rui Jie, Jin Fei, et al.Remote Sensing Image Target Detection Algorithm Based on Improved YOLOX [J]. Journal of Jilin University (Earth Science Edition), 2023, 53(4): 1313-1322.

[22] Bodla N, Singh B, Chellappa R, et al. Soft-NMS: Improving Object Detection with One Line of Code[C]//Proceedings of the IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 5561-5569.

[23] Liu S, Huang D, Wang Y. Adaptive nms: Refining Pedestrian Detection in a Crowd[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: [s. n], 2019: 6459-6468.

[24] Saravanan G, Yamuna G, Nandhini S. Real Time Implementation of RGB to HSV/HSI/HSL and Its Reverse Color Space Models[C]// 2016 International Conference on Communication and Signal Processing. [S. l.]: IEEE, 2016: 462-466.

猜你喜歡
深度學(xué)習(xí)
從合坐走向合學(xué):淺議新學(xué)習(xí)模式的構(gòu)建
面向大數(shù)據(jù)遠(yuǎn)程開放實(shí)驗(yàn)平臺(tái)構(gòu)建研究
基于自動(dòng)智能分類器的圖書館亂架圖書檢測(cè)
搭建深度學(xué)習(xí)的三級(jí)階梯
有體驗(yàn)的學(xué)習(xí)才是有意義的學(xué)習(xí)
電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識(shí)別研究
利用網(wǎng)絡(luò)技術(shù)促進(jìn)學(xué)生深度學(xué)習(xí)的幾大策略
考試周刊(2016年94期)2016-12-12 12:15:04
MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
主站蜘蛛池模板: 污视频日本| 亚洲天堂精品在线| 成人在线第一页| 国产精品美女自慰喷水| 日韩国产黄色网站| 九九线精品视频在线观看| 国产免费久久精品99re不卡 | 欧美福利在线观看| 亚洲国产成人超福利久久精品| 欧美一级专区免费大片| 成人综合在线观看| 亚洲天堂在线免费| 福利国产在线| 亚洲欧洲国产成人综合不卡| 国产高清又黄又嫩的免费视频网站| 国产成人精品一区二区免费看京| 视频一区亚洲| 国产91透明丝袜美腿在线| 高清不卡毛片| 色综合久久无码网| 精品综合久久久久久97超人| 天天色天天综合| 午夜在线不卡| 这里只有精品在线| 亚洲一级毛片免费看| 精品欧美一区二区三区在线| 一本色道久久88| 免费无码网站| 国产精品亚欧美一区二区三区 | 久久亚洲黄色视频| 四虎成人精品| 成人国产一区二区三区| 亚洲成人播放| 国产精品黑色丝袜的老师| 国产全黄a一级毛片| 国产精品人莉莉成在线播放| 少妇精品久久久一区二区三区| 四虎永久免费地址| 国产精品久久久免费视频| 波多野结衣视频一区二区 | 91成人免费观看| 在线播放真实国产乱子伦| 91午夜福利在线观看| 国产在线精品99一区不卡| 中文字幕久久波多野结衣| 欧洲一区二区三区无码| 国产免费黄| 最新国产成人剧情在线播放| 国产成人高精品免费视频| 国产色网站| 亚洲人在线| 人人看人人鲁狠狠高清| 丁香婷婷久久| 午夜视频在线观看免费网站 | 91最新精品视频发布页| 日本午夜网站| 欧美在线精品一区二区三区| 最新日本中文字幕| 国产视频一区二区在线观看 | 欧美一级色视频| 亚洲区一区| 亚洲高清在线播放| 亚洲第一成年免费网站| 中文无码精品a∨在线观看| 精品亚洲麻豆1区2区3区| 最新国产麻豆aⅴ精品无| 免费人成网站在线观看欧美| 国产欧美在线观看一区| 黄色在线网| 免费aa毛片| 丰满人妻中出白浆| 日韩无码真实干出血视频| 免费又黄又爽又猛大片午夜| 久久国产高潮流白浆免费观看| 91无码人妻精品一区二区蜜桃| 国产SUV精品一区二区6| 波多野吉衣一区二区三区av| 99热亚洲精品6码| 国产视频 第一页| 国产一区自拍视频| 久久精品aⅴ无码中文字幕| 少妇人妻无码首页|