基于深度學習的無人機單目標跟蹤

謝志豐,周 諾,梁 軍

(華南師范大學 軟件學院,廣東 佛山 528225)

0 引 言

近年來隨著科技的快速發展,無人機逐步應用在各個領域,且發揮了巨大的作用。如,無人機可應用在軍事領域內的通訊、偵察任務,執行自然災害或事故發生地的搜尋、救助任務,實現物資派送、地質勘查、電力巡線等,無人機還具有成本低、安全性高和機動性強的特點。隨著無人機技術的逐步推進,其研究和應用前景將得到進一步提升。

目標跟蹤技術屬于無人機應用的關鍵技術之一,同時也是無人機執行任務時信息獲取源的主要技術。隨著人工智能、深度學習領域的不斷推廣,借助計算機視覺或者深度學習技術可以讓無人機更加智能,不再依賴地面端的信息處理,有效減少了信息傳遞中受到的環境干擾,極大提高了系統實時性和在復雜環境中的穩定性。

盡管基于深度學習的單目標跟蹤算法在大多數檢測和跟蹤場景中表現出優秀的性能,但在困難環境中,例如存在小尺寸或相似物體、目標形變和目標遮擋等因素,模型的檢測和跟蹤性能往往顯著下降。解決此類問題最簡單的辦法是提高精確度,但會帶來計算資源消耗大、算法復雜度高等問題。因此,在保持一定精確度的前提下,控制算法復雜度或采用輕量級模型變得至關重要。

當前研究中,針對困難環境下的單目標跟蹤,許多工作致力于在輕量級模型和可控算法復雜度的基礎上提高性能。這些方法旨在平衡模型的準確性和計算效率,以應對目標的變化和遮擋等復雜情況。通過優化網絡架構、引入注意力機制、設計精細的損失函數等手段,這些方法在保持較低計算資源需求的同時,提升了目標檢測和跟蹤的準確率。

在未來的研究中,仍需要進一步探索和發展更多適應困難環境的單目標跟蹤算法。這些算法應具備高精確度、可控算法復雜度和輕量級模型的特點,以應對小型或相似物體、目標形變和目標遮擋等挑戰。通過更深入的研究和創新去實現更加魯棒和高效的單目標跟蹤算法。

下面是該文的主要貢獻:

(1)為了提高單目標跟蹤的準確性和有效性,采用了自注意力機制網絡結構,并將其與ResNet50[1]模型相結合,設計了Se_ResNet50的網絡骨架。這個改進的網絡骨架能夠更好地關注重要的特征,并且在保留原有特征信息的基礎上,提升對目標的識別和跟蹤能力。

(2)在損失函數方面,使用了Balanced L1 Loss。這種損失函數能夠平衡分類、整體定位以及精確定位之間的訓練權重,使得回歸梯度變得更加平滑和穩定,從而提升了跟蹤的精度。它能夠讓訓練過程更加平衡,并在不同的訓練階段中得到更優秀的結果,從而提升單目標跟蹤的表現。

1 背景知識

單目標跟蹤的主要方法分為兩種,一種是基于相關濾波的跟蹤算法。該算法通過當前已知目標訓練出一個濾波器。濾波器和當前目標做相關運算后,可以得到高斯響應圖。以此為模板尋找下一幀中響應最高的點,該點即為預測的目標位置。它是基于回歸判別模型的典型方法,能夠快速運轉計算是因為其利用循環矩陣,使用快速傅里葉變換實現時域到頻域的轉換[2]。目前經典的基于濾波算法有:CSK[3],KCF[4],DCF[5],SRDCF[6]等。

深度學習跟蹤算法是一種基于深度學習技術的目標跟蹤方法,具有較強的學習和表征能力。與傳統的跟蹤算法相比,深度學習跟蹤算法能夠自動學習目標的特征表征,并在跟蹤過程中不斷更新和優化這些表征,從而大大提高了跟蹤的準確性和魯棒性。同時,由于深度學習模型可以學習到更加抽象和高層次的特征表示,因此該算法對目標的光照、尺度變化、遮擋等復雜情況具有較強的適應能力,能夠實現在復雜環境下的實時跟蹤[7]。神經網絡也分為主流的三大類,分別是卷積神經網絡(CNN)、循環神經網絡(RNN)和生成式對抗網絡(GAN)。

當前,目標追蹤任務中往往基于卷積神經網絡進行設計,通過其強大的特征提取能力,得到的不錯的追蹤效果。如,2012由Krizhevsky等人提出的AlexNet[8]和2016年He等人提出的ResNet在目前的主流追蹤器SiamRPN[9]中具有良好效果。

SiamRPN是一種深度學習目標跟蹤方法,通過將目標跟蹤問題轉化為目標匹配問題,并結合分類和回歸技術來實現目標跟蹤。在該方法中,使用卷積神經網絡提取目標的特征,同時采用區域生成網絡(RPN)輔助目標的定位。通過將分類和回歸相結合,SiamRPN能夠實現更加準確和魯棒的目標跟蹤。值得注意的是,SiamRPN能夠自適應地學習目標的特征表示,從而具有更強的適應性和魯棒性,能夠在各種場景下實現高效的目標跟蹤[2]。

SiamRPN系列除了兩者外,還有各種改進系列,如SiamRPN++[10],DaSiamRPN[11],SiamMask[12],Deeper and Wider SiamRPN[13]等。SiamRPN系列展現出來強大的生命力,不僅在改進上各個版本有不同的改進思路,并且在VOT和OTB等測試評估中取得了顯著成績。

在近幾年來,基于深度學習的單目標跟蹤算法愈加精進,SiamRPN++,STARK[14]和MixFormer[15]在相關挑戰上都取得了很好的成績。尤其在OTB-100數據集上,AiATrack[16]和DiMP-NCE+[17]獲得了最優結果。在VOT2018數據集上TREG[18]和Ocean[19]表現十分突出。然而其他系列模型較為龐大,在輕量級無人機上無法部署。因此,SiamRPN系列更為適合應用在無人機上,但其追蹤準確性還有提高的空間。該文將基于SiamRPN++進行改進,通過結合自注意力機制和對Loss函數進行改進,有效提高追蹤的精度。

各時間節點的代表性目標跟蹤算法如圖1所示。

圖1 各時間節點的代表性目標跟蹤算法

2 無人機單目標跟蹤模型SB_SiamRPN++

該文主要研究的是基于SiamRPN++模型的Backbone和Loss改進,先對SiamRPN++基礎理論內容和整體網絡進行闡述。SiamRPN++是在SiamRPN的基礎上進行改進,作者引入了Faster RCNN中的RPN,使用分支相關特征圖提取特征,用于預測目標位置和置信度。SiamRPN++打破了嚴格平移不變性限制和目標相似限制,可以使用ResNet深層次網絡進行訓練。SiamRPN++使用多層特征融合的方式,合理使用淺層次中獲取的圖像特征與深層次中獲取的語義信息。SiamRPN++還引進了Depthwise Cross Correlation模塊,在減少計算量的同時使得分支更加平衡。SiamRPN++在SiamRPN上的優化使其感受野更廣,卷積層更多,細粒度更高。

SiamRPN++的整體網絡結構圖如圖2所示。

圖2 SiamRPN++結構圖(左)與Siamese RPN模塊圖(右)

在SiamRPN++的基礎上,該文主要從注意力機制和損失函數出發。注意力機制有SE,CBAM,ECA和CA等,CBAM和CA計算復雜度高,ECA通道間的相關性建模能力相對較弱,綜合后決定選取SE注意力機制模塊,其簡單高效,引入參數量少,能夠顯著提升性能。Smooth L1 Loss在樣本均衡方面存在一定問題,在小目標、遮擋目標等具有優化空間, Balanced L1 Loss能在一定程度上緩解此問題。

綜上所述,該文在原有的SiamRPN++基礎上對Backbone和Loss方面進行優化,在Backbone方面,將原有模型的ResNet50與SE Block融合成SE_ResNet50,Loss方面將原有模型中的L1 Loss更改為Balanced L1 Loss。整體網絡結構與SiamRPN++基本一致,在每次計算中加入了SE Block模塊。經過優化后的網絡結構圖取名為SB_SiamRPN++,如圖3所示。

圖3 SB_SiamRPN++結構圖(左)與Siamese RPN模塊圖(右)

在Loss方面,官方SiamRPN++模型pysot中使用的是L1 Loss。該文采用Balanced L1 Loss對其進行優化,引入α,β,γ參數,調整loss計算策略,從壓縮維度求和轉為Balanced L1 Loss策略,loss_weight均衡策略不變。

在實驗中,觀察學習梯度逐步調整、優化參數,最終設置參數為:α=0.7,β=1.0,γ=1.5,具體實驗過程在實驗分析部分會指出。

Balanced L1 Loss在VOT2018數據集測試中,EAO有顯著提升。其在迭代過程中,迭代效率大大提高。在使用L1 Loss的pysot模型訓練中,需要10～20次迭代得到最好結果,修改為Balanced L1 Loss函數后在1～10個迭代中就能得到最好結果,說明在梯度收斂中,Balanced L1 Loss的收斂速度比L1 Loss更快。

2.1 SENet模塊

SENet[20]稱Squeeze-and-Excitation Networks,是由Momenta胡杰團隊提出的新網絡結構,并奪下ImageNet 2017 Image Classification任務的桂冠。SENet在ImageNet[21]數據集中的Top-5 error降低至2.251%,性能提高了0.74%[22]。

SENet采用一種全新的特征重標定策略,通過深度學習自動獲取每個特征通道的重要程度,以此為依據提升重要特征并抑制無用特征[5]。和以往特征通道融合方法不同,SENet并沒有引入新的空間維度,而是通過新策略使特征通道之間的相互依賴關系直接呈現出來。SENet的核心思想從網絡的loss入手,根據loss學習特征權重,使有效的特征圖權重增大,無效或者效果小的特征圖權重減小,以此為訓練模型達到更好的效果。Sequeeze-and-Excitation block是一個子結構,可以嵌入到其他分類和檢測模型。

圖4為SENet結構圖。SE Block屬于自注意力機制函數,自注意力是一種特殊注意力機制,可以通過對所有位置的特征向量取加權平均得到,能更好地提高并行運算效率,提高了模型的可解釋性。在傳統的卷積神經網絡中,對局部特征編碼會導致在捕捉長距離方面無法進行建模,自注意力機制能計算不同位置間的相對關系,從而更好捕捉全局信息,所以在捕捉長距離的依賴關系中更具優勢。

圖4 SENet模塊

SE Block作為一個子網絡結構,其結構非常簡單,容易部署,不需要引入新的函數或者層,可以嵌入到任何復雜模型中開發新型SENet,廣泛用于計算機視覺等領域。但是它的靈活性也有一定的限制,無法直接應用于標準卷積轉換。它減低了計算復雜度,在SE_ResNet50得到精度甚至與SE_ResNet101媲美,在訓練過程中,加入了SENet模塊一定程度上降低了收斂錯誤率。但在一定的網絡深度下進行BP優化時,靠近輸入層的部分網絡可能出現梯度消散問題,導致模型難以優化。因此,除了結合該方法外,該文進一步對Loss進行修改,一定程度上解決了該問題。

2.2 Balanced L1損失函數

目標檢測的損失函數分為分類損失和回歸損失,是一個多任務損失函數。Balanced L1 Loss損失函數是在Fast R-CNN中使用的損失函數。通常,在回歸損失前引入參數λ進行調整,當分類效果較好時,損失值較為精確,但是會忽略回歸重要性。為了均衡不同任務,需要對參數進行調整。在參數調整中要注意的是,回歸時沒有邊界限制的,直接增加回歸損失權重是不可行的,容易產生巨大梯度不利于訓練[23]。

Lp,u,tu,v=Lcls(p,u)+λ[u≥1]Lloc(tu,v)

(1)

基于上述問題,作者提出了Balanced L1 Loss,Balanced L1 Loss是在Smooth L1 Loss基礎衍生出來的。在Smooth L1 Loss中,設置拐點區分inliers和outliers,并對outliers設置1.0進行梯度截斷。

Balanced L1 Loss主要目的是要顯著提升inliers的梯度,使準確的訓練點在訓練中能發揮更重要的作用。作者通過參數λ來調整回歸損失上界,通過調整參數α,γ可以得到更加平衡的訓練,作者并沒有使用超參數β,該參數用于控制難易樣本的權重。總的來說,Balanced L1 Loss的核心思想是提升關鍵的回歸梯度,平衡樣本及任務,以便能在分類、識別、定位和回歸中實現更加平衡的訓練。

Balanced L1 Loss的公式如下[23]:

(2)

(3)

Lb(x)=

(4)

其中,α,γ滿足以下公式[23]:

αln(b+1)=γ

(5)

3 實驗分析

3.1 相關環境與數據集說明

為模擬無人機中較為低端的計算環境,該文在Windows下運行,使用CPU,在原有官方pysot模型上修改相應配置,在對應代碼將WORLD_SIZE設置為1,MASTER_ADDR設置為localhost,MASTER_PORT可以設置成任意未被占用的端口,如6789等。在torch.device函數中出現無法使用GPU的情況,則將GPU參數改為CPU參數。將代碼中的RANK設置為0。該文使用的是python-3.10.7,pytorch為1.11.0+cu113。

在數據集上,訓練采用的是ILSVRC2013和ILSVRC2014 DET dataset,而測試實際追蹤效果則是在VOT2018[24]和OTB100[25]數據集上。ILSVRC全稱為IMAGENET Large Scale Visual Recognition Challenge(示例見圖5)。自2010始,每一年都會舉辦ILSVRC圖像分類和目標檢測大賽。ImageNet數據集在目前深度學習圖像領域應用中占據主流,關于圖像識別、分類、定位、檢測等都基于此來開展。ImageNet數據集有1 400多萬幅圖片,涵蓋多達2萬多個類別,并在許多圖片中有明確的類別標注和物體標注[26]。VOT2018包含了60個高質量的真實場景視頻序列,涵蓋了各種目標類別和運動模式。這些視頻序列在不同的環境中捕捉到了目標物體的運動,如戶外、室內和復雜背景等。OTB100數據集包含了100個具有挑戰性的視頻序列。這些視頻序列涵蓋了不同的目標類別(如人、車、動物等)、運動模式和背景條件。這兩個數據集具有很強的挑戰性,十分適合無人機應用。

圖5 ILSVRC數據集示例

3.2 部分實驗指標說明

在目標追蹤中,常用的評估標準有Robustness,Accuracy和Expected Average Overlap(EAO),它們用于衡量追蹤算法在準確性和魯棒性方面的表現。

Robustness(魯棒性):魯棒性用于評估目標追蹤算法在面對各種挑戰性條件時的穩定性和可靠性。一種常用的魯棒性指標是在多個測試視頻序列上計算系統失效的頻率。對于每個測試序列,當算法丟失跟蹤目標且不再恢復時,認為系統失效。通過計算失效頻率來得到魯棒性指標,失效頻率越低表示算法越魯棒。

Accuracy(準確率):是用來評估目標位置估計精確度的指標。它通過計算預測框與目標真值框之間的重疊程度(IoU)來確定預測框的準確性。如果預測框與目標真值框的IoU大于等于設定的閾值(通常為0.5),則該預測框被視為準確的。最后,準確率被計算為準確的預測框數除以總的預測框數。準確率越高,表示算法在目標定位方面表現越精確。

Expected Average Overlap(EAO):EAO用于綜合衡量目標追蹤算法在準確性和魯棒性之間的平衡。它基于預測框與目標真值框之間的重疊程度,通過衡量平均重疊面積(Average Overlap,AO)和失效率(failure rate)來計算。

具體來說,首先計算每個測試序列上的平均重疊面積,然后通過對平均重疊面積進行加權平均,權重為各個序列的失效率。最后得到的加權平均值即為EAO,值越高表示算法在準確性和魯棒性方面表現越好。

3.3 Balanced L1損失函數參數設置

對Balanced L1 Loss中的α=0.5,γ=1.5進行調整。隨機選取部分數據集,并以此作為標準訓練數據集進行訓練,對α,γ參數進行微調,迭代次數為10～20,β均為1.0,具體微調參數后VOT最優評估結果如表1所示,OTB最優評估結果如表2所示。

表1 Balanced L1 Loss調整α,γ的VOT最優評估結果

表2 Balanced L1 Loss調整α,γ的OTB最優評估結果

在表1的VOT最優評估表中,Accuracy最高分數的參數為②α=2.0,γ=1.5,這個參數函數與Smooth L1 Loss類似,在梯度和Loss方面都十分接近;但是在EAO指標中,④α=0.7,γ=1.5的效果最好,該參數梯度更偏向平緩,Loss數值比Smooth L1 Loss收斂得更快,EAO更高表示訓練更有效。在Robustness指標中,對比原參數①α=0.5,γ=1.5,②α=2.0,γ=1.5和③α=1.0,γ=1.0逐層降低,④α=0.7,γ=1.5下降幅度最高,下降了20.79%,說明了在平緩梯度后提高了有效樣本在訓練過程中的重要性,減少了誤差。在Lost Number指標中,其數值按順序逐步遞減,在④α=0.7,γ=1.5中遞減了20.75%。

在表2 OTB最優評估表中,②α=2.0,γ=1.5在Success取0.263的高分;③α=1.0,γ=1.0取得0.261分數,與②幾乎沒有差距,說明提高梯度只在一定程度上有提升,依然具有一定的限制性;④α=0.7,γ=1.5取得0.255,比②低3.04%,可能在訓練過程中梯度放緩,精細化程度更高,需要一定的迭代次數。在Precision指標中,③α=1.0,γ=1.0獲得分數最高,說明在該梯度與Loss數值下訓練模型能更好地提高模型的正確率和預測率。

綜合表1和表2的數據指標,可以選取③α=1.0,γ=1.0參數完整訓練,會使模型的精確度顯著提高,但誤差方面優化程度不高,且考慮到數據集訓練樣本不夠多的情況,易出現過擬合現象。在整體模型魯棒性方面,選擇④α=0.7,γ=1.5是最優解,其VOT評估分數高達0.106,用該參數完整訓練數據集后得到的模型魯棒性是最好的。綜合上述,在數據集訓練樣本較少的情況下,選取魯棒性更高的模型更具有優勢,因此選擇參數④α=0.7,γ=1.5進行最終的完整訓練。

3.4 實驗結果分析

在消融實驗部分,選擇全部數據集進行測試,基本參數和通用模型參數不變,控制訓練周期,實驗取1～10次迭代的最優結果。VOT評估結果如表3所示,OTB評估結果如表4所示。

表3 消融實驗下不同條件下的各模型VOT最優評估結果

表4 消融實驗下不同條件下的各模型OTB評估結果

綜合VOT和OTB的評估結果,對比原有模型ResNet50 &Weight L1 Loss,在使用SENet和ResNet50融合后的Se_ResNet50與Balanced L1 Loss的SiamRPN++,其在VOT和OTB表現優異。在VOT評估中,與原有模型相比,Accuracy略微下降,在Robustness、Loss Nmber和EAO評估指標方面,都有顯著提升。Robustness比原有模型提升了40.6%,Loss Nmber提升了40.6%,EAO提升了33.6%。在OTB評估中,Success基本不變,Precision提升了11.7%。上述數據表明優化后的SiamRPN++,準確度相對于原模型略微提高,穩定性和魯棒性顯著提高。

上述實驗結果是優化后的Backbone &Loss和原模型中的Backbone &Loss進行比較,除此之外,實驗還對官方模型MobileNetV2,SE_ResNet101,SE_ResNet152,ResNet101和ResNet152進行了實驗,迭代次數和訓練數據集均與上述一致,并進行VOT和OTB評估,具體評估結果如表5、表6所示。

表5 SE_ResNet40,SE_ResNet101,SE_ResNet152,ResNet50,MobileNetV2,ResNet101和ResNet152的VOT最優評估結果

表6 SE_ResNet40,SE_ResNet101,SE_ResNet152,ResNet50,MobileNetV2,ResNet101和ResNet152的OTB最優評估結果

為了更好地顯示出網絡深度對模型性能的影響,從表5中的④,⑥和⑦中可得知加深原有模型的網絡深度對模型的影響。在不優化Loss函數的前提下,通過加深ResNet網絡深度,并不能提升模型性能。在各項指標方面,均有明顯下降。對比ResNet50,ResNet101的EAO指標下降了19.39%,ResNet152的EAO指標下降了24.49%。說明了加深網絡深度無法提升模型性能。從表5的①,②和③中,Loss優化為Balanced L1 Loss,也可以看出不同網絡深度對整體模型的影響。在使用SE_ResNet101和SE_ResNet152增加網絡深度后,與SE_ResNet50相比,兩者在Accuracy指標都下降了15.54%;在Robustness兩者略微上升;在Lost Number方面兩者上升了至少18.37%;在EAO方面,SE_ResNet101和SE_ResNet152指標相同,都下降了22.90%。上述數據表明在增加網絡深度后,VOT各項評估指標均有降低,在Accuracy和EAO方面降低尤甚。對比表6數據,OTB評估數據也表示在增加網絡深度后Success和Precision指標均有較大程度降低。總體來說,SiamRPN++基礎模型中緩解平移不變性的問題上具有一定限度。

對比原模型中的ResNet50 &Weight_L1_Loss, 使用Balanced L1 Loss的SE_ResNet101和SE_ResNet152在Accuracy方面顯著下降,但是在Robustness有明顯提升,兩者EAO與原模型相比差距較小,而在SE_ResNet50中除了Accuracy方面下降,其他均有明顯提升。橫向對比表5中的②和⑤,③和⑦,也能驗證在優化Backbone和Loss后有明顯提升,其中最顯著提升的是 SE_ResNet50 &Balanced L1 Loss。在表6中,SE_ResNet50 &Balanced L1 Loss的表現最佳,對比原模型ResNet50 &Weight_L1_Loss,Success和Precision分別提高了4.23%和3.19%。綜上所述,優化SE_ResNet50 &Balanced L1 Loss后的SB_SiamRPN++模型魯棒性和精確度方面都有不同程度的提高。

在上述相同的實驗條件下,經過10～20次迭代訓練后,SB_SiamRPN++與SiamCar,SiamFC和SiamRPN++所得到的VOT,OTB數據結果如表7、表8所示。

表7 SB_SiamRPN++,SiamCar,SiamFC和SiamRPN++的VOT最優評估結果

表8 SB_SiamRPN++,SiamCar,SiamFC和SiamRPN++的OTB最優評估結果

在表7中,Accuracy方面SiamCar最高,SB_SiamRPN++最低,相差0.072;在Robustness方面,SB_SiamRPN++最低,SiamCar最高,相較于SiamRPN++,SB_SiamRPN++降低了40.58%,數據與SiamFC相近;在Loss Number方面,與Robustness類似,SB_SiamRPN++相較于SiamRPN++提高了40.61%;在EAO方面,SiamFC與SB_SiamRPN++實驗數據相近,兩者都在較大程度上領先其他兩個模型。

在表8中,Success和Precision方面SiamFC的數據結果最優,SB_SiamRPN++在OTB中并不占據優勢,但相對于SiamRPN++模型仍有較大程度上的提升,其與SiamCar的實驗數據相近。

從整體實驗數據表明,預測SB_SiamRPN++最終訓練效果相對于SiamRPN++有較大提升,與SiamCar所呈現的效果相似。SiamFC的準確性和預測性會比SB_SiamRPN++更高,SB_SiamRPN++的Robustness指標上,對于SiamFC上并不占據優勢。整體來看SiamFC會比SB_SiamRPN++效果更好,SB_SiamRPN++對比其他兩者占據優勢。

4 結束語

目前,無人機在各個領域都有廣泛的應用,并且單目標跟蹤技術備受關注。在任務協助和軍事等領域,無人機表現出色,而單目標跟蹤算法的不斷改進可以更好地幫助人類完成困難任務或自主完成高難度任務。該文對SiamRPN++算法進行了修改和優化,主要集中在Backbone和Loss函數方面,取得了顯著的改進效果。相對于SiamRPN++算法,在保持準確度基本不變的情況下,降低了誤差率,并提高了模型的魯棒性。

盡管與一些最新的目標追蹤算法相比,該算法的準確率略有不足,但這些追蹤算法模型通常龐大且復雜,無法在無人機上得到很好的應用。而SiamRPN系列算法具有較強的實時性和輕量級模型架構,因此在實際應用中,對該算法進行改進具有較強的實用性。

該研究中的創新點:

(1)Backbone:使用SENet與ResNet融合,簡化了數據復雜性,增強了算法精確度,使預測結果更加精準。SENet的Sigmoid和Scale操作極大地減少了參數量。SE_ResNet50網絡具有更多非線性,在擬合通道間的復雜相關性上有明顯提升,還融合了ResNet50的網絡優點,網絡深度更深,且不存在梯度消失問題。

(2)Loss:使用Balanced L1 Loss,能更好地提升回歸梯度,使學習更加平衡,提高了回歸任務中的精準度。

在未來可以繼續改進的地方:

(1)在數據集方面,可以選用更大更多的數據集,如:ILSVRC2018和ILSVRC2019,MS COCO數據集等。但礙于機器設備原因,無法進行巨大數據集的訓練。

(2)在Backbone方面,還能將ResNet更換成ResNeXt,能更好地提升計算能力,需要修改的工程量以及匹配通道數等各項參數上要花費更長的時間去優化、提升。

(3)在Loss方面,該文是修改回歸損失函數,還能將分類損失函數作適當調整,也可以使用其他損失函數,如Smooth L1 Loss,KL Loss等。

回顧第一章中所提到的發展圖,基于深度學習算法的單目標跟蹤模型,經歷了從簡單模型到復雜模型,從復雜模型中提煉關鍵和結構優化的過程。該文實現了無人機視頻的單目標跟蹤算法SiamRPN++的優化,除了單目標跟蹤任務,多目標跟蹤任務也十分重要。多目標跟蹤相比于單目標跟蹤,其目標識別、定位和預測等問題更加復雜,還需要克服跟蹤目標數量繁多和目標種類不一等難點。未來,無人機領域可能會擴展到民用,無人機的智能化和人性化使操作更加快捷方便,在娛樂、拍攝和運輸等方面能帶來極大的便利。