極輕量的航空影像港口船舶目標(biāo)檢測器

李勝永，王超男，王 孟

(1.江蘇航運職業(yè)技術(shù)學(xué)院 交通工程學(xué)院，江蘇 南通 226000； 2.南通大學(xué) 理學(xué)院，江蘇 南通 226000)

0 引 言

航空影像下的目標(biāo)檢測對于地貌勘探、智慧城市、交通監(jiān)測、航運疏導(dǎo)等領(lǐng)域具有重要作用。借助航拍攝像頭以及人工智能網(wǎng)絡(luò)運算分析，能夠?qū)崿F(xiàn)諸多信息提取。然而，航空影像下的目標(biāo)由于像素限制，在兼顧準(zhǔn)確率的情況下很難有較高的召回率。比較傳統(tǒng)的做法是增加輸入圖像的尺寸和增加網(wǎng)絡(luò)的強壯程度[1-4]，以提高網(wǎng)絡(luò)對細(xì)微特征的學(xué)習(xí)能力，但是這都是以增加計算量[5-9]為代價的。為解決通用算法對航空圖像中目標(biāo)檢測低效的問題，希望設(shè)計一種極其輕量的目標(biāo)檢測器用于捕捉航空影像中的小目標(biāo)。

為了改變現(xiàn)有的對于航空影像下目標(biāo)檢測只追求精度而忽略速度的研究方向，更加關(guān)注平衡速度與精度的均衡，以實際的方案實現(xiàn)高精度的移動端平臺檢測部署。具體的方案有以下幾點貢獻(xiàn)：

(1)設(shè)計了一種極其輕量的網(wǎng)絡(luò)作為檢測器的骨干網(wǎng)絡(luò)，使最終的網(wǎng)絡(luò)模型大小僅僅為1.64 MB，對比動則上百兆的大型網(wǎng)絡(luò)，這足夠優(yōu)秀；

(2)吸收了當(dāng)前基于深度學(xué)習(xí)的目標(biāo)檢測器的諸多調(diào)優(yōu)方法于提出的網(wǎng)絡(luò)中，如原始比例非形變多尺度訓(xùn)練、基于mosaic[7]的隨機(jī)數(shù)據(jù)增強、特征金字塔、平鋪的小卷積核上下文級聯(lián)以及GIOU loss[11]計算等技巧；

(3)收集了一個專用分類數(shù)據(jù)集用于預(yù)訓(xùn)練骨干網(wǎng)絡(luò)以微調(diào)最終的目標(biāo)檢測器，驗證專用的特征近似的預(yù)訓(xùn)練數(shù)據(jù)比在大型公共數(shù)據(jù)集上(如ImageNet)預(yù)訓(xùn)練結(jié)果更優(yōu)；

(4)為提升小目標(biāo)的檢出率，并保留小目標(biāo)的細(xì)微特征，技巧上使用4個相同大小的ROI區(qū)域平鋪整個特征圖，在不增加內(nèi)存使用的情況下僅僅增加少量耗時卻能大幅增加小目標(biāo)檢出率。由于基礎(chǔ)網(wǎng)絡(luò)足夠快，對ROI有較高的容忍度。

1 超輕超快的目標(biāo)檢測器

目標(biāo)檢測器要做到輕量化重點在于骨干網(wǎng)絡(luò)的寬度。受到人臉檢測網(wǎng)絡(luò)RetinaFace[12]的啟發(fā)，設(shè)計了一個極其輕量的CNN網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)，該網(wǎng)絡(luò)所有層中的最寬通道之處僅僅為128，并且全程使用小卷積核。參考MobileNet系列[13]網(wǎng)絡(luò)，卷積層與深度可分離卷積相搭配有效縮減參數(shù)量，但摒棄了殘差(Res)分枝。另外，特征金字塔中使用的反卷積模塊均使用窄通道設(shè)定，摒棄無用的寬泛設(shè)定。首要考慮的重要目標(biāo)是追求網(wǎng)絡(luò)參數(shù)量的極致優(yōu)化，因為參數(shù)量是部署嵌入式平臺限制的最大障礙，而特征的細(xì)節(jié)可以通過擴(kuò)大輸入圖像尺寸來彌補。網(wǎng)絡(luò)的檢測頭部分，并依然遵循成熟的工作經(jīng)驗，參考YOLOv3[14]以及后續(xù)系列[7，8]算法，設(shè)計了3個不同尺度特征分支中獲取目標(biāo)信息。但與之不同的是，在每個分支中首先吸收當(dāng)前先進(jìn)的工作——空洞卷積[15]和瓶頸結(jié)構(gòu)[16]搭建了一種上下文模塊，用以獲取更大的感受野并加強背景抑制。另外，目標(biāo)置信度和坐標(biāo)位置被分為兩個分支計算，這種回歸方案提升了網(wǎng)絡(luò)的魯棒性并加強了不同類別之間的相互抑制以促進(jìn)減少誤報。圖1為整個設(shè)計的目標(biāo)檢測器的主要結(jié)構(gòu)。

圖1 極輕量檢測器結(jié)構(gòu)

1.1 極其輕量的骨干網(wǎng)絡(luò)

審視先前的先進(jìn)工作，所能查到的參數(shù)量較小的分類網(wǎng)絡(luò)如ShuffleNet[17]、ReXNet[18]等，參數(shù)量最少的也需要1.4 MB。而設(shè)計出的骨干網(wǎng)絡(luò)僅僅960 KB(量化后僅760 KB)，這擁有足夠的優(yōu)越性。骨干網(wǎng)絡(luò)的詳細(xì)結(jié)構(gòu)如圖2所示。

圖2 極輕量的骨干網(wǎng)絡(luò)結(jié)構(gòu)

首先，摒棄了MobileNet系列仍然較寬的主干分支結(jié)構(gòu)，對網(wǎng)絡(luò)寬度進(jìn)行暴力裁剪，去除冗余的殘差塊，僅使用簡單的層堆積，并對卷積核大小進(jìn)行優(yōu)化。當(dāng)然，圖2中每個卷積層都代表一個卷積、批量歸一化以及激活層的組合(Conv+BN+ReLU)。一個全新的骨干網(wǎng)絡(luò)，由于本身訓(xùn)練數(shù)據(jù)量的不足，除了對本身數(shù)據(jù)進(jìn)行隨機(jī)增強外，在大型數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練來微調(diào)基礎(chǔ)訓(xùn)練可能會有較大改善，故針對設(shè)計的輕量骨干網(wǎng)絡(luò)，進(jìn)行大量的訓(xùn)練驗證。

1.2 融合的檢測頭設(shè)計

目標(biāo)檢測器的重點在于良好的檢測頭設(shè)計。為此，通過對當(dāng)前主流通用目標(biāo)檢測網(wǎng)絡(luò)的重點調(diào)研，設(shè)計了一種汲取眾家之長的檢測頭設(shè)計方案來搭配輕量的骨干網(wǎng)絡(luò)，從而組成完整的輕量網(wǎng)絡(luò)檢測器。首先，出于對后續(xù)流程(嵌入式移動平臺植入)考慮，檢測頭主體網(wǎng)絡(luò)不宜太復(fù)雜。YOLOv3及其后續(xù)版本的多尺度特征分支是非常好的工作，簡單而高效，同時平衡大小目標(biāo)的偵測能力。但是，它的每個檢測分支的置信度預(yù)測和位置預(yù)測被集成在同一個卷積層，這可能會造成較多的較高預(yù)測分?jǐn)?shù)的誤報。所以，每個檢測分支的置信度和位置預(yù)測分為兩個分支分別實現(xiàn)，從原理上看這并不會增加參數(shù)量和計算量，卻能帶來更好的收益。

另外，受到Inception系列網(wǎng)絡(luò)[16]的啟發(fā)，幾個小卷積核的卷積層平行搭建會帶來良好的特征融合的額外收益，并且很少增加網(wǎng)絡(luò)的額外負(fù)擔(dān)。以往的經(jīng)驗中，上下文融合[19]對檢測網(wǎng)絡(luò)性能十分重要。所以，結(jié)合Inception的思想，設(shè)計了一種上下文特征融合模塊插入到每個檢測分支中，用于減少正樣本與背景之間地不當(dāng)匹配，既提升了性能又不會增加網(wǎng)絡(luò)整體的負(fù)擔(dān)。如圖3所示，為設(shè)計提出的上下文特征融合模塊。

圖3 攜帶空洞卷積的上下文融合模塊

需要注意的是圖3中每個Conv均表示Convlution+ReLU的組合體。在每個分支的上下文模塊中，插入一個空洞卷積。相比普通卷積，空洞卷積可以幫助每個特征點獲得足夠大的實際感受野，這對實際應(yīng)用場景中的小目標(biāo)來說可以帶來可觀的收益。

1.3 數(shù)據(jù)層的訓(xùn)練策略

受到目標(biāo)檢測各應(yīng)用領(lǐng)域中的優(yōu)秀訓(xùn)練策略[7，12]的啟發(fā)，在訓(xùn)練階段的數(shù)據(jù)層中集成了一種強大的隨機(jī)數(shù)據(jù)增強策略。

首先，經(jīng)過消融實驗的仔細(xì)對比，訓(xùn)練階段維持圖像中目標(biāo)的原始比例而不產(chǎn)生形變能夠提升網(wǎng)絡(luò)的召回率，相對于固定尺寸做resize后再送入網(wǎng)絡(luò)運算，目標(biāo)形變會對實際場景的檢測能力產(chǎn)生負(fù)面影響。為此，設(shè)計了一種針對不同大小的原始圖像而采用不同大小的正方形窗口用于對原始圖像的裁剪操作，裁剪會盡可能保留原始圖像的大范圍區(qū)域，這僅僅是為了訓(xùn)練階段使目標(biāo)不產(chǎn)生形變。

其次，為了盡可能地提升原始網(wǎng)絡(luò)對背景干擾的可抗性，mosaic拼接方式[7]是良好的解決方案。為此，從網(wǎng)上隨機(jī)爬蟲和實際場景中進(jìn)行初始網(wǎng)絡(luò)偵測收集到大量的易誤報的數(shù)據(jù)并與原始包含正樣本的訓(xùn)練圖像進(jìn)行隨機(jī)mosaic拼接并組成新的訓(xùn)練圖像。由于這種方式縮小了實際目標(biāo)的大小從而進(jìn)一步促進(jìn)了小目標(biāo)的檢出率。

另外，基于色階變化的隨機(jī)數(shù)據(jù)增強是提升檢測器魯棒性必不可少的策略。利用開源的隨機(jī)數(shù)據(jù)增強庫albumentations[20]并將其集成在網(wǎng)絡(luò)的數(shù)據(jù)層中，對原始圖像和mosaic后的圖像進(jìn)行3到5次色階變化上的隨機(jī)數(shù)據(jù)增強。

最后，吸收yolo系列最新研究成果[8]的可靠經(jīng)驗，多尺度的訓(xùn)練策略能夠有效提升網(wǎng)絡(luò)性能。不同于yolo系列，在訓(xùn)練階段只采取尺度間隔較大的4種尺度用于訓(xùn)練，同時也彌補了集成的隨機(jī)數(shù)據(jù)增強帶來的訓(xùn)練階段數(shù)據(jù)層處理耗時增加的壞處。

1.4 提升測試階段專注度

由于骨干網(wǎng)絡(luò)的輕量性，相比于寬而深的大型網(wǎng)絡(luò)檢測器，不可避免的會犧牲對于小目標(biāo)的召回。為了彌補這一劣勢，提出一種利用4個ROI(感興趣區(qū)域)平鋪圖像的測試策略，當(dāng)偵測場景對小目標(biāo)的需求是必要的時候，這種策略能夠帶來不劣于甚至更優(yōu)于大型網(wǎng)絡(luò)的偵測效果。而代價僅僅是相對于原始輕量檢測器增加3～4倍的耗時和存儲ROI所占用地很小的內(nèi)存。雖然耗時增加，但由于其本身巨大的輕量優(yōu)勢，幾倍的耗時仍然可以媲美大型網(wǎng)絡(luò)的運行速度。而異常小的內(nèi)存占用在嵌入式平臺上獲得的收益是令人無法抗拒的。

2 實驗與結(jié)果

為了驗證所提出的多種策略給檢測器帶來的明顯改進(jìn)，進(jìn)行了多種消融實驗和與各種大型網(wǎng)絡(luò)的對比實驗。實驗結(jié)果將充分驗證所提出策略的有效性。同時，為了突出驗證所提出的輕量網(wǎng)絡(luò)在移動端的巨大優(yōu)越性，在移動端嵌入式平臺進(jìn)行了算法移植并測試效能，且與先進(jìn)算法進(jìn)行對比。

2.1 實驗環(huán)境

由于提出的算法涉及與多個公共網(wǎng)絡(luò)的比對以及嵌入式平臺的量化移植，整個開發(fā)流程使用多個深度學(xué)習(xí)框架。其中，主算法基于MXNet開發(fā)，并將其轉(zhuǎn)換為Pytorch和caffe模型與公網(wǎng)進(jìn)行對比。由于嵌入式平臺轉(zhuǎn)換工具僅支持對caffe模型，最終的算法模型轉(zhuǎn)換為caffemodel，以進(jìn)行量化并移植到嵌入式平臺。

硬件方面，算法訓(xùn)練以及線上測試基于搭載4塊GTX2080Ti GPU的linux服務(wù)器，單塊GPU顯存為12 G，單次迭代可支持32張圖像同時計算，最佳模型訓(xùn)練時間約10天，共進(jìn)行50個epoch的反向迭代。

值得一提的是，先前的工作[19]已經(jīng)為本研究提供了成熟的數(shù)據(jù)集用于訓(xùn)練和測試。經(jīng)過各種策略的數(shù)據(jù)增強，最終參與訓(xùn)練的正樣本圖像超過60萬張，測試集超過4000張。

訓(xùn)練參數(shù)方面，分類模型及骨干網(wǎng)絡(luò)預(yù)訓(xùn)練模型的基礎(chǔ)學(xué)習(xí)率為0.1，并采用多步數(shù)策略進(jìn)行階梯衰減。反向優(yōu)化算法使用SGD(隨機(jī)梯度下降)進(jìn)行參數(shù)優(yōu)化，而損失函數(shù)仍然使用常用的Softmax損失進(jìn)行梯度更新。最終的檢測模型，訓(xùn)練基于骨干網(wǎng)絡(luò)的預(yù)訓(xùn)練模型，基礎(chǔ)學(xué)習(xí)率為0.01，衰減策略以及反向優(yōu)化算法同分類模型，損失函數(shù)類似SSD算法，每個錨點配置16個anchor框進(jìn)而采用平滑的交叉熵?fù)p失函數(shù)進(jìn)行梯度計算，但改進(jìn)IoU計算為GIoU。

另外，實驗中涉及多個評估指標(biāo)。分類模型使用top1和top5準(zhǔn)確率來評價模型，分別指預(yù)測分?jǐn)?shù)最高的類型的精確度和預(yù)測分?jǐn)?shù)前5項中包含準(zhǔn)確類型的精確度。檢測模型方面，統(tǒng)計召回率(recall)與準(zhǔn)確率(precision)，前者表示預(yù)測出的準(zhǔn)確目標(biāo)數(shù)在所有準(zhǔn)確目標(biāo)數(shù)中的占比，后者表示預(yù)測出的準(zhǔn)確目標(biāo)數(shù)在所有預(yù)測目標(biāo)數(shù)(包含誤檢)中的占比。與其它優(yōu)秀模型的比對中使用了AP(average precision)值(平均準(zhǔn)確率)進(jìn)行評估，而AP值即為P-R(準(zhǔn)確率與召回率)曲線所圍面積。

2.2 骨干網(wǎng)絡(luò)

在圖2的基礎(chǔ)上，增加了一個全局池化層、全連接層以及Softmax層以組成基本分類網(wǎng)絡(luò)，然后進(jìn)行實驗測試。由于骨干網(wǎng)絡(luò)是重新設(shè)計的輕量網(wǎng)絡(luò)，故在ImageNet超大型數(shù)據(jù)集進(jìn)行訓(xùn)練及測試，并對比當(dāng)前的先進(jìn)輕量網(wǎng)絡(luò)進(jìn)行對比。測試結(jié)果見表1。

表1 ImageNet測試集測試結(jié)果

從表1結(jié)果中可以看出，骨干網(wǎng)絡(luò)在計算量和參數(shù)量上具有無可比擬的優(yōu)勢，這對后續(xù)移動端應(yīng)用來說誘惑巨大。同時，雖然在top1上略弱于先進(jìn)網(wǎng)絡(luò)，但在top5精度上差距大幅縮小。

2.3 消融實驗

為了驗證在訓(xùn)練階段采取的各種策略的有效性，以不同策略為變量進(jìn)行了訓(xùn)練及測試。通過損失函數(shù)的收斂曲線(如圖4所示)和測試結(jié)果(見表2)反映各模塊差異。

圖4 不同策略的訓(xùn)練loss收斂曲線

圖中A～G各字母與表2中相互對應(yīng)。可以看出完整的訓(xùn)練策略能收斂的最好。

表2 各種策略的消融實驗測試結(jié)果

從表2中結(jié)果可以看出，置信度預(yù)測和位置預(yù)測以雙分支結(jié)構(gòu)以及上下文模塊均對提升網(wǎng)絡(luò)精度有益，尤其是上下文模塊更為顯著，這更有利于實際應(yīng)用。而空洞卷積表現(xiàn)為帶來更好的召回和準(zhǔn)確率，這是由于精確的感受野提升了小目標(biāo)定位的準(zhǔn)確性，雖然在數(shù)據(jù)集上這種表現(xiàn)較為輕微，但實際應(yīng)用中可能會帶來良好的定位體驗。

網(wǎng)絡(luò)訓(xùn)練的輸入上，利用隨機(jī)裁剪截取正方形區(qū)域?qū)Ρ葟娦行巫冚斎刖W(wǎng)絡(luò)能夠避免圖像形變帶來的壞處。從測試結(jié)果看，這種輸入方式能夠有效提升召回率，但是測試圖像時需要對尺度不一的數(shù)據(jù)集利用pad歸一化到網(wǎng)絡(luò)輸入的寬高比。

在訓(xùn)練數(shù)據(jù)集處理策略上，利用mosaic拼接訓(xùn)練圖像理論上對小目標(biāo)更有益，從測試結(jié)果看能夠帶來更好的召回率。見表3，將測試集限定不同最小寬高分塊測試可以看出，提升的召回率主要的貢獻(xiàn)來自小目標(biāo)。另外，對訓(xùn)練集進(jìn)行多次的隨機(jī)數(shù)據(jù)增強能夠帶來更好的魯棒性，召回率和準(zhǔn)確率均有一定的提升，并且在實際場景測試中能夠適應(yīng)復(fù)雜的背景。

表3 對目標(biāo)大小分區(qū)間的測試結(jié)果

2.4 與先進(jìn)網(wǎng)絡(luò)的對比

為了驗證提出的超輕量檢測器與先進(jìn)通用目標(biāo)檢測器的性能差距，選用先進(jìn)的開源項目在所使用的數(shù)據(jù)集中按照原始最優(yōu)參數(shù)進(jìn)行訓(xùn)練和測試，并將結(jié)果予以匯總。所有的測試結(jié)果以及效能數(shù)據(jù)統(tǒng)計在表4中，測試集結(jié)果統(tǒng)計AP。

表4 與先進(jìn)公開網(wǎng)絡(luò)算法的對比結(jié)果

通過與先進(jìn)網(wǎng)絡(luò)的對比結(jié)果可以看出，雖然原始的超輕量檢測器AP擁有一定的劣勢，但在計算量和網(wǎng)絡(luò)參數(shù)大小上擁有無可比擬的優(yōu)勢，并且能夠帶來極快的運行速度。另外，對比先進(jìn)網(wǎng)絡(luò)的輕量版本(如mnet-retinaface)，提出的超輕量檢測器能夠產(chǎn)生壓倒性的優(yōu)勢。正是由于提出檢測器的超輕量特性，而能夠在實際應(yīng)用中可能產(chǎn)生問題時擁有更多的操作空間，例如通過平鋪固定大小的感興趣區(qū)域來多次運行同一張圖像的不同區(qū)域，最終將每個區(qū)域的結(jié)果匯總。這種策略僅僅需要犧牲一定的運行速度而帶來巨大的結(jié)果收益。在內(nèi)存緊張的移動端平臺中，這種方法顯得難能可貴。表4中Ours+，AP值能夠直接媲美大型先進(jìn)網(wǎng)絡(luò)，雖然由于多次運行造成了模型的重復(fù)計算和運行速率的成倍增長，但最重要的優(yōu)勢是它能為移動平臺節(jié)省大量的內(nèi)存使用。如圖5所示，具體比對了超輕量網(wǎng)絡(luò)在實際航空圖像中的偵測結(jié)果。

圖5 與部分先進(jìn)算法的仿真測試對比

2.5 嵌入式平臺的應(yīng)用

為了驗證超輕量網(wǎng)絡(luò)的實用性，將提出的超輕量檢測網(wǎng)絡(luò)遷移至嵌入式平臺進(jìn)行驗證。使用Novatek公司開發(fā)的嵌入式平臺，型號為NT9852x，如圖6所示。該平臺采用兩組FPGA實現(xiàn)CNN硬件計算，并采用cpu實現(xiàn)后處理運算。首先使用特定工具對訓(xùn)練得到的浮點模型進(jìn)行12 bit量化，量化后遷移至配套SDK進(jìn)行算法實現(xiàn)。

圖6 使用的嵌入式平臺開發(fā)板

另外，為了驗證提出的超輕量網(wǎng)絡(luò)在移動端平臺對先進(jìn)網(wǎng)絡(luò)的巨大實際應(yīng)用優(yōu)勢，同步遷移了一些平臺可以支持的先進(jìn)網(wǎng)絡(luò)進(jìn)行具體實驗對比，評測指標(biāo)包括耗時(幀率)、量化后模型大小、內(nèi)存使用量和量化模型數(shù)據(jù)集精度以直觀看出優(yōu)略。測試結(jié)果見表5。

從表5中可以看出，提出的超輕量網(wǎng)絡(luò)在模型大小、幀率以及內(nèi)存占用指標(biāo)上優(yōu)勢巨大。先進(jìn)網(wǎng)絡(luò)YOLOv4的幀率不足5 fps，如不搭配輔助算法(如目標(biāo)跟蹤)則會造成目標(biāo)延遲嚴(yán)重而無法實際使用，同時會占用巨大的內(nèi)存而大幅增加開發(fā)成本。如采用ROI平鋪的方式進(jìn)行評測，提出的超輕量網(wǎng)絡(luò)僅僅會多占用少許內(nèi)存用于存放裁剪出的感興趣區(qū)域，而幀率理論上會增加4倍，但由于超輕量網(wǎng)絡(luò)本身的超快速度，仍然可以實現(xiàn)超過7 fps的偵測速率。同時，采用ROI方式可以大幅提升AP值并超過先進(jìn)的網(wǎng)絡(luò)1。如圖7所示，顯示了提出的超輕量網(wǎng)絡(luò)在嵌入式平臺端的實際效果(通過YUV420圖像輸入測試)。

表5 嵌入式平臺測試結(jié)果

圖7 移動平臺的圖像仿真結(jié)果

3 結(jié)束語

針對航空影像船只目標(biāo)偵測任務(wù)中難以平衡精度和速度的難點，提出了一種超輕量的目標(biāo)偵測網(wǎng)絡(luò)以解決此問題。網(wǎng)絡(luò)吸收了眾多先進(jìn)策略以提升測試精度，極其輕量CNN骨干網(wǎng)絡(luò)大幅縮減了計算量和參數(shù)量以提升運算速度，融合的檢測頭設(shè)計提升網(wǎng)絡(luò)的魯棒性，結(jié)合先進(jìn)的訓(xùn)練階段數(shù)據(jù)預(yù)處理增強方法提高了目標(biāo)細(xì)節(jié)特征的獲取能力進(jìn)而提升了偵測精度，而平鋪感興趣區(qū)域的偵測策略為網(wǎng)絡(luò)的特殊場景實際應(yīng)用提供了更廣泛的選擇性。這些策略的融合促進(jìn)了精度與速度的平衡，并利用嵌入式平臺實現(xiàn)算法的移動端應(yīng)用，驗證了提出算法的先進(jìn)性和實用性。