大幅寬SAR圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)設(shè)計(jì)

陸天宇，徐 湛，崔紅元，龔 昊，王 琤

1.北京信息科技大學(xué) 信息與通信工程學(xué)院，北京 100101

2.中國(guó)科學(xué)院大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，北京 100089

3.北京雷鷹科技有限公司，北京 100080

作為海上交通工具與運(yùn)輸工具的艦船，對(duì)其進(jìn)行實(shí)時(shí)檢測(cè)有著非常重要的軍事意義與民用價(jià)值。在軍用領(lǐng)域，實(shí)時(shí)檢測(cè)艦船有利于動(dòng)態(tài)監(jiān)測(cè)、航跡追蹤與戰(zhàn)略布局；在民用領(lǐng)域，實(shí)時(shí)檢測(cè)艦船有利于海上運(yùn)輸、海上救援與海域安全[1]。合成孔徑雷達(dá)（synthetic aperture radar，SAR）是一種全天候全天時(shí)的主動(dòng)式微波傳感器，因不受天氣影響與光照影響的優(yōu)點(diǎn)，在艦船檢測(cè)領(lǐng)域中有著廣泛的應(yīng)用[2-3]。隨著衛(wèi)星遙感技術(shù)與深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)技術(shù)被應(yīng)用于SAR 圖像艦船檢測(cè)領(lǐng)域[4-5]。卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）[6]作為深度學(xué)習(xí)中最具代表性的網(wǎng)絡(luò)結(jié)構(gòu)在目標(biāo)檢測(cè)領(lǐng)域被廣泛使用。檢測(cè)模型可依據(jù)檢測(cè)階段分為兩大類：兩階段（two-stage）檢測(cè)模型和單階段（one-stage）檢測(cè)模型。兩階段檢測(cè)模型主要包括R-CNN（region-convolution neural network）[7]、Fast R-CNN[8]、Faster R-CNN[9]、Mask R-CNN[10]。單階段檢測(cè)模型主要包括YOLO（you only look once）[11]、SSD（single shot multibox detector）[12]。

2015 年，YOLO 被提出。YOLOv2[13]、YOLOv3[14]、YOLOv4[15]、YOLOv5 也在之后的五年里接連被提出。相較于YOLOv4 的Darknet 框架，YOLOv5 的Pytorch 框架能夠更加方便地訓(xùn)練數(shù)據(jù)集，更利于模型訓(xùn)練與優(yōu)化。YOLO模型雖能快速檢測(cè)目標(biāo)，但在資源有限的嵌入式設(shè)備中，為了進(jìn)一步加快計(jì)算速度和減少資源占用，還需對(duì)其進(jìn)行輕量化處理。目前，國(guó)內(nèi)針對(duì)檢測(cè)模型優(yōu)化與嵌入式系統(tǒng)設(shè)計(jì)的研究逐漸變多[16-20]。文獻(xiàn)[16]提出一種基于深度分離卷積神經(jīng)網(wǎng)絡(luò)的SAR艦船檢測(cè)模型SARShipNet-20，結(jié)合通道注意力機(jī)制（CA）和空間注意力機(jī)制（SA），使其具有更少的參數(shù)量與計(jì)算量，但沒(méi)有將SAR 艦船檢測(cè)模型移植于嵌入式系統(tǒng)，也沒(méi)有進(jìn)行實(shí)時(shí)性驗(yàn)證。文獻(xiàn)[17]改進(jìn)檢測(cè)框損失函數(shù)和特征提取方式，提高對(duì)SAR圖像中艦船目標(biāo)的檢測(cè)效果，但實(shí)驗(yàn)數(shù)據(jù)量相對(duì)較少，缺少普遍性，對(duì)更高分辨率的SAR數(shù)據(jù)集的檢測(cè)效果還需研究。文獻(xiàn)[18]設(shè)計(jì)并實(shí)現(xiàn)了YOLOV3&MobileNetV3 輕量化網(wǎng)絡(luò)，并在現(xiàn)場(chǎng)可編程邏輯門(mén)陣列（FPGA）平臺(tái)，通過(guò)設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)加速器，實(shí)現(xiàn)了高效的輕量化神經(jīng)網(wǎng)絡(luò)，最后在測(cè)試集中對(duì)艦船目標(biāo)的檢測(cè)中達(dá)到了150 幀每秒的檢測(cè)速度、88%的準(zhǔn)確率和87%的召回率。雖然大幅度提高了檢測(cè)速度，但犧牲了準(zhǔn)確率與召回率的檢測(cè)精度，在實(shí)時(shí)檢測(cè)中還需進(jìn)一步提高檢測(cè)精度。文獻(xiàn)[19]針對(duì)實(shí)際大場(chǎng)景SAR圖像艦船檢測(cè)時(shí)容易出現(xiàn)眾多陸地上的虛警問(wèn)題，提出一種基于純背景混合訓(xùn)練的方法來(lái)抑制大場(chǎng)景SAR 艦船檢測(cè)的虛警。但在大幅度抑制虛警的同時(shí)卻帶來(lái)一定程度的漏檢。為此，還需要進(jìn)一步研究貼近實(shí)際工程應(yīng)用的高質(zhì)量SAR艦船檢測(cè)數(shù)據(jù)集和高質(zhì)量的SAR 艦船檢測(cè)方法。文獻(xiàn)[20]設(shè)計(jì)了基于兩個(gè)Jetson TX2嵌入式平臺(tái)的實(shí)時(shí)SAR船只目標(biāo)檢測(cè)系統(tǒng)，使用添加了空洞卷積和轉(zhuǎn)置卷積層優(yōu)化后的YOLOv2 模型進(jìn)行檢測(cè)，在保證較高檢測(cè)精度的同時(shí)，有效提高了SAR圖像船只檢測(cè)速率，但是該系統(tǒng)的圖像數(shù)據(jù)來(lái)源于主機(jī)端，而非來(lái)源于嵌入式平臺(tái)的SAR 實(shí)時(shí)成像處理結(jié)果。在主機(jī)端進(jìn)行數(shù)據(jù)預(yù)處理，利用以太網(wǎng)發(fā)送數(shù)據(jù)給Jetson TX2嵌入式平臺(tái)，對(duì)于大幅寬SAR成像處理和大幅寬SAR 圖像艦船實(shí)時(shí)檢測(cè)而言，計(jì)算量和數(shù)據(jù)傳輸量都巨大，硬件平臺(tái)Jetson TX2 計(jì)算性能有限，并不適合嵌入式大幅寬SAR圖像目標(biāo)實(shí)時(shí)檢測(cè)系統(tǒng)。

因此，本文針對(duì)小型化SAR 商業(yè)遙感衛(wèi)星或小型化SAR無(wú)人機(jī)對(duì)SAR實(shí)時(shí)成像處理和目標(biāo)檢測(cè)的應(yīng)用需求，應(yīng)用“通用化、系列化、模塊化”三化設(shè)計(jì)思想，設(shè)計(jì)了一種基于3U VPX 架構(gòu)的大幅寬SAR 圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)。系統(tǒng)采用基于FPGA+嵌入式GPU的異構(gòu)計(jì)算架構(gòu)，為艦船檢測(cè)模型實(shí)時(shí)檢測(cè)時(shí)的數(shù)據(jù)處理提供了可擴(kuò)展的嵌入式平臺(tái)；應(yīng)用SSDD數(shù)據(jù)集訓(xùn)練了一種基于YOLOv5s的艦船檢測(cè)模型；通過(guò)基于L2-范數(shù)稀疏性懲罰的縮放因子控制法對(duì)模型的通道進(jìn)行修剪，減小了模型的參數(shù)量與計(jì)算量，得到輕量化艦船檢測(cè)模型。將輕量化艦船檢測(cè)模型移植在設(shè)計(jì)的嵌入式平臺(tái)上，并對(duì)大幅寬SAR圖像進(jìn)行檢測(cè)。經(jīng)實(shí)驗(yàn)驗(yàn)證，大幅寬SAR圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)通過(guò)多板并行異構(gòu)處理架構(gòu)，在保持高檢測(cè)精度的情況下滿足任務(wù)實(shí)時(shí)檢測(cè)需求。

1 艦船實(shí)時(shí)檢測(cè)

1.1 艦船實(shí)時(shí)檢測(cè)需求

為了滿足大幅寬SAR 圖像艦船實(shí)時(shí)檢測(cè)需求，本文從SAR 圖像分辨率、SAR 圖像幅寬，SAR 圖像尺寸，檢測(cè)時(shí)間，平均檢測(cè)精度這五個(gè)角度進(jìn)行分析。其中，SAR圖像尺寸=SAR圖像幅寬/SAR圖像分辨率，也等于艦船檢測(cè)模型檢測(cè)時(shí)需要設(shè)置的image_size（輸入圖像尺寸）。

目前典型的星載SAR的距離向幅寬是10 km，方位向根據(jù)不同的工作模式略有不同，一般成像后的圖像幅寬的一個(gè)典型值是10 km×10 km。按照這個(gè)典型值對(duì)系統(tǒng)需求進(jìn)行評(píng)估，SAR圖像艦船實(shí)時(shí)檢測(cè)需求相關(guān)參數(shù)如表1所示。

表1 SAR圖像艦船實(shí)時(shí)檢測(cè)需求分析Table 1 Demand analysis of ship real-time detection in SAR images

1.2 艦船實(shí)時(shí)檢測(cè)模型選擇

隨著深度學(xué)習(xí)技術(shù)的廣泛應(yīng)用，當(dāng)前已經(jīng)有很多性能非常優(yōu)異的目標(biāo)檢測(cè)模型，相比重新設(shè)計(jì)模型，在已有的經(jīng)過(guò)驗(yàn)證的模型基礎(chǔ)上進(jìn)行針對(duì)性優(yōu)化，更有實(shí)際的應(yīng)用價(jià)值和意義。在這些模型的基礎(chǔ)上，針對(duì)SAR艦船實(shí)時(shí)檢測(cè)這個(gè)特定的應(yīng)用任務(wù)，使用相關(guān)數(shù)據(jù)集進(jìn)行功能適應(yīng)性訓(xùn)練，成為將深度學(xué)習(xí)技術(shù)應(yīng)用在艦船實(shí)時(shí)檢測(cè)系統(tǒng)的前提。

目前，YOLO 系列模型中最新的版本為YOLOv5，其有四種檢測(cè)版本，分別是YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。本文從mAP（平均精度）、FPS（每秒處理圖片數(shù)量）、Params（參數(shù)量）、FLOPS（浮點(diǎn)運(yùn)算量）這四個(gè)評(píng)價(jià)參數(shù)對(duì)YOLOv5的四個(gè)檢測(cè)版本進(jìn)行分析，其具體評(píng)價(jià)結(jié)果如表2所示。

由表2 得 出，YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x 四個(gè)檢測(cè)版本中，YOLOv5s 的FPS 最大，為500，是檢測(cè)速度第二快的YOLOv5m的1.35倍，且參數(shù)量、浮點(diǎn)運(yùn)算量同樣最小，是參數(shù)量、浮點(diǎn)運(yùn)算量第二小的YOLOv5m的34%、33%。大幅寬SAR圖像嵌入式系統(tǒng)艦船實(shí)時(shí)檢測(cè)系統(tǒng)對(duì)移植模型的需求是參數(shù)量少、計(jì)算量少、檢測(cè)速度快。YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x 四個(gè)檢測(cè)版本中，YOLOv5s 最符合需求。因此，本文選擇YOLOv5s模型進(jìn)行訓(xùn)練與輕量化，從而得到滿足任務(wù)需求的艦船實(shí)時(shí)檢測(cè)模型。

1.3 縮放因子控制法

在地面服務(wù)器上可以使用的需要占用大量計(jì)算資源和存儲(chǔ)資源的目標(biāo)檢測(cè)模型無(wú)法直接移植到嵌入式設(shè)備上。若使目標(biāo)檢測(cè)模型成功移植在嵌入式設(shè)備中，就需要對(duì)目標(biāo)檢測(cè)模型進(jìn)行輕量化處理。模型的輕量化是對(duì)原有模型進(jìn)行剪枝、壓縮或蒸餾等方法，從而減小模型的計(jì)算量與參數(shù)量，計(jì)算量的減少有利于加快檢測(cè)速度，參數(shù)量的減少有利于減少存儲(chǔ)資源占用。輕量化的方法之一是縮放因子控制法[21]，下文中稱文獻(xiàn)[21]所使用的縮放因子控制法即為傳統(tǒng)縮放因子控制法。

1.3.1 縮放因子和稀疏性懲罰

傳統(tǒng)縮放因子控制法為基于L1-范數(shù)稀疏性懲罰的縮放因子控制法，在每個(gè)通道引入一個(gè)縮放因子γ，將其乘以該通道的輸出，然后對(duì)網(wǎng)絡(luò)權(quán)值和縮放因子進(jìn)行聯(lián)合訓(xùn)練，并基于L1-范數(shù)對(duì)縮放因子進(jìn)行稀疏性懲罰的稀疏化訓(xùn)練，得到了正常因子（數(shù)值正常、權(quán)重有效的因子）與近零因子（數(shù)值逼近零、權(quán)重很小的因子）。其稀疏化訓(xùn)練中所使用的訓(xùn)練公式如式（1）所示，縮放因子γ為可訓(xùn)練的仿射變換尺度參數(shù)，其為向量，如式（2）所示：

其中，(x,y)表示訓(xùn)練的輸入和目標(biāo)，W表示訓(xùn)練權(quán)值，第一個(gè)加項(xiàng)對(duì)應(yīng)CNN的正常訓(xùn)練損失，g(·)是對(duì)縮放因子的稀疏性懲罰，λ對(duì)這兩項(xiàng)起到平衡作用。

L1-范數(shù)也叫“稀疏規(guī)則算子”（Lasso regularization），能實(shí)現(xiàn)特征的自動(dòng)選擇，保留下與預(yù)測(cè)相關(guān)的特征，將與預(yù)測(cè)無(wú)關(guān)的特征設(shè)為0，從而簡(jiǎn)化模型，獲得更好的解釋性。在傳統(tǒng)縮放因子控制法中，基于L1-范數(shù)稀疏性懲罰的稀疏化訓(xùn)練公式如式（3）所示，縮放因子γ的L1范數(shù)如式（4）所示：

相較于L1-范數(shù)，另一種范數(shù)即L2-范數(shù)同樣可以應(yīng)用于縮放因子的稀疏性懲罰。L2-范數(shù)也叫“嶺回歸”（ridge regression），能讓向量中的每個(gè)參數(shù)都接近于0，從而使模型簡(jiǎn)單化，不容易過(guò)擬合，提高模型泛化能力。分析L1-范數(shù)與L2-范數(shù)的區(qū)別：L1-范數(shù)只產(chǎn)生較少的與預(yù)測(cè)相關(guān)的特征，而其他特征都是0；L2-范數(shù)則會(huì)產(chǎn)生更多的特征，這些特征都接近于0。

在大幅寬SAR 圖像的艦船實(shí)時(shí)檢測(cè)中，為了避免艦船檢測(cè)模型過(guò)擬合且檢測(cè)特征數(shù)量較少，本文提出了基于L2-范數(shù)稀疏性懲罰的縮放因子控制法，基于L2-范數(shù)稀疏性懲罰的稀疏化訓(xùn)練公式如式（5）所示，縮放因子γ的L2范數(shù)如式（6）所示：

1.3.2 模型輕量化流程

模型的輕量化從信道稀疏化處理開(kāi)始，即在不同的層次上，如權(quán)重級(jí)、通道級(jí)、層級(jí)進(jìn)行稀疏化實(shí)現(xiàn)。通道級(jí)稀疏化在靈活性和通用性方面優(yōu)于層級(jí)稀疏化，在易于實(shí)現(xiàn)方面則優(yōu)于權(quán)重級(jí)稀疏化，被應(yīng)用于縮放因子控制法中。在通道級(jí)稀疏化過(guò)程中，引入縮放因子并將其與卷積層中的每個(gè)通道結(jié)合起來(lái)，即每個(gè)縮放因子都有與之對(duì)應(yīng)的通道。稀疏化訓(xùn)練中對(duì)這些縮放因子進(jìn)行稀疏化處理，得到正常因子與近零因子。對(duì)近零因子所對(duì)應(yīng)的通道進(jìn)行剪枝處理，得到比原本模型更為緊湊的輕量化的模型，但剪枝過(guò)程中大量通道的刪除會(huì)對(duì)模型的檢測(cè)精度造成影響。為此，剪枝后的模型需要進(jìn)行微調(diào)處理，以使其檢測(cè)精度提升到與原本模型的檢測(cè)精度相等或接近。檢測(cè)模型剪枝具體流程圖如圖1所示。

圖1 檢測(cè)模型剪枝流程圖Fig.1 Flow chart for detecting model pruning

2 基于FPGA+嵌入式GPU的異構(gòu)計(jì)算平臺(tái)的系統(tǒng)設(shè)計(jì)

在星載、機(jī)載（含無(wú)人機(jī)）平臺(tái)的SAR 遙感圖像艦船實(shí)時(shí)檢測(cè)系統(tǒng)中，星載或機(jī)載平臺(tái)發(fā)射雷達(dá)信號(hào)，通過(guò)海面反射回波接收，完成回波信號(hào)的數(shù)字化處理、實(shí)時(shí)回波數(shù)據(jù)存儲(chǔ)、同時(shí)對(duì)SAR 回波信號(hào)進(jìn)行快視成像處理。成像處理后的圖像數(shù)據(jù)根據(jù)需求，進(jìn)行若干級(jí)的圖像處理，然后將其輸入到艦船實(shí)時(shí)檢測(cè)系統(tǒng)中，應(yīng)用輕量化的艦船檢測(cè)模型完成對(duì)艦船目標(biāo)的實(shí)時(shí)檢測(cè)。由于不同的應(yīng)用系統(tǒng)指標(biāo)不同，因此，應(yīng)用“通用化、系列化、模塊化”三化設(shè)計(jì)思想，設(shè)計(jì)了一種基于3U VPX架構(gòu)的SAR 圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)，針對(duì)不同的應(yīng)用需求，配置不同種類或者不同數(shù)量的處理板卡，能快速滿足任務(wù)需求。

SAR成像處理算法特點(diǎn)和GPU的眾核并行計(jì)算特點(diǎn)非常匹配，將GPU 應(yīng)用于SAR 成像處理已經(jīng)被行業(yè)廣泛接受。但是受限于桌面級(jí)GPU 的體積和功耗，傳統(tǒng)的SAR 實(shí)時(shí)成像處理通常都是FPGA+DSP 架構(gòu)，但由于近年來(lái)工業(yè)級(jí)嵌入式GPU 的出現(xiàn)，其體積和功耗都能滿足SAR 實(shí)時(shí)處理系統(tǒng)的應(yīng)用需求，將嵌入式GPU 應(yīng)用在SAR 實(shí)時(shí)處理系統(tǒng)是非常有現(xiàn)實(shí)意義的。同時(shí)由于基于深度學(xué)習(xí)技術(shù)的目標(biāo)檢測(cè)模型主要是基于GPU 實(shí)現(xiàn)，因此設(shè)計(jì)開(kāi)發(fā)基于FPGA+GPU 的異構(gòu)計(jì)算架構(gòu)，既可以滿足SAR實(shí)時(shí)成像處理的功能需求，也能滿足目標(biāo)檢測(cè)的功能需求。

SAR 遙感數(shù)字處理系統(tǒng)通常包括以下幾種功能硬件單元：

（1）DAC 信號(hào)生成單元：用于生成SAR 雷達(dá)成像寬帶信號(hào)，信號(hào)帶寬根據(jù)成像分辨率決定，通常在100 MHz～1 GHz；

（2）ADC信號(hào)采集單元：用于采集SAR雷達(dá)場(chǎng)景回波信號(hào)，ADC 信號(hào)采集模塊的帶寬和采樣率通常和DAC相匹配；

（4）SAR成像處理單元：針對(duì)ADC采集到的雷達(dá)回波數(shù)據(jù)，應(yīng)用特定的成像處理算法（如RD 算法、CS 算法等）完成實(shí)時(shí)處理，實(shí)時(shí)處理所需要的處理器通常是FPGA、DSP，近年來(lái)GPU也已經(jīng)開(kāi)始應(yīng)用在實(shí)時(shí)成像處理單元；

（5）目標(biāo)檢測(cè)單元：SAR 成像處理單元實(shí)時(shí)將雷達(dá)回波生成為黑白圖像，目標(biāo)檢測(cè)單元根據(jù)實(shí)時(shí)生成的黑白圖像對(duì)目標(biāo)進(jìn)行實(shí)時(shí)檢測(cè)。

根據(jù)系統(tǒng)應(yīng)用的功能需求，SAR成像處理單元需要完成連續(xù)的實(shí)時(shí)成像處理，然后將實(shí)時(shí)成像處理生成的圖像實(shí)時(shí)發(fā)送到目標(biāo)檢測(cè)單元，目標(biāo)檢測(cè)單元的檢測(cè)速度不能比實(shí)時(shí)成像處理生成圖像的速度慢，這樣才能滿足實(shí)時(shí)成像處理+實(shí)時(shí)目標(biāo)檢測(cè)的系統(tǒng)需求。

由于不同的任務(wù)指標(biāo)差別比較大，比如成像幅寬、成像分辨率等，這些指標(biāo)對(duì)實(shí)時(shí)處理系統(tǒng)的總處理能力、單板處理能力、多板間數(shù)據(jù)傳輸能力、多板并行處理能力的要求都不同，因此，在實(shí)際系統(tǒng)設(shè)計(jì)中，應(yīng)用“通用化、系列化、模塊化”三化設(shè)計(jì)思想，同時(shí)考慮到小型化的設(shè)計(jì)要求，設(shè)計(jì)了一種基于3U VPX架構(gòu)的SAR圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)。根據(jù)不同的功能，設(shè)計(jì)不同的、可替換的、可擴(kuò)展的標(biāo)準(zhǔn)化的硬件單元板卡，這些不同的硬件單元板卡通過(guò)背板進(jìn)行高速數(shù)據(jù)互聯(lián)，形成一個(gè)完整的系統(tǒng)，其功能框圖如圖2所示。

圖2 大幅寬SAR圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)功能圖Fig.2 Function diagram of large size SAR image embedded ship real-time detection system

系統(tǒng)中每個(gè)功能板卡都是符合3U VPX 高可靠性工業(yè)標(biāo)準(zhǔn)的硬件板卡，硬件的設(shè)計(jì)和實(shí)現(xiàn)采用軟件無(wú)線電的思想，通過(guò)參數(shù)的設(shè)置，可以滿足不同功能指標(biāo)的應(yīng)用需求，下面給出系統(tǒng)中采用的硬件處理芯片的規(guī)格和指標(biāo)：

（1）ADC：ADI 公司的AD9689，采樣率2.4 Gsps，量化位數(shù)14 bit，ADC和FPGA之間使用JESD204B接口；

（2）DAC：ADI 公司的AD9910，采樣率2.4 Gsps，量化位數(shù)14 bit，F(xiàn)PGA和DAC之間是并行LVDS接口；

（3）FPGA：Xilinx公司的XC7VX690T和XC7K325T；

（4）GPU：NVidia公司的AGX Xavier GPU。

這下子，公司上下議論紛紛，大家都認(rèn)為程曉是個(gè)騙子，開(kāi)著凱迪拉克騙起了副總裁的女兒！領(lǐng)導(dǎo)找他談話，叫他不要把他的凱迪拉克開(kāi)到公司里來(lái)了，程曉自然不服。沒(méi)幾天，他的車身就被人劃傷了，程曉心疼得大哭了一場(chǎng)，他知道不能在這家公司待下去了。

SAR 成像處理單元和目標(biāo)檢測(cè)單元的FPGA 和GPU 之間使用8x PCIe 總線進(jìn)行互聯(lián)。板卡間的高速數(shù)據(jù)流傳輸說(shuō)明如下：

（1）ADC 功能單元的FPGA 和SAR 成像處理單元的FPGA之間通過(guò)SRIO進(jìn)行互聯(lián)；

（2）SAR 成像處理單元的FPGA 完成成像預(yù)處理，預(yù)處理后的數(shù)據(jù)通過(guò)PCIe總線高速傳輸給GPU完成實(shí)時(shí)成像處理算法；

（3）SAR 成像處理單元實(shí)時(shí)生成的SAR 圖像通過(guò)PCIe 總線高速寫(xiě)到FPGA 中，然后通過(guò)SRIO 總線傳輸給目標(biāo)檢測(cè)單元；

（4）SAR成像處理單元的FPGA和目標(biāo)實(shí)時(shí)檢測(cè)單元的FPGA 之間通過(guò)SRIO 高速鏈路接收數(shù)據(jù)，然后通過(guò)PCIe總線，使用DMA技術(shù)將數(shù)據(jù)高速傳輸?shù)紾PU中。

經(jīng)實(shí)測(cè)，F(xiàn)PGA 和GPU 之間的PCIe 傳輸帶寬不小于2 GB/s，板卡之間通過(guò)不少于2 組SRIO（4×5 Gbit/s）鏈路進(jìn)行數(shù)據(jù)傳輸，兩板卡之間數(shù)據(jù)傳輸吞吐率不小于40 Gbit/s，可以滿足SAR遙感圖像的實(shí)時(shí)傳輸需求。

3 嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)的軟件設(shè)計(jì)與實(shí)現(xiàn)

本文基于3U VPX 架構(gòu)的嵌入式異構(gòu)計(jì)算平臺(tái)設(shè)計(jì)了一個(gè)嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)，通過(guò)基于FPGA的SRIO高速傳輸鏈路實(shí)現(xiàn)了SAR遙感圖像數(shù)據(jù)從成像處理單元到目標(biāo)檢測(cè)單元的高速傳輸，將SAR 實(shí)時(shí)成像數(shù)據(jù)通過(guò)PCIe總線傳輸給GPU。在GPU上應(yīng)用可以滿足系統(tǒng)性能要求的輕量化模型，實(shí)現(xiàn)了艦船檢測(cè)模型的實(shí)時(shí)檢測(cè)處理；并在艦船實(shí)時(shí)檢測(cè)中統(tǒng)計(jì)檢測(cè)精度與檢測(cè)時(shí)間，將其作為評(píng)價(jià)參數(shù)，對(duì)嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)進(jìn)行性能評(píng)估。依據(jù)評(píng)估結(jié)果，對(duì)檢測(cè)模型的輕量化和計(jì)算并行化策略進(jìn)行調(diào)整，以滿足應(yīng)用的指標(biāo)要求。

3.1 基于YOLOv5s的艦船檢測(cè)模型與輕量化

根據(jù)1.2節(jié)對(duì)檢測(cè)模型的分析，選擇YOLOv5s模型應(yīng)用于嵌入式艦船檢測(cè)系統(tǒng)。為了驗(yàn)證模型的檢測(cè)性能，使用SSDD 數(shù)據(jù)集進(jìn)行艦船目標(biāo)檢測(cè)。SSDD 船舶數(shù)據(jù)集是LI Jianwei 等基于SAR 圖像構(gòu)建的一個(gè)船舶數(shù)據(jù)集，總共包含1 160張圖片，2 456個(gè)艦船，平均每張圖片的艦船數(shù)量為2.12[22]。本文將SSDD 數(shù)據(jù)集按8∶2比例隨機(jī)分為訓(xùn)練集與驗(yàn)證集。其中，訓(xùn)練集包含956張SAR圖像，驗(yàn)證集中包含258張SAR圖像。不同場(chǎng)景下的部分圖像如圖3所示。

本文對(duì)模型檢測(cè)效果的評(píng)價(jià)參數(shù)分別為P（精度）、R（召回率）、mAP（平均精度）、Parameters（參數(shù)）、size（模型大小）。其中，P、R、mAP 的計(jì)算公式如式（7）、式（8）、式（9）所示。

其中，TP為被模型預(yù)測(cè)為艦船的艦船目標(biāo)；TN為被模型預(yù)測(cè)為非艦船的非艦船目標(biāo)；FP為被模型預(yù)測(cè)為艦船的非艦船目標(biāo)；FN為被模型預(yù)測(cè)為非艦船的艦船目標(biāo)。

基于YOLOv5s 模型對(duì)SSDD 數(shù)據(jù)集進(jìn)行訓(xùn)練，迭代次數(shù)設(shè)置為100。在訓(xùn)練過(guò)程中，模型在75次迭代時(shí)收斂，P、R、mAP 為0.957、0.948、0.976，參數(shù)量為7 039 094，模型大小為14.4 MB，將其命名為SSRTD（SAR_Ship_Real_Time_Detect）。為了減小艦船檢測(cè)模型的計(jì)算量與參數(shù)量、進(jìn)一步加快檢測(cè)速度，對(duì)SSRTD進(jìn)行輕量化處理。

通過(guò)傳統(tǒng)縮放因子控制法與基于L2-范數(shù)稀疏性懲罰的縮放因子控制法分別對(duì)SSRTD 進(jìn)行輕量化處理。下文將這兩個(gè)輕量化處理分別稱為L(zhǎng)1-輕量化與L2-輕量化。L1-輕量化中的超參數(shù)：稀疏化與微調(diào)的迭代次數(shù)都設(shè)置為100，L1 正規(guī)稀疏率設(shè)置為0.000 1，剪枝比例上限為0.308 97，剪枝參數(shù)設(shè)置為0.10，conf-thres（置信度閾值）設(shè)置為0.001，iou-thres（交并比閾值）設(shè)置為0.6。在L1-輕量化中，稀疏化模型在60次迭代時(shí)收斂，微調(diào)模型在60次迭代時(shí)收斂。L2-輕量化中的超參數(shù)：L2正規(guī)稀疏率設(shè)置為0.000 1，剪枝比例上限為0.405 88，剪枝參數(shù)設(shè)置為0.30，其他超參數(shù)與傳統(tǒng)縮放因子控制法的設(shè)置相同。在L2-輕量化中，稀疏化模型在60次迭代時(shí)收斂，微調(diào)模型在70次迭代時(shí)收斂。

剪枝比例上限依據(jù)稀疏化訓(xùn)練效果在剪枝過(guò)程中自動(dòng)生成，影響剪枝參數(shù)的取值范圍。由L1-輕量化與L2-輕量化的剪枝比例上限對(duì)比，可知基于L2-輕量化的稀疏化訓(xùn)練效果更好，能對(duì)模型進(jìn)行更大比例的剪枝。模型的剪枝參數(shù)設(shè)置依據(jù)于模型剪枝后檢測(cè)性能的反饋，由L1-輕量化與L2-輕量化的剪枝系數(shù)對(duì)比，得知L2-輕量化中的剪枝系數(shù)上限更高。艦船檢測(cè)模型SSRTD輕量化中的相關(guān)參數(shù)如表3所示。

將通過(guò)L1-輕量化與L2-輕量化得到的艦船檢測(cè)模型分別命名為SSRTD_L1_light 與SSRTD_L2_light。為了比較艦船檢測(cè)模型的性能，本文將艦船檢測(cè)模型SSRTD 和輕量化艦船檢測(cè)模型SSRTD_L1_light 與SSRTD_L2_light 通過(guò)評(píng)價(jià)參數(shù)P、R、mAP、Parameters、size、GFLOPs（每秒10 億次的浮點(diǎn)運(yùn)算數(shù)）進(jìn)行對(duì)比。其中，GLOPS 常用來(lái)表示模型計(jì)算復(fù)雜度。其具體評(píng)價(jià)參數(shù)表如表4所示。

表4 艦船檢測(cè)模型的對(duì)比Table 4 Comparison of ship inspection models

從表4 中可以看出SSRTD_L1_light 的參數(shù)量減小了12.60%，計(jì)算量減少了12.04%；SSRTD_L2_light的參數(shù)量減小了47.39%，計(jì)算量減少了18.67%。比較兩個(gè)輕量化艦船檢測(cè)模型，可得知SSRTD_L2_light 的參數(shù)量與計(jì)算量更少，平均檢測(cè)精度更高，因此選擇SSRTD_L2_light 為嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)的應(yīng)用模型。艦船檢測(cè)模型SSRTD_L2_light 的性能評(píng)價(jià)曲線如圖4所示，其對(duì)驗(yàn)證集的檢測(cè)效果如圖5所示。

圖4 艦船檢測(cè)模型SSRTD_L2_light的性能評(píng)價(jià)曲線Fig.4 Performance evaluation curve of ship detection model SSRTD_L2_light

圖5 艦船檢測(cè)模型SSRTD_L2_light的檢測(cè)效果Fig.5 Detection effect of ship detection model SSRTD_L2_light

3.2 嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)的軟件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

在艦船檢測(cè)模型輕量化后，將其應(yīng)用于第2章設(shè)計(jì)的嵌入式硬件平臺(tái)。運(yùn)行在星載或無(wú)人機(jī)載環(huán)境下的嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)的軟件根據(jù)遙測(cè)指令和參數(shù)配置，完成對(duì)嵌入式硬件系統(tǒng)中各個(gè)硬件模塊的初始化、建立各個(gè)功能單元的傳輸鏈路、啟動(dòng)各個(gè)處理功能模塊。

星載或無(wú)人機(jī)載SAR 雷達(dá)系統(tǒng)根據(jù)遙測(cè)控制命令，針對(duì)特定區(qū)域使用雷達(dá)遙感，接收雷達(dá)回波的同時(shí)，嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)中的成像處理模塊實(shí)時(shí)完成成像處理，并將成像處理后的大幅寬圖像結(jié)果通過(guò)背板上高速SRIO總線實(shí)時(shí)傳輸給圖像目標(biāo)檢測(cè)模塊。圖像目標(biāo)檢測(cè)模塊中的FPGA 接收到成像后的圖像數(shù)據(jù)后通過(guò)PCIe DMA 高速傳輸給嵌入式GPU 處理器，嵌入式GPU 處理器上運(yùn)行著艦船目標(biāo)檢測(cè)軟件，應(yīng)用多線程技術(shù)，同時(shí)完成圖像數(shù)據(jù)實(shí)時(shí)獲取任務(wù)、圖像數(shù)據(jù)緩存任務(wù)、艦船目標(biāo)檢測(cè)任務(wù)等多個(gè)任務(wù)。艦船目標(biāo)檢測(cè)任務(wù)調(diào)用SSRTD_L2_light輕量化艦船目標(biāo)檢測(cè)模型，為了滿足實(shí)時(shí)性要求，模型計(jì)算過(guò)程部分軟件使用CUDA軟件庫(kù)，運(yùn)行在GPU 的眾核處理單元上。并行計(jì)算的并行度依賴于硬件處理單位的計(jì)算資源和內(nèi)存資源，軟件開(kāi)發(fā)過(guò)程中，根據(jù)實(shí)測(cè)結(jié)果，決定并行計(jì)算效率最大化的并行數(shù)。

其嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)流程圖如圖6所示。

在圖6 中，綠色背景中的模塊是基于GPU 處理器，應(yīng)用CUDA計(jì)算平臺(tái)的并行處理功能模塊，白色背景的模塊屬于SAR圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)中成像處理功能模塊，藍(lán)色模塊屬于SAR 圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)中圖像目標(biāo)檢測(cè)功能模塊，黃色背景模塊屬于系統(tǒng)設(shè)計(jì)開(kāi)發(fā)、調(diào)試過(guò)程中的評(píng)估模塊。

4 實(shí)驗(yàn)驗(yàn)證

4.1 大幅寬SAR圖像實(shí)時(shí)檢測(cè)

由于大幅寬SAR圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)中圖像目標(biāo)檢測(cè)模塊運(yùn)行的嵌入式GPU處理器的內(nèi)存和處理資源的限制，無(wú)法直接輸入一幅完整的大幅寬SAR圖像，而需要將大幅寬SAR圖像拆分成512×512尺寸的小圖，然后將這些小圖依次輸入SSRTD_L2_light 艦船檢測(cè)模型。

由于并行化的執(zhí)行效率受限于嵌入式GPU處理器的物理內(nèi)存大小和計(jì)算過(guò)程中可使用的GPU 核數(shù)，如果輸入的圖像數(shù)據(jù)尺寸過(guò)小，模型計(jì)算過(guò)程中占用的物理內(nèi)存和使用的GPU核數(shù)只使用了嵌入式GPU處理器的部分資源，那么就沒(méi)有充分發(fā)揮硬件平臺(tái)的計(jì)算能力，執(zhí)行效率低。如果輸入的圖像數(shù)據(jù)尺寸過(guò)大，模型計(jì)算過(guò)程中占用的物理內(nèi)存和使用的GPU核數(shù)超出了嵌入式GPU 處理器的實(shí)際物理資源，那么操作系統(tǒng)和運(yùn)行環(huán)境就不得不將數(shù)據(jù)來(lái)回在物理內(nèi)存和虛擬內(nèi)存之間搬移，反而大大降低了計(jì)算效率。因此需要通過(guò)在硬件平臺(tái)上的嵌入式GPU 處理器實(shí)測(cè)，得出滿足應(yīng)用需求的并行策略。

表5給出每次調(diào)用模型計(jì)算時(shí)，并發(fā)輸入不同圖像塊數(shù)量時(shí)每個(gè)圖像塊計(jì)算所需要的時(shí)間，輸入SAR 圖像塊尺寸為512×512。嵌入式平臺(tái)的環(huán)境：python 為3.6.7版本，torch版本為1.10.0+CUDA，使用的操作系統(tǒng)為ubuntu18，使用的處理器是NVIDIA 公司的Jetson AGX Xavier。

表5 輸入不同圖像塊數(shù)量時(shí)每個(gè)圖像塊計(jì)算時(shí)間對(duì)比Table 5 Calculation time comparison of each image block when different number of image blocks are input

根據(jù)表5 實(shí)測(cè)結(jié)果，可知基于Jetson AGX Xavier GPU處理器進(jìn)行并發(fā)圖像塊檢測(cè)時(shí)，輕量化艦船檢測(cè)模型SSRTD_L2_light 在并發(fā)圖像數(shù)量塊為32、64、128、256時(shí)，檢測(cè)速度都比未輕量化的艦船檢測(cè)模型SSRTD快，證明上述的L2-輕量化有效提升了艦船檢測(cè)模型的檢測(cè)速度。并發(fā)圖像塊數(shù)量的選擇影響到每個(gè)圖像塊計(jì)算所需要的時(shí)間，也同樣影響著大幅寬SAR 圖像檢測(cè)時(shí)間。使用并發(fā)圖像塊數(shù)量為64時(shí)，計(jì)算效率最快，也說(shuō)明當(dāng)并發(fā)圖像塊數(shù)量為64 時(shí)，目標(biāo)檢測(cè)模型計(jì)算所需要的內(nèi)存資源和處理核資源和實(shí)際物理資源大小最適配的。

根據(jù)表1 的大幅寬SAR 圖像實(shí)時(shí)目標(biāo)檢測(cè)的性能要求，檢測(cè)速度越快越好，因此選擇并發(fā)圖像塊數(shù)量為64，從而得到大幅寬圖像的執(zhí)行時(shí)間。

根據(jù)表6 的時(shí)間性能的計(jì)算結(jié)果對(duì)比，可以看到使用SSRTD_L2_light輕量化模型，針對(duì)10 km×10 km大幅寬圖像，4 種不同的分辨率，使用一塊Jetson AGX Xavier GPU都可以滿足SAR圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)的實(shí)時(shí)性要求。如果幅寬超過(guò)10 km×10 km的話，單塊GPU 無(wú)法滿足實(shí)時(shí)性要求，由于基于3U VPX 的SAR 圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)的硬件設(shè)計(jì)滿足功能板卡擴(kuò)展的條件，可以使用多塊目標(biāo)檢測(cè)硬件板卡來(lái)滿足實(shí)時(shí)性要求。

表6 大幅寬SAR圖像不同分辨率下檢測(cè)計(jì)算時(shí)間對(duì)比Table 6 Comparison of calculation time of target detection with different resolutions in large size SAR images

4.2 復(fù)雜環(huán)境檢測(cè)效果分析

除了對(duì)實(shí)時(shí)性能進(jìn)行驗(yàn)證外，實(shí)驗(yàn)使用SSDD數(shù)據(jù)集中的驗(yàn)證集，包括單個(gè)目標(biāo)、離散多目標(biāo)、碼頭多目標(biāo)、密集多目標(biāo)等多個(gè)場(chǎng)景，對(duì)模型的目標(biāo)檢測(cè)性能進(jìn)行驗(yàn)證。

本文結(jié)合SSDD 驗(yàn)證集標(biāo)簽中實(shí)際艦船目標(biāo)數(shù)量與艦船檢測(cè)模型SSRTD_L2_light 所檢測(cè)艦船目標(biāo)數(shù)量相對(duì)比，其中No 代表該SAR 圖像在SSDD 數(shù)據(jù)集中的具體編號(hào)，True代表SSDD驗(yàn)證集中的艦船數(shù)量，Detect代表艦船檢測(cè)模型SSRTD_L2_light 檢測(cè)所得的艦船數(shù)量。為分析艦船檢測(cè)模型SSRTD_L2_light在SAR圖像中的檢測(cè)效果，本文從SSDD 驗(yàn)證集中隨機(jī)選擇10 張SAR圖像進(jìn)行分析，具體情況如表7所示。

表7 實(shí)際艦船目標(biāo)數(shù)量與檢測(cè)艦船目標(biāo)數(shù)量對(duì)比Table 7 Comparison between number of actual ship targets and number of detected ship targets

由表7可知，SAR圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)的SAR 圖像艦船目標(biāo)檢測(cè)中，隨機(jī)10 張SAR 圖像中的實(shí)際艦船目標(biāo)數(shù)量為59，檢測(cè)艦船目標(biāo)數(shù)量為59，其中真艦船目標(biāo)數(shù)量為57，假艦船目標(biāo)數(shù)量為2，漏檢艦船目標(biāo)數(shù)量為2。其中，No.000751發(fā)生漏檢，漏檢艦船目標(biāo)數(shù)量為2，No.001031發(fā)生誤檢，誤檢艦船目標(biāo)數(shù)量為2。為了分析艦船目標(biāo)的漏檢與誤檢情況，選擇No.000266、No.000751、No.001031、No.001093 的SAR 圖像進(jìn)行展示，具體檢測(cè)效果如圖7所示。

圖7 嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)的檢測(cè)效果Fig.7 Detection effect of embedded ship real-time detection system

由圖7可知，發(fā)生漏檢的No.000751 SAR圖像為碼頭多目標(biāo)環(huán)境，多個(gè)艦船目標(biāo)停靠在一起，艦船目標(biāo)檢測(cè)特征聚集在一起，容易把多個(gè)目標(biāo)檢測(cè)成一個(gè)目標(biāo)，發(fā)生漏檢；發(fā)生誤檢的No.001031 SAR 圖像為岸邊環(huán)境，由于岸邊環(huán)境復(fù)雜，可能具有艦船目標(biāo)的檢測(cè)特征，因此對(duì)檢測(cè)產(chǎn)生干擾，把岸邊環(huán)境誤檢為艦船目標(biāo)。相反，No.000266 與No.001093 SAR 圖像為海洋環(huán)境，干擾較少，便于艦船目標(biāo)檢測(cè)，如No.001093 SAR 圖像中共有20 個(gè)艦船目標(biāo)，嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)共檢測(cè)到20個(gè)艦船真目標(biāo)。復(fù)雜環(huán)境雖對(duì)艦船目標(biāo)的檢測(cè)精度產(chǎn)生了影響，但大幅寬SAR 圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)在高分辨率大幅寬SAR圖像艦船目標(biāo)實(shí)時(shí)檢測(cè)的前提下，對(duì)艦船目標(biāo)的平均檢測(cè)精度達(dá)到了0.968，滿足了高分辨大幅寬SAR圖像艦船目標(biāo)實(shí)時(shí)檢測(cè)的應(yīng)用需求。

5 結(jié)束語(yǔ)

本文針對(duì)星載或無(wú)人機(jī)載的大幅寬SAR實(shí)時(shí)成像及目標(biāo)實(shí)時(shí)檢測(cè)的應(yīng)用需求，設(shè)計(jì)了一種基于3U VPX架構(gòu)的SAR 圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)；提出了一種基于YOLOv5s 的艦船檢測(cè)模型SSRTD，通過(guò)基于L2-范數(shù)稀疏性懲罰的縮放因子控制法實(shí)現(xiàn)輕量化，得到輕量化艦船檢測(cè)模型SSRTD_L2_light，在保持高檢測(cè)精度的情況下，有效地減小了模型的參數(shù)量與計(jì)算量。相較于艦船檢測(cè)模型SSRTD，其參數(shù)量減小了47.39%，計(jì)算量減少了18.67%，平均檢測(cè)精度為0.968；在大幅寬SAR圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)中，設(shè)計(jì)開(kāi)發(fā)基于多線程技術(shù)和基于GPU 的眾核并行計(jì)算技術(shù)的大幅寬SAR 圖像嵌入式實(shí)時(shí)檢測(cè)系統(tǒng)軟件，并用公開(kāi)SAR 圖像數(shù)據(jù)集進(jìn)行功能驗(yàn)證和性能評(píng)估，通過(guò)實(shí)驗(yàn)驗(yàn)證，針對(duì)10 km×10 km大幅寬高分辨率圖像，大幅寬SAR圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)能滿足實(shí)時(shí)檢測(cè)需求。對(duì)于復(fù)雜環(huán)境下如碼頭環(huán)境、岸邊環(huán)境的艦船目標(biāo)檢測(cè)優(yōu)化是本文繼續(xù)研究的重點(diǎn)，通過(guò)提升復(fù)雜環(huán)境下的艦船目標(biāo)平均檢測(cè)精度來(lái)進(jìn)一步優(yōu)化大幅寬SAR圖像嵌入式艦船實(shí)時(shí)檢測(cè)系統(tǒng)。