基于嵌入式Jetson TX2的高原鼠兔目標檢測

陳海燕，賈明明，趙文力，王嬋飛

（蘭州理工大學 計算機與通信學院，蘭州 730050）

0 引言

高原鼠兔作為青藏高原生態系統的關鍵物種，對維持高原草地的生態平衡起著重要作用［1-3］。用人工智能的方法監測、統計其種群密度可以節省大量財力、人力以及物力［4］。但這類方法中的智能檢測設備規模比較大，一旦部署完成將不易調整，因此迫切得需要一種移動性強的便攜式目標檢測設備實現對高原鼠兔的隨機監測。

近年來，隨著嵌入式領域的技術進步，NVIDIA Jetson TX2因具有便攜性與低功耗的特點被廣泛應用于無人機檢測、室內監測等場景［5-6］。Rabah 等［5］將一階段的目標檢測方法SSD（Single Shot Multi Box Detector）作為基礎模型，并將其部署到嵌入式設備Jetson TX2 中，實現了對地面目標的檢測與跟蹤。Cai 等［6］將一階段的目標檢測模型作為基礎模型，通過重新設計主干網絡，增強了模型的特征表達能力，該改進模型部署到Jetson TX2中，能實現對魚池中魚類的目標檢測。上述方法表明：采用嵌入式Jetson TX2 作為便攜式的目標檢測設備能夠實現不同場景的目標檢測；但上述方法在目標檢測模型部署時未對模型做輕量化處理，導致檢測設備能耗高、檢測速度慢。針對高原鼠兔目標檢測問題，陳海燕等［7］通過語義分割模型獲得感興趣區域的位置，實現了準確檢測，召回率達到了95%；但該模型相較于一階段的檢測模型有更深的網絡，引入了更多參數，并不適用在嵌入式設備上部署。

本文以一階段的YOLOv3（You Only Look Once version 3）模型為基礎目標檢測模型，為降低模型的網絡深度，使用輕量級的MobileNet［8］替 換YOLOv3 的主干網絡DarkNet53，再利用裁剪、微調和Tensor RT 加速的方法進一步輕量化目標檢測模型，并部署到Jetson TX2。

1 檢測模型輕量化

本文目標檢測模型結構如圖1 所示：由輸入模塊、主干網絡（MobileNet）、多尺度特征融合模塊以及分類與回歸模塊構成。輸入模塊實現對高原鼠兔圖像的預處理；主干網絡提取輸入圖像中目標的特征信息；多尺度特征融合模塊實現主干網絡中不同尺度特征圖的融合，增強用于檢測的特征；分類與回歸模塊實現對目標定位和分類。

圖1 MobileNet網絡框架Fig.1 MobileNet network framework

1.1 主干網絡構建

本文以YOLOv3［9］目標檢測模型為基礎模型，YOLOv3 的主干網絡DarkNet53 由53 層標準卷積構成，具有較強的特征提取能力，但也帶來大量浮點運算［10］。Howard 等［8］提出的MobileNet 由28 層深度可分離卷積（包括深度卷積與逐點卷積兩部分）構成，基本卷積單元如圖2（a）。深度卷積的作用是利用特征圖與卷積核通道的對應關系降低卷積的計算量，逐點卷積的作用是對深度卷積輸出的特征圖作特征融合，從卷積層數與卷積計算方式兩方面降低浮點運算［8］。為降低模型運算量，本文利用MobileNet 替換DarkNet53 作為本文目標檢測模型的主干網絡，參數量在理論上減少了8/9～9/10。

替換YOLOv3 的主干網絡在降低主干網絡參數量的同時，也導致主干網絡的特征表達能力降低。文獻［11］中的ResNet 證明，使用1×1、3×3、1×1 堆疊卷積作為基本卷積單元能夠增強特征圖的特征表達能力，文獻［12］證明在堆疊卷積結構中，先提升特征圖的通道維度、再降低特征圖的通道維度，能夠減少特征圖信息的丟失。為提高本文目標檢測模型主干網絡特征圖的表達能力，借鑒文獻［11-12］的思想，在深度卷積之前添加一層1×1 的標準卷積，并提升特征圖的通道維度，具體如圖2（b）所示。其中：BN（Batch Normalization）為批歸一化；激活函數為修正線性單元（Rectified Linear Unit，ReLU）；DWconv 表示深度卷積，Gconv 表示逐點群卷積，conv表示標準卷積；CSO 表示通道混洗操作（Channel Shuffle Operation）［13］。

圖2 基本卷積單元Fig.2 Basic convolution unit

特征圖的通道數較多時，1×1 的標準卷積會帶來較多的運算量，文獻［14］中證明分組卷積可以降低卷積計算量，因此用1×1 的逐點群卷積（1×1Gconv）代替1×1 的標準卷積對特征圖的通道進行分組，達到降低1×1 的標準卷積計算量的同時增強主干網絡特征圖的特征表達能力的目的。逐點群卷積也會帶來輸出特征圖信息較為單一的問題，因此在逐點群卷積后做通道混洗操作，通過重新組合逐點群卷積的輸出特征圖的通道，增強特征圖的信息交互能力，提高主干網絡的特征表達能力。CSO 操作過程如圖3 所示。

圖3 通道混洗操作Fig.3 Channel shuffle operation

1.2 模型剪枝

對構建的目標檢測模型按照2.3 節中的方法訓練，得到高原鼠兔目標檢測模型，并對模型做卷積通道剪枝。首先對需要做剪枝的目標檢測模型作參數分析，獲得該模型需要剪枝的卷積層名稱；其次采用文獻［15］提出的方法評定卷積核的重要程度，按重要程度對卷積核進行排序，并按比例（0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9）丟棄每層卷積所對應的卷積核，進而裁剪對應的通道，記錄裁剪后的目標檢測模型在測試集中的精度損失，記為敏感度信息；最后用需要做剪枝的目標檢測模型作為微調訓練的預訓練權重，并使用記錄的敏感度信息輔助模型的裁剪、微調訓練，通過反復測試，確定一組裁剪率（確定每層卷積所對應的卷積核裁剪比例），對需要裁剪的卷積層按確定的裁剪比例進行剪枝并按2.3節中的方法作微調訓練，得到用于Jetson TX2 上部署的目標檢測模型。

模型剪枝過程如圖4，其中參數A 表示輸入特征圖，C 表示卷積核。先計算C 中每個卷積核的所有權值的絕對值之和，并按大小排序，若C 中虛線部分的所有權值的絕對值之和最小，則丟棄該卷積核，而經過A 與C 的卷積運算，B 中的虛線通道也將被丟棄。

圖4 剪枝原理示意圖Fig.4 Schematic diagram of pruning principle

2 實驗設計與結果分析

2.1 數據來源

用于訓練高原鼠兔目標檢測模型的實驗數據采用課題組在青藏高原東北部甘南草原拍攝的高原鼠兔圖像，圖像像素為：5 742×3 648。因高原鼠兔的警惕性高，近距離采集目標難度較大，所以拍攝距離遠，導致采集的圖像中高原鼠兔目標較小。對部分高原鼠兔圖像進行交疊切分，獲得原圖像的6 部分子圖像，切分后子圖像像素大小為：608×608，手動將含有高原鼠兔目標的子圖像挑選出來，不做壓縮處理，使其組成新的、背景不同的高原鼠兔圖像，作為原始數據集的一部分。對組成的新數據集作清洗操作，采用文獻［16］中定義的模糊度和文獻［17］中定義的相似度的概念，去除模糊度、相似度高于0.8 的高原鼠兔圖像，避免訓練過程中出現過擬合現象。數據集格式為VOC（Visual Object Classes），經數據預處理之后共3 520 幅高原鼠兔圖像，將其以9∶1 的比例隨機劃分成訓練集與測試集。

2.2 實驗平臺

實驗環境：掛載V100 處理器的Linux18.4 操作系統，深度學習框架是Paddle。網絡參數配置：優化器為隨機梯度下降（Stochastic Gradient Descent，SGD），動量設置為0.9，總共訓練270 epoch。在1～10 epoch 學習率從0 線性增長到0.000 375，在210、250 epoch 處學習率分別開始衰減為原來的1/10 和1/100，Batch_size 為24。

測試實驗環境：NVIDIA Jetson TX2、Quad ARM A57/2 MB L2 處理器、8 GB RAM、Jetpack4.4 包、Python 3、Numpy、Matplotlib、OpenCV4.1.1、CUDA10.2、CUDNN8.0、Paddle、Paddle Inference 預測庫。

2.3 模型訓練

利用K 均值聚類算法對高原鼠兔圖像數據集進行105次聚類分析，計算適合高原鼠兔目標大小的錨框，取錨框的個數為9，分別為：(28，29)，(29，43)，(42，45)，(67，48)，(49，69)，(91，63)，(72，97)，(121，83)，(137，145)。

本文模型訓練分兩個階段，模型訓練前采用隨機擴張、圖像裁剪、隨機圖像調整、隨機水平翻轉、圖像像素變換和圖像疊加等方法對用于訓練的高原鼠兔圖像數據進行數據增強。第一階段在數據增強后的高原鼠兔數據集上訓練目標檢測模型；第二階段微調裁剪后的目標檢測模型。在第二階段訓練中，裁剪率設置為0.844，其余參數設置與第一階段保持一致。敏感度計算結果如圖5 所示。

圖5 敏感度分析結果Fig.5 Sensitivity analysis results

2.4 模型部署

將微調訓練后的高原鼠兔目標檢測模型部署到嵌入式設備Jetson TX2 的方案如圖6 所示，包含兩個步驟：第一步，微調之后的高原鼠兔目標檢測模型轉為部署模型文件（包括模型結構文件、參數權重文件和網絡配置文件）；第二步，對嵌入式Jetson TX2 做基礎環境配置并引入深度學習框架和C++預測庫。在預測庫中設置配置文件，確定使用CPU 或GPU 作前向計算并為其分配確定顯存、開啟內存優化和Tensor RT 加速，根據配置文件完成模型預測器（Predictor）加載，通過設置輸入將預測數據讀入并作數據預處理進而執行Predictor，將結果輸出。

圖6 模型部署Fig.6 Model deployment

2.5 實驗結果與分析

為了評價本文模型的性能，采用平均精度（Average Precision，AP）、幀率、模型大小作為評價指標，AP 是P-R（Precision-Recall）曲線與坐標軸圍成的面積，計算如式（1）所示，其中交并比值取0.5。

其中：Pinterp()R為從P-R 曲線中取n個不同等距召回率R區間時，當召回率滿足≥R時的精度最大值，為獲得精度最大值時的召回率；TP（True Positive）、FP（False Positive）和FN（False Negative）分別是真正例、假正例和假負例。P-R 曲線如圖7 所示。

圖7 模型裁剪前后的P-R曲線Fig.7 P-R curves before and after model pruning

接著驗證分組數對本文方法的影響。由文獻［13］證明可知，模型的運算量會隨著分組數的增多而減少，但分組數的增多也會使計算機存儲訪問效率降低，增加運算時間。因此本組實驗將分組數設置為1、2、3 和4，在不大幅增加運算時間的基礎上，驗證分組數對本文模型AP 的影響，結果如表1 所示。從表1 可知，不同分組情況下，本文方法對高原鼠兔目標檢測的平均精度相差不大，網絡的分組數取3 時AP 值最大，因此，在后續研究中設置網絡的分組數為3。

表1 分組數對本文方法AP的影響 單位：%Tab.1 Influence of number of groups on AP of proposed method unit：%

為驗證逐點群卷積、通道混洗分別對本文方法的影響，表2 給出了在YOLOv3 主干網絡替換之后增加不同模塊時的AP 值。由表2 可知，當添加逐點群卷積操作之后，模型的平均精度有所降低，原因是分組阻礙了特征圖通道之間的信息流通；而對特征圖通道之間的信息進行混洗操作可以提升模型的性能。

表2 群卷積、通道混洗對本文方法AP的影響 單位：%Tab.2 Influence of group convolution and channel shuffle on AP of proposed method unit：%

表3 為不同裁剪比例下的模型性能指標值。其中浮點運算數（FLOating Point operations，FLOPs）指標用于衡量模型的復雜程度。在本文方法中，模型裁剪前的浮點運算數為：24 106 944，從表3 可知，在不同的裁剪比例下，模型的浮點運算數都從千萬級別降到了百萬級別，有明顯的改變。隨著裁剪率的增大，浮點運算數呈遞減規律，模型占用的存儲空間變小，但模型的平均精度變化不大。當裁剪比例取0.844 時，微調之后模型的AP 值最大。

表3 不同裁剪率下的模型性能指標值Tab.3 Model performance indicator values under different pruning rates

表4 對比了一階段主流模型與本文模型在Jetson TX2 上部署后的檢測結果。基礎模型YOLOv3 在在剪枝后獲得了98.34%的AP 值，占用了156 MB 的內存，每秒檢測幀數（Frames per Second，FPS）為13。與剪枝前的基礎模型YOLOv3 相比，在AP 值降低0.07 個百分點的基礎上，模型大小由235 MB 降低為156 MB，釋放了79 MB 的內存，且檢測速度由5 FPS 變為13 FPS，有160%的提升。采用剪枝的方法，雖然可以裁剪掉一些對模型不重要的特征圖通道，減少模型參數與運算量，提升模型的檢測速度；但因YOLOv3 具有較多的殘差網絡，帶來較大的運算量，致使YOLOv3 對Jetson TX2 不夠友好，檢測速度較低。

表4 不同高原鼠兔目標檢測模型結果對比Tab.4 Result comparison of different Ochotona curzoniae target detection models

YOLOv3_MobileNet 模型的AP 值、模型大小、檢測速度分別為97.30%、92.8 MB、14 FPS，與剪枝前YOLOv3相比，在AP值降低1.11 個百分點的基礎上，模型大小壓縮了60.5%，檢測速度提升了180%，模型性能有一定的提升。因為通過替換基礎模型YOLOv3 的主干網絡，降低了網絡深度，減少了模型參數量與運算量，因而提升了檢測速度。在替換主干網絡之后，YOLOv3_MobileNet 模型的AP 值并沒有隨著網絡層的精簡而大幅降低，這是因為本文方法對YOLOv3 的主干網絡的基本卷積單元做了以下操作：首先對輸入特征圖通道維度進行升維；其次對通道數進行分組卷積，通道混洗；最后對深度卷積輸出特征圖通道維度進行降維。這樣的處理方式減少了特征圖信息的丟失，提升了主干網絡特征表達能力。

本文模型是通過對YOLOv3_MobileNet 模型進行剪枝得到的，在占用Jetson TX2 14 MB 內存的基礎上，最終AP 值達到了97.36%，檢測速度為36 FPS。與剪枝前的原YOLOv3 相比，在平均檢測精度僅降低1.05 個百分點的基礎上，節省了220.12 MB 的內存空間，模型大小壓縮了93.67%，檢測速度提升了620%；相較于輕量級模型YOLOv3_tiny 和SSD_MobileNet_v1，本文模型在模型大小、檢測精度、檢測速度這3 個指標中，均有明顯優勢；相較文獻［19］中的MSFAN（輸入圖像：416×416，檢測速度：38 FPS，模型大小：62.43 MB）方法，雖然檢測速度降低了2 FPS，但節省了47.55 MB的存儲空間；檢測速度降低的原因為本文所輸入的圖像尺寸更大，在處理過程中需要更多的時間。

圖8（a）為對采集到的不同季節的高原鼠兔圖像的目標檢測的結果；圖8（b）為便攜式檢測設備對高原鼠兔視頻的目標檢測的結果。對高原鼠兔圖像和視頻的目標檢測結果表明該便攜式檢測設備能夠滿足對自然場景下高原鼠兔目標的準確檢測。

圖8 對獲取的高原鼠兔圖像與視頻的目標檢測結果Fig.8 Target detection results in Ochotona curzoniae images and videos

3 結語

本文提出一種對高原鼠兔目標進行檢測的便攜式目標檢測方法。考慮到該方法中的便攜式檢測設備具有弱存儲、功耗低的特點，本文采用一階段目標檢測模型作為基礎，首先替換模型主干網絡，減少主干網絡層數，降低模型參數量；其次采用堆疊卷積、逆殘差卷積的方法構建主干網絡基本卷積單元，減少主干網絡特征圖的信息丟失，增強主干網絡的特征表達能力，提高目標檢測模型的檢測能力；最后采用剪枝的方法對訓練得到的目標檢測模型進行剪枝，丟棄模型中不重要的通道，進一步輕量化模型，減少模型的運算量，提高模型的正向推理速度；最后將模型部署在Jetson TX2 中，在NVIDIA 提供的Tensor Rt 助推下，實現對目標的實時檢測。實驗表明，該方法具有較好的魯棒性，檢測速度為36 FPS，檢測平均準確率為97.36%，模型大小變為原來的1/16，優于傳統的算法。輕量化后的目標檢測模型可以克服便攜式檢測設備弱存儲、低功耗的缺陷，實現對自然場景下高原鼠兔目標的實時檢測。

本文方法的不足之處是雖然通過構建輕量化的目標檢測模型來降低模型的參數量、提升模型的檢測速度，但最終的檢測速度是在單精度浮點模式（FP32）下測試的，相較于半精度浮點模式（FP16）和整型模式（int8），檢測速度較慢。在后續的研究中，將考慮便攜式檢測設備搭載在無人機平臺中，驗證在無人機運動的狀態下，本文模型能否滿足對高原鼠兔目標的實時檢測問題。因此，將考慮對模型作量化操作，進一步提升檢測速度。