基于改進(jìn)YOLOv7 的湖面漂浮物目標(biāo)檢測算法

徐宏偉，李 然，張家旭

（大連海洋大學(xué)信息工程學(xué)院，遼寧 大連 116023）

0 引 言

當(dāng)今，由于部分人缺乏環(huán)保意識，垃圾亂扔的現(xiàn)象隨處可見，一些垃圾出現(xiàn)在湖面等水域上。如果這些垃圾不及時(shí)清理，將會污染水資源，影響正常生活環(huán)境。傳統(tǒng)的解決方案是作業(yè)人員在湖面上進(jìn)行垃圾捕撈，這種方式依賴大量人力，且存在高風(fēng)險(xiǎn)。因此，一種水面智能清污機(jī)器人應(yīng)運(yùn)而生，準(zhǔn)確識別水面上的垃圾變的尤為關(guān)鍵。隨著人工智能和機(jī)器學(xué)習(xí)的發(fā)展，學(xué)者們提出了新的湖面目標(biāo)檢測方法[1-3]。文獻(xiàn)[4]將人工智能應(yīng)用于湖面目標(biāo)檢測，并用實(shí)測數(shù)據(jù)驗(yàn)證了檢測方法，證明基于神經(jīng)網(wǎng)絡(luò)的人工智能解決方案以非常低的計(jì)算成本實(shí)時(shí)提供了較好的檢測性能。文獻(xiàn)[5]通過改進(jìn)數(shù)據(jù)稀疏性和小目標(biāo)特征的R-CNN，利用非最大值抑制模型來消除可能的重疊檢測框，提出了一種基于快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)的海防雷達(dá)目標(biāo)檢測方法。該算法利用雙階段目標(biāo)檢測器進(jìn)行目標(biāo)檢測識別，但單階段目標(biāo)檢測器比雙階段檢測器重量輕。單階段檢測器使用單一前饋網(wǎng)絡(luò)，該網(wǎng)絡(luò)包括分類和回歸，以創(chuàng)建邊界框來定位目標(biāo)，比雙階段檢測器速度更快，代表算法有YOLOv4、YOLOv7、SDD 等。文獻(xiàn)[6]改進(jìn)了YOLOv4 模型中的Mosaic 數(shù)據(jù)增強(qiáng)算法以進(jìn)行數(shù)據(jù)擴(kuò)充，并利用動態(tài)加權(quán)平衡損失改善類別不平衡，提高了檢測精度。文獻(xiàn)[7]結(jié)合YOLOv5 和暗通道去霧算法，融合了SE 注意力機(jī)制模塊和改進(jìn)的非極大值抑制模型，提高了海上艦船識別的精確度。文獻(xiàn)[8]通過輕量化SSD 的骨干網(wǎng)絡(luò)，并采用深度可分離卷積和注意力機(jī)制等優(yōu)化策略，提高了檢測精度。由于模型版本的更新迭代，上述單階段目標(biāo)檢測器模型的檢測精度已經(jīng)被新的版本——YOLOv7所超越，改進(jìn)后的模型參數(shù)量大，推理時(shí)間長，在檢測精度與推理時(shí)間兩方面都需要改進(jìn)。文獻(xiàn)[9]通過使用GhostNet 網(wǎng)絡(luò)替換YOLOv7 的主干特征提取網(wǎng)絡(luò)，并使用深度可分離卷積替換普通卷積，提高了微藻目標(biāo)檢測的精度和速度。上述算法需要更換YOLOv7 的主干特征提取網(wǎng)絡(luò)和所有的卷積層，操作過程復(fù)雜、工作量大，可以使用更加簡化的半結(jié)構(gòu)化剪枝技術(shù)對模型進(jìn)行輕量化。為了在保持模型精度的同時(shí)提高推理時(shí)間，近年來提出了許多技術(shù)，如剪枝、量化和知識蒸餾。量化需要專門的硬件支持來實(shí)現(xiàn)高效的部署，而這在嵌入式板中可能無法實(shí)現(xiàn)；知識蒸餾要求學(xué)生模型具有魯棒性，以吸收和保留從教師模型中獲得的信息，這需要花費(fèi)大量的時(shí)間和復(fù)雜的計(jì)算；與之相比，剪枝既不需要復(fù)雜的計(jì)算，也沒有硬件約束。使用結(jié)構(gòu)化或非結(jié)構(gòu)化剪枝技術(shù)，小心地修剪掉不影響總體精度的冗余權(quán)重，以增加目標(biāo)檢測器模型的稀疏性。

因此本研究將利用剪枝技術(shù)加速對象檢測器，結(jié)合湖面垃圾圖像特征，并基于YOLOv7 目標(biāo)檢測模型，提出一種輕量化湖面漂浮物檢測模型C-X-YOLOv7。該模型使用了一種新穎的剪枝方法——半結(jié)構(gòu)化剪枝，使用深度優(yōu)先搜索算法生成父子卷積核計(jì)算圖，利用特定的內(nèi)核模式剪枝卷積核和相關(guān)的連通性，從而降低迭代剪枝的計(jì)算成本。融合CA 注意力機(jī)制模塊來加強(qiáng)特征提取能力，使用湖面垃圾漂浮物數(shù)據(jù)集對模型進(jìn)行訓(xùn)練與測試，并與其他常用檢測模型進(jìn)行檢測效果的對比，以期為湖面垃圾漂浮物檢測識別提供一種新思路。

1 算法理論

1.1 CA 注意力機(jī)制模塊

CA 注意力機(jī)制模塊[10]不僅考慮了通道信息，還考慮了方向相關(guān)的位置信息。它通過對不同通道的特征進(jìn)行加權(quán)，從而提高模型對重要特征的關(guān)注度，進(jìn)一步提高模型的性能。計(jì)算公式如下：

式中：X表示輸入的特征圖；g(X)表示通過全局平均池化（Global Average Pooling）對X進(jìn)行降維得到的特征向量；σ表示Sigmoid 函數(shù)。

首先對輸入的特征圖X進(jìn)行全局平均池化，得到一個(gè)特征向量g(X)；再將g(X)輸入到一個(gè)全連接層中，得到一個(gè)向量z；然后將z輸入到一個(gè)Sigmoid 函數(shù)中，得到一個(gè)0~1 之間的值，表示每個(gè)通道的權(quán)重；最后將權(quán)重與原始特征圖X逐元素相乘，得到加權(quán)后的特征圖f_{CA}(X)。CA 注意力機(jī)制結(jié)構(gòu)如圖1 所示。

圖1 CA 注意力機(jī)制結(jié)構(gòu)流程圖

1.2 DFS 算法

DFS（Depth First Search，深度優(yōu)先搜索）算法過程為沿著每一個(gè)可能的路徑向下進(jìn)行搜索，直到不能再深入為止，并且每一個(gè)節(jié)點(diǎn)只能訪問一次。

算法搜索遍歷的步驟如下：

1）首先找到初始節(jié)點(diǎn)A。

2）依次從A未被訪問的鄰接點(diǎn)出發(fā)，對整個(gè)圖進(jìn)行深度優(yōu)先遍歷。

3）若有節(jié)點(diǎn)未被訪問，則回溯到初始節(jié)點(diǎn)，繼續(xù)進(jìn)行深度優(yōu)先遍歷。

4）直到所有與頂點(diǎn)A路徑相通的節(jié)點(diǎn)都被訪問過一次。

2 C-X-YOLOv7 模型的構(gòu)建

2.1 注意力模塊

目前，輕量級網(wǎng)絡(luò)的注意力機(jī)制大都采用SE 模塊，僅考慮了通道間的信息，忽略了位置信息，所以本研究引入CA 注意力機(jī)制模塊。將CA 注意力機(jī)制添加進(jìn)YOLOv7 結(jié)構(gòu)中，共有兩種方法：第一種，將Backbone 骨干特征提取網(wǎng)絡(luò)中所有的C3 模塊均替換成CA 模塊，替換后檢測效果有提升，可以檢測到未做改動前檢測不到的目標(biāo)，但是準(zhǔn)確率、召回率以及平均精度均值均有下降，需要手動調(diào)整閾值，才能達(dá)到滿意的效果；第二種，在Backbone 骨干特征提取網(wǎng)絡(luò)的最后一層添加CA 注意力模塊，替換原有輸出層，替換后檢測效果比第一種方法略有提高，并且不需要手動調(diào)整閾值，所以在本文研究中使用第二種方法將CA 注意力機(jī)制模塊引入本文模型中。

2.2 改進(jìn)的半結(jié)構(gòu)化剪枝框架X-Toss

高精度的目標(biāo)檢測使得檢測模型更加復(fù)雜，產(chǎn)生較大的內(nèi)存占用和更多的推理時(shí)間。為了減少操作延遲，同時(shí)保持模型精度，采用剪枝技術(shù)是一種有效的手段。在剪枝技術(shù)中，基于模型的半結(jié)構(gòu)化剪枝可以提供比非結(jié)構(gòu)化剪枝更好的稀疏性，同時(shí)確保比結(jié)構(gòu)化剪枝技術(shù)更好的準(zhǔn)確性。當(dāng)前的技術(shù)主要集中在3×3 卷積核上，這限制了可實(shí)現(xiàn)的稀疏性，進(jìn)而限制了推理加速的優(yōu)勢。因此，為了增加此類模型的稀疏性，基于模型的剪枝技術(shù)有時(shí)會在這3×3個(gè)卷積核上使用連通性修剪。但是，連接剪枝中使用的“每層最后一個(gè)內(nèi)核”這項(xiàng)標(biāo)準(zhǔn)，會導(dǎo)致其中重要信息的丟失，從而降低模型的精確率。

為了解決這些問題，本文提出了一種三步剪枝方法來剪枝1×1 卷積核：

1）將1×1 個(gè)卷積核組成3×3 個(gè)臨時(shí)權(quán)重矩陣；

2）對這些權(quán)重矩陣應(yīng)用卷積核模型修剪；

3）將臨時(shí)權(quán)重矩陣分解為1×1 卷積核，并重新分配給它們的原始層。

半結(jié)構(gòu)化剪枝的X-Toss 流程圖如圖2 所示。

圖2 半結(jié)構(gòu)化剪枝的X-Toss 流程圖

1）使用深度優(yōu)先搜索（DFS）算法尋找模型中的父子層耦合，由此得到的父子圖用來減少剪枝的計(jì)算需求。當(dāng)父層的修剪反映在圖中的子層中時(shí)，計(jì)算成本就會減少；然后跟蹤DFS，在子圖中識別出3×3 和1×1 卷積核，并對它們應(yīng)用特定內(nèi)核大小的剪枝。

通過標(biāo)準(zhǔn)組合法在所有可能的組合中生成模型掩模，使用以下公式計(jì)算：

式中：n是矩陣的大小；k是模型掩模的大小。使用以下兩個(gè)標(biāo)準(zhǔn)來縮小所使用的卷積核模型的數(shù)量：丟棄所有沒有相鄰非零權(quán)重的模型，這樣做是為了保持卷積核模型的半結(jié)構(gòu)化性質(zhì)；通過使用范圍[-1，1]內(nèi)的隨機(jī)初始化計(jì)算內(nèi)核的L2范數(shù)來選擇最常用的卷積核模型。k的取值范圍為1~8，這可以產(chǎn)生8 種不同類型的圖案組。為了提高模型的稀疏度，非零權(quán)重的數(shù)量需要更低。文獻(xiàn)[11-12]在卷積核模型修剪中使用了由內(nèi)核中的4 個(gè)非零權(quán)重組成的4 通道模型。但是這導(dǎo)致模型具有相對較低的稀疏性，并且為了克服這個(gè)問題，文獻(xiàn)[11-12]使用的方式為連接性剪枝。由于連接性剪枝的局限，在本文研究的X-TOSS 框架中使用2 通道模型，使用2 個(gè)非零權(quán)重。

2）通過算法為3×3卷積核模型修剪。首先使用3×3父核權(quán)重作為輸入，并初始化一個(gè)變量來存儲內(nèi)核權(quán)重。創(chuàng)建一個(gè)由2EP 模型組成的模型組，初始化一個(gè)空列表（L2_dict），在應(yīng)用模型組中的卷積核模型后，該列表可以存儲臨時(shí)卷積核的L2范數(shù)。接著遍歷卷積核模型，計(jì)算卷積核的L2范數(shù)，這個(gè)L2范數(shù)存儲在L2_dict list 中。通過使用來自L2_dict 的L2范數(shù)找到臨時(shí)內(nèi)核的最佳卷積核模型，將卷積核模型的值存儲，并更新為其原始權(quán)重矩陣。遍歷父層中的所有內(nèi)核，并將其存儲為父層組中其余3×3 內(nèi)核的內(nèi)核掩碼。為父核找到合適的模型后，利用卷積映射將這些模型應(yīng)用于相應(yīng)的子內(nèi)核。通過執(zhí)行1×1 到3×3 內(nèi)核轉(zhuǎn)換，將這種模型匹配方法應(yīng)用于1×1 內(nèi)核。對特定組中的所有內(nèi)核應(yīng)用相同的內(nèi)核掩碼，可以減少框架修剪整個(gè)模型所花費(fèi)的時(shí)間。

3）通過算法為1×1 內(nèi)核進(jìn)行修剪。通過執(zhí)行1×1到3×3 的變換，在內(nèi)核修剪中移除了連通性剪枝，這可以保持模型的準(zhǔn)確性，并減少因連通性剪枝而導(dǎo)致的損失。

2.3 C-X-YOLOv7 模型

將CA 注意力模塊融入在YOLOv7 的Backbone 端，將提出的半結(jié)構(gòu)化剪枝框架X-Toss 應(yīng)用在Conv 卷積層。C-X-YOLOv7 模型結(jié)構(gòu)如圖3 所示。

圖3 C-X-YOLOv7 模型結(jié)構(gòu)

3 湖面漂浮物（垃圾）檢測試驗(yàn)

3.1 試驗(yàn)環(huán)境及參數(shù)設(shè)置

本文試驗(yàn)運(yùn)行系統(tǒng)為Windows 10，Intel Xeon Silver 4210（CPU），16 GB RAM，GTX 2080Ti（GPU），NVIDIA 高性能嵌入式計(jì)算機(jī)Jetson TX2，軟件為Pycharm 2021，CUDA 10.1，CUDNN 7.4.2，深度學(xué)習(xí)框架為Pytorch 1.7.1。

3.2 評估標(biāo)準(zhǔn)

目標(biāo)檢測領(lǐng)域通常使用如下三種數(shù)據(jù)進(jìn)行評估：精確率、召回率、平均精度均值。為了客觀地評價(jià)本文提出的C-X-YOLOv7 模型的效果，也采用這三種數(shù)據(jù)作為評價(jià)指標(biāo)。計(jì)算公式為：

式中：TP 為湖面漂浮物被正確預(yù)測的個(gè)數(shù)；FP 是湖面漂浮物被錯誤預(yù)測的個(gè)數(shù)；FN 是湖面漂浮物未被預(yù)測到的個(gè)數(shù)；AP 是平均精度；P是精確率；R是召回率；mAP 是平均精度均值；N是樣本數(shù)量類別。

推理加速比（Inference Speedup）是一個(gè)無單位的比值，用于衡量模型推理或預(yù)測速度的提升程度，計(jì)算方式是將優(yōu)化前的推理時(shí)間除以優(yōu)化后的推理時(shí)間。例如，如果優(yōu)化前的推理時(shí)間是10 s，優(yōu)化后的推理時(shí)間是5 s，那么推理加速比就是=2，表示推理速度提升了2×。

3.3 消融試驗(yàn)

為了驗(yàn)證本文提出的X-Toss 半結(jié)構(gòu)化剪枝框架CX-YOLOv7 模型的客觀性和有效性，將不同的模型在相同的系統(tǒng)、相同的硬件配置下進(jìn)行對比試驗(yàn)。在配置環(huán)境及初始訓(xùn)練參數(shù)一致的情況下，本文改進(jìn)的YOLOv7網(wǎng)絡(luò)模型與其他網(wǎng)絡(luò)模型在硬件RTX 2080Ti 上總體試驗(yàn)結(jié)果如表1 所示。

表1 不同改進(jìn)策略的湖面垃圾識別效果對比

在不同的硬件上，將未進(jìn)行任何修剪的基礎(chǔ)模型（Base Model, BM）的試驗(yàn)數(shù)據(jù)作為標(biāo)準(zhǔn)，將本文的半結(jié)構(gòu)化剪枝框架X-Toss 分別與Pat DNN（PD）[12]、Neural Magic SparseML（NMS）[13]、Network Slimming（NS）[14]這三種使用不同修剪方法的框架進(jìn)行對比。在RTX 2080 Ti 上，X-Toss 在YOLOv7 模型上實(shí)現(xiàn)1.98×的推理時(shí)間加速比；在NVIDIA Jetson TX2 上，X-Toss 在YOLOv7 模型上實(shí)現(xiàn)2.17×的推理時(shí)間加速比。現(xiàn)階段性能較好的修剪框架PD 在RTX 2080 Ti 上的推理時(shí)間加速比為1.69×，在JetsonTX2 上的推理時(shí)間加速比為2.05×，X-Toss 在RTX 2080 Ti 和Jetson TX2 上的推理時(shí)間加速比分別比PD 提升了0.29×和0.12×，并且使用能耗均低于上述幾種修剪框架，試驗(yàn)數(shù)據(jù)如表2 所示。不同檢測模型對于湖面上的塑料瓶這一種類漂浮物的檢測結(jié)果如圖4 所示。

表2 不同剪枝方法框架在兩種硬件條件下的結(jié)果對比

圖4 不同模型的湖面垃圾檢測對比試驗(yàn)結(jié)果

從結(jié)果得出，YOLOv7 模型的準(zhǔn)確率略低于CYOLOv7 模型并且存在漏檢的問題，C-YOLOv7 模型雖然精確度有提升，但是依然存在漏檢的情況，甚至出現(xiàn)了誤檢。C-X-YOLOv7 模型對湖面垃圾的識別準(zhǔn)確率較前兩種方法均有提高，并且解決了漏檢和誤檢的問題。C-X-YOLOv7 模型的準(zhǔn)確率為91.7%，較其他兩種模型分別提高了5.2%和2.6%；平均精度均值為68.6%，較其他兩種模型分別提高了3.3%和1.5%。

4 結(jié) 論

本文研究以YOLOv7 模型為基礎(chǔ)，提出了C-XYOLOv7 模型。通過添加CA 注意力機(jī)制模塊和改進(jìn)半結(jié)構(gòu)化剪枝框架X-Toss 輕量化了YOLOv7 模型，提高了對湖面漂浮物（垃圾）的檢測精度和速度。本文中湖面漂浮物的數(shù)據(jù)集主要依靠網(wǎng)絡(luò)搜尋獲取，數(shù)據(jù)集背景類型大致相同，相對單一簡單。今后的研究將進(jìn)一步豐富湖面漂浮物數(shù)據(jù)集，并考慮湖面波浪反光干擾的因素，在去除湖面反光等干擾因素方面有創(chuàng)新性研究成果。