改進ＹＯＬＯｖ８ 的輕量級航拍目標檢測算法

摘 要：針對無人機嵌入式平臺計算資源受限的挑戰(zhàn)，為實現(xiàn)高準確率和輕量化的實時無人機航拍目標檢測，提出了改進ＹＯＬＯｖ８ 的輕量級航拍目標檢測算法。引入分離增強注意力模塊（Ｓｅｐａｒａｔｅｄ ａｎｄ Ｅｎｈａｎｃｅｍｅｎｔ Ａｔｔｅｎｔｉｏｎ Ｍｏｄｕｌｅ，ＳＥＡＭ） 緩解航拍圖像中的目標遮擋問題；增設(shè)針對小目標的檢測層，提高小目標的檢測精度；將Ｇｈｏｓｔ 模塊融入Ｃ２ｆ 模塊，形成Ｃ２ｆＧｈｏｓｔ 模塊，顯著降低了模型參數(shù)量；對改進網(wǎng)絡(luò)進行全局通道剪枝，在保證檢測準確率的同時進一步壓縮模型參數(shù)量；將剪枝后的模型部署于Ｊｅｔｓｏｎ Ｘａｖｉｅｒ ＮＸ 嵌入式平臺，使用ＴｅｎｓｏｒＲＴ 加速模型推理。在ＶｉｓＤｒｏｎｅ２０１９ 數(shù)據(jù)集上進行實驗，綜合指標超越了對比算法，平均檢測精度達到５３． ６％ ，提升了４． １％ ，模型參數(shù)量和計算量分別減少８８． ４％ 和５０． １％ ，在嵌入式平臺上檢測速度為２４． １７ 幀／ 秒，驗證了該方法的有效性。

關(guān)鍵詞：目標檢測；航拍圖像；ＹＯＬＯｖ８；模型剪枝；ＴｅｎｓｏｒＲＴ 加速

中圖分類號：ＴＰ３９１． ４ 文獻標志碼：Ａ

文章編號：１００３－３１０６（２０２４）１２－２８８０－０８

０ 引言

隨著無人機技術(shù)的快速發(fā)展，無人機航拍在民用監(jiān)控、災(zāi)害評估和偵察等領(lǐng)域得到了廣泛應(yīng)用。在這些應(yīng)用中，目標檢測作為關(guān)鍵技術(shù)之一，對于實現(xiàn)無人機航拍的智能化和自動化至關(guān)重要。目標檢測是計算機視覺的經(jīng)典任務(wù)，旨在定位圖像中存在物體的位置并識別物體的具體類別［１］。然而，由于小目標本身尺度小，在圖像中所含信息量較少，容易造成目標模糊、細節(jié)特征不明顯，制約著小目標檢測性能的進一步發(fā)展［２］。

早期的研究主要集中在傳統(tǒng)的圖像處理技術(shù)上，如背景減除、幀間差分、光流法等。這些方法在簡單場景下取得了一定的效果，但在復(fù)雜背景下，由于光照變化、目標遮擋等因素的影響，檢測性能往往受到限制。

隨著深度學習技術(shù)的迅速崛起，基于深度學習的目標檢測算法在無人機航拍領(lǐng)域取得了令人矚目的成果。目前，主流的目標檢測策略主要分為ＴｗｏＳｔａｇｅ 和ＯｎｅＳｔａｇｅ 兩大類。ＴｗｏＳｔａｇｅ 策略以區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（Ｒｅｇｉｏｎｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＲＣＮＮ）［３］系列為代表，首先，生成一系列候選框，隨后利用卷積神經(jīng)網(wǎng)絡(luò)（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＣＮＮ）進行分類和回歸來完成目標檢測任務(wù)。

為了提高檢測效率，Ｆａｓｔ ＲＣＮＮ［４］和Ｆａｓｔｅｒ ＲＣＮＮ［５］等優(yōu)化算法也相繼問世，它們在保持檢測精度的同時，顯著提升了檢測速度。Ｍｉｔｔａｌ 等［６］提出一種高效的特征金字塔網(wǎng)絡(luò)對Ｃａｓｃａｄｅ ＲＣＮＮ 進行改進，提高網(wǎng)絡(luò)對小尺寸和各種尺度的物體的檢測能力。

ＯｎｅＳｔａｇｅ 策略則以ＹＯＬＯ 系列為代表，摒棄了復(fù)雜的候選框生成過程，直接在單次前向傳播中同時完成目標的分類和定位任務(wù)，具有更快的檢測速度。從２０１６ 年的ＹＯＬＯｖ１［７］到２０２３ 年的ＹＯＬＯｖ８［８］，該系列算法高速迭代更新，不僅大幅提高了預(yù)測準確率，還提升了速度。韓俊等［９］構(gòu)造了多尺度特征提取模塊ＬＭｆｅｍ 和混合域注意力模塊ＳＥＣＡ，增強了ＹＯＬＯｖ５ 的特征提取能力。劉展威等［１０］添加小目標檢測層和ＢｉＦＰＮ 結(jié)構(gòu)，提升了ＹＯＬＯｖ５ 對小目標的檢測精度。Ｌｉｕ 等［１１］提出了ＥｄｇｅＹＯＬＯ 框架，提出了一種更輕、更高效的解耦頭，可部署在邊緣計算平臺。

與此同時，為了在嵌入式邊緣設(shè)備和移動設(shè)備上實現(xiàn)更優(yōu)的實時性能，研究人員提出了諸如ＭｏｂｉｌｅＮｅｔ［１２－１４］、ＳｈｕｆｆｌｅＮｅｔ［１５］和ＧｈｏｓｔＮｅｔ［１６］等輕量級網(wǎng)絡(luò)結(jié)構(gòu)。Ｌｅｅ 等提出基于幅度的層自適應(yīng)剪枝（Ｌａｙｅｒａｄａｐｔｉｖｅ Ｍａｇｎｉｔｕｄｅｂａｓｅｄ Ｐｒｕｎｉｎｇ，ＬＡＭＰ）［１７］算法，通過引入基于層自適應(yīng)幅值的剪枝分數(shù)來減少權(quán)重，進一步降低模型參數(shù)量和計算量。通過ＴｅｎｓｏｒＲＴ 等高性能深度學習推理框架，可以在保證精度的情況下實現(xiàn)推理加速。

然而，盡管基于深度學習的目標檢測算法在無人機航拍目標檢測領(lǐng)域取得了顯著進展，但依舊不能在保證高檢測精度的同時滿足實時性的要求，因此本文提出了一種改進ＹＯＬＯｖ８ 的輕量級航拍目標檢測算法。具體改進包括：① 在網(wǎng)絡(luò)Ｎｅｃｋ 與Ｈｅａｄ之間加入分離增強注意力模塊（Ｓｅｐａｒａｔｅｄ ａｎｄ Ｅｎｈａｎｃｅｍｅｎｔ Ａｔｔｅｎｔｉｏｎ Ｍｏｄｕｌｅ，ＳＥＡＭ），增強網(wǎng)絡(luò)對遮擋情況的檢測能力；② 增加針對小目標的Ｐ２ 檢測層，并去除Ｐ５ 檢測層；③ 使用Ｇｈｏｓｔ ＢｏｔｔｌｅＮｅｃｋ 對Ｃ２ｆ 模塊進行改進，減少模型參數(shù)和計算量；④ 對改進后的網(wǎng)絡(luò)結(jié)構(gòu)進行全局通道剪枝，進一步壓縮模型；⑤ 在ＮＶＩＤＩＡ Ｊｅｔｓｏｎ Ｘａｖｉｅｒ ＮＸ 嵌入式平臺上部署剪枝后的模型，并使用ＴｅｎｓｏｒＲＴ 推理加速。實驗證明，本文提出的改進方法滿足高檢測精度和實時性的要求，能實時運行在嵌入式邊緣設(shè)備上，具有實際應(yīng)用價值。

１ ＹＯＬＯｖ８ 算法

ＹＯＬＯｖ８ 是目前最新版本的ＹＯＬＯ 目標檢測模型，與之前版本的架構(gòu)保持相同，包括輸入、Ｂａｃｋｂｏｎｅ、Ｎｅｃｋ 和Ｈｅａｄ 四部分，并基于縮放系數(shù)提供了Ｎ ／ Ｓ ／ Ｍ ／ Ｌ ／ Ｘ 不同尺度的模型，以滿足多樣的應(yīng)用場景需求。

Ｉｎｐｕｔ 部分對輸入圖像進行Ｍｏｓａｉｃ 數(shù)據(jù)增強和尺寸自適應(yīng)縮放等預(yù)處理后，輸入到Ｂａｃｋｂｏｎｅ 模塊。Ｂａｃｋｂｏｎｅ 主要負責將輸入的圖像轉(zhuǎn)換為具有語義信息的特征圖，用于后續(xù)的識別任務(wù)。Ｎｅｃｋ 部分依舊采用了ＰＡＮＦＰＮ 結(jié)構(gòu)進行多尺度特征融合，將底層具有豐富輪廓等信息的特征圖與高層具有豐富語義信息的特征圖相融合，最終輸出８０ ｐｉｘｅｌ ×８０ ｐｉｘｅｌ、４０ ｐｉｘｅｌ×４０ ｐｉｘｅｌ、２０ ｐｉｘｅｌ×２０ ｐｉｘｅｌ 三種不同尺度的特征圖，用以分別預(yù)測小、中、大３ 種目標。在Ｂａｃｋｂｏｎｅ 和Ｎｅｃｋ 部分，采用了梯度流更豐富的Ｃ２ｆ 結(jié)構(gòu)替代了ＹＯＬＯｖ５ 的Ｃ３ 結(jié)構(gòu)。Ｈｅａｄ 部分，ＹＯＬＯｖ８ 采用了解耦頭結(jié)構(gòu)，負責將Ｎｅｃｋ 部分輸出的特征進行解耦，得到目標的類別和位置信息。

對于無人機航拍圖像場景，ＹＯＬＯｖ８Ｎ 與Ｓ 模型較輕量，但是檢測精度低，而Ｌ 和Ｘ 尺度的模型太大，不適合部署在嵌入式邊緣設(shè)備。因此本文基于ＹＯＬＯｖ８Ｍ 模型，進一步提升其檢測精度，并壓縮了模型參數(shù)。

２ 改進ＹＯＬＯｖ８ 算法

無人機航拍圖像中小目標實例多、尺寸變化大且目標之間存在遮擋等問題，導(dǎo)致檢測精度低，因此本文提出改進ＹＯＬＯｖ８ 算法，其網(wǎng)絡(luò)架構(gòu)如圖１ 所示。主要包括以下改進策略：為減輕目標遮擋帶來的問題，在Ｎｅｃｋ 后面加入ＳＥＡＭ；增加針對小目標的Ｐ２ 檢測層，增大特征圖分辨率，進而提升小目標的檢測精度；使用輕量的Ｇｈｏｓｔ ＢｏｔｔｌｅＮｅｃｋ 優(yōu)化Ｃ２ｆ模塊，減小模型參數(shù)量和計算量；最后對改進后網(wǎng)絡(luò)進行剪枝和嵌入式部署。