多尺度特征增強(qiáng)與交互融合的遙感小目標(biāo)檢測

【主持人語】隨著科技的不斷發(fā)展與創(chuàng)新，人工智能正逐漸滲透到人類生活的各個領(lǐng)域，改變著我們的生活方式和社會結(jié)構(gòu)。圖像處理作為一門跨學(xué)科的前沿技術(shù)領(lǐng)域，在計算機(jī)視覺、遙感監(jiān)測、醫(yī)學(xué)影像分析等多個學(xué)科領(lǐng)域取得了顯著的應(yīng)用與發(fā)展。在圖像處理領(lǐng)域，人工智能的應(yīng)用也越來越廣泛，為圖像處理帶來了更高效、更準(zhǔn)確的解決方案。本專題聚焦于人工智能深度學(xué)習(xí)算法在圖像處理領(lǐng)域的應(yīng)用研究，共收錄了4篇研究論文，涉及圖像檢測、圖像識別、圖像評價等方面。其中：《多尺度特征增強(qiáng)與交互融合的遙感小目標(biāo)檢測》針對遙感圖像小目標(biāo)檢測任務(wù)中存在的諸多問題，提出了一種基于多尺度特征增強(qiáng)與交互融合的遙感小目標(biāo)檢測算法MFE-FIF，顯著提升了遙感目標(biāo)的檢測效果；《聯(lián)合多視角特征的口罩遮擋人臉識別算法》以BoTNet為主干網(wǎng)絡(luò)，嵌入注意力增強(qiáng)模塊聚焦于眼部區(qū)域，并引入注意力機(jī)制將關(guān)注點集中在口罩遮擋外的人臉區(qū)域，提取有效特征，以提高佩戴口罩的人臉識別性能；《多階段漸進(jìn)處理的圖像去雨方法》提出一種多階段漸進(jìn)式處理的圖像去雨算法，使上下階段的特征融合，大大提高了去雨算法的性能；《尺度因子感知對比學(xué)習(xí)的無參考型超分辨圖像質(zhì)量評價》通過設(shè)計由尺度因子識別分支和質(zhì)量分?jǐn)?shù)預(yù)測分支組成的雙分支網(wǎng)絡(luò)結(jié)構(gòu)，并結(jié)合輕量倒殘差塊設(shè)計，顯著提升無參考圖像質(zhì)量評價與主觀感知的一致性。期待本專題能夠引發(fā)大家探討人工智能深度學(xué)習(xí)算法在圖像處理領(lǐng)域更多可能的研究方向和應(yīng)用方法，為從事相關(guān)交叉領(lǐng)域的研究人員提供一些新的思路。

【主持人】李云紅，西安工程大學(xué)電子信息學(xué)院教授，碩士生導(dǎo)師。

摘要 針對遙感圖像小目標(biāo)檢測任務(wù)中，存在目標(biāo)細(xì)節(jié)紋理信息模糊導(dǎo)致特征提取與融合不佳、小目標(biāo)漏檢等問題，提出了一種基于多尺度特征增強(qiáng)與交互融合的遙感小目標(biāo)檢測算法。首先，采用跨層多分支連接結(jié)構(gòu)的多尺度特征增強(qiáng)（multiscale feature enhancement，MFE）模塊，利用Split分流操作豐富和增強(qiáng)不同梯度獲取的紋理特征信息，同時引入輕量級特征幻影模塊Ghost進(jìn)行通道線性變換，生成更多有效的特征細(xì)節(jié)信息流，以增強(qiáng)對圖像中局部細(xì)節(jié)特征信息的關(guān)注;其次，構(gòu)建特征交互融合（feature interaction fusion，F(xiàn)IF）模塊，引入多分支串并行的卷積塊與自適應(yīng)機(jī)制的池化塊，交互輸入特征的通道語義信息和空間特征變換，捕獲全局上下文信息，精確小目標(biāo)的關(guān)鍵位置信息，加強(qiáng)特征信息之間的相關(guān)性，實現(xiàn)細(xì)粒度特征的多維度交互融合。使用公開的光學(xué)遙感數(shù)據(jù)集DIOR驗證所提算法，改進(jìn)后的網(wǎng)絡(luò)模型平均精度值為87.6％，與NPMMR-Det、YOLOv7、YOLOv5等其他7種優(yōu)秀算法相比均有提高，改進(jìn)后的遙感圖像小目標(biāo)檢測算法取得了更好的檢測精度。

關(guān)鍵詞 遙感圖像小目標(biāo)檢測;多尺度特征增強(qiáng);Split分流;自適應(yīng)機(jī)制;細(xì)節(jié)特征交互融合

中圖分類號：TP391.41" DOI：10.16152/j.cnki.xdxbzr.2025-02-005

Remote sensing small" target detection based on feature multi-scale enhancement and interaction fusion

LI Yunhong， WEI Xiaoshuang， SU Xueping， LI Limin， TIAN Gufeng， HAO Teji， FENG Zhunruo， LI Shibo

（School of Electronics" and" Information， Xi’an Polytechnic University， Xi’an 710048， China）

Abstract In order to achieve remote sensing image small object detection task， there are problems such as poor feature extraction and fusion due to the blurring of target detail texture information， and leakage of small targets， a remote sensing objects detection algorithm that leverages multiscale feature enhancement and interactive fusion is proposed. Firstly， the multiscale feature enhancement （MFE） module with cross-layer and multi-branch connection structure is used to enrich and enhance the texture feature information obtained from different gradients by using the Split shunt operation， and at the same time， the lightweight feature phantom module Ghost is introduced to perform the linear transformation of the channel， generating more effective feature detail information flow to enhance attention to local detail feature information in the image. Secondly， the feature interaction fusion （FIF） module is constructed， which introduces a multi-branch serial parallel convolution block and an adaptive mechanism pooling block to interact with the channel semantic information and spatial transformation of the input features， capture the global context information， and accurately locate the key position of the small targets. information， enhance the correlation between feature information， and achieve multi-dimensional interactive fusion of fine-grained features. The proposed algorithm is validated with DIOR， which is a remote sensing dataset. The" optimized network model achieves a mean accuracy precision of 87.6％， which is" higher than the other seven excellent algorithms including NPMMR-Det， YOLOv7， and YOLOv5. The improved small target detection algorithm for remote sensing images achieves better detection accuracy.

Keywords remote sensing image small target detection; multiscale feature enhancement; Split triage; adaptive mechanism; interactive fusion of detailed features

近年來，隨著遙感技術(shù)不斷發(fā)展，遙感目標(biāo)檢測已取得了一定突破，在國防軍事、目標(biāo)監(jiān)視、災(zāi)害救援領(lǐng)域有廣泛的應(yīng)用前景。然而，由于遙感圖像具有幅面大、目標(biāo)小，且成像細(xì)節(jié)信息模糊等特點，因此，遙感目標(biāo)檢測存在細(xì)粒度特征信息提取和融合困難、漏檢、誤檢等問題。目前， Fast-RCNN、Mask-RCNN等雙階段算法與單階段網(wǎng)絡(luò)YOLO、SSD等均被廣泛研究，在深度學(xué)習(xí)領(lǐng)域，這些方法在大中型目標(biāo)檢測任務(wù)中效果較佳，但在遙感圖像目標(biāo)檢測過程中存在一定局限性。

為提升小目標(biāo)檢測精度，Guo提出了通過高級語義特征圖與包含豐富紋理細(xì)節(jié)的淺層特征圖相融合提出FPN結(jié)構(gòu)^［1］，然而該方法忽略了對小目標(biāo)的精準(zhǔn)定位問題。基于上述工作，Qu等人提出了一種將空洞卷積與特征融合的算法，以增強(qiáng)淺層特征圖的上下文細(xì)節(jié)信息^［2］，然而，由于感受野的變化，導(dǎo)致目標(biāo)特征的細(xì)微模糊化。Wang等人通過調(diào)節(jié)感受野與目標(biāo)尺度的融合策略解決該問題，但多次尺度變換和網(wǎng)絡(luò)前向傳播增加了計算復(fù)雜度^［3］。隨后其他小目標(biāo)檢測算法^［4-8］陸續(xù)被提出。Pang等人通過引入注意力模型降低了虛警率，但忽略了復(fù)雜背景對遙感目標(biāo)檢測的影響^［9］。為解決遙感目標(biāo)尺度變化等問題，Zhang等人將提取出的上下文信息融入空間感知注意力模塊，在全局和局部都可以使網(wǎng)絡(luò)關(guān)注信息更豐富的位置^［10］，然而，這導(dǎo)致網(wǎng)絡(luò)復(fù)雜度的增加，容易出現(xiàn)過擬合或性能下降的問題。李云紅等人采用殘差的旁路直連方式緩解網(wǎng)絡(luò)梯度消失、復(fù)雜度高的問題^［11］。另外，Li等人采用了多尺度的視覺注意力機(jī)制，但不同尺度的注意力分布在小目標(biāo)檢測任務(wù)中可能會表現(xiàn)出不同的效果，因此對目標(biāo)尺度的敏感性可能隨著尺度的改變而變化^［12］。李婕等人采用平行層的特征共享結(jié)構(gòu)最大化目標(biāo)表征，在不同層級中，該結(jié)構(gòu)對目標(biāo)的感受野和特征表達(dá)有所變化^［13］，然而，這可能導(dǎo)致特征提取尺度變化較大的小目標(biāo)造成性能下降。李云紅等人提出2種特征提取通道，對不變區(qū)域和易變區(qū)域進(jìn)行特征提取，提升算法的魯棒性^［14］。隨后，Gong等人在特征融合權(quán)重中引入FPN結(jié)構(gòu)進(jìn)行研究，但在FPN結(jié)構(gòu)中，特征圖融合過程中可能存在信息冗余的問題，從而導(dǎo)致不必要的計算和存儲開銷^［15］。雖然這些檢測算法在通用場景圖像中具有出色的檢測能力，但對遙感目標(biāo)檢測效果欠佳。

針對以上遙感小目標(biāo)細(xì)粒度信息不清晰、特征提取困難、特征融合不佳和目標(biāo)漏檢等問題，本文提出一種基于多尺度特征增強(qiáng)與交互融合的遙感目標(biāo)檢測算法。首先，提出MFE模塊，利用Split分流操作豐富和增強(qiáng)不同梯度獲取的目標(biāo)紋理特征信息，同時引入輕量級特征幻影模塊Ghost進(jìn)行通道線性變換，生成更多有效的特征細(xì)節(jié)信息流，以增強(qiáng)對圖像中局部細(xì)節(jié)特征信息的關(guān)注，提升對遙感小目標(biāo)特征提取和表征的能力;其次，提出了FIF模塊，構(gòu)建多分支串并行的卷積塊與自適應(yīng)機(jī)制池化塊，交互輸入特征信息的通道語義和空間變換，目的是捕獲上下文信息，精確小目標(biāo)的關(guān)鍵位置信息，加強(qiáng)特征信息之間的相關(guān)性，從而實現(xiàn)細(xì)粒度信息的有效特征交互融合。

1 改進(jìn)遙感圖像目標(biāo)檢測算法

算法主要分為3個部分，即主干Backbone、特征融合層Neck和檢測頭Head，整體網(wǎng)絡(luò)結(jié)構(gòu)MFE-FIF如圖1所示。Backbone主要通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行下采樣提取特征，本文將原來特征信息損失較大的CSP結(jié)構(gòu)替換為了MFE模塊，有效實現(xiàn)了對上下文語義信息和通道特征的關(guān)注，增強(qiáng)細(xì)節(jié)紋理特征的表征能力，在該模塊中間層設(shè)計了輕量化Ghost模塊，從原始特征出發(fā)，通過線性變換盡可能減少計算量，結(jié)合多層級信息提取更加細(xì)粒度語義特征，進(jìn)一步提高模型充分捕獲局部感受野內(nèi)的細(xì)節(jié)特征，增強(qiáng)對目標(biāo)中不清晰細(xì)節(jié)特征的表征和提取。Neck部分重新設(shè)計了FIF模塊，在提取方式上對正負(fù)樣本權(quán)重分布更加合理，突出目標(biāo)的顯著性，能在串并行分支卷積塊和自適應(yīng)池化塊中，通過交互融合的方式融合來自不同尺度的語義信息和位置信息，提高對關(guān)鍵信息的感知能力，減少信息損失。

1.1 多尺度特征增強(qiáng)網(wǎng)絡(luò)模塊MFE

為解決Backbone中多個階段下采樣后圖像分辨率降低、目標(biāo)細(xì)節(jié)紋理信息損失較大的問題，提出了多尺度特征增強(qiáng)（multiscale feature enhancement，MFE）模塊，其詳細(xì)結(jié)構(gòu)如圖2所示。

MFE模塊能將精確的位置信息和語義信息嵌入到通道中，增強(qiáng)對小目標(biāo)細(xì)節(jié)特征的表達(dá)能力， 同時更好地處理不同尺寸和低對比度的小目標(biāo)，增強(qiáng)對重要細(xì)節(jié)特征的關(guān)注和對圖像中關(guān)鍵信息的提取和表征能力。

設(shè)輸入遙感圖像X的高、通道數(shù)和寬分別為H、C、W，n代表模塊的重復(fù)個數(shù)，k為卷積核大小，p為補(bǔ)丁。為了增強(qiáng)復(fù)雜背景下遙感圖像小目標(biāo)的細(xì)節(jié)信息，并對不同尺度的小目標(biāo)有更深入的理解，將X經(jīng)過卷積，得到輸出H×W×Cout，提取到的特征被分為2個分支。其中一個分支采用殘差連接的方式進(jìn)行多尺度特征提取，將捕獲到的經(jīng)過卷積的空間信息和紋理信息傳送至Contact操作層，而另一個分支通過Split操作將通道數(shù)量減半，并將提取到的細(xì)節(jié)特征信息送入輕量化Ghost模塊，進(jìn)行參數(shù)調(diào)整和線性變換，并在通道之間共享相似性，以此可將多尺度特征圖合并到一個固定尺寸特征圖中拼接，經(jīng)卷積核大小1×1，Padding為1的卷積層卷積后輸出，1×1內(nèi)核使模型能夠捕捉局部跨通道交互特征，增強(qiáng)目標(biāo)的細(xì)節(jié)特征。

通過圖2可以看到在MFE模塊網(wǎng)絡(luò)中間層設(shè)計的輕量級幻影Ghost模塊，該模塊通過通道分割和混合操作降低了參數(shù)量，提高模型在復(fù)雜背景下的魯棒性，能夠捕捉目標(biāo)的空間形態(tài)和上下文信息，有助于更精確地定位遙感小目標(biāo)的位置，Ghost模塊如圖3所示。

從圖3可以看出，通過Split分流，拼接跨層多尺度特征得到的豐富的梯度流信息h×w×cout。將其送入右邊通道，首先，通過常規(guī)卷積提取本征特征圖（intrisic feature maps）Y′，聚合通道間的關(guān)鍵細(xì)節(jié)信息。然后，利用系數(shù)γ對Y′對各通道特征圖進(jìn)行線性變換操作，生成Ghost幻影操作后的特征圖Yi，j。這些特征圖包含共同的特征信息，一部分通過卷積生成固有特征，另一部分通過線性運算增加特征和通道得到Ghost圖，其計算公式如（1）所示。

Y^ghosti，j=γj×Y′i，k+∑[DD（]k[]m=1，m≠j[DD）]γm×Y′i，m（1）

式中：γj表示對第j個通道進(jìn)行線性變換的系數(shù)；∑[DD（]k[]m=1，m≠j[DD）]γm×Y′i，m表示對Ghost特征圖的第j個通道特征映射，將其余的k-1個通道進(jìn)行線性操作后相加。最后，將本征特征圖和Ghost特征圖拼接為Output圖，在Ghost模塊中通過線性變換對迭代，以保留固有特征映射。若需輸出n層，則c（clt;n）層通過卷積得到，剩余n-c層經(jīng)過線性變換生成特征圖，計算公式如（2）所示。

Y=［Y′1，Y^ghost1，Y′2，Y^ghost2，…，Y′c，Y^ghostc，Y^ghostc+1，Y^ghostc+2，…，

Y^ghostn］（2）

若輸入為X∈R^h0×w0×c0，輸出為Y∈R^h1×w1×c1， s×s為卷積核大小，則普通卷積計算量為h0×w0×c1×s×s×c0。假設(shè)在Ghost模塊中的輸入為X∈R^h1×w1×c1，輸出為Y∈R^h0×w0×c1，卷積核大小為s×s，則卷積計算量表示為h0×w0×c1×s×s。當(dāng)滿足cR時，普通卷積的計算量近似為Ghost模塊中卷積的R倍。降低網(wǎng)絡(luò)模型中的計算量，可以有效避免因參數(shù)數(shù)量過多導(dǎo)致的訓(xùn)練時間過長和過擬合風(fēng)險，抑制遙感小目標(biāo)復(fù)雜背景的干擾因素，從而提升小目標(biāo)檢測精度。

1.2 特征交互融合模塊FIF

由于原網(wǎng)絡(luò)Neck中的CSP結(jié)構(gòu)在捕捉尺寸不一的遙感小目標(biāo)細(xì)節(jié)特征方面存在不足，表現(xiàn)為響應(yīng)不一致、感受野大小靈活性不佳，導(dǎo)致模型對遙感圖像中密集小目標(biāo)細(xì)節(jié)紋理特征融合不理想，從而影響檢測的精度。因此，提出特征交互融合FIF模塊，其詳細(xì)網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

FIF模塊采用了深度可分離卷積DSConv與空間通道重建卷積SCRConv結(jié)合的卷積塊進(jìn)行特征提取。SCRConv通過有效地處理特征交互，共享語義信息，實現(xiàn)了信息的豐富流動，且易于嵌入到現(xiàn)有架構(gòu)中。同時，能更好地理解目標(biāo)與環(huán)境的關(guān)系，從而提高算法對復(fù)雜環(huán)境的適應(yīng)性，提高遙感圖像小目標(biāo)檢測的準(zhǔn)確性。在處理遙感圖像中目標(biāo)子類內(nèi)部與子類之間微小差異的情況時，該模塊將通道間的特征交互與空間上的特征變換分開處理，以更好地融合特征并感知關(guān)鍵細(xì)節(jié)信息，實現(xiàn)了全局空間信息交互。

此外， 在此模塊中設(shè)計了自適應(yīng)最大池化（adaptive max pool，AMP）與平均池化（adaptive avg pool，AAP）串行的結(jié)構(gòu)，在空間上捕獲長距離的相互作用的同時，處理主干網(wǎng)絡(luò)中的特征映射，減少冗余信息，提高特征表達(dá)能力。AMP能集中注意力在小目標(biāo)區(qū)域，突出目標(biāo)細(xì)節(jié)信息的顯著性，并有助于精確地定位目標(biāo)位置，從而提高目標(biāo)的辨識度。AAP則可感知整體信息，提供目標(biāo)區(qū)域的平均特征，并平滑背景干擾。

在FIF模塊中，設(shè)輸入遙感圖像的高度為Hin，寬度為Win，深度為Din，輸出圖像的高度為Hout，寬度為Wout，深度為Dout，道數(shù)為C1。一個分支的特征圖送入卷積核大小為5×5、步長stride為1、邊緣填充padding為2的卷積提取特征后，與多尺度特征層拼接。另一個分支輸入到CBlock（conv block）卷積塊中，計算公式如（3）所示。首先，將輸入特征圖X經(jīng)過卷積塊函數(shù)fCBlock（X）處理得到Y(jié)2；然后，對Y2進(jìn)行自適應(yīng)最大池化和自適應(yīng)平均池化操作得到P1和P2，以增強(qiáng)特征表達(dá)的多樣性和豐富性，突出小目標(biāo)的關(guān)鍵特征。池化后的特征圖與并行通道拼接實現(xiàn)特征融合，再經(jīng)卷積核大小為3×3、步長stride為1、padding為1的卷積層進(jìn)行交互特征與信息共享，通過卷積操作Wconv2得到輸出特征圖O，計算公式如（4）所示。

Y2=fCBlock（X）（3）

O=Wconv2concatAMP（Y2）

AAP（Y2）（4）

式中：AMP為自適應(yīng)最大池化；AAP為自適應(yīng)平局池化；代表卷積操作。

2 實驗過程與結(jié)果分析

實驗環(huán)境配置：CPU為E5-2686 v4 @ 2.30 GHz，GPU為NVIDIA GeForce RTX 3090 24 GiB顯存， Windows10操作系統(tǒng)，深度學(xué)習(xí)框架為Pytorch2.0.1。為公平比較，實驗采用統(tǒng)一的訓(xùn)練參數(shù)，輸入圖像大小為640×640 pixel，初始學(xué)習(xí)率設(shè)置為0.01，設(shè)置實驗訓(xùn)練輪數(shù)為epoch=300，每個batch包含16個樣本，IOU閾值分別設(shè)置為0.5和0.5～0.95。

2.1 實驗數(shù)據(jù)

實驗采用大型遙感DIOR數(shù)據(jù)集，其涵蓋圖像23 463張和目標(biāo)實例192 472個，有20種類別：高速公路服務(wù)區(qū)（expressway service area）、橋梁（bridge）、網(wǎng)球場（tennis court）、煙囪（chimney）、高速公路收費站（expressway toll station）、飛機(jī)（airplane）、體育場（stadium）、棒球場（baseball field）、天橋（overpass）、大壩（dam）、火車站（train station）、海港（harbor）、高爾夫球場（golf field）、船舶（ship）、儲罐（storage tank）、籃球場（basketball court）、車輛（vehicle）、地面田徑場（ground track field）、機(jī)場（airport）、風(fēng)車（wind mill）。數(shù)據(jù)集中圖像尺寸為800×800 pixel，空間分辨率范圍為0.5～30 m，涵蓋了不同時間和天氣狀況下的遙感場景。與其他遙感數(shù)據(jù)集對比，DIOR數(shù)據(jù)集中小目標(biāo)對象實例類內(nèi)和類別之間相似度更高， 從而也會在遙感小目標(biāo)檢測中面臨更大的挑戰(zhàn)。因此，選用DIOR數(shù)據(jù)集訓(xùn)練和評估本文所提出的遙感圖像小目標(biāo)檢測算法，其中訓(xùn)練集與測試集分別包括18 770張、4 693張圖像。

2.2 評價指標(biāo)

采用多類別平均精度值（mAP）、準(zhǔn)確率（Precision）、召回率（Recall）、參數(shù)量作為評價指標(biāo)。在不同的IOU閾值0.5和0.5～0.95條件下，通過計算P-R（precision-recall）曲線下的面積得到平均精度AP，閾值的間隔為0.05。準(zhǔn)確率（式中簡記P）為算法預(yù)測的結(jié)果與實際結(jié)果相符的程度，其高低反應(yīng)了算法的正確率高低。召回率（式中簡記R）指算法能正確檢測出實際存在物體的概率，召回率越高，表示算法能更好地檢測到實際存在的物體。具體公式如下所示。

P=[SX（]TP[]TP+FP[SX）]（5）

R=[SX（]TP[]TP+FN[SX）]（6）

AP=∫10P（R）dR（7）

mAP=[SX（]1[]N[SX）]∑[DD（]N[]i=1[DD）]APi（8）

式中：TP（true positive）表示正確識別的小目標(biāo)實例個數(shù);FP（1 positive）指錯誤標(biāo)記為正確的小目標(biāo)樣本數(shù)量;FN（1 negative）代表算法錯誤預(yù)測實際小目標(biāo)樣本為錯誤樣本的個數(shù);N是小目標(biāo)總的類別數(shù)，在本文中設(shè)定其值為20；APi表示第i個目標(biāo)類別的平均精度值；mAP是對每個目標(biāo)類別的APi求平均值得到。

2.3 消融實驗

為驗證論文所創(chuàng)新的2個網(wǎng)絡(luò)模塊對遙感圖像小目標(biāo)檢測過程中性能的影響，在DIOR數(shù)據(jù)集上進(jìn)行了多組相應(yīng)的消融實驗，包括YOLOv5s、MFE模塊、FIF模塊、整體改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)后的YOLOv5s，消融實驗結(jié)果如表1所示。

根據(jù)表1第2行，引入特征交互融合FIF模塊后，mAP50提高了0.8％，mAP50-95提高了4.9％，參數(shù)量降低了0.2 MB。這是由于將Neck中的CSP替換為更高效的卷積塊和池化層，對不同通道細(xì)節(jié)信息交互融合更精準(zhǔn)。P和R分別提高了0.3％、3.1％。第3行中，將Backbone中的CSP結(jié)構(gòu)替換為多尺度特征增強(qiáng)模塊MFE模塊，且在網(wǎng)絡(luò)中間層引入輕量化Ghost模塊后，mAP50提高了0.5％，mAP50-95提高了4.2％，模型參數(shù)量減少了1.8 MB。本文提出的算法融合了MFE和FIF模塊，在大部分評價指標(biāo)上都具有優(yōu)勢，mAP50提高了2％，mAP50-95提高了5.3％，P與R分別提升了0.2％、4.0％，證明改進(jìn)的模型整體性能有所提高，有效提升了遙感小目標(biāo)檢測精度。

2.4 對比實驗

使用DIOR數(shù)據(jù)集與其他多種主流的經(jīng)典算法進(jìn)行對比實驗，如CSFF^［16］、SCRDet^［17］、YOLOv4^［18］、SSD^［19］、CornerNet^［20］、NPMMR-Det^［21］、YOLOv7^［22］等， 驗證本文所提改進(jìn)算法在遙感數(shù)據(jù)集上的有效性。 對比實驗結(jié)果如表2所示， 可以看出， 本文所提算法與CornerNet、 NPMMR-Det、 原模型YOLOv5相比， mAP50分別提高了22.7％、 10.2％、2.0％，且所提方法部分目標(biāo)類別的AP值達(dá)到了更佳的檢測效果。這得益于本文利用骨干網(wǎng)絡(luò)豐富的梯度信息流融合，增強(qiáng)遙感小目標(biāo)的細(xì)節(jié)特征，提高對其細(xì)粒度信息的提取。同時，交互融合特征盡量避免特征信息丟失，利用輕量級模塊線性變換減少無效信息冗余，有效改善了遙感圖像中小目標(biāo)的檢測效果。實驗結(jié)果表明，在檢測對象過小、目標(biāo)紋理不清晰時，本文提出的算法仍能有效利用小目標(biāo)細(xì)節(jié)信息，在遙感圖像數(shù)據(jù)集的目標(biāo)檢測中具有顯著的優(yōu)勢。

2.5 改進(jìn)算法效果與分析

為進(jìn)一步驗證本文所提出的改進(jìn)算法在遙感數(shù)據(jù)集DIOR上的效果，選取測試集中具有挑戰(zhàn)性的遙感圖像進(jìn)行目標(biāo)檢測，并將檢測結(jié)果對比可視化，結(jié)果如圖5所示。

圖5展示了數(shù)據(jù)集DIOR在YOLOv5原模型和本文改進(jìn)后算法的檢測結(jié)果對比，可以看出，本文所提模型增強(qiáng)了對細(xì)節(jié)紋理方面的檢測，檢測到的不同類別小目標(biāo)物體數(shù)量與相同小目標(biāo)物體置信度都有較大提升。圖5（c）中的第1幅圖相比原模型的檢測結(jié)果，可以明顯看出檢測到的車和籃球場數(shù)量增加。對比圖5（b）和5（c）檢測結(jié)果，第2幅圖中火車站的置信度分別提升44％和16％，第3幅圖中原模型未檢測到小目標(biāo)，但本文所提出的方法檢測出更多小目標(biāo)物體且有較高的置信度。從其他結(jié)果來看，本文算法對車輛、天橋、飛機(jī)、高速公路收費站、棒球場等檢測到的目標(biāo)數(shù)量更多、精度值也更高，實現(xiàn)了對遙感圖像中小目標(biāo)細(xì)節(jié)紋理信息的增強(qiáng)，以及對通道語義、空間信息等多尺度特征融合更佳。綜合以上分析，本文所提出的改進(jìn)算法在處理遙感圖像小目標(biāo)檢測任務(wù)時，展現(xiàn)出了顯著的優(yōu)勢，有助于實際生產(chǎn)與生活中問題的解決。

3 結(jié)語

本文設(shè)計了一種基于多尺度特征增強(qiáng)與交互融合的遙感目標(biāo)檢測方法。構(gòu)建模塊MFE增強(qiáng)小目標(biāo)的多尺度細(xì)節(jié)特征，細(xì)化空間和渠道維度，引入Ghost模塊進(jìn)行線性變換降低模型參數(shù)量。同時在Neck層，提出特征交互融合模塊FIF，利用淺層語義信息與深層定位特征融合，并采用串并行結(jié)合的卷積塊與自適應(yīng)機(jī)制的池化塊，有效減少上下文語義和空間位置信息的丟失，共享與融合不同通道層的關(guān)鍵細(xì)節(jié)信息。通過設(shè)置與其他經(jīng)典網(wǎng)絡(luò)模型多組對比實驗結(jié)果，驗證了本文所提改進(jìn)算法在遙感圖像小目標(biāo)檢測方面的有效性與較高的精度值，具有較強(qiáng)實用性和應(yīng)用性。但是，本文方法仍然有一些局限性，例如，盡管本文在所提出的MFE模塊中引入了輕量級Ghost模塊，但因網(wǎng)絡(luò)深度與計算復(fù)雜度的增加，相比原模型輕量化效果不明顯。將MFE和FIF模塊都引入模型后的參數(shù)量并未減少，模型計算復(fù)雜度較高，檢測速度表現(xiàn)不佳，訓(xùn)練過程耗時。因此，未來的研究工作將重點集中在優(yōu)化算法方面，包括參數(shù)量、檢測速度和模型大小，比如數(shù)據(jù)增強(qiáng)、采用剪枝、稀疏訓(xùn)練、引入多特征檢測器等。同時，將結(jié)合遙感小目標(biāo)背景復(fù)雜、類間與類內(nèi)目標(biāo)尺度變換大等特點，嘗試其他模型壓縮和加速方法，在保證高效檢測小目標(biāo)的同時，提升檢測效果，使算法能夠低成本地適用于不同的實際環(huán)境與硬件設(shè)備，幫助相關(guān)領(lǐng)域在處理無人機(jī)捕獲的場景時獲得更好的體驗。

參考文獻(xiàn)

［1］ GUO K. RDSSD： Refinement deconvolutional single shot detector［J］.Journal of Physics： Conference Series， 2020， 1651（1）： 012140.

［2］ QU J S， SU C， ZHANG Z W， et al. Dilated convolution and feature fusion SSD network for small object detection in remote sensing images［J］. IEEE Access， 2020， 8： 82832-82843.

［3］ WANG J L， CUI Z Y， JIANG T， et al. Lightweight deep neural networks for ship target detection in SAR imagery［J］. IEEE Transactions on Image Processing， 2022， 32： 565-579.

［4］ WU S X， WANG X H， GUO C C. Application of feature pyramid network and feature fusion single shot multibox detector for real-time prostate capsule detection［J］.Electronics， 2023， 12（4）： 1060.

［5］ HAO Z， HONG X G， ZHU L. Detecting small objects in thermal images using single-shot detector［J］. Automatic Control and Computer Sciences， 2021， 55（2）： 202-211.

［6］ DENG C F， WANG M M， LIU L， et al. Extended feature pyramid network for small object detection［J］. IEEE Transactions on Multimedia， 2021， 24： 1968-1979.

［7］ YIN Q J， YANG W Z， RAN M Y， et al. FD-SSD： An improved SSD object detection algorithm based on feature fusion and dilated convolution［J］.Signal Processing： Image Communication， 2021， 98： 116402.

［8］ 徐丹青，吳一全.光學(xué)遙感圖像目標(biāo)檢測的深度學(xué)習(xí)算法研究進(jìn)展［J］.遙感學(xué)報，2024，28（12）：3045-3073.

XU D Q， WU Y Q. Research progress on deep learning algorithms for object detection in optical remote sensing images［J］.Journal of Remote Sensing， 2024， 28（12）： 3045-3073.

［9］ PANG J M， LI C， SHI J P， et al. R2-CNN： Fast tiny object detection in large-scale remote sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（8）：" 5512-5524.

［10］ZHANG G J，LU S J， ZHANG W. CAD-Net： A context-aware detection network for objects in remote sensing imagery［J］.IEEE Transactions on Geoscience and Remote Sensing，" 2019， 57（12）： 10015-10024.

［11］李云紅，劉杏瑞，謝蓉蓉，等.基于超分辨重建和公共特征子空間的低分辨率人臉識別［J］.西北大學(xué)學(xué)報（自然科學(xué)版），2023，53（2）：241-247.

LI Y H， LIU X R， XIE R R， et al. Low resolution facial recognition based on super-resolution reconstruction and common feature subspace［J］.Journal of Northwest University （Natural Science Edition），" 2023， 53（2）： 241-247.

［12］ZHANG Y L， YUAN Y， FENG Y C， et al. Hierarchical and robust convolutional neural network for very high-resolution remote sensing object detection［J］.IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（8）： 5535-5548.

［13］李婕，周順，朱鑫潮，等.結(jié)合多通道注意力的遙感圖像飛機(jī)目標(biāo)檢測［J］.計算機(jī)工程與應(yīng)用，2022，58（1）：209-217.

LI J， ZHOU S， ZHU X C， et al. Aircraft target detection in remote sensing images using multi-channel attention［J］.Computer Engineering and Applications， 2022， 58（1）： 209-217.

［14］李云紅，聶夢瑄，蘇雪平，等.分區(qū)域特征提取的人臉識別算法［J］.西北大學(xué)學(xué)報（自然科學(xué)版），2020，50（5）：811-818.

LI Y H， NIE M X， SU X P， et al. Facial recognition algorithm based on regional feature extraction［J］.Journal of Northwest University （Natural Science Edition）， 2020， 50（5）： 811-818.

［15］GONG Y Q， YU X H， DING Y， et al. Effective fusion factor in FPN for tiny object detection［C］∥2021 IEEE Winter Conference on Applications of Computer Vision. Waikoloa： IEEE， 2021： 1159-1167.

［16］CHENG G， SI Y J， HONG H L， et al. Cross-scale feature fusion for object detection in optical remote sensing images［J］.IEEE Geoscience and Remote Sensing Letters， 2021， 18（3）： 431-435.

［17］YANG X， YANG J R， YAN J C， et al. SCRDet： Towards more robust detection for small， cluttered and rotated objects［C］∥2019 IEEE／CVF International Conference on Computer Vision. Seoul： IEEE， 2019： 8231-8240.

［18］BOCHKOVSKIY A， WANG C Y， LIAO H M. YOLOv4： Optimal speed and accuracy of object detection［EB/OL］.（2020-04-23）［2024-09-25］.https：∥arxiv.org/abs/2004.10934v1.

［19］LIU W， ANGUELOV D， ERHAN D， et al. SSD： Single shot MultiBox detector［M］∥Computer Vision-ECCV 2016. Cham： Springer International Publishing， 2016： 21-37.

［20］LAW H， DENG J. CornerNnet： Detecting objects as paired keypoints［J］.Computer Vision， 2020， 128（3）： 642-656.

［21］HUANG Z C， LI W， XIA X G， et al. A novel nonlocal-aware pyramid and multiscale multitask refinement detector for object detection in remote sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2021， 60： 5601920.

［22］余俊宇，劉孫俊，許桃. 融合注意力機(jī)制的YOLOv7遙感小目標(biāo)檢測算法研究［J］.計算機(jī)工程與應(yīng)用， 2023， 59（20）： 167-175.

YU J Y， LIU S J， XU T.Research on YOLOv7 remote sensing small target detection algorithm incorporating attention mechanism ［J］. Computer Engineering and Applications， 2023， 59（20）： 167-175.

（編 輯 李 靜）

基金項目：國家自然科學(xué)基金（62203344）；陜西省自然科學(xué)基礎(chǔ)研究重點項目（2022JZ-35）；陜西高校青年創(chuàng)新團(tuán)隊。

第一作者：李云紅，女，博士，教授，從事人工智能圖像處理等研究，hitliyunhong@163.com。