基于多模融合的小目標(biāo)識(shí)別技術(shù)的設(shè)計(jì)與實(shí)現(xiàn)

一、前言

隨著無(wú)人機(jī)在工業(yè)、農(nóng)業(yè)、物流和安保等領(lǐng)域的廣泛應(yīng)用，其帶來(lái)的技術(shù)革新日益顯著。然而，一些不法分子也利用無(wú)人機(jī)體積小、機(jī)動(dòng)性強(qiáng)、易于藏匿等特性[2，在高安全區(qū)域（如監(jiān)獄）實(shí)施非法監(jiān)控、投送違禁品甚至滲透破壞，嚴(yán)重威脅監(jiān)獄安防。尤其是低空小目標(biāo)無(wú)人機(jī)，因其飛行速度快、反射面積小，常規(guī)單一識(shí)別手段難以及時(shí)、準(zhǔn)確預(yù)警與攔截，造成較大安全隱患[3]。多模融合識(shí)別技術(shù)所依賴的核心在于對(duì)不同波段、不同成像機(jī)制和不同數(shù)據(jù)處理模式的兼容與充分挖掘，既能夠各自發(fā)揮分辨率高、全天時(shí)與全天候觀測(cè)、遠(yuǎn)距離監(jiān)測(cè)等不同優(yōu)勢(shì)，又能夠通過(guò)多源信息的互補(bǔ)性降低單一傳感器誤檢與漏檢的風(fēng)險(xiǎn)，從而顯著提升對(duì)低空飛行小目標(biāo)的識(shí)別效率與準(zhǔn)確率[4。監(jiān)獄環(huán)境復(fù)雜，受地形封閉、建筑密集、雜波干擾等因素影響，若單純依賴單一模式下的圖像或信號(hào)特征，極易出現(xiàn)目標(biāo)失鎖或錯(cuò)誤識(shí)別。而多模融合可通過(guò)多源感知數(shù)據(jù)的一次測(cè)量處理、二次特征提取和三次融合決策，大大提高對(duì)小目標(biāo)無(wú)人機(jī)的準(zhǔn)確判定能力，并有效降低環(huán)境噪聲和復(fù)雜背景的影響[5-。在多模融合識(shí)別技術(shù)中，關(guān)鍵挑戰(zhàn)主要體現(xiàn)在三個(gè)方面：一是融合識(shí)別機(jī)制的設(shè)計(jì)，即如何建立可適應(yīng)光學(xué)、紅外和雷達(dá)不同頻段特性的統(tǒng)一特征表示和判別模型，兼顧各自的數(shù)據(jù)結(jié)構(gòu)差異并挖掘深層次關(guān)聯(lián)信息[。二是自適應(yīng)推理方法的構(gòu)建，需要針對(duì)監(jiān)獄環(huán)境中變化多端的背景干擾以及無(wú)人機(jī)行為模式，設(shè)計(jì)具備泛化能力的推理策略，實(shí)現(xiàn)對(duì)多源觀測(cè)信息的彈性容錯(cuò)和動(dòng)態(tài)加權(quán)。三是驗(yàn)證模型的構(gòu)建與評(píng)估，在實(shí)際應(yīng)用中必須通過(guò)足夠豐富的實(shí)測(cè)及模擬場(chǎng)景對(duì)所提出的多模融合算法進(jìn)行檢驗(yàn)，對(duì)識(shí)別準(zhǔn)確率、實(shí)時(shí)性以及對(duì)抗干擾能力進(jìn)行系統(tǒng)性評(píng)價(jià)，從而確保模型具有工程可行性和穩(wěn)定性[8-9]。針對(duì)監(jiān)獄場(chǎng)景中低空小目標(biāo)無(wú)人機(jī)潛在威脅，本文提出融合光學(xué)、紅外及雷達(dá)數(shù)據(jù)的多模識(shí)別框架，系統(tǒng)構(gòu)建跨模態(tài)特征表達(dá)與自適應(yīng)推理機(jī)制，并通過(guò)實(shí)測(cè)數(shù)據(jù)對(duì)識(shí)別模型進(jìn)行系統(tǒng)驗(yàn)證。研究顯著提升小目標(biāo)探測(cè)的精度與穩(wěn)定性，為低空空域安防體系提供了理論依據(jù)與可行的技術(shù)路徑，總體技術(shù)路線圖如圖1所示。

二、數(shù)據(jù)來(lái)源及預(yù)處理

本文選用Anti-UAV-RGBT數(shù)據(jù)集作為基線數(shù)據(jù)。該數(shù)據(jù)集由中國(guó)科學(xué)院大學(xué)視覺(jué)實(shí)驗(yàn)室于2021年發(fā)布，是當(dāng)前無(wú)人機(jī)目標(biāo)檢測(cè)與跟蹤領(lǐng)域最具代表性的多模態(tài)基準(zhǔn)之一，專為復(fù)雜環(huán)境下的微小自標(biāo)識(shí)別設(shè)計(jì)。數(shù)據(jù)集中包含318對(duì)全高清RGB與熱紅外視頻序列，涵蓋多種無(wú)人機(jī)模型在不同背景與光照條件下的飛行場(chǎng)景，具備高精度與高可靠性。Anti-UAV-RGBT未對(duì)多模態(tài)數(shù)據(jù)進(jìn)行配準(zhǔn)處理，保留了模態(tài)間的自然差異，從而提升了算法在真實(shí)應(yīng)用中的泛化能力，契合本文對(duì)跨模態(tài)視覺(jué)感知的研究需求。本文對(duì)原始視頻數(shù)據(jù)進(jìn)行了幀抽取與格式組織。為避免數(shù)據(jù)冗余和降低計(jì)算負(fù)載，采用定時(shí)抽幀策略以壓縮數(shù)據(jù)體量，并保留目標(biāo)運(yùn)動(dòng)的關(guān)鍵動(dòng)態(tài)特征。每對(duì)RGB與IR視頻在處理時(shí)保持同步，抽幀后的圖像保存為JPEG，并依據(jù)原始路徑結(jié)構(gòu)組織，確保數(shù)據(jù)讀取與標(biāo)簽匹配的一致性。

圖1總體技術(shù)路線圖

圖2多模融合技術(shù)路線圖

為進(jìn)一步支持后續(xù)的跨模態(tài)實(shí)驗(yàn)，利用對(duì)齊的RGB-IR幀對(duì)作為先驗(yàn)條件，結(jié)合電磁散射模型，可在一致的物理參數(shù)設(shè)定下生成對(duì)應(yīng)的合成孔徑雷達(dá)（SAR）圖像，實(shí)現(xiàn)高一致性三模態(tài)數(shù)據(jù)構(gòu)建。此方法不僅彌補(bǔ)了真實(shí)SAR數(shù)據(jù)稀缺的問(wèn)題，還可靈活設(shè)定入射角、極化方式等參數(shù)，適用于多種場(chǎng)景與氣象條件。

三、關(guān)鍵技術(shù)及解決途徑

（一）無(wú)人機(jī)信息多模融合問(wèn)題及解決

在多模態(tài)無(wú)人機(jī)遙感圖像的配準(zhǔn)任務(wù)中，受限于成像高度差異、傳感器異構(gòu)性以及復(fù)雜地形環(huán)境的干擾，常常面臨圖像尺度不一致、模態(tài)語(yǔ)義差異顯著以及高分辨率計(jì)算開(kāi)銷巨大的三重挑戰(zhàn)，嚴(yán)重制約了現(xiàn)有配準(zhǔn)方法在實(shí)際場(chǎng)景中的適用性與穩(wěn)定性。首先，尺度變換與幾何失配使得傳統(tǒng)單尺度對(duì)齊方法難以應(yīng)對(duì)大范圍錯(cuò)位與非剛性形變，導(dǎo)致配準(zhǔn)精度下降。針對(duì)該問(wèn)題，引入多尺度特征提取機(jī)制，基于特征金字塔網(wǎng)絡(luò)構(gòu)建自粗至細(xì)的分層特征表達(dá)結(jié)構(gòu)，不僅增強(qiáng)了圖像對(duì)齊對(duì)尺度變化的魯棒性，同時(shí)實(shí)現(xiàn)了全局語(yǔ)義與局部細(xì)節(jié)的協(xié)同建模。其次，傳統(tǒng)基于SIFT或ORB等局部描述的匹配方法在面對(duì)紅外與可見(jiàn)光等模態(tài)差異顯著的圖像時(shí)，易受光照變化與遮擋干擾，難以提取穩(wěn)定的語(yǔ)義一致特征。為此，本文構(gòu)建基于Transformer的對(duì)齊網(wǎng)絡(luò)，利用自注意力機(jī)制建模長(zhǎng)距離依賴關(guān)系，顯著提升跨模態(tài)之間的語(yǔ)義聯(lián)通性與特征融合能力，突破了異源圖像之間語(yǔ)義對(duì)齊的瓶頸。最后，考慮到標(biāo)準(zhǔn)Transformer在高分辨率圖像處理中的計(jì)算復(fù)雜度為O（N2），顯存需求呈指數(shù)級(jí)增長(zhǎng)，本文進(jìn)一步引入可變形注意力機(jī)制，僅關(guān)注關(guān)鍵區(qū)域特征點(diǎn)，在保證配準(zhǔn)性能的同時(shí)，有效緩解了內(nèi)存資源壓力，顯著提升了模型在邊緣設(shè)備上的部署效率。本文提出了一種融合多尺度特征表達(dá)、Transformer語(yǔ)義建模與可變形注意力優(yōu)化的高效配準(zhǔn)框架，如圖2所示。

（二）Yolo11自適應(yīng)推理方法構(gòu)建

Yolo11網(wǎng)絡(luò)主要分為下面三個(gè)部分。

1.主干特征提取網(wǎng)絡(luò)

YOLO11的骨干網(wǎng)絡(luò)負(fù)責(zé)從輸入圖像中提取多尺度特征。這一過(guò)程包括一系列卷積層和定制模塊，用于生成不同分辨率下的特征圖。YOL011引入了C3k2模塊，保留了前代中的快速空間金字塔池化模塊（SPPF），并新增了C2PSA模塊以增強(qiáng)性能。

卷積層：YOLO11首先通過(guò)一系列卷積層對(duì)輸入圖

表1可見(jiàn)光識(shí)別結(jié)果圖及模型對(duì)比

表2紅外識(shí)別結(jié)果及模型對(duì)比

表3SAR識(shí)別結(jié)果及模型對(duì)比

像進(jìn)行下采樣：

Conv₁=Conv（I， 64， 3， 2）

Conv₂=Conv（Conv₁，128，3，2）

這些卷積層在逐步降低空間分辨率的同時(shí)增加特征圖的通道深度。

C3k2模塊：YOLO11用更高效的C3k2模塊取代了YOLOv8中使用的C2f模塊。C3k2基于CSP網(wǎng)絡(luò)結(jié)構(gòu)，包含兩個(gè)較小的卷積操作（卷積核大小為2），以降低計(jì)算成本同時(shí)保持性能。該模塊的數(shù)學(xué)表達(dá)見(jiàn)式（1）：

C3k2（X）=Conv（Split（X））+Conv（Merge（Split（X）））（1）

Split（X）將特征圖劃分為兩部分，其中一部分通過(guò)瓶頸結(jié)構(gòu)處理，Merge\"則將輸出重新融合。

SPPF與C2PSA模塊：

SPPF模塊在YOLO11中被保留，用于執(zhí)行多尺度的空間池化操作，其公式見(jiàn)式（2）：

YOLO11引入了C2PSA模塊，用于增強(qiáng)特征圖的空間注意力機(jī)制，有助于模型聚焦圖像中最相關(guān)的區(qū)域，

從而提升在小目標(biāo)和被遮擋目標(biāo)上的檢測(cè)性能，表示見(jiàn)式（3）：

C2PSA（ X） Attention（ Concat（ X_path1 ， X_path2 ）） （3）

2.Neck 層

YOLO11的Neck被設(shè)計(jì)用于聚合來(lái)自不同分辨率的特征圖，并將其傳遞給檢頭。YOLO11在Neck中集成了C3k2模塊，以提升特征聚合的速度與性能。

特征聚合：Neck使用上采樣和拼接層，將來(lái)自不同尺度的特征圖進(jìn)行融合，見(jiàn)式（5）、式（6）：

Feature_upsample=Upsample（Feature_previous）

在拼接后使用C3k2模塊，確保特征聚合的高效性：

C3k2_neck=Conv_small（Concat（Feature_concat））

3.檢測(cè)頭部

檢測(cè)層（DetectionLayers）：YOLO11在三個(gè)尺度上設(shè)置了檢測(cè)層—小尺度（P3）、中尺度（P4）和大尺度（P5），以實(shí)現(xiàn)對(duì)不同大小目標(biāo)的檢測(cè)。每個(gè)尺度處理不同層次的特征圖，確保模型在檢測(cè)大型與小型無(wú)人機(jī)時(shí)都具備良好性能。

其整體檢測(cè)輸出形式見(jiàn)式（7）：

Detect （ P₃ ， P₄ ， P₅ ） BoundingBoxes+ClassLabels （7）

四、結(jié)果與性能評(píng)估

為了評(píng)估經(jīng)過(guò)多模態(tài)融合的YOLO11在無(wú)人機(jī)檢測(cè)數(shù)據(jù)集上的性能，使用了多種標(biāo)準(zhǔn)的對(duì)象檢測(cè)指標(biāo)。這些指標(biāo)有助于全面評(píng)估模型的準(zhǔn)確性、魯棒性和效率，并能夠與其他模型結(jié)果進(jìn)行直接比較。

精度評(píng)價(jià)指標(biāo)見(jiàn)表1、2、3。

根據(jù)實(shí)驗(yàn)數(shù)據(jù)，多模態(tài)融合算法Improve-YOLOv11在可見(jiàn)光（VIS）、紅外（IR）及合成孔徑雷達(dá)（SAR）三種模態(tài)下的目標(biāo)檢測(cè)任務(wù)中均表現(xiàn)出顯著優(yōu)勢(shì)。與現(xiàn)有主流算法相比，其在各項(xiàng)關(guān)鍵性能指標(biāo)上均實(shí)現(xiàn)了全面提升，充分驗(yàn)證了多模態(tài)融合機(jī)制在復(fù)雜環(huán)境下的有效性與必要性。

在可見(jiàn)光模態(tài)中，Improve-YOLOv11實(shí)現(xiàn)Precision為0.983、Recall為0.978、F1-score達(dá)到0.980，mAP@0.5 高達(dá)0.991， mAP@0.5：0.95 達(dá)到0.812，顯著優(yōu)于其他對(duì)比模型。其中，Original-YOLOvl1雖具備一定競(jìng)爭(zhēng)力，但在更具挑戰(zhàn)性的 mAP@0.5：0.95 指標(biāo)上表現(xiàn)明顯不足，僅為0.783。YOLOv10與YOLOv8的性能進(jìn)一步下降，特別是在 mAP@0.5：0.95 指標(biāo)上分別為0.754和0.721，說(shuō)明在高精度定位任務(wù)中，傳統(tǒng)模型在細(xì)粒度特征建模方面存在明顯不足。

紅外模態(tài)因成像過(guò)程中易受到熱噪聲、低對(duì)比度和分辨率限制的影響，對(duì)檢測(cè)算法的魯棒性要求更高。即便如此，Improve-YOLOvl1在該模態(tài)下仍展現(xiàn)出優(yōu)越性能，Precision和Recall分別為0.956和0.953，F(xiàn)1-score達(dá)到0.954， mAP@0.5 為0.962， mAP@0.5：0.95 達(dá)到0.726，顯著優(yōu)于Original-YOLOv11以及YOLOv10和YOLOv8。這一結(jié)果表明，多模態(tài)融合能夠有效緩解紅外模態(tài)中信息缺失帶來(lái)的性能瓶頸，提升在弱光或復(fù)雜背景下的識(shí)別穩(wěn)定性。

在SAR模態(tài)中，Improve-YOLOv11同樣展現(xiàn)出強(qiáng)大的跨模態(tài)遷移能力，其性能指標(biāo)幾乎與VIS模態(tài)持平。相比之下，Original-YOLOvl1在SAR場(chǎng)景中的mAP@0.5：0.95 僅為0.650，而YOLOv10與YOLOv8更低，分別為0.600和 0.550 考慮到SAR成像特性中普遍存在的speckle噪聲、低對(duì)比度以及幾何畸變問(wèn)題，傳統(tǒng)檢測(cè)器難以準(zhǔn)確取邊緣與結(jié)構(gòu)信息，而多模態(tài)方法通過(guò)引入額外模態(tài)的語(yǔ)義與紋理支持，顯著提升了其在此類高挑戰(zhàn)場(chǎng)景下的表現(xiàn)。

五、結(jié)語(yǔ)

本文圍繞小目標(biāo)識(shí)別中的多模態(tài)信息融合技術(shù)展開(kāi)研究與設(shè)計(jì)，實(shí)現(xiàn)了融合可見(jiàn)光、紅外、雷達(dá)等多源數(shù)據(jù)的識(shí)別系統(tǒng)。通過(guò)引入多模協(xié)同機(jī)制與特征對(duì)齊方法，有效解決了傳統(tǒng)單一模態(tài)在小目標(biāo)尺度、遮擋、弱特征情況下的識(shí)別精度不足問(wèn)題。實(shí)驗(yàn)結(jié)果表明，所提出的方法在多個(gè)公開(kāi)數(shù)據(jù)集上相較于單模輸入的識(shí)別精度有顯著提升，尤其在低信噪比或復(fù)雜背景下表現(xiàn)更為魯棒。系統(tǒng)實(shí)現(xiàn)方面，采用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建多分支特征提取結(jié)構(gòu)，并通過(guò)注意力機(jī)制、自適應(yīng)融合模塊優(yōu)化特征表達(dá)能力，提升了檢測(cè)模型對(duì)小目標(biāo)的感知能力。最終系統(tǒng)具備良好的工程部署能力，可適用于邊緣設(shè)備上的輕量化應(yīng)用。

參考文獻(xiàn)

[1]郭潤(rùn)澤，孫備，孫曉永.無(wú)人機(jī)弱光條件下多模態(tài)融合目標(biāo)檢測(cè)方法[J].儀器儀表學(xué)報(bào)，2025，46（01）：338-350.

[2]那振宇，程留洋，孫鴻晨，等.基于深度學(xué)習(xí)的無(wú)人機(jī)檢測(cè)和識(shí)別研究綜述[J].信號(hào)處理，2024，40（04）：609-624.

[3]鐘帥，王麗萍.無(wú)人機(jī)航拍圖像目標(biāo)檢測(cè)技術(shù)研究綜述[J].激光與光電子學(xué)進(jìn)展，2025.62（10）：71-89.

[4]景建強(qiáng).無(wú)人機(jī)紅外遠(yuǎn)景目標(biāo)檢測(cè)及跟蹤算法研究[D].呼和浩特：內(nèi)蒙古大學(xué)，2024.

[5]張佩賢.無(wú)人機(jī)監(jiān)測(cè)雷達(dá)信號(hào)處理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].西安：西安電子科技大學(xué)，2022.

[6]任宇，趙輝.基于雙模態(tài)圖像融合的無(wú)人機(jī)行人目標(biāo)檢測(cè) [J/ OL].計(jì)算機(jī)技術(shù)與發(fā)展，1-8[2025-07-03].

[7]張慶全，張培旭，李琦，等.無(wú)人機(jī)機(jī)場(chǎng)智能感知監(jiān)測(cè)應(yīng)用體系建設(shè)研究[J].測(cè)繪與空間地理信息，2025，48（S1）：26-28.

[8]張琴，郭為安.深度學(xué)習(xí)小目標(biāo)檢測(cè)算法綜述[J/OL].計(jì)算機(jī)應(yīng)用研究，1-14[2025-07-03].

[9]郭正玉，劉浩宇，蘇雨.空戰(zhàn)目標(biāo)軌跡預(yù)測(cè)技術(shù)研究綜述[J].航空兵器，2024，31（02）：32-43.

基金項(xiàng)目：2025年度河南省高等學(xué)校重點(diǎn)科研項(xiàng)目計(jì)劃“無(wú)人機(jī)偵測(cè)與反制策略在智慧監(jiān)獄安全防御體系中的構(gòu)建與優(yōu)化研究”（項(xiàng)目編號(hào)：25B520071）

作者單位：河南司法警官職業(yè)學(xué)院

責(zé)任編輯：王穎振鄭凱津