999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

融合自注意力特征嵌入的夜間機場跑道異物入侵檢測

2022-08-02 08:53:24何自芬陳光晨張印輝郭琳偉
光學精密工程 2022年13期
關鍵詞:特征檢測模型

何自芬,陳光晨,王 森,張印輝,郭琳偉

(昆明理工大學 機電工程學院,云南 昆明 650000)

1 引 言

近年來,航空運輸安全越來越受到業內人士關注,機場跑道異物(Foreign Object Debris,FOD)檢測成為研究的重點方向。FOD 主要指在機場跑道面上的金屬器件、碎石塊、紙制品、動植物等[1]外來物質。它們容易損壞飛機輪胎或被發動機吸入的異物有極大可能引發飛機滑偏或發動機停火,因此對航空運輸安全方面產生較大隱患。受制于雷達探測技術、光電技術、圖像技術的發展,我國許多機場仍然采用人工排查方法消除FOD 隱患,效率低、成本高且可靠性較差,難以滿足日益頻繁的起降需求。因此,研究一種基于圖像智能識別FOD 的算法,可以降低人工巡檢成本,對于航空安全維護具有重要意義。

FOD 探測技術包括雷達探測技術和光學成像探測技術。雷達探測技術利用毫米波雷達[2-6]和激光雷達[7]實現目標的高精度探測和定位,但雷達探測存在制造和維護成本高昂、異物特征信息較少以及信號處理過程復雜等問題。光學成像探測技術分為基于傳統圖像處理的探測技術和基于深度學習的探測技術。基于傳統圖像處理技術的目標檢測擅長從目標的顏色特征、幾何特征出發,通過圖像差分[8-9]、小波變換與形態學[10]、改進區域生長算法[11]和邊緣特征提取[12-13]等方法對含有異物的圖像進行處理,提取圖像中的異物特征信息再加以識別和分類。傳統圖像處理技術的實時性較好,但易受到光照、遮擋、缺陷等環境因素的影響,成像結果差異較大,影響目標異物的高精度識別與分類。基于卷積神經網絡(Convolutional Neural Network,CNN)的深度學習方法在提取復雜特征時比傳統方法具有更高的魯棒性。目前,深度學習目標檢測算法分為兩類:區 域 卷 積 神 經 網 絡[14](Region Convolutional Neural Network,R-CNN)、關鍵點區域卷積神經網 絡[15](Keypoint Region Convolutional Neural Network,Keypoint R-CNN)、快速區域卷積神經網 絡[16](Fast Region Convolutional Neural Network,Fast R-CNN)、Faster R-CNN[17]等基于特征區域提取和分類器的雙階段算法,以及SSD(Single Shot Multibox Detector)[18]、YOLO(You only Look Once)系列[19-26]等基于回歸的單階段算法。

基于CNN 的異物檢測算法[27]由改進區域建議網絡(Region Proposal Network,RPN)和基于空間變換網絡(Spatial Transformer Networks,STN)的CNN 分類器兩部分構成。改進RPN 設計了額外選擇方式,以生成數量較少的高質量候選框,引入STN 層大幅提高螺釘和石頭的識別率。CNN 這種側重于局部特征信息而忽視全局特征信息的檢測方法會影響異物的定位精度。雙 階 段Faster R-CNN 異 物 檢 測 器[28]在 裂 縫、石塊、金屬和塑料4 個類別識別率達到71.6%,但RPN 需預先獲取大量目標感興趣區域,因此長時間網絡推理導致實時性較差。改進YOLOv3 的FOD 檢測算法[29]采用計算量較低的Darknet-49作為特征提取網絡,將檢測頭數量增加至4 個,以實現多尺度特征融合。基于馬爾科夫鏈蒙特卡羅采樣的K-means++算法對邊界框尺寸進行聚類后將平均精度提高到86.5%。單階段算法通過網絡主干直接對目標特征進行擬合和表征,送入相應分支對目標位置及類別信息進行預測。實時性較強的網絡對目標類別及預測框修正次數更少,在小目標檢測任務中易因定位不準確等因素而影響檢測精度。

目前,FOD 檢測研究聚焦于白天自然光環境下,缺少針對夜間機場跑道FOD 檢測相關研究,夜間機場飛機起降頻次較低有利于FOD 的檢測和排除。本文提出一種融合自注意力特征嵌入的高精度夜間機場跑道異物檢測算法(Cross Stage Partial Transformer Network,CSPTNet),該算法采用跨階段局部主干網絡(Cross Stage Partial Network,CSPNet)提 取 目 標 特 征,在CSPNet 末端添加Transformer 模塊,通過特征嵌入和自注意力機制為特征之間增加關聯性并提高全局特征信息獲取能力;在后處理階段引入CIoU 修正定位損失,提高精度并降低計算量,在自建夜間機場跑道異物檢測數據集上進行實驗,以驗證算法有效性。針對數據集樣本異物尺度較小,特征信息缺乏等問題,引入融合自注意力特征嵌入的Transformer 瓶頸模塊并替換原有瓶頸模塊,提高全局特征和局部特征相關性,把主干網絡輸出的特征圖分割成子塊扁平化后與位置編碼進行特征嵌入,并將圖像中像素表示轉化成向量表示,最后在高維向量空間中捕捉像素間關系,使得小尺度異物目標上下文信息獲得關聯,增強了模型的表征能力。采用多頭自注意力機制(Multi-Head Self Attention,MHSA),從4 層并行縮放點積注意力(Scaled Dot-Product Attention,SA)分支子空間中提取不同分支聚合的特征信息,在逐通道拼接特征信息過程中融合全局特征與局部特征信息,豐富了小尺度異物目標的特征信息,增強模型針對異物目標的擬合能力以提高模型精度。針對夜間環境照度低且目標尺度較小導致輪廓邊緣模糊定位困難等問題,在模型后處理階段引入CIoU 損失函數計算目標間相似度,對預測框尺寸和中心位置進行修正優化,以提高模型對異物目標輪廓的定位準確度。

2 融合自注意力特征嵌入的異物入侵檢測網絡

2.1 CSPTNet 網絡結構

由于夜間機場跑道場景下具有環境照度低、異物目標尺度小等場景特點,且小目標異物存在難檢、錯檢以及定位困難等問題。為在小樣本數據集上完成夜間機場跑道異物入侵的實時準確檢測,本文基于YOLOv5 檢測網絡提出一種精度高、泛化能力強的卷積神經網絡CSPTNet,網絡結構如圖1 所示。

2.2 Transformer 瓶頸模塊

2.2.1 特征嵌入模塊

原始YOLOv5 模型在瓶頸層處應用標準瓶頸模塊[30]由一個1×1 卷積、一個3×3 卷積以及跳躍連接構成,其結構如圖2 所示。具有較強靈活性的1×1 卷積層主要用于降低通道數。當膨脹率設置為0.5 且輸入通道為640 時,經過1×1 卷積層之后通道數變為320,3×3 卷積層可用于特定通道數輸出,操作后參數量會大幅減少。

由于夜間機場跑道場景下的異物實例具有數量多和目標尺度偏小的特點,在網絡結構中使用較多卷積操作會導致目標特征信息大量丟失,不利于中小尺度目標的精確識別。因此,在使用標準瓶頸模塊效果較差的情況下,本文應用具備線性映射的Transformer 代替標準卷積進行特征篩選。除此之外,Transformer 模塊對特征圖進行位置信息嵌入,保證特征間有效關聯,采用Transformer 瓶頸模塊能夠實現位置信息的有效嵌入和全局特征提取[31]。

特征嵌入模塊將主干網絡輸出的特征圖劃分成N個P×P×C像素的子塊,通過扁平化操作可以將其轉換為N個P2C維向量。為了避免模型結構受到子塊尺寸的影響,采用線性投影將扁平化子塊轉換成D維向量,因此輸入特征可變換為N×D的D維嵌入特征,然后與位置嵌入求和并輸入編碼器中。特征嵌入過程如圖2所示。

圖2 瓶頸結構對比Fig.2 Comparison of bottleneck structures

2.2.2 多頭自注意力結構

夜間機場跑道異物數據集圖像目標體積小、分布散亂,并且易受環境變換(如成像角度、光照陰影等)的影響,導致成像結果較差。因此,在模型骨干網絡中引入MHSA[32],優化模型的特征提取能力,使卷積神經網絡在保持較少時空復雜度的同時,一方面可以增大網絡模型對輸入圖像重要區域的關注度,另一方面能夠豐富模型對目標輪廓細節信息的擬合度,從而提高模型在復雜場景下對密集散亂目標的檢測精度。

MHSA 根據主干網絡輸出的多尺度特征圖通過線性映射計算Q,K和V,對其應用softmax 激活函數歸一化之后,乘上將輸出結果輸入多層參數獨立的并行SA 分支子空間,最后逐通道拼接各分支輸出的特征圖,通過聚合不同分支特征信息豐富主干網絡提取的特征空間。

MHSA 允許模型從不同自注意力分支子空間中抽取更加豐富的特征信息,并有效預防過擬合。SA 和多頭自注意力計算公式如下:

其中:Q表示查詢向量,K表示鍵向量,V表示值向量,ω(·)表示激活函數softmax(·/dk),Concat表示Pytorch 框架中的拼接操作。

在編碼過程中,層歸一化(Layer Normalization,LN)[33]針對不同樣本計算當前所有神經元的均值和方差。雖然歸一化操作過程不受樣本批次大小的影響,但是增加了Transformer 模塊的計算復雜度,使得檢測網絡訓練過程耗時更長。因此,這里應用兩個全連接層代替原來的層歸一化,由于全連接Linear 輸入和輸出都是形狀保持不變的二維張量,因此這種替換方法可以在降低計算復雜度的同時有效地減少樣本批次大小的影響。Transformer 編碼器及MHSA 結構如圖3 所示。

圖3 多頭自注意力結構Fig.3 Multi-head self attention structure

2.3 目標定位損失函數優化

本文數據集異物圖像多為中小尺度,其像素面積占比量相較整幅圖像較小,且多數小目標存在邊緣特征模糊、輪廓定位不清晰等問題。圖4(a)和圖4(b)分別表示為像素尺寸為105×110的中等目標和15×26 的小目標預測框(紅色)及真實框(藍色)擬合示意圖(彩圖見期刊電子版)。假設預測框寬高均與真實框一致,當紅框較藍框沿X軸和Y軸發生10 像素偏移,可以計算出中等尺度目標平均交并比[34](Intersection over Union,IoU)為0.887,而小尺度目標僅為0.531,可知小目標預測框精確性受定位中心擬合準確性的影響較大。針對上述問題,將YOLOv5 網絡默認的GIoU[35]定 位 損 失 函 數 替 換 為CIoU[36]定 位 損 失函數,以提高模型對夜間機場跑道異物的定位精確性。

圖4 真實框與預測框的擬合結果Fig.4 Fitting result of real box and prediction box

為改善定位中心對小目標預測框準確性影響較大的情況,CIoU 損失通過回歸預測框和真實框中心點距離以實現加速收斂,增加了檢測框尺度以及寬高比損失,實現了預測框與真實框的有效擬合。CIoU 損失的計算公式如下:

應用CIoU 損失可以減小夜間機場跑道異物入侵檢測任務中出現的目標定位誤差,增強預測框對真實目標框的擬合能力。CIoU 損失示意圖如圖5 所示。

圖5 CIoU 損失示意Fig.5 CIoU loss of signal

3 實驗結果與分析

3.1 實驗數據集的建立及分析

根據芝加哥奧黑爾機場跑道實際場景的異物分布情況和深度學習對樣本需求的技術特點,設計并構建了夜間機場跑道異物數據集(Night Foreign Object Debris,NFOD)。NFOD 以混凝土和瀝青路面模擬機場跑道路面,該數據集共包含9 種異物:(1)螺母;(2)橡膠塊;(3)機械扳手;(4)釘子;(5)捆扎材料;(6)螺絲刀;(7)鉗子;(8)樹枝和樹葉;(9)金屬片。

3.1.1 數據集建立

本文采用AGV 無人車對模擬夜間真實環境下機場跑道路面進行相關類別異物的圖像采集。圖像采集設備的工作環境額定最低照度為0.051 lux,其他參數如表1 所示。為了保證AGV小車在低照度環境中正常移動,圖像傳感器正常采集異物圖像,為AGV 無人車上加裝1.2 W LED 光源,其作用面積約為2 m2,普通LED 燈光通量約為75 lm,利用系數約為0.3,維護系數為0.65。平均光照強度為:

表1 LRCP20680_1080P 攝像頭參數Tab.1 Parameters of LRCP20680_1080P camera

其中:Φ表示光源總光通量,CU表示利用系數,FM表示維護系數,S表示區域面積。計算可得:Eav=75 lm×1.2 W×0.3×0.65/2 m2=8.775 lx。由此可知,本文的模擬環境光照強度與夜間機場跑道道面環境相似。

對AGV 小車拍攝的異物圖像進行數據篩選后最終確定數據集的圖像數量為588 幅。使用Labelme 對包含9 個類的3 230 個實例目標進行標注,并轉化為PASCAL VOC2017 格式標注文件。采用Random 庫按照9∶1 的比例將數據集隨機劃分訓練集和測試集,分別用于訓練模型和驗證最終模型的泛化能力。機場跑道異物圖像示例及標注情況如圖6 所示。

圖6 NFOD 數據集圖像及標注Fig.6 NFOD dataset images and annotations

3.1.2 數據集建立

從各類別目標的尺度角度分析NFOD 夜間機場跑道異物入侵數據集,數據集中目標寬高尺度分布如圖7 所示。

圖7 目標實例尺度分布Fig.7 Target instance scale distribution

將目標尺寸大于96×96 像素的目標劃分為大尺度目標,將32×32~96×96 像素之間的目標劃分為中等尺度目標,將小于32×32 像素的目標劃分為小尺度目標。從圖8 可以看到,目標尺寸主要分布在5×5~80×80 之間,因此,NFOD 夜間機場跑道異物入侵數據集主要由中小尺度目標構成。

3.2 實驗配置

本文使用的操作系統為Ubuntu18.04,CPU為 Intel(R) Core(TM) i5-10400F,GPU 為NVIDIA RTX 3060(12G)的計算機。深度學習框架為Pytorch1.8.0、Python 版本為3.7、采用CUDA11.2、cuDNN8.0.5 加速模型訓練。

實驗過程中,將輸入圖像尺寸統一為640×640 并將批處理尺寸(Batch_Size)設置為8。在訓練階段設置迭代次數為400Epoch、初始學習率設置為0.001,在前5 個Epoch 使用Warmup 學習率預熱的方式從0 逐步增加到預先設定的學習率,以提高模型損失的收斂速度,5 個Epoch 以后使用余弦退火法對學習率進行衰減,以保證模型損失收斂的穩定性,權重衰減率設置為0.000 5。對最后的訓練模型精度和推理速度綜合比較后選出最優模型。

3.3 評價指標

為驗證算法的優越性及有效性,本文選取均值平均精度、模型參數量和每秒檢測幀數(幀率)3 種評價指標來綜合評價算法模型。均值平均準確率[37](mean Average Precision,mAP)是指在測試集中對各類目標檢測精度的平均值,即有:

其中:PAd表示每類的精確率,D表示數據集中類別數目。

每秒檢測幀數是指模型對測試集中對異物圖像檢測速度的平均值,計算公式如下:

其中:FT表示總幀數,TC表示模型檢測總時間。

航空安全對機場跑道異物檢測有誤報和漏報的要求。若使用高閾值AP@0.95 可能會導致異物漏檢,而使用低閾值AP@0.5 也可能導致異物誤報,綜合上述情況,使用閾值AP@0.75 來衡量模型性能,即IoU 閾值大于0.75 時的測試AP。

3.4 檢測結果與定量分析

3.4.1 CSPTNet 消融實驗

應用K-means 聚類算法對數據集標注的邊界框(Bounding Box,BBox)尺寸進行聚類分析,得到具有固定寬高的初始候選框。預置候選框先驗參數有助于模型加速收斂并且使模型獲得目標尺寸的先驗經驗,避免模型在訓練時盲目尋找目標。初始候選框的框選質量也會影響到模型的檢測精度和參數量。由于YOLOv5 包含3個檢測層,分別對3 個檢測層的不同類別先驗框進行聚類分析。每個錨點框所對應數值為錨點框的尺寸,從尺寸分布來看,重新聚類后的錨點框參數集中在5~90 之間,更適合小尺度異物目標。聚類前后3 個檢測層的初始候選框尺寸情況如表2 所示。

表2 檢測層的初始候選框尺寸Tab.2 Initial candidate box size of detect layers

采用K-means 聚類算法進行實驗,如表3 所示,計算最佳候選框尺寸后模型精度達到83.6%,能有效提高模型的檢測精度,相較于非最優候選框平均精度mAP 提高了0.7%,且圖像處理速度也提升了1.4 frame/s,因此驗證了初始候選框尺寸先驗性對實驗結果的積極影響。應用CIoU 定位損失函數進行實驗分析,由表3 和圖8(a)的實驗結果可知,YOLOv5 模型采用CIoU 目標定位損失函數后,模型的訓練精度相較于GIoU 損失函數收斂速度更快,收斂曲線的振蕩幅度較小。在測試精度上,CIoU 損失對中小目標檢測的優化效果較好,在多個小目標類別上精度有較大提升,平均測試精度達到了84.3%,提高了0.7%,驗證了應用目標框寬高比作為定位損失懲罰因子的CIoU 損失可以提高模型針對低照度場景下小尺度異物目標的定位能力。在添加了融合多頭自注意力與特征嵌入的Transformer 瓶頸模塊進行實驗分析,由表3 可知,模型精度提升至88.1%,平均精度提高了3.8%,但是由于增加了多個分支子空間提取特征信息,模型的圖像處理速度下降了4.5 frame/s。

表3 消融實驗結果Tab.3 Result of ablation experiments

3.4.2 自注意力分支子空間數量參數優化實驗

在YOLOv5-CIoU 模型框架基礎上,對融合自注意力與特征嵌入的Transformer 瓶頸模塊參數進行實驗,以獲得最好的模型效果。對比嵌入位置特征信息后,將特征圖輸入不同數量的分支子空間對Transformer 瓶頸模塊抽取長距離特征信息的影響。在MHSA 模塊中設置1,2,4,8 和16 個自注意力分支子空間進行實驗,實驗結果如表4 所示。

由表4 可知,MHSA 中分支子空間的數量對網絡表征能力有較大影響。從單個分支增加到4個分支,注意力分支子空間的增加使得網絡模型能夠從更多獨立注意力分支子空間中抽取特征信息進行長距離建模,以增強對中小目標的擬合能力,減少了中小尺度目標的特征信息損失,因此異物檢測識別率逐漸上升。而由4 個分支增加到16 個分支的精度變化過程可知,簡單增加分支子空間數量會使計算復雜度大幅上升,導致網絡性能下降,圖像處理速度由41.5 frame/s 降低到20.6 frame/s。由于采用了預訓練模型的訓練模式,模型的權重都為14.4 MB。綜合對比實驗結果,4 個分支的MHSA 表現最好,檢測精度最高,模型的圖像處理速度也較快,因此將CSPTNet-4Head 作為本文算法的最終模型。

表4 自注意力分支子空間數量效果對比Tab.4 Comparison of effect of subspace number of self-attentional branches

3.4.3 注意力機制對比實驗

本文對比Yolov5 框架下不同注意力機制在圖像處理速度、權重大小、平均精度以及各類別精度結果,以驗證MHSA 在特征提取能力上的優勢,實驗結果如表5 所示。其中,壓縮激勵注意力(Squeeze and Excitation,SE)、協調注意力(Coordinate Attention,CoordAtt)、卷積注意力(Convolutional Block Attention Module,CBAM)、通道注意力(Channel Attention,ChannelAtt)以及有效通道注意力(Effective Channel Attention,ECA)在精度上均有不同程度的下降,SE 精度最低,下降了7.8%,ECA 精度降低最少,下降了0.6%。以上注意力均基于通道信息建模各通道(特征圖)之間的相關性,通過模型訓練獲取各通道的重要程度,以強化重要特征和抑制非重要特征。但由于異物目標尺度較小,在獲取特征信息時高權重通道也包含大量非異物目標的冗余信息,影響模型的檢測精度。

表5 注意力機制對比實驗結果Tab.5 Comparative experiment results of attention mechanism

空 間 注 意 力(Spatial Attention Module,SAM)在原有精度基礎上提高了1.2%,為每個位置生成權重掩膜并加權輸出,從而增強感興趣的特定目標區域并弱化不相關的背景區域。在異物目標尺度較小而背景區域較大的情況下,SAM 重點關注存在異物目標的局部區域,因此能夠提高異物目標的檢測精度。

MHSA 的精度最高,達到88.1%,模型文件最小,僅為14.4 MB,雖然圖像處理速度最慢,為38 frame/s,但也達到了實時性標準。MHSA 通過將原始特征圖映射為4 個向量分支,減少外部信息依賴,利用特征內部的固有信息進行注意力交互。首先,計算Q和K的相關性權重矩陣系數;其次,通過軟操作對權重矩陣進行歸一化;最后,再將權重系數疊加到Value 上,以實現上下文信息的建模,有效地捕獲長距離的特征依賴。在多個獨立特征空間獲取特征信息之后進行拼接,豐富異物目標的特征信息,保證模型的檢測效果。

3.4.4 自注意力特征嵌入瓶頸模塊實驗

在CSPTNet 最終模型基礎上對比其他普通瓶頸模塊,以驗證Transformer 特征嵌入和MHSA 融合的有效性。本組實驗在上述網絡模型框架的基礎上,添加不同瓶頸模塊的模型進行性能對比。對比實驗中,應用的瓶頸模塊除自注意力特征嵌入瓶頸模塊外,還有標準BottleNeck,CSPBottleNeck,GhostBottleNeck,精度對比結果如表6 所示。

表6 瓶頸模塊效果對比Tab.6 Effect comparison of bottleneck modules

由表6 可知,融合自注意力特征嵌入的Transformer 瓶頸模塊相比于標準BottleNeck、CSPBottleNeck 和GhostBottleNeck 具 備 更 好 的小尺度目標檢測性能,權重大小相似,但是檢測速度稍差一些。Transformer 瓶頸模塊通過位置信息嵌入和MHSA 提高上下文信息的相關性,獲取更加豐富的目標特征信息,提高了模型的定位和檢測識別能力。CSPTNet 最終的測試精度可達88.1%,與標準瓶頸模塊相比,提升了5.7%。不同BottleNeck 模塊訓練精度過程的可視化如圖8(c)所示。

3.4.5 不同網絡實驗結果對比

選擇基于單階段目標檢測的YOLOv5,YOLOx,YOLOv3,YOLOv3-tiny,TOOD[38]和VarifocalNet[39]算法以及雙階段目標檢測的Sparse RCNN[40]和Faster R-CNN 算法與本文模型進行對比,以客觀評價CSPTNet 模型對夜間機場跑道異物檢測任務的優越性。為保證實驗結果的有效性,在同一配置設備上開展實驗并使用同一數據集,算法性能對比如表7 所示,可視化過程如圖8(d)所示。

圖8 mAP 可視化結果Fig.8 Visualization results of mean average precision

由表7 可知,CSPTNet 在9 個異物類別上的平均精度達到88.1%,超過經典檢測算法YOLOv3 和Faster R-CNN 以及最新提出的YOLOx,TOOD 和VarifocalNet、Sparse R-CNN 算法。本文算法在保持38 frame/s 的實時性基礎上,相比其他網絡大幅降低了模型參數量,并且在多個異物類別上的檢測識別準確率達到90%以上。綜上所述,夜間機場跑道異物檢測任務需要同時權衡模型平均檢測精度、檢測速度和模型權重,因此CSPTNet 模型的魯棒性更好,更適用于夜間機場跑道異物入侵檢測任務。

表7 模型效果對比Tab.7 Comparison of model effects

3.5 檢測結果與定性分析

由上述對比實驗可知,在NFOD 夜間機場跑道異物入侵數據集上,本文提出的算法能夠有效提高模型對中小目標的識別精度。與原始YOLOv5 模型相比,精度和泛化能力上均有一定程度的提升,并且未增加額外參數量,在引入CIoU損失函數后網絡的訓練收斂速度和精度也有一定提升。因此,本文提出的改進算法符合預期結果,測試圖像如圖9 所示。

由圖9 可以看出,像素面積占比較小的目標邊緣特征較為模糊,導致網絡對目標的定位誤差增大,分類置信度降低。本文針對小目標的改進算法能有效降低模型的漏檢率,在定位精確性和分類置信度上均有較大提升。

圖9 檢測結果可視化Fig.9 Test result visualization

圖10(b)是本文算法輸出特征圖的可視化結果,相比圖10(a)的YOLOv5 輸出特征圖,添加了特征嵌入和MHSA 的網絡模型在中小尺度目標周圍形成更多關注區域,異物目標的空間位置特征和其他特征關聯性增強,有利于小尺度目標的檢測。

圖10 特征圖可視化結果Fig.10 Visualization of characteristic image

4 結 論

本文針對夜間機場跑道異物入侵小尺度目標檢測需求,提出一種融合自注意力特征嵌入的異物檢測模型CSPTNet。通過引入融合自注意力特征嵌入的Transformer 瓶頸模塊,經過位置信息特征嵌入和MHSA 融合不同分支子空間的長距離特征信息建模,強化了模型對中小尺度目標上下文信息獲取能力,改善了中小尺度目標的特征信息缺乏的問題。針對小目標像素占比低和邊緣特征模糊等問題,引入CIOU 損失函數對定位損失進行修正,以提高模型對目標中心定位準確性。經過實驗驗證,本文算法能有效提高螺釘等9 類中小尺度目標的檢測精度,mAP 平均精度達到88.1%,較原始網絡模型提高5.2%,并且CSPTNet 的最高檢測速度可達38 frame/s,能夠滿足實時檢測要求。實驗結果表明,CSPTNet針對夜間場景具有更好的檢測效果。

夜間場景下非規則形狀小尺度異物的檢測難度更高,非規則異物相較規則異物形狀特征更豐富,但在低照度環境下邊緣形狀輪廓信息會受到更多干擾,并且檢測過程容易受到CNN 幾何建模能力限制,影響網絡模型的定位準確性。非規則小尺度異物的檢測可以從可變形卷積方向考慮,標準卷積中規則格點采樣會導致模型難以適應幾何形變,而可變形卷積為卷積核中每個采樣點位置增加偏移變量,動態調整大小和位置適應不同尺寸和形狀的幾何形變,實現格點周圍的自適應采樣。后續研究工作將繼續關注機場跑道小尺度異物類別精度的提高,為機場跑道異物智能檢測提供更準確的識別和定位信息并減少誤報和漏報。

猜你喜歡
特征檢測模型
一半模型
“不等式”檢測題
“一元一次不等式”檢測題
“一元一次不等式組”檢測題
重要模型『一線三等角』
重尾非線性自回歸模型自加權M-估計的漸近分布
如何表達“特征”
不忠誠的四個特征
當代陜西(2019年10期)2019-06-03 10:12:04
抓住特征巧觀察
3D打印中的模型分割與打包
主站蜘蛛池模板: 亚洲中文字幕久久精品无码一区| 国产乱人免费视频| 天堂岛国av无码免费无禁网站 | 国产地址二永久伊甸园| 亚洲国产成人精品一二区| 婷婷激情亚洲| 日韩123欧美字幕| 国产精品微拍| 国产高清又黄又嫩的免费视频网站| 国产成人精品午夜视频'| 女高中生自慰污污网站| 婷婷综合在线观看丁香| 九月婷婷亚洲综合在线| 欧美亚洲国产视频| 欧美激情第一区| 久久a级片| 国产成人综合久久| 另类欧美日韩| 色综合中文| 国产欧美亚洲精品第3页在线| 欧美成人在线免费| Jizz国产色系免费| 在线观看免费黄色网址| 十八禁美女裸体网站| 日韩色图区| 国产白浆视频| 男女男免费视频网站国产| 人妻出轨无码中文一区二区| 欧美另类图片视频无弹跳第一页| 久久亚洲高清国产| 国产精品亚洲专区一区| 国产一区二区免费播放| 精品国产成人三级在线观看| 狠狠做深爱婷婷综合一区| 四虎永久在线| 538国产视频| 国产精品无码AⅤ在线观看播放| 日本人妻一区二区三区不卡影院 | 国产杨幂丝袜av在线播放| 亚洲人成网站色7799在线播放| 九九这里只有精品视频| 国产福利微拍精品一区二区| V一区无码内射国产| 欧美在线观看不卡| 国产乱子伦无码精品小说| 亚洲伊人天堂| 国产成熟女人性满足视频| 69av免费视频| 欧美有码在线观看| 日韩国产亚洲一区二区在线观看| 熟女成人国产精品视频| 伊大人香蕉久久网欧美| 欧美成人综合在线| 日韩精品亚洲一区中文字幕| 先锋资源久久| 中文字幕第1页在线播| 久久精品中文无码资源站| 日韩在线永久免费播放| 99久久成人国产精品免费| 国产成人福利在线| 国产人成午夜免费看| 亚洲av综合网| 日本一区高清| 亚洲一级无毛片无码在线免费视频| a毛片在线免费观看| 人妻少妇乱子伦精品无码专区毛片| 欧美性久久久久| 99热这里只有精品在线观看| 成人午夜久久| 欧美国产日韩在线| 国产乱子伦视频在线播放| 国产人妖视频一区在线观看| 人妻精品久久无码区| 亚洲国产日韩在线成人蜜芽| 欧美日韩高清在线| yjizz视频最新网站在线| 在线观看国产一区二区三区99| 欧美日韩在线亚洲国产人| 六月婷婷激情综合| 成人免费一区二区三区| 亚洲AⅤ无码国产精品| 亚洲欧美日韩另类|