999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

改進YOLOv7-tiny的輕量級紅外車輛目標檢測算法

2024-01-18 16:52:10許曉陽高重陽
計算機工程與應用 2024年1期
關鍵詞:特征融合檢測

許曉陽,高重陽

西安科技大學 計算機科學與技術學院,西安 710054

道路交通安全是不可忽視的公共交通安全問題,據統計,道路交通事故導致全世界每年約130萬人死亡和5 000 萬人受傷,其中受極端天氣影響及夜間駕駛行車導致的車禍近70%,給個人及社會造成了極大的損失。因此,如何解決道路交通安全、動態識別目標在計算機視覺方向已經逐步成為一個關注的焦點。

目標檢測是計算機視覺領域目前的研究熱點。該技術主要通過結合目標定位和識別檢測兩項技術,在給定圖像中精準定位目標邊框并檢測出目標所屬的具體類別。目標檢測技術在許多領域被廣泛應用,如人臉識別、機器人視覺、智能視頻監控、無人駕駛(如道路檢測、交通燈檢測)、醫學圖像檢測、光學遙感圖像檢測[1]等領域。目標檢測算法分為傳統目標檢測算法和基于深度學習的目標檢測算法兩類。傳統目標檢測算法有基于手工特征設計的HOG[2](histogram of oriented gradient)檢測器,但HOG 實時性較差,且由于梯度的原因,對于噪點相當敏感,導致檢測精度較差;也有基于傳統滑動窗口檢測方式DPM[3](deformable parts model),通過構建尺度金字塔進行搜索,該方法運算速度快,但性能一般,且無法進行大幅度旋轉,穩定性較差。

近年來,隨著深度學習的發展,使用人工神經網絡進行目標檢測的算法越來越多。基于深度學習的目標檢測算法主要分為兩類,雙階段目標檢測和單階段目標檢測。雙階段目標檢測先進行區域生成(region proposal,RP),再通過卷積神經網絡進行樣本分類,隨后進行分類和回歸來實現目標檢測,例如SPPNet[4]、Faster R-CNN[5]等。雙階段目標檢測算法精度較高但檢測速度較慢,并不適合進行實時檢測。另一類算法為不使用RP 的單階段目標檢測算法,直接預測物體的類別和位置。通過錨框對物體進行檢測,并采用非極大值抑制(non-maximum suppression,NMS)得出最終預測結果,例如:SSD[6]、YOLO[7-9]等。該類算法雖然精度一般,但檢測速度快,較為適合完成實時檢測任務。

目前研究者們主要研究可見光下的目標檢測,但紅外場景下的目標檢測較少。可見光圖像可以提供豐富的目標細節信息,但容易受到環境因素的影響,在缺乏光源、陰雨天和霧天的情況下,幾乎無法識別到目標物體。紅外圖像與可見光圖像成像的原理不同,可見光圖像屬于反射成像,在白天視野較為良好的情況下圖像包含豐富的圖像邊緣、紋理和顏色等細節,但在光亮度較差時圖像的識別度較差。紅外熱成像識別技術具有探測能力強、作用距離遠的優點,且具有穿透煙霧、云層、霧霾等能力,即使在面對暴雨、暴雪等惡劣環境和夜間行車光線不佳的復雜背景環境下,仍能準確識別待檢測目標。

吳杰等人[10]基于YOLOv4算法設計輕量級多尺度監督網絡,降低了模型的體積。李北明等人[11]基于YOLOv5算法,通過使用GhostNet 模塊與模型剪枝進行網絡改進,降低了模型的計算量和體積。胡皓等人[12]基于YOLOX-S 算法,通過引入結構重參數化模塊提高檢測精度。賈天豪等人[13]基于SSD算法,引入增強特征映射塊提高小目標檢測效果。上述學者在輕量化與小目標檢測精度方面取得了一定的成果。

趙明等人[14]提出了跨域融合網絡,結合多模態進行紅外目標檢測,并在紅外數據集FLIR上取得了87.7%的準確度;黃磊等人[15]引入MobileNetV3模塊,并使用DIoUNMS[16]后處理方法改善對遮擋物體的檢測能力,降低了參數量與計算量,精度下降了0.37%。以上方法雖然對紅外目標檢測取得了較高的準確度,但由于整體目標檢測算法存在檢測模型體積龐大、參數量較大、計算量較高且難以部署在資源有限的邊緣設備中。目前也有學者研究輕量級紅外目標檢測算法,雖在模型輕量化方面取得了一定的進展,但對比原有模型與其他輕量級模型,精度方面仍有一定程度上的損失,并不能達到輕量化與精度相平衡。本文基于YOLOv7-tiny[17]算法的基礎上,提出了一種改進的輕量級紅外車輛目標檢測算法KD-YOLO-DW。首先,通過融合深度可分離卷積提出了ELAN-DW模塊,并將其作為模型的特征提取主干網絡,在保證原有精度的同時實現特征提取主干網絡的輕量化。其次,在特征融合層采用GhostNet V2[18]模塊,在參數量與計算量更少的前提下,融合更多層次的特征信息。使用動態非單調FM(focusing mechanism)的WIoU[19]損失函數,解決了由于數據集本身帶來的難易樣本不平衡的問題,進一步降低小目標的檢測難度,提高對小目標的檢測精度。然后,提出跨尺度融合策略以提高輕量化模型精度并降低紅外小目標的漏檢率。最后,通過知識蒸餾[20]對YOLO-DW 算法進行優化得到KD-YOLODW算法,進一步提高了YOLO-DW算法對紅外車輛目標檢測的準確性。該方法為解決道路安全問題提供了新的方法思路。

1 基礎理論

本文對紅外車輛目標檢測問題進行研究,選取YOLOv7-tiny為基準算法進行改進。在提高算法檢測精度的條件下,同時解決紅外車輛小目標檢測難度大的問題。

YOLOv7-tiny 是一種輕量級目標檢測算法。該算法由四部分組成:輸入層(Input)、特征提取主干網絡(Backbone)、特征融合層與檢測頭(Head)。將固定尺寸的圖片輸入,將其送入由普通卷積層、Mpconv與Elan卷積層構成的特征提取主干網絡中。將主干網絡提取的特征圖送入通過SPPF[21]改進后的SPPCSPC 模塊,進行處理后再送入Head網絡。隨后采用聚合特征金字塔結構,最后采用卷積對不同尺度的特征進行通道調整,借助CIoU損失函數計算目標框的置信度。

YOLOv7-tiny算法具有較少的參數和計算量,能保持較高的檢測精度,但該算法仍然有一些不足之處。首先,由于在特征提取主干網絡中使用了大量的ELAN模塊,導致網絡參數量過多、計算量過大,檢測速度仍有優化的空間。其次,由于在特征融合層也過多地使用了ELAN 模塊,使特征融合容易出現特征冗余的情況,導致識別精度降低。最后,該算法受輕量化設計和網絡結構的限制,檢測精度較差,無法準確地檢測紅外車輛場景下的目標,尤其是該場景下的小目標。

2 模型設計

檢測模型的準確性、輕量化程度是紅外車輛目標檢測算法的重要評價指標,由于汽車駕駛平臺資源有限,模型需要在一定程度上做到輕量化。本文改進YOLOv7-tiny 提出了KD-YOLO-DW 算法,其網絡結構如圖1 所示。首先,使用本文設計的高效輕量級層聚合網絡ELAN-DW 模塊,充分利用梯度路徑設計策略,減少運行時間、提高網絡運行效率、提高網絡模型特征提取能力。其次,使用輕量級GhostNet V2模塊替換特征融合層的ELAN 模塊,降低模型計算復雜度、獲取更為豐富的語義信息并增強圖像特征的融合能力。同時使用動態非單調FM 的WIoU 損失函數,解決難易樣本不平衡的問題,提升模型非線性表達能力、提高對小目標的檢測精度。隨后,根據殘差網絡結構思想提出了跨尺度融合策略,設計了新的跨尺度、多尺度連接網絡,如圖1中紅線所示。通過利用淺層特征提取階段的目標特征,融合深層網絡的語義信息,實現從深層到淺層的多特征提取,能夠獲得更全面、更準確的特征表示,提高模型對目標的理解和識別能力,也可以更好地識別小目標、模糊目標和遮擋目標等較難檢測的目標,從而提高輕量級目標檢測模型的準確率。

2.1 輕量級GhostNet V2模塊

輕量級GhostNet[22]模塊將輸入特征圖分為兩部分,一部分通過卷積生成特征圖,另一部分則直接進行線性操作獲得,最終將其拼接。這樣可以大幅度地減少計算代價,但這個過程中,一些細微重要的特征信息可能會丟失,導致特征失真的風險增加。GhonstNet V2 提出了解耦全連接注意力機制(DFC attention),它具有動態校準與捕捉長距離空間信息的能力,更易在硬件上部署。直接將DFC attention與Ghost module并行連接會引入額外的計算成本,但將特征的寬度和高度縮放為原始的一半,就可減少DFC attention 75%的計算量。再把得到的特征圖通過上采樣操作還原到原始大小,以匹配Ghost分支特征的分辨率大小。GhostNet V2采用反向瓶頸設計,使用兩個Ghost module將特征維度先升高后降低,這種設計策略自然解耦了模型的表現能力與容納能力。而將DFC attention與第一個Ghost module并行,可以增強擴展的特征。增強后的特征被輸入到后面的Ghost module中產生輸出特征,同時捕捉到不同空間位置的像素之間的長距離依賴性,在大量降低計算復雜度的同時極大程度地增強了特征的融合能力與模型的表達能力。GhostNet V2 通過將通道分組使得網絡計算并行化,能夠適應不同大小的輸入數據,擁有更少的計算開銷。此外,使用低秩分解技術在減少冗余參數數量的同時,保證模型精度。考慮到紅外輕量級模型需要適配資源受限的設備中,而GhostNet V2模塊能在減少計算復雜度的同時更好地學習特征,因此更適合本文模型。圖2為GhostNet 與GhostNet V2的結構圖。

2.2 輕量級ELAN-DW模塊設計

高效層聚合網絡(efficient layer aggregation network,ELAN)在網絡層面上屬于梯度路徑設計網絡[23]的范疇,主要解決在執行模型縮放時深度模型的收斂性會逐漸惡化的問題。ELAN 模塊中設計了“計算塊中的堆棧”策略,來避免使用過多過渡層的問題,并使整個網絡的最短路徑梯度快速變長。對于梯度路徑設計策略,有以下優點:

(1)有效地使用網絡參數。梯度路徑設計策略通過調整梯度傳播路徑,幫助不同計算單元學習不同信息,促進網絡多樣性與表達能力。

(2)穩定的模型學習能力。梯度路徑設計策略直接確定并傳播信息以更新權重到每個計算單元,所設計的架構可以避免訓練期間的退化。

(3)快速的推理速度。梯度路徑設計策略使得參數利用非常有效,因此網絡可以在不增加額外復雜架構的情況下,提高模型的精度和效率。

如圖3 所示,(a)為YOLOv7 中的ELAN 模塊,由6個卷積塊組成。(b)為YOLOv7-tiny中的ELAN模塊,較(a)保持一定精度的同時,降低部分參數量與計算量。(c)為本文設計的ELAN-DW模塊。通過對ELAN模塊進行分析并聯合梯度路徑設計策略,將深度可分離卷積(depthwise separable conv,DWconv)[24]融入模塊中。其中利用步長為2、卷積核大小為3的卷積進行下采樣,步長為1的3×3的DWconv進行特征提取。通過增大卷積核使得在不同尺度情況下獲取更大感受野,提高不同特征的判別性,增加網絡的非線性表達能力,最終提高模型的特征學習與表達能力。此外,淺層能夠提取較多豐富的特征信息,并在第四層采用較小尺寸的深度可分離卷積進一步降低參數量與計算量。使得特征圖的每個通道之間具有一定的信息交流,并將下層的特征信息與前幾層更為豐富的特征信息互相補充。通過ELANDW模塊構建主干網絡,能夠在不同層級上構建多個路徑,捕捉到更為豐富的信息,并且將不同路徑上的特征進行融合,從而較典型特征提取主干網絡有更多不同層次的細節特征與語義信息。

在參數量方面,深度可分離卷積使用的參數量遠遠小于普通卷積,能夠在損失較少精度的同時大大減少參數量。深度可分離卷積分為兩部分,由逐通道卷積和逐點卷積組成。普通卷積計算量為:

其中,DF×DF×M為輸入特征維度,M為通道數,N為卷積核數量,Dk×Dk為卷積核大小。深度可分離卷積先通過逐通道卷積,其計算量為:

隨后將特征維度為M×DF×DF的特征圖進行逐點卷積最后輸出特征圖,其中逐通道卷積核逐點卷積計算量為:

將上述計算量相加,深度可分離卷積的計算量可表示為:

在忽略整體模型龐大的卷積核數量時,根據公式可推知普通卷積計算量為深度可分離卷積的倍。

2.3 損失函數改進與跨尺度融合策略

2.3.1 損失函數改進

原YOLOv7-tiny 模型中使用CIoU 邊界框損失函數,CIoU考慮邊界框回歸的重疊面積、中心點距離與縱橫比,使得回歸定位更加精準。但仍存在以下問題:在預測框回歸過程中,一旦預測框和真實框(ground truth box)的高和寬縱橫比呈線性比例時,CIoU損失函數中相對比例的懲罰便退化為0不起作用。

本文使用具有動態非單調FM 的WIoU v3。當一個性能良好的模型為低質量樣本生成高質量錨框,單調FM 為這些錨框分配較大的梯度收益時,模型的學習效果會被大幅度降低。Zhang等人[25]提出了非單調調頻的Focal-EIoU和單調調頻的Focal-EIoU,Focal-EIoU的FM是靜態的,它規定了錨框的邊界值,使得IoU 損失函數等于邊界值時具有最高的梯度增益,但沒有考慮到錨框的質量評價體現在相互比較之中,因此沒有充分利用非單調調頻的優勢。此外,由于數據集本身難易樣本不均衡,訓練數據會不可避免地出現一些低質量的樣本。傳統的IoU 損失函數通過距離、長寬比等會加重低質量樣本的懲罰,降低模型的泛化性,而兩層注意力機制的WIoU v1則不會出現這些問題,在WIoU v1基礎上設計的WIoU v3 使用動態非單調FM 可以屏蔽訓練過程中諸多負面影響,通過權衡低質量樣本與高質量樣本的比例,解決小目標模糊不清、重疊遮擋目標難以檢測的問題,從而進一步提高模型精度及模型檢測的整體性能。具體計算公式如下:

下文中WIoU 統一指WIoU v3 損失函數。為進一步驗證WIoU損失函數的泛化性與有效性,使用YOLOv7-tiny 作為實驗模型,將WIoU 損失函數與CIoU、Focal-EIoU、α_iou[26](α=3)目前使用的主流損失函數在本文數據集上進行對比實驗,如圖4所示。

圖4 損失函數對比Fig.4 Comparison of loss functions

從圖4中可以看出WIoU損失函數在不增加參數量與計算量的情況下,在mAP@0.5 方面具有一定程度上的優勢。這是由于WIoU損失函數中的動態非單調FM根據紅外目標檢測任務權衡紅外數據集中弱小目標與模糊目標的比例,充分發揮動態非單調FM 的優勢,促進模型更準確地預測目標的邊界框,從而提升模型在紅外目標檢測任務的泛化能力。結果表明WIoU 是優于目前使用的主流損失函數,效果更為優秀。

2.3.2 跨尺度融合策略

當神經網絡層數達到一定深度時,繼續增加網絡層數并不會提高精度,甚至可能會產生導致梯度消失或梯度爆炸問題。為提高紅外車輛目標檢測網絡特征提取能力,聯合殘差結構思想,構建了特征融合層與Backbone層的跨尺度特征融合,如圖1中紅色箭頭所示。圖像深層特征包含更高級的語義信息,如物體的形狀紋理等。淺層特征具有更細致的局部特征信息,如邊緣信息等。利用淺層特征提取階段得到的目標特征,將其與深層網絡的語義信息進行融合,實現了從深層到淺層的多特征提取。本文提出的跨尺度融合策略增加了低層級與高層級之間的跨層連接,能夠在底層信息與上層信息融合過程中學習到更多細節特征,從而提高模型對目標的理解與識別能力。此外,還能更好地應對一些挑戰,例如小目標、模糊目標和遮擋重疊目標等難以檢測的目標。

跨尺度融合從以下三個方面提高模型檢測準確率。(1)信息融合方面。可以將不同尺度的特征圖進行融合,增加了多尺度信息的交互性,提高了模型的準確率。(2)感受野方面。跨尺度連接可以擴大模型感受野,將低分辨率特征圖的信息通過卷積操作融入高分辨率的特征圖中,有效增強高分辨率特征圖的有效感受野。(3)減少漏檢誤檢情況。在某些紅外場景下,當物體大小非常接近時,容易錯誤地檢測為一個物體或者同類物體。根據輕量級模型的紅外車輛檢測任務,提出的跨尺度特征融合策略可以將來自不同尺度的信息融合在一起,從而增加模型對待識別目標的理解,提高小目標檢測的準確性、大幅度降低漏檢、誤檢的概率。

為評估本文提出的跨尺度特征融合策略的有效性,分別對YOLOv7-tiny和YOLOv7模型使用該設計,評估本文提出的跨尺度網絡特征融合策略的優劣性,實驗結果見表1。

表1 跨尺度網絡對比Table 1 Cross-scale network comparison 單位:%

表1 中++代表使用了本文設計的跨尺度特征融合策略。由表1實驗結果可以看出,通過增加特征融合層與Backbone 層不同尺度特征的跨尺度信息融合,改進后的YOLOv7-tiny 與YOLOv7 模型分別較原始模型在mAP@0.5、mAP@0.5:0.95方面均有較高的提升。這是由于本文提出的跨尺度特征融合策略將主干網絡輸出的多層級特征再次融合,將不同類型、不同層級、不同尺度的特征拼接,增加了低層級與高層級之間的信息跨層交流,對特征互相補充學習,獲取更為豐富的語義信息與特征信息,驗證了本文根據網絡模型設計的跨尺度特征融合策略的有效性。

2.4 知識蒸餾

較小的模型復雜度與計算成本低,但不能達到紅外車輛目標檢測所需的精度要求。因此本文采用知識蒸餾模型技術來提高算法識別精度。知識蒸餾(knowledge distillation)是通過較大的教師模型將知識壓縮到學生模型中,在保持高精度的同時減少學生模型的復雜性與計算成本。其原理如圖5所示。

圖5 知識蒸餾示意圖Fig.5 Schematic diagram of knowledge distillation

知識蒸餾將教師模型中生成預測的軟目標作為監督信號,學生模型通過最小化其輸出與教師模型輸出之間的距離來學習教師模型的知識。其在Softmax中增加溫度參數T來實現軟目標的分布。通過增加蒸餾溫度可以使生成的概率分布更加平滑,從而使得簡單的學生模型更容易學習到較為復雜的知識,其公式為:

其中,qi表示類別i的概率,取值范圍為[0,1];Zi表示輸入到Softmax函數的線性輸出;T為所設置的溫度參數,其取值越大,輸出的目標類別的概率分布越平滑,軟標簽的軟化程度越高,概率分布越平滑。選取較高的溫度值會有更平滑的概率分布,導致學生模型在訓練時過于關注教師模型的概率分布,使得學生模型過度擬合教師模型的錯誤預測,進而降低學生模型的泛化能力。較低的溫度值則會導致更加尖銳的概率分布,使得學生模型對于預測概率較高的類別產生更集中的預測,最終導致在測試集的精度下降。

3 實驗結果與分析

3.1 實驗環境與數據集

3.1.1 數據集

數據集選用FLIR公司公開數據集。該數據集由安裝在車輛上的紅外攝像頭獲取,共有14 452 張紅外圖像,包含四類目標,分別為汽車、行人、自行車與犬類。由于犬類圖像過少,將無效圖像與犬類的圖像剔除后,選取8 000張圖片,將其按照8∶1∶1劃分成訓練集、驗證集、測試集。

3.1.2 實驗環境與實驗設置

本文實驗使用Ubuntu18.04系統,處理器采用Intel?Xeon?W-2150B CPU@3.00 GHz,GPU 型號為Nvidia GeForce RTX3090Ti,顯存24 GB,實驗環境為Python 3.8、Pytorch 1.11、Cuda 11.3。

實驗訓練參數設置為:初始學習率為0.01,Batch_size設置為12,選擇Adam優化器進行優化,權重衰減系數為0.000 5,采取epoch 為300、學習率動量參數為0.937的Warmup方法訓練,并采取一維線性插值更新學習率,在Warmup之后采取余弦退火算法對學習率進行更新。實驗過程模型訓練均設置為300個epoch。

3.2 消融實驗設計

為驗證本文對原網絡模型改進的有效性。以mAP@0.5與mAP@0.5:0.95作為消融實驗評估指標,以原模型YOLOv7-tiny 算法為基準設計消融實驗進行模塊評估分析,實驗結果見表2。其中“√”表示實驗中采用該模塊,否則為不使用該模塊。

表2 消融實驗結果對比Table 2 Comparison of ablation results

根據表2的結果可以看出:通過在Head特征融合層嵌入GhostNet V2模塊,僅在精度均值下降了0.91個百分點的情況下,參數量減少了9.8%。表明GhostNet V2模塊在保持輕量級的同時,通過并行計算與注意力機制等可以更好地捕捉圖像特征,提升模型的表達能力,更適合應用于邊緣設備中。由于特征提取主干網絡與Head部分采用本文設計的輕量級ELAN-DW模塊后,精度均值僅下降了2.03個百分點,但模型的參數量大幅減少了37.7%。這表明,通過本文設計的ELAN-DW 模塊構建的主干網絡通過不同層級的多個路徑得到不同尺度的語義信息與細節特征,將這些低層級的細節特征與高層級的語義特征融合,能夠更好地捕捉目標的上下文信息,提高檢測的準確性。主干網絡中的ELAN-DW模塊通過路徑梯度策略將不同大小、不同參數量的卷積集成,擁有更小的參數量。而傳統主干網絡通常由固定感受野設計,參數量多且具有較弱的特征表達能力。因此本文所設計的模塊在參數量與準確性之間取得了平衡,在降低模型參數量的同時能有效保證檢測精度,驗證了本文設計模塊的有效性。E組實驗可看出,本文主要通過ELAN-DW 模塊與GhostNet V2 模塊中的多層級連接,能夠盡可能多地減少普通卷積層,從而大量降低參數規模。值得注意的是,在多組損失函數對比實驗中,本文采用了WIoU 損失函數,相較于原始網絡使用的CIoU 損失函數,模型的實驗精度有所提高,這是由于WIoU損失函數中的動態非單調FM根據紅外檢測任務的需求及時調整,對小目標的重疊程度更加敏感,且能夠更準確地預測目標的邊界框,從而提高模型的檢測精度與泛化能力。此外,D組實驗表明本文提出的跨尺度融合策略在不增加計算量的前提下擁有更好的效果。區別于傳統特征融合金字塔,本文提出的跨尺度融合策略能夠將ELAN-DW 模塊不同層級融合后的語義信息與特征再次跨尺度拼接,增加特征的豐富性和多樣性,使得模型能夠同時利用多種信息,因此能夠較高程度地提高輕量級模型檢測的準確性。最后,在E組實驗基礎上添加WIoU損失函數與跨尺度融合策略,增加了極少的參數量與計算量。模型整體在使用較少卷積層與池化層的情況下提高了模型精度。這主要得益于不同層級特征圖互相融合互相學習,信息跨層交流從而減少了冗余,增加了模型所學習特征的豐富性和多樣性。與基準網絡YOLOv7-tiny進行對比,結果表明在參數量下降24.5%的基礎上,精度方面提升1.29 個百分點。實現了模型在具有較高輕量化程度的同時在精度方面未有損失,仍有所提升,滿足部署在資源有限的嵌入式設備中的需求。

3.3 知識蒸餾溫度對比實驗

為驗證溫度對知識蒸餾效果的影響,本文使用YOLOv7作為教師網絡,本文所提出的YOLO-DW作為學生網絡,對比原始基準模型YOLOv7-tiny 網絡,對不同的蒸餾溫度進行實驗測評,實驗結果如表3所示。

表3 不同蒸餾溫度對比結果Table 3 Comparison results of different distillation temperatures

其中KD 表示對模型使用知識蒸餾(knowledge distillation)處理。由表中數據可以看出,隨著蒸餾溫度的升高,訓練精度逐步增加,但測試精度可能在某一溫度點后逐步下降,整體呈現出先升后降的趨勢。因此選取一個合適的蒸餾溫度極為重要。對本文設計的KD-YOLO-DW 算法采用不同的蒸餾溫度,精度方面都有不同程度的提高,當蒸餾溫度為25 時可獲得最佳的模型精度。

3.4 目標檢測算法對比實驗

為了驗證本文所提出模型的輕量化程度與準確性,本節對所提出的KD-YOLO-DW模型與其他目標檢測模型進行對比。所有算法均使用相同的硬件設備,以本文數據集進行訓練,以確保實驗結果的可靠性與公平性。將參數量(Params)、計算量(FLOPs)、mAP@0.5、mAP@0.5:0.95、模型體積大小與FPS作為評估指標,具體實驗結果如表4所示。

表4 不同模型的對比實驗Table 4 Comparative experiments of different models

表4 實驗結果可以看出,與輕量級YOLOv3-tiny、YOLOv4-tiny算法相比,本文算法的參數規模分別下降了47.1%和22.0%,計算量分別下降了15.3%和32.01%,精度方面分別提升了22.89 個百分點和20.69 個百分點。且FPS有較高程度的優越性。

同時,將本文模型與現有主流的輕量級網絡YOLOv5s、YOLOv6s、YOLOX-s 算法進行了對比,在參數量方面,本文模型分別下降了34.2%和42.5%,計算量下降了30.8%和49.0%,mAP@0.5 提升了7.84 和1.98 個百分點,FPS 方面提高了82.8%和18.5%。與YOLOv6s算法對比,雖然FPS方面下降了4%,但在參數量與計算量下降75.1%與75.7%的情況下mAP@0.5 提高了3.07個百分點,這表明參數量與計算量的龐大并不能夠保證模型的高精度與高實時性。與原始網絡YOLOv7-tiny對比,本文模型不僅在參數量與計算量方面下降了24.6%和16.7%,保證了改進網絡模型的高輕量化程度。FPS方面雖有一定程度的損失,但仍能完成實時檢測任務。同時mAP@0.5 與mAP@0.5:0.95 上升了3.27 和3.15 個百分點,改進的KD-YOLO-DW網絡模型不僅實現了高輕量化,同時也大大提高了精度。

綜上所述,KD-YOLO-DW 模型在六類指標的結果中均優于其他模型,這表明本文所提出的輕量化模型在更少參數量、更低計算量、更小模型體積的條件下,精度并未損失且有一定程度上的提高,證明了本文算法的有效性與先進性。

mAP@0.5 代表當檢測的目標框與真實目標框的IoU大于等于0.5時,將其視為正確的檢測結果。mAP@0.5:0.95表示在IoU閾值從0.5到0.95范圍內,以0.05為步長計算不同閾值下的AP,并取平均值作為mAP 的結果。圖6、圖7 為YOLOv7-tiny、YOLO-DW 與KDYOLO-DW 的模型曲線圖,其中橫坐標epoch 為訓練輪數、縱坐標為mAP 取不同閾值的準確率,符合表3 與表4中的性能指標。

圖6 不同算法mAP@0.5對比圖Fig.6 Different algorithms mAP@0.5 comparison graph

圖7 不同算法mAP@0.5:0.95對比圖Fig.7 Different algorithms mAP@0.5:0.95 comparison graph

通過圖8 展示的6 組檢測結果可以發現,第一組與第六組對比圖顯示,原模型在遠距離情況下未檢測出行人,存在小目標漏檢情況。然而,本文的KD-YOLODW模型正確檢測到模糊小目標。如圖中紅框所示,本文模型通過使用動態非單調FM的WIoU損失函數解決了小目標模糊不清、難以檢測的問題,可以明顯看出模糊小目標檢測的效果得到了顯著的改善。第三組對比圖顯示,原模型在遮擋和待檢測目標不完整的情況下只檢測到自行車上的人。第五組則未能正確檢測對向車道行駛的車輛。相比之下,采用本文提出的ELAN-DW模塊和跨尺度融合策略通過融合不同層次的特征信息,將其互相補充提高模型的學習能力與表達能力。可以正確檢測自行車與人,同時還能檢測到樹下停放的車輛與對向車道行駛的車輛,檢測到模糊小目標,滿足車輛駕駛過程中的檢測任務,從而驗證了本文改進的通用性與有效性。在第二組與第四組對比圖中,原模型存在檢測車輛不完整和遮擋人物未正確檢測的問題。本文提出的算法提高了對小目標、模糊目標、遮擋重疊目標檢測的辨識度,在更輕量化的同時具有更好的檢測效果與更強的魯棒性,從而滿足車輛駕駛過程中對紅外場景下輕量化、高精度檢測的需求。

圖8 檢測結果圖像對比Fig.8 Image comparison of detection results

4 結論

為了進一步降低紅外目標檢測算法的參數量和計算量,提高待檢測目標與小目標的精度,本文提出了一種輕量級紅外目標檢測算法:KD-YOLO-DW。首先,結合深度可分離卷積設計了輕量級ELAN-DW模塊,將其作為YOLOv7-tiny的主干網絡模塊,極大地降低參數量與計算量。其次,在Head 層引入GhostNet V2 模塊,進一步降低模型的參數量和計算量。針對原始網絡引入動態非單調FM 的WIoU 損失函數,解決數據集帶來的難易樣本不平衡問題,以進一步提高模型的檢測性能。然后,根據輕量級網絡模型結構提出跨尺度融合策略,聯合殘差結構思想設計全新跨尺度網絡,在不增加參數量的前提下大幅度提高模型的學習能力和泛化能力,從而得到輕量級YOLO-DW算法。最后,使用知識蒸餾技術對YOLO-DW算法進一步濃縮優化,獲得高精度的輕量級紅外目標檢測算法KD-YOLO-DW。與YOLOv7-tiny算法相比,本文提出的KD-YOLO-DW算法在檢測精度方面提升了3.27個百分點,參數量和計算量分別下降了24.6%和16.7%,可以更好地滿足邊緣設備部署的需求。

猜你喜歡
特征融合檢測
村企黨建聯建融合共贏
今日農業(2021年19期)2022-01-12 06:16:36
“不等式”檢測題
“一元一次不等式”檢測題
“一元一次不等式組”檢測題
融合菜
從創新出發,與高考數列相遇、融合
《融合》
現代出版(2020年3期)2020-06-20 07:10:34
如何表達“特征”
不忠誠的四個特征
當代陜西(2019年10期)2019-06-03 10:12:04
抓住特征巧觀察
主站蜘蛛池模板: 亚洲制服中文字幕一区二区| 国产交换配偶在线视频| 国产在线无码av完整版在线观看| 欧美精品在线免费| 日韩中文字幕免费在线观看| 欧美视频二区| 国产精品成人免费视频99| 色老头综合网| 国产成人免费观看在线视频| 美女无遮挡拍拍拍免费视频| 欧美在线一二区| 日韩av高清无码一区二区三区| 性69交片免费看| 国产亚洲精品97AA片在线播放| 久久国语对白| 欧美成人在线免费| 永久成人无码激情视频免费| 99热这里只有精品在线观看| 亚洲欧美一区二区三区麻豆| 国产精品三级专区| 男女精品视频| 亚洲最新地址| 日韩 欧美 国产 精品 综合| 99re这里只有国产中文精品国产精品| 国产又粗又爽视频| 欧美无遮挡国产欧美另类| 青草娱乐极品免费视频| 嫩草影院在线观看精品视频| 国产精品欧美在线观看| 日韩中文无码av超清 | 国产男女XX00免费观看| 无码精品国产dvd在线观看9久| 强奷白丝美女在线观看| 99人妻碰碰碰久久久久禁片| 欧美不卡视频一区发布| 亚洲一级毛片在线观播放| 午夜精品久久久久久久2023| 国产乱子伦一区二区=| 国产精品99久久久| 国产sm重味一区二区三区| 99在线小视频| 福利小视频在线播放| 欧美区一区二区三| 首页亚洲国产丝袜长腿综合| 国产一级裸网站| 国产精品成人免费视频99| 内射人妻无码色AV天堂| 亚洲an第二区国产精品| 久久窝窝国产精品午夜看片| 人妻中文字幕无码久久一区| 国产麻豆福利av在线播放| 一级黄色欧美| 毛片三级在线观看| www.youjizz.com久久| 日韩国产黄色网站| 国产成人区在线观看视频| 天天摸夜夜操| 国产成人三级在线观看视频| 亚洲色图欧美激情| 欧美一道本| a国产精品| 欧美成在线视频| 重口调教一区二区视频| 亚洲美女久久| 啪啪国产视频| 欧美日韩福利| 久久久久久国产精品mv| 在线精品亚洲国产| 久草视频中文| 国产精品久久久免费视频| 欧美有码在线观看| 四虎影视库国产精品一区| 欧美日韩国产在线人| 国语少妇高潮| 午夜色综合| 国产黄在线观看| 亚洲国产精品日韩av专区| 亚洲欧美h| 91视频精品| 日本爱爱精品一区二区| 日韩在线视频网| 亚洲AV无码久久精品色欲|