基于雷視融合YOLOv5變電站行人檢測

關鍵詞：目標檢測；雷視融合；多尺度融合；卷積注意力模塊；ＹＯＬＯｖ５

中圖分類號：ＴＰ３９１ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）１１－２７１８－１５

０引言

電力工業是國民經濟的基礎產業，為社會生產和人民日常生活提供電力保障。電力安全的重要性決定了電力系統安全監督檢查的必要性。將視覺信號和毫米波雷達信號結合起來，可以解決單一傳感器穩定性差、對環境敏感等缺點，可實現全天候和各類光照條件環境下的精準檢測，將毫米波雷達傳感器和視覺傳感器進行感知融合成為了當前的研究熱點之一［１］。

文獻［２］提出ＰｏｉｎｔＮｅｔ 網絡，將雷達點云數據直接送入網絡中進行端到端學習。文獻［３ ］在ＰｏｉｎｔＮｅｔ 的基礎上進行改進，提出了檢測效果更好的ＶｏｘｅｌＮｅｔ，但由于３Ｄ 卷積運算量大，導致實時性不強；對此，文獻［４］提出ＰｏｉｎｔＰｉｌｌａｒｓ，通過對雷達點云數據進行柱擴張，將無序點云數據轉換為有序的點云柱，然后進行２Ｄ 卷積，彌補了ＶｏｘｅｌＮｅｔ 網絡的不足，提升了檢測的速度；文獻［５］利用卷積神經網絡對毫米波雷達圖像中的目標進行檢測［６］。文獻［７］提出一種基于空間注意力融合全卷積單階段目標檢測（Ｓｐａｔｉａｌ Ａｔｔｅｎｔｉｏｎ Ｆｕｓｉｏｎ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｏｎｅ-Ｓｔａｇｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ，ＳＡＦ-ＦＣＯＳ）方法，雷達點云圖通過卷積濾波后，將其轉化為點云對應的ＲＧＢ 圖像信息來提取特征融入視覺圖像特征當中，同時對不同融合方式進行消融實驗，證明了采用毫米波雷達數據進行注意力融合的有效性，但并未對雷達點云的卷積濾波以及雷達視覺融合方式進行深入研究，模型精度不佳；文獻［８］在ＳＡＦ-ＦＣＯＳ 的基礎上進行改進，采用了運行速度極慢的ＦＣＯＳ［９］結構作為主干網絡，不滿足變電站安全監控所需的實時性。

本文選用模型更小、運行速度更快、工程化更好的ＹＯＬＯｖ５［１０］作為主干網絡，對毫米波雷達點云特征的提取和雷達視覺融合方式進行研究，提出了一種改進ＳＡＦ 融合模塊和毫米波雷達點云多尺度特征融合分支，并在自建數據集上進行了對比實驗和消融實驗，實驗結果驗證了所提基于多尺度雷視融合目標檢測算法在變電站安全監控場景下的有效性。

１相關原理

１．１多源傳感器融合方式的選擇

多傳感器感知融合方式一共有數據級融合、特征級融合和決策級融合３ 種［１１］。每種融合方式示意如圖１所示。

數據級融合一般是將雷達的點云數據投影到圖像像素上，然后進行匹配融合，在數據融合完成之后再進行特征提取和目標識別等后處理操作［１２］。特征級融合指各個傳感器獨自進行特征提取，然后把提取出來的特征進行融合，根據融合特征進行目標識別等判決［１３］。決策級融合通常由每個傳感器獨立完成目標檢測等判決，隨后將各個傳感器的判決結果進行時間和空間上的關聯，最后得出最終的判決結果。

數據級融合的優點是能夠最大程度地保留信息［１４］；缺點是未經過處理的雷達點云數據往往存在很多虛警點，并且相比于像素點，雷達點云一般比較稀疏，很難直接和像素點匹配。決策級融合過程中，數據丟失的信息最多，融合的精度低［１５］。特征級融合相比數據級融合而言，由于先對原始數據進行了特征提取，因此大大降低了處理的數據量和計算量，提高了模型的實時性，相比決策級融合而言，特征級融合又保留了足夠多的信息量，融合精度高。綜上所述，本文采用特征級融合的方式。

１．２毫米波雷達點云ＲＧＢ圖的生成

雷達傳感器和視覺傳感器的融合過程中，首先需要將雷達和攝像頭在空間上融合起來。雷達坐標系和像素坐標系的關系轉換如圖２所示。

２算法設計

本文提出的以ＹＯＬＯｖ５作為主干網絡的多尺度雷視融合目標檢測算法整體框架如圖４ 所示，主要由三部分組成，分別是毫米波雷達點云特征和視覺特征提取部分、ＹＯＬＯ Ｎｅｃｋ 部分和ＹＯＬＯ Ｈｅａｄ部分。與ＹＯＬＯ 原版相比，特征提取部分新增添了一條毫米波雷達點云多尺度特征融合分支以及相應的對雷達點云特征和視覺特征進行感知融合的空間注意力融合模塊。毫米波雷達點云多尺度特征融合分支中額外引入卷積注意力模塊（Ｃｏｎｖｏｌ ｕｔｉｏｎａｌＢｌｏｃｋ Ａｔｔｅｎｔｉｏｎ Ｍｏｄｕｌｅ，ＣＢＡＭ）來更好地提取毫米波雷達點云特征。

２．１空間注意力融合模塊改進

文獻［７］提出一種空間注意力融合模塊（ＳｐａｔｉａｌＡｔｔｅｎｔｉｏｎ Ｆｕｓｉｏｎ Ｍｏｄｕｌｅ，ＳＡＦ），雷達點云特征首先通過３ 個并列的卷積核來進一步提取特征，然后和圖像特征相乘。實驗結果表明，卷積結構能夠使雷達點云特征得到更好的表達。但實驗結果同樣表明，文獻［７］提出的逐元素相乘融合結構不是最適合雷達點云特征和視覺特征相結合的，逐元素相加融合結構明顯更優于級聯融合和逐元素相乘融合，提出的簡單并聯的卷積核結構并不能充分從多尺度上提取雷達點云特征。本文對其提出的ＳＡＦ模塊進行改進，具體結構如圖５所示。

受到ＧｏｏｇＬｅＮｅｔ 中ｉｎｃｅｐｔｉｏｎ結構的啟發，并且考慮到毫米波雷達點云的稀疏特性并不適合通過特別深的神經網絡來提取特征，因此對這個簡單并聯卷積核結構進行了保守擴展，額外增添了一層網絡層。受殘差網絡思想的啟發，改進的ＳＡＦ 模塊中，雷達點云特征首先和視覺特征進行一次逐元素相加融合來作為模塊的底層特征，并和卷積核提取出來的特征再進行一次逐元素相加融合，最大化提升雷達點云特征在網絡模型中的占比，提高弱傳感器在多源感知融合過程中的比重。

２．２毫米波雷達點云多尺度特征融合分支

毫米波雷達點云原始數據轉化為雷達點云ＲＧＢ 圖之后，將其送入毫米波雷達點云特征提取分支。在實驗過程中發現，由于毫米波點云的稀疏特性，使用完整的ＹＯＬＯ 特征提取結構來對點云特征進行提取時，損失函數的輸出值總是“ｎａｎ”。因此，對ＹＯＬＯｖ５ 的特征提取結構進行了簡化，雷達點云ＲＧＢ 圖像輸入網絡后，只需進行一次通道壓縮（Ｃｈａｎｎｅｌ Ｂｌｏｃｋ Ｓｑｕｅｅｚｅ，ＣＢＳ ）和跨階局部網絡（Ｃｒｏｓｓ Ｓｔａｇｅ Ｐａｒｔｉａｌ Ｎｅｔｗｏｒｋ，ＣＳＰ）模塊來進行特征提取，舍棄了后面第二次的ＣＢＳ 和ＣＳＰ 輪換模塊以及最后的ＣＢＳ 和空間金字塔池化（Ｓｐａｔｉａｌ ＰｙｒａｍｉｄＰｏｏｌｉｎｇ，ＳＰＰ）特征提取模塊。

深度學習網絡模型深度的減少會弱化模型的特征提取能力。而雷達點云的稀疏特征并不適合使用過深的網絡來進行特征提取。為了在不增加深度的情況下提升模型的特征提取能力，在雷達特征提取分支中引入ＣＢＡＭ［１８］來增強網絡的學習能力。ＣＢＡＭ 由通道注意力模塊（Ｃｈａｎｎｅｌ Ａｔｔｅｎｔｉｏｎ Ｍｏｄｕｌｅ，ＣＡＭ ）和空間注意力模塊（ＳｐａｔｉａｌＡｔｔｅｎｔｉｏｎ Ｍｏｄｕｌｅ，ＳＡＭ）組成，具體的模塊結構如圖６所示。

文獻［１９］對雷達點云數據進行編碼之后，直接通過ＣＢＡＭ 模塊與視覺數據進行數據融合，隨后將數據融合的結果輸入ＣＳＰＤａｒｋｎｅｔ５３-ｔｉｎｙ 主干網絡中進行特征提取。毫米波雷達稀疏的點云特性使得其在多源感知融合的過程屬于弱傳感器，文獻［１２］直接將毫米波雷達點云數據和視覺數據進行數據融合，導致后者的特征蓋過前者，從而網絡模型主要以學習視覺特征為主，并不能充分發揮雷達點云的優勢。根據文獻［１８］，ＣＢＡＭ更適合連接在卷積模塊之間發揮作用。因此，本文所提出的毫米波雷達點云多尺度特征融合分支首先將雷達點云ＲＧＢ圖輸入卷積模塊中進行特征提取，隨后再將提取出的特征輸入ＣＢＡＭ 中以更好地提升雷達點云特征的表達能力。

文獻［８］提出了一種ＳＡＦ模塊改進結構，雷達點云特征和視覺特征感知融合之后的輸出再經過一個最大池化層，然后送入視覺特征提取分支中進行融合，實驗發現通過２ 個最大池化層，做２ 次額外特征融合時的效果是最佳的。最大池化層的作用是通過對特征圖進行下采樣來降維，擴大感知野，壓縮特征，稀疏的雷達點云特征通過多個池化層會導致信息丟失，反而影響模型的特征學習能力。文獻［８］所提模型結構的有效原因并非在于引入了多次的最大池化操作，而是進行了多尺度的特征融合。因此，毫米波雷達點云多尺度特征融合分支只使用了一個最大池化層。在雷達點云特征通過ＣBＡＭ 和最大池化層之后進行多尺度的特征融合。毫米波雷達點云多尺度特征融合分支示意如圖７所示。

３實驗結果與分析

３．１數據集

變電站安全監控主要預防外來人員侵入，從四川省某地數個變電站的監控數據中截取包含不同時刻作業人員共１ ０００ 幀構成實驗的數據集，變電站攝像頭視頻圖像的分辨率為１ ６００ ｐｉｘｅｌ×９００ ｐｉｘｅｌ，毫米波雷達均為７７ ＧＨｚ 調頻連續波（ＦｒｅｑｕｅｎｃｙＭｏｄｕｌａｔｅｄ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ，ＦＭＣＷ）毫米波雷達。毫米波雷達數據首先經過聚類形成點云，然后將點云數據轉化為毫米波雷達點云ＲＧＢ圖。數據集中的雷達點云ＲＧＢ圖和視頻圖像分別如圖８ 和圖９所示。毫米波雷達點云ＲＧＢ圖中不同顏色的圓代表了不同的ＲＧＢ轉換結果。數據集按照８∶１∶１的方式劃分為訓練集、驗證集和測試集。

３．２實驗環境和評估方式

本實驗的配置和型號如表１所示，訓練過程的實驗參數設置如表２所示。

３．３對比實驗

為了驗證提出的改進ＳＡＦ 融合模塊的有效性，首先，對逐元素相加融合、逐元素相乘融合、級聯融合進行對比實驗。在ＳＡＦ 融合模塊的基礎上額外引入圖１０所示的ＳＡＦ＿＋和ＳＡＦ＿Ｃ融合模塊，并在ＹＯＬＯｖ５ｓ上進行了驗證，結果如表３所示。

由實驗結果可知，逐元素相加融合是能夠更好結合雷達點云特征和視覺圖像特征的融合方式，逐元素相加融合比ＳＡＦ 所采用的逐元素相乘融合在ｍＡＰ 上提升了１.１％ ，推理時間上二者大致相同。

為了進一步探究毫米波雷達稀疏的點云特征采用何種深度的卷積網絡來提取更為合適，以及殘差信息通道對模型性能的提升效果，在ＳＡＦ＿＋融合模塊的基礎上額外引入了圖１１ 所示的雙層卷積ＳＡＦ＿＋融合模塊、３ 層卷積ＳＡＦ＿＋融合模塊、帶有殘差結構的３層卷積ＳＡＦ＿ ＋ 融合模塊并和改進ＳＡＦ 融合模塊進行對比實驗，結果如表４所示。

由實驗結果可知，雙層卷積網絡的特征提取能力要好于單層卷積網絡，雙層卷積逐元素相加融合模塊的ｍＡＰ 比單層卷積逐元素相加融合模塊提升了０．９％ ，但是過深的網絡反而會對點云特征的表達有負面影響，可以看出當卷積層數從２層提升到３層的同時，ｍＡＰ 反而下降了１.１％ 。而引入殘差通道之后，單層卷積ＳＡＦ＿＋的ｍＡＰ 較原結構的提升僅有０． １％ ，可能是由于網絡結構太淺，殘差結構起到的作用有限。３ 層卷積ＳＡＦ＿＋的ｍＡＰ 較原結構提升了０.５％ ，但仍然比雙層卷積ＳＡＦ＿＋低０．６％ ?？梢宰C明殘差通道能夠有效提升雷達點云特征表達，但網絡層數加深仍然會導致模型的性能下降。改進ＳＡＦ 融合模塊相比于雙層卷積ＳＡＦ＿＋融合模塊，在其基礎上多了一條殘差信息的通道，ｍＡＰ 較原結構提升了０.７％ ，比帶有殘差結構的３ 層卷積ＳＡＦ＿＋提升了１.３％ ，證明了該改進融合模塊可以有效保留毫米波雷達點云特征在網絡學習中的表達。

為了驗證本文所提出的毫米波雷達點云多尺度特征融合分支結構的有效性。額外引入了圖１２所示的融合框架，進行了對比實驗，實驗結果如表５所示。

實驗結果表明，該毫米波雷達點云多尺度特征融合分支結構優于其他所有結構。２次特征融合Ａ比單次特征融合Ａ 的ｍＡＰ 高０.２％ ，３次特征融合Ａ 比２ 次特征融合Ａ的ｍＡＰ 提升了９.４％ ，驗證了多尺度特征融合能夠使得雷達的點云特征表達得更加充分，有助于提升毫米波稀疏點云特征在雷視融合目標檢測網絡中的學習比重。將雷達點云ＲＧＢ圖直接輸入ＣＢＡＭ 的單次特征融合Ｃ、２次特征融合Ｃ 和３ 次特征融合Ｃ，性能相較采用直接進行特征提取的方式均有較大程度的下降，證明了直接使用ＣＢＡＭ 進行特征提取時的性能較差。雷達點云ＲＧＢ圖不進行特征提取，僅僅通過Ｍａｘｐｏｏｌ層之后就進行特征融合的單次融合Ｂ，其ｍＡＰ較單次融合Ａ 下降了２０.４％ ，說明仍需要首先對雷達點云ＲＧＢ圖進行特征提取才能夠使得模型更好地融合雷達特征。特征提取之后再銜接ＣＢＡＭ 的２ 次融合Ｂ 和３ 次融合Ｂ 較２ 次融合Ａ 和３ 次融合Ａ 在ｍＡＰ 上分別得到３.５％ 和０.８％ 的提升，證明了ＣＢＡＭ 更適合用于卷積模塊之后。３次融合Ｄ 較相較于２ 次融合Ｂ 提升了２.２％ ，再一次證明多尺度的特征融合有助于提升模型性能，相較于３ 次融合Ａ 的性能反而下降了３.７％ ，說明稀疏的雷達點云特征并不適合采用復雜特征提取結構。本文所提雷達特征提取分支相較于３次融合Ｄ 和２次融合Ａ 在ｍＡＰ上分別提升了５％ 和１．３％ ，證明了在ＣＢＡＭ 之后銜接一個最大池化層既可以提升多次特征融合的性能，又可以避免特征的過度提取導致雷達點云信息的丟失。

為了進一步驗證該算法的有效性，將本文所提網絡模型與其他目標檢測主流算法進行了對比實驗，實驗結果如表６ 所示，本文所提網絡模型相比其他主流目標檢測網絡在ｍＡＰ 上均為最佳。和ＳＳＤ算法和ＹＯＬＯｖ５ｓ 相比在模型大小上稍有劣勢，但ｍＡＰ 分別提升了１５． ３％ 和１０.３％ ，由于額外增添了一條雷達點云特征提取信號，導致模型推理速度比ＹＯＬＯｖ５ 慢。文獻［８］提出的基于ＦＣＯＳ網絡的雷視融合目標檢測算法雖然ｍＡＰ 也達到了９０.７％ ，但是ＦＰＳ 比本文所提算法低１１．１，模型大小是本文算法的近３ 倍。綜合ｍＡＰ、推理速度以及模型大小來看，本文所提算法結構在主流目標檢測算法中表現較為出色。

３．４消融實驗

為了驗證本文所提出的改進ＳＡＦ 融合結構，以及引入了ＣＢＡＭ 的多尺度特征融合分支的有效性，進行消融實驗。實驗的基線模型即為ＹＯＬＯｖ５ｓ，實驗環境及參數均相同，實驗結果如表７ 所示，其中“√”代表額外在基線模型上增添該架構，“×”代表沒有增添該架構。

由表７可知，在ＹＯＬＯｖ５ｓ 網絡模型上增添了毫米波雷達點云特征的輸入之后，模型的ｍＡＰ 由８１．５％提升到了９０．９％ ，表明了額外感知設備帶來的新的特征信息能夠顯著提升模型目標檢測的性能。額外增添多尺度特征融合之后，模型的ｍＡＰ 從９０．９％提升到了９１．８％ ，驗證了本文所提毫米波雷達點云多尺度特征融合分支能夠幫助模型更好地學習雷達點云特征。消融實驗驗證了本文所提模塊和特征融合分支能夠對模型精度改善起到出色效果，雖然每個模塊的引入分別會在ＦＰＳ上降低３． ４、１．２，但２５．２ 的ＦＰＳ 仍能滿足變電站安全監控場景下目標檢測所需的實時性。

３．５可視化分析

為了驗證本文所提算法和結構對于變電站安全監控場景下的有效性，對模型在數據集上的推理結果進行可視化分析。選擇簡單場景采光良好、復雜場景采光良好和簡單場景采光不良３ 種典型場景進行分析，如圖１３所示。圖中左列為ＹＯＬＯｖ５ｓ檢測結果，右列為本文算法檢測結果，模型漏標的地方用黃色圓圈標注。

第一組是簡單場景采光良好下的檢測結果，本文算法完成了對圖中所有人員的檢測，而ＹＯＬＯｖ５ｓ漏掉了最右邊的作業人員。ＹＯＬＯｖ５ｓ 漏掉的目標可能是由于作業人員并非常見的站立姿勢以及距離攝像頭過遠，對于本文算法而言，由于額外雷達信息的引入，可以讓模型更加注意該區域，從而識別出目標。第二組為復雜場景采光良好下的檢測結果，本文算法一共漏掉２ 個目標，ＹＯＬＯｖ５ｓ 一共漏掉７ 個目標。本文所提算法漏掉的目標都距離傳感器極遠，超過毫米波雷達傳感器作用范圍以及遮擋極其嚴重，并沒有反饋到足夠的雷達信息；而觀察ＹＯＬＯｖ５ｓ 漏掉的目標可以發現，當目標在圖像中占據的像素點不夠多的時候，稍微有點遮擋，單傳感器模型就極易漏檢。第三組為簡單場景采光不良下的檢測結果，本文算法一共漏掉一個目標，ＹＯＬＯｖ５ｓ一共漏掉３個目標。當目標有所遮擋或者姿勢不同于最常見的站姿時，ＹＯＬＯｖ５ｓ 就會漏檢；而本文所提算法漏掉的目標在圖中屬于遮擋極其嚴重，只有半個安全帽漏出，而對正常遮擋以及罕見姿勢目標沒有漏檢。綜上分析可知，額外的雷達點云特征的引入有力地提升了模型的檢測性能。額外的雷達點云信息可以引導模型在輸入特征中產生一個更加感興趣的區域，從而使得模型在檢測的時候更加注意存在雷達點云特征的地方，雷達點云特征的引入相當于起到注意力引導的作用。本文所提雷視融合結構和毫米波雷達點云多尺度特征融合分支能夠使模型有效結合毫米波雷達和視覺２ 種傳感器所得不同的信息特征。

４結束語

基于純視覺傳感器的目標檢測在面對遮擋、場景復雜和采光不良的情況時，極易出現漏檢的情況?；冢疲希茫拥睦滓暼诤夏繕藱z測網絡實時性差，難以在變電站場景中落地應用。本文選擇了實時性更好的ＹＯＬＯｖ５作為主干網絡，改進了雷達信息和視覺信息的融合方式，提出了帶有殘差結構和卷積結構的ＳＡＦ 模塊，引入ＣＢＡＭ 使得網絡模型能夠有效從輸入中提取出感興趣的目標區域，在改進ＳＡＦ 模塊和ＣＢＡＭ 的基礎上，設計了雷達點云多尺度特征融合分支，并在自制數據集中進行實驗。實驗結果顯示，使用了殘差結構和多層卷積結構的改進ＳＡＦ模塊能夠有效解決在雷達信息融入視覺信息的過程中，雷達信息表達不充分的問題，多尺度的特征融合分支能夠使模型在識別過程中，有效利用雷達信息產生興趣區域。實驗結果表明，本文所提算法的ｍＡＰ０．５：０．９５和ＦＰＳ均顯著優于其他主流目標檢測算法和雷視融合算法。在未來的工作中將繼續探究不同注意力機制對稀疏毫米波雷達點云特征表達的影響，重新設計稀疏點云特征的注意力機制，進一步提升網絡性能。

作者簡介

陳亮 男，（１９８３—），博士，高級工程師。主要研究方向：電力人工智能。

李敏 女，（１９８１—），政工師。主要研究方向：電力市場。

高杰 男，（１９８９—），工程師。主要研究方向：電力系統及其自動化。

劉勇 男，（１９８４—），工程師。主要研究方向：絕緣技術。

魏先彥 男，（１９８９—），工程師。主要研究方向：繼電保護。