地面箭頭標識線檢測的改進M2Det算法*

霍愛清，李 易

(西安石油大學電子工程學院,陜西 西安 710065)

1 引言

地面箭頭標識線[1]檢測是無人駕駛汽車[2]安全輔助系統中的關鍵技術之一。傳統的檢測方法通過車載傳感器和數學知識進行建模，檢測速度與檢測精度均不理想。文獻[3]提出的支持向量機與圖匹配相結合的檢測方法不適用于其它地面箭頭標識線，僅對直行箭頭標識線具有良好的檢測效果。文獻[4]介紹了一種基于“十”字形模型匹配的檢測方法，檢測精度僅為78.74%。隨著科技的進步，國內外研究人員提出了一系列基于深度學習[5 - 7]的地面箭頭標識線檢測方法。文獻[8]提出了一種基于主成分分析網絡的箭頭標識線檢測方法，其需要提前將圖像中的各類標識線通過二值化梯度特征方法進行定位，因此該檢測方法較為復雜。Lee等人[9]利用VPGNet(Vanishing Point Guide Network)實現各類箭頭標識線的檢測，通過端到端的卷積神經網絡對大量圖像進行訓練，從而獲得地面箭頭標識線的準確位置，但其檢測速度僅有20 fps。文獻[10]提出的MobileNet v1網絡將卷積操作分為深度卷積操作和逐點卷積操作，因此大幅度減少了網絡的參數量。Zhao等人[11]于2019年提出了一種單階段目標檢測算法M2Det，該算法構造了一種更有效的特征金字塔網絡MLFPN(Multi Level Feature Pyramid Network)用來檢測不同大小的物體，但該算法參數量較大。

本文在M2Det算法的基礎上進行改進，以實現地面箭頭標識線的端到端檢測，在減少參數量的同時提高檢測準確率。具體內容包括：

(1)利用輕量級網絡MobileNet v1替代原始M2Det算法中的VGG特征提取網絡，以減少參數量，提高檢測速度；

(2)采用Mish激活函數替代深度卷積與分離卷積中的ReLU激活函數，以提高主干特征提取網絡的泛化能力與訓練的穩定性；

(3)針對網絡參數量減少導致檢測精度受損的現象，將BasicRFB(Basic Receptive Field Block)模塊添加在MobileNet v1網絡中，用以提高檢測準確率；

(4)采用Mosaic數據增強方法對實驗數據進行擴充，解決數據集不足問題。

2 改進M2Det算法

2.1 改進M2Det算法整體框架

改進M2Det算法主要包括以下3個部分：首先,利用主干特征提取網絡(Backbone Network)對輸入的原始圖像進行粗略的特征提取；然后,將其輸入MLFPN模塊構建更有效的特征金字塔，生成置信度高低不均的邊界框和類別分數；最后,通過非極大抑制NMS(Non-Maximum Suppression)預測網絡對置信度較低的邊界框進行剔除，從而獲得與目標物體最為接近的預測結果。改進M2Det算法框架如圖1所示。

Figure 1 Overall framework of improved M2det algorithm圖1 改進M2det算法整體框架

下面闡述對主干特征提取網絡和MLFPN模塊的具體改進。

2.2 主干特征提取網絡

VGG(Visual Geometry Group)[12]網絡是M2Det算法的主干特征提取網絡，由于其比較耗費計算資源，且占用較多內存空間，一般的輕量級網絡雖然提高了檢測速度，但檢測精度也隨之受影響。因此，本文為得到更適合檢測各類地面箭頭標識線的主干特征提取網絡，提高各類小目標物體在豐富背景下的檢測精度與檢測速度，選用MobileNet v1輕量級網絡替換VGG網絡；并添加BasicRFB[13]模塊，以增大感受野的方式提高檢測精度，避免發生因網絡參數量減小而出現精度受損的現象；另外，為提高主干特征網絡的泛化能力與訓練效果，用Mish[14]激活函數替代深度卷積與逐點卷積中的ReLU(Rectified Linear Units)激活函數。主干特征提取網絡結構如圖2所示。

由圖2中的虛線框可知，MobileNet v1網絡由一個標準卷積塊(Conv2d)和一連串深度可分離卷積(Depthwise Conv)[10]組成。首先將輸入圖像統一調整成320×320×3大小，經過一系列卷積操作得到Conv1～Conv5 5個特征層，對Conv4進行上采樣操作后與Conv3堆疊，隨后添加BasicRFB模塊，與Conv5添加BasicRFB模塊后的特征層合并輸入到FFM1模塊中，進行初步的特征融合。

Figure 2 Structure of backbone feature extraction network 圖2 主干特征提取網絡結構

2.2.1 MobileNet v1網絡

MobileNet v1網絡的基本單元是深度可分離卷積，可細化成3×3深度卷積與1×1逐點卷積。先使用深度卷積對每一個輸入通道單獨進行處理，再通過1×1逐點卷積對深度卷積的輸出進行組合，以此來減少計算量。另外，深度卷積與逐點卷積中均包含歸一化單元BN(Batch Normalization)和非線性激活函數ReLU。改進M2Det算法用Mish激活函數代替ReLU激活函數，Mish激活函數無邊界，可以避免出現因為封頂而產生的梯度飽和問題；同時，Mish激活函數非單調，有助于穩定網絡梯度流，具有較好的泛化能力。改進深度可分離卷積結構如圖3所示。綜上所述，改進的MobileNet v1網絡可以提高地面箭頭標識線的檢測準確性與檢測實時性。

Figure 3 Structure of improved depth separable convolution 圖3 改進深度可分離卷積結構

標準卷積計算量如式(1)所示：

(1)

其中，DK表示卷積核的大小,M表示輸入通道數,N表示卷積核個數,DF表示輸入特征的寬。

MobileNet v1網絡計算量如式(2)所示：

(2)

2.2.2 BasicRFB模塊

BasicRFB模塊與Inception[15]網絡結構相似，是一個借鑒了空洞卷積[16]思想的多分支卷積模塊。以40×40×512這一特征層為例的BasicRFB結構如圖4所示。具體而言，首先，在每個分支中引入瓶頸(bottleneck)結構，用1×1和3×3的卷積層來減少特征圖中的通道數，加深網絡深度；同時參考ResNet[17]網絡中的直連(Short Cut)結構，避免出現因為網絡深度的增加導致梯度發散的現象，從而影響檢測效果。此外，BasicRFB模塊中還利用1×7和7×1的卷積層替換7×7卷積層來減少網絡的參數量，提高模型的訓練速度。空洞卷積是在傳統卷積中引入空洞，允許卷積核與擴張率為r的像素點進行乘積運算，在參數量不變的情況下，生成更高分辨率的特征圖，便于檢測各類地面箭頭標識線，本文中的r分別為1，3，5，7。

Figure 4 Structure of BasicRFB 圖4 BasicRFB結構

2.3 MLFPN模塊

M2Det算法提出的MLFPN網絡繼承了SSD(Single Shot multibox Detector)[18]型和FPN(Feature Pyramid Network)[19]型特征提取網絡的優點，細化了目標物體的尺寸。MLFPN由特征融合模塊FFM(Feature Fusion Module)、細化的U型模塊TUM(Thinned U-shape Module)和尺度特征融合模塊SFAM(Scaled-wise Feature Aggregation Module)3個部分組成，其結構如圖5所示。首先，FFM1將主干網絡提取的特征聚合成語義信息更為豐富的基礎特征(Base Feature)，隨后經過交替連接的TUM和FFM2實現特征的深度提取，生成多層次多尺度特征。其中，前面的TUM1生成淺層(Shallow)特征，中間的TUM2和TUM3生成中層(Medium)特征，后面的TUM4生成深層(Deep)特征。最后，SFAM將TUM中獲得的多層特征按照不同維度進行堆疊，并施加自適應注意力機制，形成多級特征金字塔，最大程度地強化網絡的特征提取能力。

Figure 5 Structure of MLFPN module 圖5 MLFPN模塊結構

在MLFPN模塊中，由于每一個TUM參數量較大，為保證訓練精度的同時還能提高訓練速度，本文將默認配置中的8個TUM修改成4個TUM。由圖5可知，除TUM1之外，其它TUM均可從前一個TUM和基礎特征中同時進行學習。下面對特征融合模塊、細化U型模塊和尺度特征融合模塊進行具體介紹。

2.3.1 FFM模塊

FFM是MLFPN網絡中的特征融合模塊，包含FFM1與FFM2 2個子模塊。其中，FFM1結構如圖6所示，其主要目的是將主干網絡提取到的不同深度與尺寸的特征進行融合，得到一個統一尺寸的基礎特征層。由圖6可知，1×1卷積用來壓縮特征通道數，由于淺層特征的長與寬較小，需進行上采樣操作，使其可以與深層特征進行融合。FFM2結構如圖7所示，其主要目的是將前一個TUM模塊輸出的最大特征層與基礎特征層進行融合，輸入下一個TUM模塊，不斷進行特征的深度提取。

Figure 6 Structure of FFM1 圖6 FFM1結構

Figure 7 Structure of FFM2 圖7 FFM2結構

Figure 8 Structure of TUM 圖8 TUM結構

2.3.2 TUM模塊

TUM是一個細化的U型模塊，其編碼器是一系列步長為2、卷積核大小為3×3的卷積層，解碼器將這些卷積層的輸出作為接下來求和操作的輸入。另外，在解碼器分支的每一個上采樣和求和操作后，均添加了一個1×1卷積層來增強網絡的學習能力。TUM結構如圖8所示，圖中⊕代表上采樣和求和操作，每一個TUM均生成6種尺度的特征，堆疊起來的TUM便可生成多層次的多尺度特征，為SFAM模塊提供輸入。

2.3.3 SFAM模塊

SFAM的作用是將TUM產生的6種不同尺度的特征進行聚合，得到多級特征金字塔。其主要結構分為2個部分：第1部分是將TUM產生的淺層特征、中層特征和深層特征按照通道維度進行堆疊，如圖9中①所示；第2部分以自適應方式聚合特征，利用2個全連接層給有效特征層的通道添加注意力機制[20]，以此來更好地聚合特征，提高神經網絡的訓練效果，如圖9中②所示。

Figure 9 Structure of SFAM 圖9 SFAM結構

本文算法選用4個TUM進行訓練，SFAM結構如圖9所示。第2部分中不同特征層施加注意力機制的方式與10×10×512特征層一致。

3 實驗與分析

3.1 實驗設置

實驗硬件環境為Intel i5-8500 CPU@3 GHz× 6處理器，在Ubuntu16.04操作系統下以python作為開發語言，搭建Keras深度學習框架進行訓練與測試。為縮短訓練時間，使用NVIDIA GeForce GTX 1060 6 GB顯卡、CUDA9.0和CUDNN7.05調用GUP,提高計算速度。

3.2 地面箭頭標識線數據集

實驗中的數據集來源于行車記錄儀拍攝的市區道路視頻，本文對包含各類地面箭頭標識線的圖像進行人工標注，共包括2 504幅圖像。其中標注類別分為直走(straight-line)、左轉(left-turn)、右轉(right-turn)、直走左轉(straight-left-line)和直走右轉(straight-right-line)5類。

數據集標簽制作流程如下：第1步，將所有圖像整理成PASCAL VOC2007數據集格式，并依照9∶1比例將其隨機分為訓練數據與測試數據，其中，測試數據中的251幅圖像僅在驗證中使用。第2步，使用Labelimg工具對訓練數據進行人工標注，得到XML格式的文件。第3步，將XML格式文件中的目標框位置信息通過Python語言進行處理，得到所需的txt格式的標簽。

另外，本文還使用Mosaic數據增強方式對訓練數據進行擴充，以此來豐富檢測物體的背景，避免過擬合現象的發生。Mosaic數據增強是一種改進版的CutMix[21]數據增強方法，其增強結果如圖10所示。

Figure 10 Mosaic data enhancement圖10 Mosaic數據增強

3.3 實驗結果分析

實驗中設置批處理大小為4，使用階層性下降方式的學習率，初始學習率設置為0.001，共訓練100個周期。本文主要進行了不同檢測算法的對比實驗、可視化實驗和模塊消融實驗，下面對具體的實驗結果進行分析。

3.3.1 不同檢測算法對比實驗

M2Det算法是單階段目標檢測算法SSD的改進版，針對原始M2Det算法參數量大、檢測精度不高等問題，本文對M2Det算法的主干特征提取網絡和MLFPN網絡進行改進，并引用Mosaic數據增強方法對訓練數據進行擴充。本文所提算法與其它檢測算法在mAP值、參數量和FPS值上的實驗結果如表1所示。

Table 1 Comparative experiment of different algorithms

實驗結果表明，SSD算法的參數量較小，但mAP值僅為77.54%;MobileNet v1_SSD算法將SSD算法中的基礎網絡替換成MobileNet v1輕量級網絡，提高了FPS值，減少了參數量，但mAP值也隨之降低;RFBNet算法在SSD算法中添加了RFB模塊，提高了mAP值但增加了參數量;YOLOv3算法也是一種典型的單階段目標檢測算法，FPS值因其參數量較大而較低;相較于其它算法，M2Det算法的檢測精度僅次于YOLOv3算法;改進M2Det算法因其特有的MLFPN網絡有助于檢測不同尺寸目標這一優點，獲得了最高的檢測精度，較少的參數量，FPS值也達到了23 fps。

3.3.2 可視化對比實驗

在測試數據中，改進M2Det算法和M2Det算法的可視化實驗結果如圖11所示。其中，測試數據包括地面箭頭標識線被磨損、被遮蓋等情況。

Figure 11 Comparison of visualization results圖11 可視化結果對比

由圖11可知，與M2Det算法相比，改進M2Det算法可以檢測出更多被遮蓋的、被磨損的地面箭頭標識線，與此同時還提高了分類置信度，再次驗證了本文所提算法的有效性。

3.3.3 模塊消融實驗

本文利用模塊消融實驗分析對比每個改進點在本文所提算法中的作用。模塊a表示未改進的M2Det算法，模塊b表示添加了MobileNet v1輕量級網絡，其它以此類推，實驗結果如表2所示。

Table 2 Module ablation experiment

由表2可知，未改進M2Det算法的檢測精度為84.83%；模塊b引入了輕量級網絡MobileNet v1,降低了mAP值；在模塊b的基礎上，將深度可分離卷積中的激活函數進行替換，mAP值提升至85.70%；繼續添加BasicRFB模塊，提高主干網絡的特征提取能力，使得mAP值提升了2.01個百分點；最后，使用Mosaic數據增強方式提高了算法的魯棒性，進一步將mAP提升至88.72%。

4 結束語

本文在M2Det算法的基礎上提出了一種改進M2Det算法，該算法利用MobileNet v1網絡替換M2Det算法中的主干網絡VGG，引入Mish激活函數替換深度卷積與分離卷積中的ReLU激活函數，同時在主干網絡中使用BasicRFB模塊實現特征的加強提取。另外，通過Mosaic數據增強方式豐富訓練圖像的背景，擴充訓練數據，實現地面箭頭標識線的檢測。實驗結果表明，本文所提算法完成了地面箭頭標識線的有效檢測，與未改進的M2Det算法相比，檢測精度提升了3.9個百分點，檢測速度也大幅度提高，可視化實驗進一步驗證了改進M2Det算法對小目標物體檢測的有效性。