基于YOLO算法的探地雷達道路圖像異常自動檢測

覃紫馨,姜彥南*,徐立,王嬌,張世田,馮溫雅

(1.桂林電子科技大學信息與通信學院,桂林 541004; 2.中國電波傳播研究所,青島 266108)

伴隨著城市化進程的發展,城市空間利用和城市道路安全受到愈來愈廣泛的關注。地下空洞、管線和既有建筑的基礎是城市道路勘查的主要異常目標,準確、高效地檢測出道路內部的異常目標可為城市建設和治理提供技術保障,而探地雷達(ground penetrating radar,GPR)作為一種常用的、無損的城市工程勘查技術,具有高速率、高精度和高經濟性等特點,目前已成為城市道路勘察主要的地球物理探測手段[1]。GPR的應用十分廣泛,如混凝土中的空洞定位與治理[2]、地雷探測與排除[3]、地下設施追蹤和繪圖[4]、鐵路道碴的優化和評估[5]等。雖然GPR在道路無損檢測方面有著很大的優勢,但其數據量通常十分龐大,且數據解釋主要依靠專業技術人員,具有人工經驗要求高、數據解譯難度大、解釋工作量大、解釋周期長等突出問題。因此,研究從GPR圖像數據中準確快速自動解譯道路內部異常目標的方法具有重要的應用價值和現實意義。

近年來,已有關于將深度學習應用于GPR 圖像數據自動識別掩埋物體的研究報道[6-8]。Dinh等[9]提出,通過預處理確定目標雙曲線頂點后,提取頂點周圍固定大小的區域用作訓練樣本。Lei等[7]使用了典型的目標檢測框架,即更快的R-CNN(region-convolutional neural network)[10]對隱藏的線性對象進行分類,并縮小了候選框的雙曲線范圍。馮德山等[11]利用深度學習模型自動處理和分析地質雷達圖像,從而實現隧道襯砌結構物的自動化識別和檢測。張世瑤等[12]使用卷積神經網絡進行特征提取和裂縫檢測,并通過數據增強和網絡結構調整來優化檢測性。羅暉等[13]提出使用YOLOv4算法檢測道路路面病害在精度和速度上優于Faster R-CNN算法。在目前的探地雷達道路圖像異常目標識別相關研究中,尚未涌現出通用的公開數據集,多數研究借助模擬軟件生成道路結構仿真圖像。雖然這些研究利用深度學習技術實現了一定的異常目標檢測效果,但在高效性和實時性方面仍有提升的空間。因此,迫切需要探索更為優越的目標算法,以提升檢測模型的高效性、實時性和準確性,以滿足實際應用的需要。

常用于目標檢測的深度學習算法[14]有兩種,一種是先得到目標的候選框,再對候選框中的目標進行分類,也稱為“雙階段”算法,以R-CNN、Faster-RCNN等為代表;另一種是直接預測到檢測的目標位置和類別,也稱為“單階段”算法,以YOLO系列為代表。而YOLO系列目標檢測算法擁有較高的精確率,較快的檢測速率,超越“雙階段”算法更適用于探地雷達圖像目標檢測。為此,首先引入一個實測的GPR道路圖像異常目標數據集,該數據集由山東青島多個城市道路路段的實測GPR B-scan圖像裁剪而成,用以研究開發新的GPR數據自動檢測模型方法并評估其在實測數據中標記和識別異常目標體的性能。接著,對比研究YOLOv3和YOLOv4目標檢測算法的基本網絡框架,以及YOLOv4的改進算法,分析YOLOv4目標檢測算法框架以及改進算法帶來的檢測效率的提升。

1 YOLOv3和YOLOv4網絡框架對比

YOLOv3算法是應用最為廣泛的目標檢測算法之一,也是YOLO系列中最經典的算法。YOLOv4算法[15]是基于YOLOv3網絡框架,優化了主干網絡模塊和特征融合模塊。通過對比分析YOLOv3和YOLOv4的網絡框架,研究YOLOv4網絡如何提升實測GPR圖像目標的檢測效果。

1.1 網絡模型整體架構

YOLOv3和YOLOv4網絡模型架構如圖1所示。其中圖1(a)所示的YOLOv3網絡模型架構包含Darknet_53、特征融合網絡(feature pyramid networks,FPN)和YOLO Head等三部分,它是在YOLO 系列的基礎上將主干網絡Darknet_19改為Darknet_53,使得主干網絡的層數加深,提高了對道路內部異常目標特征的提取能力,并借助殘差網絡的思想,減小主干網絡由于層數增加帶來梯度消失的影響。另外,YOLOv3中引入的特征融合網絡FPN則用于檢測目標的多尺度特征提取和多尺度特征預測。

YOLOv4網絡模型架構主要也由三部分組成[圖1(b)]:CSPDarknet_53、路徑聚合網絡(path aggregation network,PAN)和YOLO_head,框架上的主要差別是在CSPDarknet_53與PAN模塊中間加入了空間金字塔池(spatial pyramid pooling,SPP)模塊。在YOLOv3的基礎上,YOLOv4將主干殘差網絡Darknet_53為CSPDarknet-53,后者集成了跨階段局部網絡(cross stage partial net,CSPNet),這有助于加強卷積神經網絡的計算能力和降低內存成本,兼顧了算法模型的速度和精度。此外,PAN和SPP構成的特征融合網絡極大地提高了實測GPR圖像數據的檢測精度。

1.2 主干殘差網絡

如圖2(a)所示為YOLOv3的主干殘差網絡Darknet_53,其中的主干部分為兩次卷積操作,即一次1×1卷積和一次3×3的卷積,而殘差邊部分不做任何處理直接將輸入與輸出結合,將二者的輸出相加便得到了殘差模塊的輸出。在Darknet_53網絡中,每層卷積層之后增加一個標準化處理來不斷地調節神經網絡的中間輸出以避免深層的卷積神經網絡在參數更新的過程中導致的輸出急劇改變,使整個神經網絡在各層的中間輸出的數值更穩定,加快模型收斂速度提高訓練速度。

圖2 YOLOv3的殘差模塊和 YOLOv4的殘差模塊

YOLOv4模型主干殘差網絡如圖2(b)所示,其采用了一種新的CSPDarknet-53網絡。CSPDarknet-53網絡借助了CSPNet算法思想對殘差模塊進行優化,這也是YOLOv4的重要改進之一。CSPDarknet-53殘差模塊(CSP_resblock_body)中的特征層包括兩部分,一部分接連若干小的殘差網絡并輸出,另一部分只經過簡單的卷積操作輸出,將二者經過張量拼接(concat)后進行輸出。相較于Darknet_53網絡中的殘差模塊只是將殘差單元進行簡單的堆疊,CSP_resblock_body不僅顯著提高了網絡的特征提取能力,還解決了在其他常用的目標檢測網絡框架中存在的重復信息計算的問題,并將梯度的變化從始至終集成到特征圖中,這種分流再結合的策略有效地豐富梯度流信息且減少了計算量,大大提高了GPR圖像中異常類別推理的速度和異常定位的準確性。

1.3 特征融合網絡

如圖3(a)所示YOLOv3的特征融合網絡包含兩個部分,左邊部分從底層向上,卷積神經網絡前向提取特征,右邊部分從頂層向下,特征層進行上采樣,中間的橫向連接將當前層的特征與上采樣后的特征進行融合。由于不同層次的特征圖表達能力不同,淺層特征反映明暗、邊緣等細節,深層特征則反映更豐富的整體結構。FPN網絡通過簡單的連接,將深層豐富的特征語義信息和淺層精確的目標位置信息相結合,有利于小目標物體的檢測。

圖3 特征融合網絡結構

YOLOv4在CSP darknet-53提取相關特征后,同樣需要特征融合網絡對提取的特征進行融合,以提高模型的檢測能力。YOLOv4的特征融合網絡包括SPP和PAN兩部分,前者位于CSP darknet_53網絡之后。SPP模塊由四個不同核大小的池化操作組成,將得到不同特征信息進行融合,輸出具有豐富特征信息的特征層。由于卷積神經網絡限制了輸入的GPR圖像尺寸,使得異常目標受到不同程度的壓縮,引入SPP模塊增加不同感受野并有效分離重要的上下文特征,在降低限制輸入大小的影響同時不會降低網絡的運行速度。

PAN網絡如圖3(b)所示,其中左半部分為FPN網絡,右半部分為改進部分。PAN網絡在FPN網絡的基礎上,再將底層特征層進行下采樣,中間橫向連接將上采樣得到的強語義特征信息和下采樣得到的強定位特征信息相結合,輸出三個包含不同特征信息、不同尺度的檢測層。YOLOv4的特征融合網絡解決了GPR B-scan圖像異常目標多尺度的問題,在不增加過多計算量的同時,更好的提取到異常目標的特征信息,從而提高模型的判別能力。

2 YOLOv4的改進算法

盡管YOLOv3框架已經在目標檢測領域取得很大的成就,但是由于GPR掃描圖像復雜,不僅背景多變,而且異常目標回波時強時弱,導致該檢測框架在探地雷達異常目標檢測任務中效果不理想。YOLOv4邊界框損失函數使用CIOU(complete intersection over union)損失函數代替均方誤差損失,使得邊界回歸更快、更準確;將mosaic數據增強方法和遷移學習相結合,緩解了GPR數據緊缺的問題;引入標簽平滑處理等一系列改進,進一步提高了目標檢測性能。

2.1 CIOU損失函數

目標檢測算法中預測框的回歸損失函數隨著研究的發展不斷變化。最初在目標檢測任務中使用IOU判斷預測的目標位置是否正確。IOU計算公式為

(1)

式(1)中:A為預測框;B為真實框。但IOU無法區分預測框和真實框不同的相交情況。隨后提出的DIOU(distance-IOU)將預測框和真實框的重合度考慮進去,解決了預測框和真實框出現包含的現象時IOU損失值相同的問題。DIOU 損失函數計算公式為

(2)

式(2)中:d為預測框和真實框中心點間的距離;c為能夠同時包含預測框和真實框的最小閉合區域的對角線距離。

在此基礎上,CIOU損失函數還將長寬比用于判斷預測框和真實框的相似度,解決了DIOU無法判斷同樣面積的預測框形狀不同的情況。同時考慮重疊面積、中心距離和長寬比三個因素的損失函數CIOU計算公式為

(3)

式(3)中:α為懲罰因子;μ為預測框和真實框長寬比相似度。CIOU損失函數可以不斷拉近預測框和真實框之間的距離,而且是預測框向更靠近真實框的方向前進,且CIOU損失函數的精度更高,收斂速度更快。

2.2 Mosaic算法增強數據集

在實驗中,GPR道路內部異常目標樣本數量較少,異常目標形態多變,而且GPR工作時干擾較多,異常目標檢測效果受背景影響較大。Mosaic算法與常見數據增強算法最大的不同在于,常見的數據增強辦法是在模型訓練前進行樣本數量的擴充,而Mosaic算法則是在訓練過程中實時進行數據增強。在訓練過程中每個迭代(epoch)訓練前使用Mosaic算法,隨機在訓練集樣本中選取4張圖像,然后按照一定的順序排列在新圖像的4個固定位置,最后在新圖像中間部分畫切十字割線,剪切掉圖像重疊部分即可。Mosaic算法在訓練過程中進行隨機的數據增強,使每個迭代過程中訓練集都會增加新的樣本,從而有效解決較少數量的訓練樣本使模型陷入過擬合的問題。同時,Mosaic數據增強算法,將4個不同背景的圖像進行拼接,豐富了訓練集中GPR圖像異常目標的背景,提高了模型的檢測性能。Mosaic算法處理的GPR道路實測數據效果如圖4所示。

圖4 Mosaic數據增強效果圖

2.3 標簽平滑處理

在分類任務中,常使用交叉熵損失函數計算預測異常目標和真實異常目標的誤差,從而推動模型向更精確的預測靠近。在交叉熵損失函數的計算中,使用獨熱編碼的形式區分正負樣本,即標簽1為正樣本,標簽0為負樣本。

交叉熵損失函數可表示為

(4)

式(4)中:m為樣本總數;n為樣本類別總數;yi為one-hot標簽信息;pi為概率。

例如,對類別總數為5的一批樣本,假設存在一個未平滑處理的one-hot標簽[0,0,0,1,0]通過網絡模型后的概率矩陣p為[0.1,0.1,0.1,0.36,0.34],代入交叉熵損失函數可得單個樣本的loss為1.47。標簽經計算的平滑處理后的one-hot標簽為[0.02,0.02,0.02,0.92,0.02],代入交叉熵損失函數可得單個樣本的損失為2.63。計算公式為

(5)

式(5)中:ε為平滑因子。

可以看出,未做標簽平滑處理的損失只考慮了正確標簽位置的損失,導致了模型在訓練過程中過于擬合GPR道路圖像訓練集中的異常目標形態,而在測試集中存在大量復雜特征的異常目標未能正確檢測,即模型過擬合,泛化能力差;經過平滑處理后的損失既考慮了正確標簽位置的損失也考慮了錯誤標簽位置的損失,使得損失值增大,模型在提高異常目標正確分類的同時減少異常目標錯誤分類,增強了模型的學習能力,提高模型的泛化能力,使訓練后的模型在背景多變,形態復雜的探地雷達圖像中也能準確識別異常目標。

由于可用于GPR道路內部異常檢測目標的樣本集數量較少,在訓練網絡模型時常常使之陷入訓練驗證效果較好但測試結果差的困境,這是由于較小的數據集導致訓練模型過擬合,而標簽平滑處理較好地解決了小樣本數據集的過擬合問題,這對提升本文算法的實用性具有十分重要的意義。

3 實驗方案與實驗結果

3.1 探地雷達異常目標數據集

本文中GPR道路內部異常目標數據集數據主要從原始實測的長剖面數據截取。其中,數據集類別包括空洞、破碎、管線、鋼筋網、雨污井(檢測中分別命名為cavity、broken、pipeline、rebar、well)五類異常目標;共145張1 000道實測去除直達波的探地雷達圖像數據。

采用VOC數據集格式標記道路內部異常目標檢測數據集。將標記的數據集按照9∶1的比例劃分為訓練集和測試集。為了進一步提高模型的泛化能力,增加樣本的多樣性,對訓練集數據進行圖片隨機水平翻轉、豎直或水平移動、放大或縮小、高斯模糊和明亮變換等增強操作,得到1 419張訓練集圖片,再按照9∶1的比例將訓練集劃分出142張數據圖片用作驗證集,實時監控模型的檢測性能。

3.2 實驗方案、平臺及配置

為了進一步加快網絡的訓練速度,聯合VOC 2007數據集預訓練YOLOv4 CSPDarknet-53卷積神經網絡,獲得預訓練權重;采用遷移學習方法,基于道路內部異常目標數據集進一步訓練模型。訓練時,先凍結主干網絡的權重參數,精調訓練后半部分網絡的權重參數,經過50個迭代訓練后再解凍主干網絡,訓練全部網絡層,并更新整個模型的權重參數。本文中YOLOv4使用SGD優化器[16],并采用余弦退火衰減調整學習率。實驗平臺使用的軟件情況為:Pycharm2020,Python3.6,CUDNN11.0和CUDA11.0.2。訓練YOLOv3和YOLOv4網絡的參數如表1所示。

表1 YOLOv3、YOLOv4訓練網絡參數

3.3 探地雷達目標檢測性能比較

目標檢測任務在類別判斷正確的基礎上,通過設置IOU判斷檢測是否準確。IOU的值超過閾值,即預測目標位置準確,判斷檢測正確;IOU的值低于閾值,即預測目標位置不準確,判斷檢測錯誤。本次研究將IOU的閾值設置為0.3。

在目標檢測任務中,通常使用準確率和召回率作為衡量一個模型檢測效果的標準。準確率即判斷模型所檢測到道路內部異常目標類別是否準確,召回率即判斷模型所檢測到的道路內部異常目標數量是否完全。準確率和召回率是一對相互矛盾的性能指標,但是它們對模型檢測性能同等重要,故引入F1計算準確率和召回率調和平均數,進行綜合評價。準確率越高則說明模型判別效果越好;召回率越高則說明模型識別能力越強;而F1數值越高則說明模型越穩健。

基于測試集數據實驗測試訓練完成的目標檢測網絡模型結果如表2、表3所示。

表2 道路異常類別檢測結果比較

表3 YOLOv3和YOLOv4檢測結果比較

由表2可以看出,較之YOLOv3算法,YOLOv4算法在檢測GPR 道路內部五類異常目標時,除雨污井外,其他類別異常的檢測準確率和召回率均有較大提升。進一步由表3可知,YOLOv4的平均準確率提升了24.91%,平均召回率提升了10.09%,綜合評價F1由0.739 5提高到0.918 8。YOLOv4的改進算法,既繼承了YOLOv3的優點,又帶來檢測性能的進一步的提升。

圖5為LTD-2600型號探地雷達對山東省青島市江西路某路段實際探測圖并經過本文研究的目標檢測模型進行檢測。該圖片中,兩個紫色框中自動定位識別異常目標為雨污井,并判斷為雨污井的概率分別為0.98和0.93,綠色框中異常目標為管線,為管線的概率為0.96,即極大的概率異常目標為雨污井和管線。經由經驗豐富的技術人員人工判別該路段存在兩個雨污井和一根管線。證實基于YOLOv4的探地雷達異常目標自動檢測模型檢測正確。

圖5 山東省青島市江西路某路段探地雷達實測圖

圖6給出了不同類型異常目標檢測結果對比。明顯可以看出,YOLOv3網絡對于較明顯、單一、較大的道路內部異常目標檢測結果較好;但對于GPR實測圖像數據中經常出現的密集、相互重疊、規模小的目標,YOLOv4網絡有更好的檢測結果。基于YOLOv3的YOLOv4改進算法,明顯提高了GPR 道路異常檢測的正確率,極大地降低了異常的漏檢率。

圖6 YOLOv3和YOLOv4目標檢測模型結果比較

4 結論

探地雷達道路內部異常目標智能化檢測技術在道路維護、城市基建等領域具有重要的應用意義。YOLOv4的改進算法重點解決了自建探地雷達數據集中YOLOv3檢測精度不足的問題。在YOLOv3的基礎上,本文中YOLOv4不僅改進網絡模型,還使用CIOU損失函數、Mish激活函數提高模型收斂精度,結合Mosaic數據增強算法以解決數據集數量過少的問題,加入標簽平滑處理防止小樣本訓練集導致的模型過擬合問題。實驗結果表明,YOLOv4模型在探地雷達地下目標檢測任務中的準確率高于YOLOv3,平均準確率提高了24.91%,平均召回率提高了10.09%,綜合參考指標F1提升了0.18滿足探地雷達道路內部異常目標智能化檢測需求,具有較強的實用價值。