圖像數據處理機制在瀝青道路裂縫病害識別算法訓練中的應用*

韓海航,張 麗,吳皓天,陳海珠,胡 迪

(1.浙江省交通運輸科學研究院,浙江 杭州 311305；2.浙江網新數字技術有限公司,浙江 杭州 310030)

引言

裂縫作為瀝青路面主要病害之一,自動化采集路面裂縫圖像已成為當前路況調查普遍方式,但由于裂縫類型較多,圖像類型紛繁復雜,數據質量干擾因素大,一直難以采用機器自動識別的方法處理。近年來,諸多研究人員嘗試采用人工智能方法進行路面裂縫自動識別。譚曉晶對采集到的裂縫圖像進行像素標定、灰度轉換、去噪、閾值分割、中值濾波等步驟,再提取裂縫的圖像特征信息,計算裂縫的寬度和長度,最后采用試驗方法驗證該方法的識別精度。試驗結果表明,該方法能準確有效地檢測出裂縫[1]。盧印舉提出一個利用全局K-Means 和高斯混合模型來對路面裂縫圖像進行分割的方法。通過仿真圖像和實際裂縫圖像實驗結果顯示,該方法比使用傳統KMeans 算法和普通GMM 的分割方法精度更高、穩定性更好[2]。雷宏衛將加噪灰度網狀裂縫圖像經小波軟閾值去噪增強后,使用Ostu 算法將圖像二值化,得到的網狀裂縫清晰地目標圖像[3]。王永會針對從復雜的道路背景中難以有效識別路面裂縫的問題,提出了一種基于分數階傅里葉變換和頻譜增強處理的路面裂縫圖像識別方法。與小波變換(WT)檢測算法相比,分數階傅里葉變換檢測圖像在準確率和召回率上分別提高了14.35%和17.1%[4]。胡敏為了有效提高生成式網絡下路面裂縫檢測精度,針對路面裂縫圖像的復雜多樣性,提出一種基于分水嶺算法的路面裂縫圖像檢測識別方法。結果表明：路面裂縫圖像檢測識別方法檢測時間較短、檢測準確率較高、誤報率較低[5]。魏海斌基于為了Matlab 軟件平臺提出了瀝青路面裂縫寬度檢測方法。結果表明,當裂縫寬度在5 mm 以上時,誤差小于5%；裂縫寬度為2～5 mm 時,誤差小于10%[6]。綜上所述,瀝青路面裂縫圖像自動識別的算法研究較多,但對于瀝青路面圖像病害樣本圖像數據處理機制的應用研究較少,本文從裂縫的判別規則,樣本集準備,圖像預處理分別展開論述。

1 瀝青道路裂縫病害判斷規則制定

因瀝青裂縫病害的識別建立在深度的業務學習的基礎上,必須要保證提供給算法訓練是正確的標注數據,所以,在標注開始前研究團隊深入業務知識依據《公路技術狀況評定標準》JTG5210-2018 制定了常見路面裂縫病害的識別方法和判斷規則,同時也在后續的標注過程中不斷完善規則文檔(如表1)。

表1 常見的路面裂縫類型

表2 干擾物特征

在區別明顯裂縫病害特征之外,因為在道路復雜運營環境下往往還有其他干擾物也需要標注,以便算法訓練時排除干擾,其特征如表2。

2 各類型裂縫的判斷規則

2.1 橫向裂縫的判斷規則

橫向裂縫作為路面裂縫的典型存在形式,其整體裂縫走勢垂直于行車方向,且<45°,形狀不規則,長度不等,常見瀝青路面橫向裂縫如圖1 所示：

圖1 典型橫向裂縫特征圖像

2.2 縱向裂縫的判斷規則

瀝青路面的縱向裂縫大部分都是走向不規則,長度不等(如圖2)。

圖2 典型縱向裂縫特征圖像

圖3 典型塊狀裂縫特征圖像

2.3 塊狀裂縫的判斷規則

塊狀裂縫的基本判斷規則為曲折的裂開,將路面分割成塊狀或者塊狀趨勢的縱橫交錯的裂縫。如圖3。

2.4 龜裂的判斷規則

龜裂的基本判斷規則為相互貫通,網狀的裂縫。如圖4。

3 病害樣本訓練集準備

圖4 典型龜裂特征圖像

圖5 圖像標注小工具

通過圖像分類標注工具完成標注工作,主要包含以下幾點功能：(1)通過讀取原始圖片保存路徑生成圖片標注隊列；(2)根據標注隊列逐一顯示圖像并進行類別標注；(3)發現錯標時可及時進行撤回及重新標注；(4)標注進度顯示,方便標注者判斷當前任務進展情況；(5)顯示病害典型案例以便為標注者提供判斷依據。圖像分類標注小工具將生成原始圖像輸出相對應的類別標注列表,如圖6 所示。子圖像名稱與列表一一對應,便于后續批處理文件的生成。

圖6 類別標注別表

將經過標注的樣本數據順序隨機打亂后分為訓練、測試兩部分；訓練樣本：正常：367,橫向：381,縱向：360,龜裂：361,塊狀：208,偽裂紋：368；測試樣本：正常：34,橫向：20,縱向：41,龜裂：40,塊狀：36,偽裂紋：33；包含裂縫的圖像樣本均為單病害樣本。數據通過TFRecordWriter模塊轉化為.tfrecord 文件,實現多線程的快速io 隊列操作以及對于網絡模型的無縫對接(如表3)。

表3 樣本訓練集類型及樣例

圖7 干凈路面樣本(左)、失真樣本(右)

4 圖像預處理

4.1 數據清洗

在標注裂縫圖像數據之前,對所有圖像數據進行初步評估與分析,其中干凈路面的樣本(除地標線外無任何干擾物)占70%以上,失真樣本占約10%,而可能存在病害的樣本(包含真實裂縫,也包含井蓋、伸縮縫等干擾物)僅占剩余的20%左右。為了提高標注效率,同時減小樣本的不均衡性,需對裂縫圖像數據進行清洗,排除掉大量明顯不存在病害的干凈路面樣本與失真樣本。

清洗數據分為人工清洗和模型清洗兩部分,人工清洗即標注人員快速地在一定容錯范圍內對數據進行粗略的分類,分離出可能存在病害的樣本以用于后續的精細標注。人工清洗的劣勢在于耗時多且效率低。模型清洗指使用訓練好的分類模型代替人工進行分類,模型清洗效率高但前提條件是需要一定的樣本作為訓練集。因此數據清洗結合了人工清洗與模型清洗兩種方式,先由人工清洗完成部分工作并提供一定量的訓練樣本,然后訓練模型并以模型清洗的方式代替人工。

本次清洗模型采用與分類模型一致的Resnet50,人工清洗整理出干凈路面樣本、失真樣本、可能存在病害的樣本各600 例,將每種500 例作為訓練樣本,100 例作為測試樣本。最終所得清洗模型的混淆矩陣如表4：

表4 清洗模型的混淆矩陣

(1)干凈路面樣本：準確率：0.97333,精確率：0.98591,召回率：0.93333

(2)可能存在病害的樣本：準確率：0.96889,精確率：0.92500,召回率：0.98667

(3)失真樣本：準確率：0.99556,精確率：1.00,召回率：0.98667

4.2 濾波去噪

在路面裂縫檢測中,濾波處理的目的就是減少或者去除噪聲的影響、提高路面數據質量的同時保留裂縫信息。為找到適用于道路圖像的濾波方法,分別嘗試了均值濾波、中值濾波以及雙邊濾波。

圖8 均值濾波

圖9 中值濾波

圖10 雙邊濾波

均值濾波是指用元像素其周圍像素的平均值代替元像素值,在濾除噪聲的同時也會濾掉圖像的邊緣信息。即在濾除路面噪點的同時,裂縫信息在一定程度上也被過濾。在測試中,均值濾波后基本無法保留裂縫的輪廓,因此不適合作為道路圖像的濾波方式(如圖8)。

中值濾波用元像素周圍鄰域像素集中的中值代替元像素。中值濾波去除椒鹽噪聲和斑塊噪聲時,效果非常明顯。但在測試中也發現,中值濾波也過濾掉了較多的裂縫邊緣信息,使裂縫顯得模糊。因此中值濾波也不適合作為道路圖像的濾波方式(如圖9)。

雙邊濾波是一種非線性的濾波方法,是結合圖像的空間鄰近度和像素值相似度的一種折衷處理,同時考慮空域信息和灰度相似性,達到保邊去噪的目的。在使用雙邊濾波后,路面噪點降低,但裂縫信息依然保留(如圖10)。

4.3 增強

圖像增強能夠有目的的強調圖像的整體或是局部特征,將不清晰地圖像變得更為清晰,或是強調某些感興趣的特征,使其改善圖像質量,加強圖像判別和識別的效果。為找到適合與道路圖片的圖像增強方法,分別嘗試了對比度拉伸、灰度矯正等方法。

圖11 對比度拉伸

圖12 縱向灰度矯正

表5 圖像增廣方法

表6 測試結果的混淆矩陣

對比度拉伸是擴展圖像灰度級動態范圍的處理方法,擴大圖像內各個像素值之間的距離,從而達到提升圖像特征局部特征識別效果的目的。經測試對比度拉伸后的道路圖像雖然裂縫特征得到了加強,但原版經過過濾的噪聲信息也同樣被凸顯出,因此該方法不適合作為道路圖像的增強方式(如圖11)。

在路面裂縫檢測中,往往存在沿車道方向顏色深淺不一的條紋,成因可能是剎車印記或地線磨損后留下的印記。這些顏色深淺不一的條紋對裂縫的識別造成一定的干擾。為盡可能減少以上干擾,采用了一種縱向灰度矯正的圖像增強方式,如圖可見,沿車道方向顏色深淺不一的條紋被減弱,但裂紋依然清晰可見(如圖12)。

4.4 樣本擴充

圖像增廣方式采用：隨機水平翻轉、隨機對比度調整、隨機亮度調整、隨機微角度旋轉、隨機裁剪縮放,同時每個batch 在進入網絡訓練前進行樣本順序的隨機打亂。單張圖像輸入網絡前均進行歸一化處理。通過上述處理可增加樣本隨機性,在訓練過程中增強模型的泛化能力。

5 基于裂縫病害圖像標注和預處理的模型訓練結果

如表6 所示：

(1)正常：準確率：0.91219,精確率：0.76666,召回率：0.67647

(2)橫向：準確率：0.96098,精確率：0.83333,召回率：0.75000

(3)縱向：準確率：0.94634,精確率：0.85714,召回率：0.87805

(4)龜裂：準確率：0.93658,精確率：0.81395,召回率：0.87500

(5)塊狀：準確率：0.94146,精確率：0.80000,召回率：0.88889

(6)偽裂：準確率：0.94146,精確率：0.84375,召回率：0.79412

其中,平均準確率：0.94,平均精確率：0.82,平均召回率：0.82

6 結論

瀝青路面裂縫作為道路典型病害之一,裂縫的自動識別技術在道路檢測行業需求極為迫切,但現有的識別算法難以達到工程應用級精度,其主要原因之一是由于路面裂縫圖像未有完備的標注規則及數據處理機制。本研究通過對裂縫病害判斷規則的制定,到路面裂縫的判斷依據,據此構建裂縫標準圖像訓練集,通過完備的數據圖像處理流程,可實現路面裂縫較高的識別準確度,為擴大路面裂縫自動識別項目級應用奠定基礎。