基于大型卷積核模型和自監督預訓練的路面質量分析方法

孫玉龍, 錢增志, 曾帥康, 康偉德, 李 胤, 姜佳岐, 朱炳科

(1.中鐵建設集團有限公司, 北京 100043;2.北京工業大學 城市建設學部, 北京 100124;3.中國鐵建建筑工業化工程實驗室, 北京 100043;4.中國科學院自動化研究所, 北京 100190)

0 引言

交通行業圍繞加快建設交通強國總體目標,努力打造安全便捷、智慧綠色、經濟高效的道路網,全面提升道路運行效率和服務水平,實現路網更高質量、更高效率、更好水平的發展[1-2]。 隨著道路網絡的逐步完善,迫切需要通過加強養護維持既有道路的通行能力、技術狀況和服務水平。 路面病害檢測[3]作為道路養護的重要一環,是決定道路養護質量的關鍵因素。 目前,路面病害檢測主要采用傳統的基于人工視覺檢測的路面病害識別方法,存在以下幾個方面的不足:① 人工識別效率低,對于細小破損識別率低。 ② 人工識別不可避免在一些邊緣問題上存在主觀性強、工作量大等問題,且具有一定的不確定性。 ③ 工作精細度差、人力資源消耗高。自動化的路面病害檢測可以有效降低成本、提高效率。

自動化路面病害檢測[4-6]存在2 方面的挑戰:一方面,缺乏大規模的路面數據,難以訓練一個覆蓋多種路面病害的路面病害分割模型;另一方面,路面病害難以識別,以往的病害識別算法難以識別細小病害,且難以對病害類別進行準確分類。 路面圖像病害識別需要實現像素級別的分類,即圖像語義分割[7-9]。 從大量的復雜路面背景中識別出細小的路面病害,并區分不同類別的病害,需要模型特征在具備較強的細節表達能力的同時,也要具備較強的語義判別能力。 為解決以上問題,本文采集了一個大規模的路面病害數據集,提出了一個高精度的路面病害分割方法。

本文針對某交通基礎設施的路面,采集了一個大規模的路面病害數據集,該數據根據路面病害行業標準進行像素級別的類別標注,具有專業性、多樣性和精細性等特點,為路面病害識別和智能化路面質量分析提供了強有力的數據支持。 另一方面,根據采集到的路面圖像數據,提出了一個基于大型卷積核模型和自監督預訓練的路面質量分析方法,該方法分為2 個子模塊:一個是基于重參數化大型卷積核的U 型網絡結構;另一個是針對全卷積編碼器和全卷積解碼器構建了自監督預訓練框架。 其中,基于重參數化大型卷積核的U 型網絡結構針對路面病害識別任務需要較大感受野的性質,在傳統的U 型網絡結構基礎上,采用了大型卷積核實現擴張特征感受野的目的,為了緩解大型卷積核難以訓練的問題,采用了重參數化技術來加速模型的收斂速度。 此外,為了提高模型的泛化性能和特征表達能力,本文針對U 型結構的全卷積編碼器和全卷積解碼器構建了自監督預訓練框架,使用圖像修補作為模型的自監督預訓練代理任務,提高模型的預訓練特征的表達能力和收斂速度,進而實現高精度的智能路面病害識別。

本文通過實驗驗證了基于重參數化大型卷積核的U 型網絡結構和自監督預訓練框架的有效性,并針對我國某交通基礎設施的路面進行智能化路面質量分析,將本文提出的路面病害識別算法應用到該交通基礎設施的日常巡檢任務中,實現了路面養護降本增效。

1 大型路面病害數據

1.1 數據采集

本文通過在巡檢車上安裝路面圖像采集裝置的方式采集路面圖像數據,如圖1 所示,路面圖像采集裝置由高亮工業補光光源和工業相機鏡頭組成。 巡檢車可以通過人工駕駛進行路面圖像數據采集,也可以通過無人駕駛進行全自動的路面圖像數據采集[10-11]。 通過對某交通基礎設施的路面數據進行采集和標注,得到了一個大型的路面病害分割數據集。

圖1 路面圖像采集裝置實物Fig.1 Road image collecting system

1.2 路面數據分布

本文根據巡檢車采集到的數據進行標注,標注類別按照《公路技術狀況評定標準》(JTG 5210—2018)[12]和《軍用機場水泥混凝土道面性能檢測評價體系優化》[13]進行定義,并根據實際采集到的路面病害類別進行適當調整,去除無病害圖像的類別以后,歸納出6 個病害類別:板塊碎裂、板塊斷裂、板塊剝落、表面裂縫、補丁、填縫料損壞。

本文共標注了3 539 張高清路面圖像,圖像分辨率都是6 400 pixel×8 192 pixel,標注圖像分布如圖2 所示。 一部分圖像包含多種病害類別,有3 205 張路面圖像不包含任何病害類別,334 張路面圖像存在路面病害,大部分病害圖像存在板塊斷裂類型的病害,路面圖像病害分布是一個典型的長尾分布。隨機按照8 ∶2的比例將路面圖像數據集分為訓練集和測試集,訓練集包含2 831 張圖像,測試集包含708 張圖像,訓練集圖像和標注標簽用于訓練路面病害分割模型,測試集用于測試模型對于路面病害分割的性能。 圖3 展示了本文標注的幾個路面病害標注樣例。 值得注意的是,本文采集的路面病害數據集是首個包含了多個路面病害的高分辨率圖像分割數據集,該數據集能夠為路面質量評估提供數據基礎,并為像素級別的路面病害識別提供新的研究方向和思路。

圖2 路面病害標注圖像分布Fig.2 Distribution of annotated road damage images

圖3 路面病害標注圖例Fig.3 Examples of annotated road damage

2 路面質量分析方法

2.1 基于重參數化大型卷積核的U 型網絡結構

針對路面病害細長、占據像素面積較小的特點,本文采用如圖4 所示的U 型網絡結構[7]。 輸入一張路面圖像,經過一系列卷積和下采樣操作,提取具有大感受野、豐富語義特征的深層特征。 為了得到細節信息較為豐富的特征,采用對稱的上采樣結構,并使用橫向連接將編碼器結構特征和解碼器結構特征進行拼接,恢復路面圖像細節特征。 模型輸出與原圖像分辨率一致的特征圖,用于預測路面圖像分割結果。

圖4 U 型網絡結構Fig.4 UNet architecture

在U 型網絡結構中,常用3×3 的卷積尺寸,如圖5(a)所示,可以獲得較好的局部特征,且計算量較小。 通過堆疊一系列卷積,可以逐漸擴大圖像感受野,實現路面病害分割。 然而,此種卷積存在感受野過小、缺乏大范圍信息的問題,導致了這種小卷積核的卷積難以獲得較好的路面病害分割性能。 因此,采用大型卷積核提高模型特征的感受野大小[14],如圖5(b)所示。 本文采用尺寸為21×21 的大型卷積核進行特征提取。 大型卷積核能夠獲取更大的特征圖感受野,感知更大范圍的語義信息,從而提高模型對于細長路面病害的識別能力,提高模型的預測精度。 然而,大型卷積核往往存在收斂速度慢、難以訓練和計算復雜度高等問題。 因此,進一步采用重參數化[15]大型卷積核來提升模型的性能,如圖5(c)所示。 本文通過3 個不同的卷積分支進行特征提取,分別是21×5,5×21,5×5 大小的卷積核,最后將3 個分支的特征進行相加融合,獲取不同感受野大小的特征,即多尺度特征融合。 通過重參數化技術,能夠加速模型訓練的收斂速度,提高大型卷積核的可訓練性,同時降低卷積的計算復雜度,在提高模型性能的同時降低計算量。 由于具備多種不同尺寸大小的卷積特征,模型能夠感知多種尺寸的感受野,進而提升模型對于不同尺寸病害的預測能力。將U 型網絡結構中的所有卷積操作替換成重參數化大型卷積操作,提高模型對于路面病害的識別準確率。

圖5 3 種不同的卷積核示意Fig.5 Three convolutional kernels

2.2 自監督預訓練方法

深度網絡模型往往需要使用大規模數據進行模型預訓練,為了提高模型的泛化性能和特征表達能力,本文針對U 型結構的全卷積編碼器和全卷積解碼器構建了自監督預訓練框架,如圖6 所示。 全卷積編碼器-解碼器自監督預訓練方法對輸入圖像進行隨機掩碼操作,本文參照FCMAE(Fully Convolutional Masked Autoencoder)[16]隨機掩蓋60%的像素,使用圖像修補作為模型的自監督預訓練代理任務,模型輸出原始沒有掩蓋的圖像,進而提高預訓練模型對于圖像的表達能力和收斂速度。 在模型編碼器階段,為了提高模型預測難度,避免跳躍連接產生額外的輔助信息,本文采用稀疏卷積操作[17]進行特征提取。 值得注意的是,稀疏卷積操作僅用于預訓練階段,在模型微調和測試階段,將稀疏卷積操作替換回普通的卷積操作。 此外,本文同時對U 型結構的解碼器部分進行預訓練,解碼器采用的是卷積解碼器,更加注重細節特征的表達能力。 通過對整個模型結構的預訓練,模型能夠快速遷移到路面病害識別場景,進而提升泛化能力和在測試場景中的表達能力。 另一方面,使用像素級別的預測能夠增強模型對于密集預測任務的性能,即能夠提升模型對于路面病害分割的性能。

圖6 全卷積編碼器-解碼器自監督預訓練方法示意Fig.6 Self-supervised pre-training for fully convolutional encoder-decoder model

2.3 路面質量評估方法

本文根據《公路技術狀況評定標準》 (JTG 5210—2018),使用路面損壞狀況指數PCI(Pavement Surface Condition Index)進行路面質量評估,PCI 計算如下:

式中,DR(Pavement Distress Ratio)是路面破損率,為各種損壞的折合損壞面積之和與路面調查面積之百分比;a0為DR 系數,瀝青路面采用15. 00,水泥混凝土路面采用 10.66;a1為DR 指數,瀝青路面采用0.412,水泥混凝土路面采用0. 461;Ai為第i類路面破損的累計面積(m2);A為路面檢測或調查面積(m2);wi為第i類路面破損的權重或換算系數,如表1 所示;i為路面損壞類型;i0為路面損壞類型總數。

表1 道路病害換算系數Tab.1 Weights of road damage

3 實驗及結果分析

3.1 實驗數據集與評價指標

本文主要在2 個數據集上進行實驗驗證:一個是本文采集到的路面圖像數據集;另一個是目前公開常用的路面裂縫分割數據集——Crack500 數據集[18]。

Crack500 數據集是常用的路面裂縫分割數據集之一,該數據集包含500 張路面高清圖像,所有圖像尺寸為2 000 pixel×150 pixel。 該數據將每個圖像裁剪為16 個非重疊區域,僅保留包含裂紋像素個數大于1 000 的圖像切塊,將這些選定的圖像切塊分為3 部分:1 896 張訓練圖像,348 張驗證圖像,以及1 124 張測試圖像。 模型使用Crack500 數據集與其他性能優越的分割方法進行性能對比。

評價指標使用準確率(Precision)、 召回率(Recall)和F1 得分進行模型性能評估,定義如下:

式中,TP(True Positives)為預測為特定類別且預測正確的像素個數;FP(False Positives)為預測為特定路面病害類別但預測錯誤的像素個數;FN(False Negatives)為標注為病害類別但是沒有檢測出來的像素個數。 每個評價指標針對特定的病害類別進行評估,最后將所有類別的評價指標取平均值獲得最終的評價指標。

3.2 實現細節

為了能夠盡可能保留原始圖像信息和保證計算機能夠充分計算,本文采用將原始圖像切塊的方式進行模型訓練和推理。 訓練時,對圖像進行隨機放縮,放縮因子在0.5~1.5 隨機選擇,然后對放縮圖像進行切塊,切塊大小為固定的1 024 pixel×1 024 pixel,同時采用隨機顏色抖動和隨機圖像翻轉、隨機亮度抖動、隨機幾何旋轉等數據擴增策略進行模型訓練。優化方法采用AdamW,初始學習率為10-4,beta 因子為(0.9,0.999)。 預訓練階段,本文采用ImageNet 數據集進行預訓練,為了保證對比公平,采用FCMAE相同的預訓練策略。 測試時,本文采用固定切塊的方式進行推理,切塊大小為固定的1 024 pixel×1 024 pixel,切塊步長為672 pixel,重疊區域的預測概率通過取重疊切塊平均值的方式獲得。

3.3 評估實驗

3.3.1 消融實驗

本文對3 種不同的卷積核性能進行對比,如表2 所示。 可以看出,常用的3×3 卷積核由于局部感受野過小,3 項指標都比較差。 使用大型卷積核進行改進以后,模型性能會有較大幅度的提升,F1得分相比3×3 卷積提升了3.5%。 使用重參數化大型卷積核后,模型性能會有進一步提升,相比3×3卷積核提升了4.91%。

表2 3 種不同卷積核性能對比Tab.2 Performance comparison of three convolutional kernels單位:%

本文對比了4 種不同的預訓練方法,性能對比如表3 所示。 可以看出,不使用任何模型預,僅在目標數據集上面進行訓練,模型性能非常差,這是因為數據量過少導致模型難以獲得具有區分性的特征。使用ImageNet 進行有監督的預訓練后,模型性能獲得較大的提升,F1 得分提升19. 43%,模型能夠從ImageNet 獲取較好的預訓練效果。 采用FCMAE 對模型進行自監督預訓練,F1 得分能夠提升至93.44%,證明了自監督預訓練方式對于路面病害識別的有效性。 使用本文提出的方法,對U 型結構的編碼器和解碼器進行自監督預訓練,模型性能能夠比FCMAE 進一步提升,F1 得分能夠提升1.03%。

表3 不同的預訓練方法性能對比Tab.3 Performance comparison of different pre-training methods 單位:%

3.3.2 對比實驗

將本文方法與其他性能優越的語義分割方法在交通基礎設施道面數據集上面進行性能對比,如表4 所 示。 相 比 于 DeepLabv3 +[19], UperNet[20],UNet[7],nnUNet[21]等性能優越的語義分割方法,本文獲得了最好的結果,證明了本文方法的有效性。

表4 不同的分割方法在道面數據集上的性能對比Tab.4 Performance comparison of different segmentation methods on airport road dataset單位:%

本文方法與其他性能優越裂縫分割方法在Crack500 數據集上面的性能對比如表5 所示。 可以看出,相比于BARNet[22],FFEDN[23],DMANet[24]分割方法,本文方法在Crack500 數據集上得到了最好的模型性能,證明了本文方法的有效性。

表5 不同的裂縫分割方法在Crack500 數據集上的性能對比Tab.5 Performance comparison of different crack segmentation methods on Crack500 dataset單位:%

3.3.3 預測結果可視化

圖7 展示了幾個本文方法的實驗效果可視化結果。 可以看出,與標注結果相比,本文方法能夠有效分割不同的路面病害,與測試集的標注結果保持一致性。 本文方法能夠較好地進行路面病害分割。

圖7 本文方法實驗效果可視化圖Fig.7 Visualized experiment results of the proposed method

3.3.4 實際應用

將本文搭建的路面數據采集巡檢車和算法應用到某交通基礎設施的日常巡檢任務中,使用PCI 進行路面質量評估,得到某交通基礎設施的PCI 值為96.32%。 該交通基礎設施日常人工巡檢、計算得到的實際PCI 值為96. 73%,自動巡檢路面質量分析結果與人工巡檢路面質量分析結果較為一致。 進一步,對某交通基礎設施進行5 次重復巡檢,巡檢得到的PCI 值為96.32%,96.44%,96.37%,96.26%,96.53%,均與人工計算得到的PCI 結果一致,可以證明本文方法對于實際巡檢應用具有重要的現實意義和有效性。

4 結束語

本文提出了一個基于大型卷積核模型和自監督預訓練的路面質量分析方法。 首先,使用巡檢車在道路或場地進行路面數據采集,獲取了一個大型的多病害類別路面圖像數據集。 然后,使用基于重參數化大型卷積核的U 型網絡對路面圖像數據進行逐像素的病害識別,利用大感受野實現高精度的路面病害分割。 為了進一步提升模型的特征表達能力,本文針對U 型結構的全卷積編碼器和全卷積解碼器構建了自監督預訓練框架,使用圖像修補作為模型的自監督預訓練代理任務。 最后,根據提出的路面病害識別方法,對巡檢車獲取得到的數據進行實時分析,并應用到某交通基礎設施的日常路面養護應用中,巡檢結束后輸出該交通基礎設施路面的質量評估報告,實現路面養護降本增效。