基于卷積神經網絡的細長路面病害檢測方法

許慧青，陳 斌，王敬飛，陳志毅，覃 健

（1.中國科學院成都計算機應用研究所，成都 610041；2.中國科學院大學，北京 101408；3.廣東華路交通科技有限公司，廣州 510420；4.廣東交科檢測有限公司，廣州 510550；5.中科院廣州電子技術有限公司，廣州 510070）

0 引言

近年來，基于深度學習目標檢測的路面病害檢測算法取得了長足的發(fā)展與進步。該領域的研究直接將現有的骨干網絡和二階段目標檢測方法應用于路面病害檢測。由于病害與通用物體之間的差異，針對細長路面病害檢測直接使用現有的目標檢測技術將不是最合理的選擇，主要原因在于：第一，細長路面病害具有異常的幾何屬性，主要表現為長寬比十分懸殊，該類型病害包圍框的最長邊可達2 048 個像素，而其最短邊可能只有50個像素，如圖1的最后一列所示。第二，某些細長路面病害的前景內容只占其包圍框很小的一部分，如圖1（a）～（c）所示，所提取的候選區(qū)域特征大部分是圖像的背景區(qū)域。第三，與通用領域的目標相比，細長路面病害表現出弱語義的特性。從圖1 可以看出，細長路面病害主要由形狀、邊緣、紋理、輪廓及顏色等低級語義特征組成；同時，能夠看到整個細長路面病害的不同感受野特征對于檢測不同長度的病害同樣重要。因此，有效利用骨干網絡的低級語義特征和不同感受野特征可提升細長路面病害的檢測性能。最后，在預測時，現有的二階段目標檢測算法按照候選區(qū)域的面積將其分配到特征金字塔網絡（Feature Pyramid Network，FPN）［1］的特定層上。該類算法會把大多數細長路面病害的候選區(qū)域分配到FPN的高層上進行預測，然而，FPN的高層難以保留該類型病害的有效信息，同時對病害的邊界也不敏感［2］。

圖1 四種典型的細長路面病害示例Fig.1 Examples of four typical elongated pavement distress

本文根據細長路面病害的自身語義特性和幾何屬性，提出了一種二階段細長路面病害檢測方法Epd RCNN（Elongated pavement distress Region-based Convolutional Neural Network）。該方法主要包括以下幾個方面：

1）提出了一種有效表示細長路面病害特征的骨干網絡。該骨干網絡通過復用低層特征并反復融合不同階段特征，以提取符合細長路面病害語義特性的多樣性特征。

2）使用有效的錨框機制增加可訓練的正樣本。針對細長路面病害的異常幾何屬性，在訓練過程中按照細長路面病害長寬比和長度的分布制定有效的錨框機制生成合適的錨框。

3）在步長為4的高分辨率特征圖上預測細長路面病害包圍框，避免某些細長路面病害在低分辨率特征圖上不可見。并利用并行級聯空洞卷積模塊作用于該高分辨特征圖，以提取多尺度特征，緩解不使用FPN所帶來的多尺度特征損失。

4）利用候選區(qū)域特征改良模塊強化候選區(qū)域的前景病害特征。考慮形狀各異的細長路面病害包圍框以及病害與其包圍框之間的關系，在提取細長路面病害候選區(qū)域特征時使用候選區(qū)域特征改良模塊強化細長路面病害特征。

1 相關工作

目前，有關路面病害的識別與研究，有以下兩種方式：基于傳統圖像處理和基于卷積神經網絡（Convolutional Neural Network，CNN）［3］的處理。

基于傳統圖像處理的檢測方法首先提取圖像的局部或低級語義特征，再利用所提取的特征實現病害的定位與檢測。把原始輸入圖像分塊，用灰度方差值描述子塊圖像特征，用不變矩描述圖像子塊模式矩陣的整體特征，訓練病害檢測器［4］。此外，直接使用圖像處理算法實現病害檢測，如使用索貝爾算子提取病害的梯度特征［5-6］，統計裂縫區(qū)域的灰度信息［7-10］，利用相關描繪子提取病害的局部特征［11-13］。然而，由于人工設計的局限性，在真實復雜的環(huán)境下，基于傳統圖像處理的病害檢測算法難以取得較好的檢測結果。

更進一步的，從廣義上講，人工設計的特征描繪子可由CNN 的卷積層和池化操作組成［14］。多層堆疊的CNN 可實現具有判別力和代表性特征的自動提取和表示，該技術可成功應用于路面病害檢測。使用CNN 分類病害，該方式以固定滑動窗口的方式對圖像分塊，將圖像塊輸入CNN 進行二分類以判斷是否存在病害［15-17］。該方式難以準確定位出病害的具體位置，并且需對圖像塊的預測塊結果進行后處理合并，增加預測病害的處理時間和難度。使用基于CNN 的分割網絡對病害做像素級預測［18-20］，輸入較小分辨率的路面圖像，以全卷積網絡［21］的方式分割出病害。由于人工標注的主觀性和圖像分辨率的限制，像素級預測的重建結果并不可信。同時像素級預測需耗費大量的標注資源。因此，采用目標檢測的方式，即以預測病害包圍框的方式定位和分類出路面病害，將會取得更好的收益。基于CNN 的目標檢測算法成功應用于路面病害檢測，實現八種路面病害的端到端檢測［22］。Wang 等［23］將通用領域經典的二階段目標檢測算法Faster RCNN［24］直接應用于路面病害檢測。通過調整模型的相關參數，并使用數據增強技術，解決數據分布不均衡的問題，取得了非常有競爭力的檢測結果。為提升候選區(qū)域的生成質量，將邊緣檢測、膨脹、腐蝕、輪廓檢測等傳統圖像處理技術作為Fast RCNN［25］的候選區(qū)域生成方式，再以字典學習的方式訓練病害分類器［26］。

2 細長路面病害檢測方法

2.1 整體架構

Epd RCNN 的整體架構如圖2 所示，該方法是以Faster RCNN 為基礎構建的，主要包括用于提取多樣性特征的骨干網絡、并行級聯空洞卷積模塊和候選區(qū)域特征改良模塊。如圖2 所示，高清分辨率圖像經過骨干網絡提取特征之后，輸出4 種分辨率特征圖，表示為｛C2，C3，C4，C5｝。為避免信息損失，Epd RCNN 將C3、C4 和C5 上采樣至C2 大小，再與C2做拼接，輸出步長為4 的融合增強特征。并行級聯空洞卷積模塊作用于該融合增強特征，獲取多種感受野特征。Epd RCNN 仍采用Faster RCNN 的候選區(qū)域網絡（Region Proposal Network，RPN）生成候選區(qū)域。但根據數據集中病害長寬比和長度的分布，使用多尺度和多長寬比錨框機制（Multi-Scales and Aspect-Ratios Mechanism，MSAM）生成更符合病害形狀的候選區(qū)域。隨后在并行級聯空洞卷積模塊輸出的高分辨率特征圖上，利用候選區(qū)域特征改良模塊提取候選區(qū)域特征。候選區(qū)域特征改良模塊由可變形感興趣區(qū)域池化（Region of Interest Pooling，RoI Pooling）［27］和空間注意力模塊組成。針對形狀各異的候選區(qū)域，首先使用可變形RoI Pooling 提取特征，緩解候選區(qū)域的不一致性。再使用空間注意力模塊，突出候選區(qū)域有用的前景特征，避免所提取的候選區(qū)域特征淹沒于大量的背景之中。最后，使用R14×14×256的候選區(qū)域特征實現候選區(qū)域的分類和回歸。

圖2 Epd RCNN的整體架構Fig.2 Overall architecture of Epd RCNN

2.2 骨干網絡

本節(jié)提出一種能夠有效保留低層細節(jié)信息和物體上下文信息的骨干網絡，將其命名為HRNet++。如圖3 所示，該骨干 網絡在HRNet（High Resolution Network）［28］的基礎上，通過添加低層特征向后傳遞模塊改進而來。HRNet++輸出的高分辨率特征圖可以有效地呈現多樣性的特征表示。如圖3 所示，HRNet++一次性聚合子數據流塊的所有卷積特征，這能有效保留低層特征并捕獲不同感受野特征。在該骨干網絡的不同階段提取子數據流特征，并將不同階段的子數據流特征以全連接的方式相互融合，從而在實現高分辨率特征圖的同時保留物體細節(jié)信息并豐富感受野特征。

圖3 骨干網絡HRNet++Fig.3 Backbone network HRNet++

Hrnet++共包含5 個階段，初始階 段采用ResNet［29］的stem，輸入圖像經過stem 之后，輸出特征圖會降為原圖的1/4。剩余4 個階段如圖3 所示，每個階段包含6-r個子數據流塊，r為所在階段數。子數據流塊在本階段以串行的方式連接，在不同階段以并行的方式連接。子數據流塊由4 個卷積特征提取模塊和低層特征向后傳遞模塊（Fmix）組成。Fmix接收并拼接子數據流塊的4 種不同感受野特征，再用一個1×1 的卷積融合拼接特征，其過程如式（1）所示：

其中：Fmix表示該子數據流塊輸出的融合特征，和θc分別表示1×1 的卷積層和其參數。數據經過不同階段的子數據流塊后，再以全連接的方式融合骨干網絡的不同階段特征。圖3 詳細描述了不同階段特征相互融合的過程。以HRNet++第4 階段的3 種分辨率特征融合為例，輸入的3 種不同分辨率特征圖可表示為：{，r=2，3，4}。在該階段骨干網絡輸出3 種原始分辨率特征圖{，r=2，3，4}和1 個額外下采樣特征圖。該過程可表示為：

其中：(·)為特征轉換函數，其定義由輸入階段數m和輸出階段數n決定。如果m=n(·)是一個普通的3×3 卷積；如果m＜n(·)是連續(xù)的n-m個步長為2 的3×3 卷積，是進行2n-m倍縮小的下采樣操作；如果m＞n(·)是后跟1×1 卷積的雙線性插值，是放大2m-n倍的上采樣和通道對齊操作。數據經過5 個階段的流動和融合之后，骨干網絡的高分辨率特征圖可實現特征的多樣化表征。

2.3 并行級聯空洞卷積模塊

Epd RCNN 融合骨干網絡輸出的4 階段特征，輸出步長為4 的融合增強特征，如圖2 所示。為緩解只在高分辨特征圖上做預測所導致的多尺度特征損失，提升融合增強特征的多尺度特征表示能力，同時滿足細長路面病害檢測對于不同大小感受野特征的需要。對上述高分辨率融合增強特征，使用并行級聯空洞卷積模塊生成有效的多尺度特征表示，用于檢測多種長度的病害。并行級聯空洞卷積模塊由4 個級聯的3×3 空洞卷積Ki組成，空洞率為i∈｛6，12，18，24｝，如圖4 所示。并行級聯空洞卷積模塊接收高分辨率融合增強特征x，執(zhí)行豎直方向的級聯空洞卷積和水平方向的并行分支輸出。在豎直方向上，4 個空洞率遞增的級聯空洞卷積可獲取感受野不斷增大的特征。在水平方向上，以并行的方式輸出級聯過程中的中間特征，保留級聯過程中的多種尺度特征。最后，拼接并行級聯空洞卷積模塊輸出的4 種感受野特征。為消除拼接特征的混疊效應，使用一個3×3 卷積再次融合該特征，實現有效的多尺度特征表示。該過程可表示為：

圖4 并行級聯空洞卷積模塊Fig.4 Parallel cascaded dilated convolution module

其中：x表示融合增強特征，Ki為不同空洞率的卷積，yi為級聯階段的并行水平輸出，y表示并行級聯空洞卷積模塊輸出的融合多尺度特征，和θc分別表示3×3 的卷積層和其參數。

2.4 候選區(qū)域特征改良模塊

在預測候選區(qū)域時，不同于FPN 將候選區(qū)域分配到特定的層上，Epd RCNN 在并行級聯空洞卷積模塊輸出的高分辨率特征圖上提取候選區(qū)域特征并進行預測。某些細長路面病害候選區(qū)域具有形狀各異以及病害只占其包圍框很小一部分的特點。如果使用RoI Pooling［24］的方式提取候選區(qū)域特征，則形狀各異的候選區(qū)域只會學習到固定的特征表示，難以有效保留病害的前景內容，導致不佳的候選區(qū)域特征表示。為彌補RoI Pooling 的不足，本文提出候選區(qū)域特征改良模塊獲取更為有效的候選區(qū)域特征，該模塊包括可變形RoI Pooling［27］和空間注意力模塊。首先，長的候選區(qū)域應在較大區(qū)域上編碼內容，而短的候選區(qū)域所對應的特征應具有較小的范圍。為適應這種幾何變化，本文使用可變形RoI Pooling實現候選區(qū)域特征的自適應。可變形RoI Pooling 對候選區(qū)域的每個子區(qū)域像素，學習一個偏移量和該偏移量的權重，自適應地選取合適的位置進行池化，得到分辨率為14×14 的特征圖。其次，為有效保留候選區(qū)域的前景內容，抑制無用的背景區(qū)域，使用空間注意力模塊進一步優(yōu)化所提取的候選區(qū)域特征，其結構如圖5 所示。上述14×14 的特征圖輸入空間注意力模塊，獲取空間注意力權重Asa（x）∈R14×14×1。首先分別使用1×1 的卷積、沿通道的平均池化和最大池化生成聚合特征Ra、Ravg和Rmax∈R14×14×1，并拼接上述3 種聚合特征。再使用一個3×3 的卷積融合上述拼接特征，并通過sigmoid 函數對該融合特征進行歸一化，獲取候選區(qū)域特征注意力權重。該過程可表示為：

圖5 空間注意力模塊Fig.5 Spatial attention module

其中：σ表示sigmoid 函數，F3×3為3×3 的卷積層，“·”表示特征拼接操作。最后，候選區(qū)域特征Xsa∈R14×14×256可由式（7）計算得到：

其中“?”表示逐元素的乘法。

3 實驗與結果分析

3.1 實驗設置

3.1.1 數據集

用于訓練和評估的數據集由8 444 張分辨率為2 048×2 048 的灰度圖像組成。這些圖像由特制的檢測車輛從中國廣東省境內的高速路收集而來。圖1 是數據集中4 種典型的細長路面病害，它們分別是縱向裂縫（zxlf）、橫向裂縫（hxlf）、修補（xb）和修補不良（xbbl），且圖1（d）出現修補不良和修補相交在一起的情況。該數據集有以下的特點：圖像容易受水漬、垃圾、油斑、礫石、車道線及噪聲等因素的干擾，導致背景異常復雜；病害在不同圖像中形態(tài)、顏色、拓撲結構、長度存在較大的差異；有一些病害與背景十分接近，對比度差異較小；存在復合類型病害的細粒度檢測，要分辨出修補與修補不良這兩種十分接近的病害；成像易受天氣、光照、過度曝光、曝光不足及陰影等不理想成像條件的影響，圖像極易出現光照不足和光照不均的情況，進一步降低病害和路面的對比度差異。因此，從圖像中自動檢測出路面病害充滿挑戰(zhàn)。為進一步評估該方法在不理想成像條件下檢測的魯棒性，本文按照圖像的灰度值把測試數據分成明、暗兩種類型，并記錄實驗結果。

在圖像標注的過程中，對于裂縫病害而言，按照病害包圍框的長寬比來確定病害類別：如果裂縫病害包圍框的長寬比大于1，則被標注為縱向裂縫；若裂縫病害包圍框的長寬比小于1，則被標注為橫向裂縫。由于包圍框長寬比為1 的裂縫實例較少，直接將包圍框長寬比為1 的裂縫實例標注為縱向裂縫。針對修補和修補不良相交的情形，不再將該形式的病害整體標注為修補不良，而是將其認為是多個相交的病害實例，并分別進行標注。所獲取的原始圖像數據存在著類別不均衡，主要集中于裂縫類型病害。針對數據集中存在的不均衡數據，本文采用Albumentations［30］中的水平翻轉、垂直翻轉、旋轉以及轉置等空間級變換來擴充不平衡的病害圖像。表1 展示了經過圖像增廣之后，分別用于訓練和測試每類病害的圖像數量。本文隨機選取7 601 張圖像作為訓練集用于網絡訓練，剩余843 張圖像作為測試集用于評估檢測方法的性能。

表1 訓練集和測試集中的圖像數Tab.1 Number of images in training set and test set

3.1.2 評估指標

平均精度（Average Precision，AP）和平均準確率均值（mean Average Precision，mAP）是目標檢測任務常見的評估指標。本文采用與VOC（Pascal Visual Object Classes）［31］目標檢測比賽相同，在交并比為0.5 時的AP 和mAP 作為評估指標。AP 用于評估檢測方法在單個病害上的性能表現，反映檢測方法在該類病害上的檢測穩(wěn)定性。對于多種病害檢測，mAP 是所有類別AP 的均值，反映檢測方法在所有病害上的性能表現。

3.1.3 數據預處理

數據集是由2 048×2 048 的高清分辨率圖像組成。直接使用全分辨率圖像作為訓練輸入需要大量的GPU 內存，從而導致訓練困難。針對該情況，通常有兩種做法：把圖像剪切成適合的小塊或縮小圖像，剪切圖像的方式會嚴重破壞病害的整體性，產生較多的誤報；同時需再次融合圖像小塊的預測結果，增大病害檢測的難度和時間。本文把圖像縮放到1 024×1 024，在保留病害完整性的前提下，同時降低在訓練和測試階段對于硬件的要求。

3.1.4 網絡設置

本文所有的實驗均使用 MMDetection（MMLab Detection）［32］深度學習目標檢測工具箱，并在顯存容量為24 GB 的NVIDIA TITAN RTX 上執(zhí)行。使用沖量系數為0.9 的帶動量的隨機梯度下降算法優(yōu)化網絡。采用Microsoft Common Objects in Context［33］數據集上的預訓練模型，并凍結骨干網絡第一階段的參數。批次大小設置為2，共訓練60 個輪次，初始學習率設置為0.01，學習率在第20 輪和40 輪分別降至0.001 和0.000 1。Epd RCNN 的RPN 采用MSAM 生成更為符合數據分布的錨框。表2 是FPN 和MASM 兩種錨框機制的配置參數。

表2 訓練過程中使用的兩種錨框機制Tab.2 Two anchor box mechanisms used in training process

3.1.5 用于比較的方法

為驗證骨干網絡、MSAM 以及Epd RCNN 對于檢測細長路面病害的貢獻，本文比較4 種檢測方法分別使用4 個骨干網絡的性能表現，所比較的骨干網絡和檢測方法如表3所示。

表3 對比實驗中的骨干網絡和檢測方法Tab.3 Backbone networks and detection methods in comparison experiments

ResNet101［29］：101 個卷積層的ResNet101。引入具有恒等映射的殘差模塊，構建出更深的網絡結構，從而提取出可建立長距離依賴關系的大感受野特征。

VoVNetV2-57［34］：57 個卷積層的VoVNetV2-57。該網絡一次性聚合網絡中低層特征實現多樣化特征提取，再使用通道注意力機制和殘差連接優(yōu)化網絡所提取的特征。

HRNetV2-W32［28］：初始通 道數為32 的HRNetV2-W32。該骨干網絡并行連接高至低分辨率的卷積信息流，以全連接的方式反復融合骨干網絡的不同分辨率卷積特征圖，獲取語義上更為豐富、空間上更為精確的特征。

HRNet++：本文所提出的骨干網絡，具體參考2.2 節(jié)。

Faster RCNN［24］：經典的二階段目標檢測方法。本文采用FPN，在不同尺度的特征圖上生成候選區(qū)域預測病害。

Faster RCNN+：采用MSAM 的Faster RCNN。

Epd RCNN-：本文第2 章所介紹的病害檢測方法，但未使用MSAM。

Epd RCNN：本文第2 章所介紹的病害檢測方法。

3.2 不同方法比較結果分析

表4 呈現了在測試集上本文所比較的檢測方法分別使用4 種骨干網絡的檢測結果。

首先，表4中的mAP_B 和mAP_D 分別表示檢測方法在測試集中明、暗兩種圖像上的mAP。表4 中的mAP 是mAP_B 和mAP_D 的綜合平均，表示檢測方法在測試集中所有圖像上的綜合mAP。本文所有實驗的mAP_B 和mAP_D 十分相近，表明CNN 和二階段目標檢測方法可有效處理細長路面病害存在的光照問題，可實現在不理想成像條件下病害的魯棒性檢測。從同種骨干網絡下不同檢測方法的性能表現可以看出，Faster RCNN 在所有的檢測方法中表現最差，特別是對于前景占比相對較少的細長病害（橫向裂縫、縱向裂縫和修補不良），說明將細長路面病害的候選區(qū)域映射到FPN的高層會嚴重影響細長路面病害的檢測性能。信息損失的FPN高層會導致細長路面病害不可見，同時也對病害的邊界不敏感。在相同的骨干網絡下，與Faster RCNN、Epd RCNN-相比，Faster RCNN+和Epd RCNN 的mAP均有提升，說明在訓練過程中，檢測方法能否生成足夠的正樣本對于細長路面病害檢測十分重要。MSAM 能夠生成高質量的正樣本，覆蓋細長路面病害，避免檢測方法在訓練的過程中只學習到圖像的背景區(qū)域。相較于其他3 種檢測方法，在分別使用4 個骨干網絡時Epd RCNN 始終保持較好的檢測性能。

其次，骨干網絡能否有效利用低層細節(jié)特征和高層大感受野特征，對于提升細長路面病害的特征表達能力至關重要，決定后續(xù)檢測方法的性能表現。以下的描述均是針對不同骨干網絡在相同檢測方法下的性能比較。ResNet101 只堆疊較深的卷積層，從而獲取可建立長距離依賴關系的卷積特征，在以上的檢測方法中均表現不佳。一次性聚合低層特征的VoVNetV2-57，通過保留低層特征，提取多樣性特征，可取得檢測結果有限的提升。反復融合不同階段特征的HRNetV2-W32 也可獲得一定的檢測性能提升。但相較于HRNet++，上述3 種骨干網絡均未取得理想的性能表現。與以上3 種骨干網絡相比，HRNet++在不同的檢測框架下均獲得最優(yōu)的檢測結果。粗略地講，HRNet++具有以下優(yōu)點：堆疊足夠的卷積層，可提取能夠建立長距離依賴關系的大感受野特征；向后傳遞卷積神經網絡所提取的低層特征；網絡不同階段特征相互融合，可讓高分辨率特征圖同時保留物體的細節(jié)信息和豐富的語義信息。表4 的實驗結果表明，骨干網絡以上的改進可提升路面病害的特征表達能力，提升細長路面病害的檢測性能。

表4 在測試集上細長路面病害的檢測性能比較Tab.4 Comparison of elongated pavement distress detection performance on test set

最后，使用骨干網絡HRNet++的Epd RCNN 取得最優(yōu)的0.899 的mAP，比基線Faster RCNN 高出0.385。對于縱向裂縫、橫向裂縫、修補和修補不良，該方法分別取得0.893、0.895、0.912 和0.897 的AP，表明該方法具有良好的細長路面病害檢測性能。對于此類型病害來說，該方法所獲取的分類AP 和mAP 表明，在高分辨率特征圖上進行細長路面包圍框預測優(yōu)于FPN 的多尺度預測。并行級聯空洞卷積模塊保留并融合級聯過程中的多尺度特征，滿足細長路面病害檢測對于多尺度特征的需要。候選區(qū)域特征改良模塊進一步優(yōu)化候選區(qū)域特征，可提取有效的細長路面病害候選區(qū)域特征，從而獲取更優(yōu)的檢測結果。

3.3 檢測結果定性分析

圖6 是本文所比較的4 種檢測方法在使用骨干網絡HRNet++時，在測試集上的隨機采樣結果。如圖6（a）、（b）所示，Faster RCNN 和Faster RCNN+均產生大量的漏報，特別是對于細微且前景內容較少的裂縫類型病害，并且預測出較低的包圍框分類分數。圖6 的結果表明，上述兩種檢測方法均難實現細長路面病害的準確預測。Epd RCNN-可做到細長路面病害的不漏檢，但出現預測較大包圍框的情況，不能完全貼合細長路面病害。在這4 種檢測方法中可明顯發(fā)現，不使用MSAM 的Faster RCNN 和Epd RCNN-更傾向于預測出長寬比較為正常、長或寬均不是很長的包圍框。而使用MSAM 的Faster RCNN+和Epd RCNN可預測出更接近病害形狀、特殊長寬比的細長包圍框。最后，Epd RCNN 的檢測結果如圖6（d）所示，可以看到該方法可預測出更接近真實標注的檢測結果，并且具有較高的包圍框分類置信度。上述不同方法的檢測結果，進一步表明Epd RCNN在細長路面病害檢測的有效性。

圖6 四種檢測方法的細長路面病害檢測結果示例Fig.6 Examples of elongated pavement distress detection results of four detection methods

Epd RCNN 在本文測試集上的檢測結果采樣如圖7所示。圖7（a）、（b）分別是該方法的正確檢測結果，表明本文的檢測方法可有效處理細長路面病害。圖7（a）表明，當光照充足時，即使圖像會受路面材質、車道線以及行車狀況等因素的干擾產生復雜的背景，該方法依然可做到準確有效的預測。當圖像出現光照不足、光照不均等光照問題時，該方法依然可做出魯棒性的檢測，如圖7（b）所示。針對病害前景只占其包圍框很少一部分的裂縫，圖7（a）、（b）的前兩列表明該方法可精確預測出裂縫病害的位置和類別。圖7（b）的最后一列表示兩個相交病害的檢測結果，該方法在定位出兩個病害實例的同時，可對這兩種病害進行細粒度的區(qū)分。Epd RCNN 的低層特征復用、提取多尺度特征、有效的候選區(qū)域特征、符合數據集長寬比分布的錨框機制以及在高分辨率特征圖上做預測，使其能夠具有較好的檢測性能。

該方法典型的失敗檢測結果如圖7（c）所示。首先，圖7（c）的第一列的真實標注是兩段縱向裂縫，該方法預測出一個整體的縱向裂縫。出現上述裂縫漏報的主要原因是：在訓練數據中由于人類的主觀因素將這種兩條邊界不明顯的裂縫標注為同一條裂縫的緣故，導致該方法更傾向于預測出一條整體裂縫。第二，Epd RCNN 對同一個病害實例同時預測出修補和修補不良。對于這種一個病害實例預測出兩種結果的情況，是由于將該病害實例同時標注為修補和修不良，該方法對這種人類難以有效界定的病害，出現混淆檢測。第三，圖7（c）的最后兩列表示將路面出現的異物誤報為修補。圖7（c）的最后兩列分別是鞋帶和施工的瀝青殘留，由于二者與修補十分接近，該方法做出錯誤的預測。對于異物誤報的情形，可能是由于該方法是一種啟發(fā)式的檢測算法，在學習的過程中該方法未能選取有效的負樣本準確覆蓋相關異物。在后續(xù)的工作中，進一步明確標注數據，合理使用噪聲數據，同時在訓練過程中顯式地加入相應的背景異物來消除上述誤報。

圖7 Epd RCNN在不同光照條件下正確的細長路面病害檢測結果以及該方法錯誤的檢測結果Fig.7 Correct elongated pavement distress detection results of Epd RCNN under different illumination conditions and its wrong detection results

4 結語

本文從細長路面病害的弱語義特性和異常幾何屬性出發(fā)，提出Epd RCNN 路面病害檢測方法。該方法主要包括低層特征復用和多種尺度特征反復融合的骨干網絡、并行級聯空洞卷積模塊、MSAM，以及候選區(qū)域特征改良模塊。實驗結果表明，該方法優(yōu)于對比的目標檢測方法，可降低路面病害視覺檢測任務的勞動密集程度。盡管如此，在以后的工作中將對以下內容繼續(xù)展開研究。

1）加入更多種類的路面病害，如相對小的目標坑槽病害，使之能夠滿足日常工作的基本需要。

2）二階段目標檢測方法需大量的內存和計算資源，較難實現快速的病害實例檢測，研究單階段目標檢測算法實現路面病害的實時檢測。

3）HRNet++在融合不同階段特征時，并未考慮不同尺度特征對于融合特征的貢獻程度，采用注意力機制融合更為適合細長路面病害檢測的特征。