基于深度特征金字塔的路面病害檢測

張 偉，劉寧鐘，寇金橋

(1.南京航空航天大學 計算機科學與技術學院，江蘇 南京 211106；2.北京計算機技術及應用研究所 方舟重點實驗室，北京 100854)

0 引 言

道路基礎設施是中國一項重要的公共資產，也是國家整個交通系統的基本組成部分。截至2021年初，中國高速公路運行長度約十六萬公里，穩居全球首位[1]，而到了2035年，中國的農村公路更要全面做到鄉鎮通的三級公路，總計里程數能夠超過五百萬公里，這就要求道路養護當局提供必要的支持和強有力的工具，以準確實時地應對道路狀況問題[2]。傳統的道路檢查以日常檢查和年度檢查相結合，在日常檢測中，以人工巡查為主，然而現場目視檢查是勞動密集型的。對于年度檢查，由權威機構牽頭，采用專用設備和人員進行操作檢測，但是這種檢測過程成本極高[3-4]。因此基于圖像的道路表面病害識別深受研究人員的青睞[5]，早期研究側重于傳統的圖像處理技術，這一類方法主要是利用路面病害像素和路面背景像素的差異[6-8]。一些研究人員也將機器學習方法與圖像處理技術相結合，可以進一步提高表面病害檢測的魯棒性和通用性[9]。

近年來，卷積神經網絡已經證明它們可以在復雜的圖像上表現穩定，因為它們可以從輸入圖像中挖掘出更具有代表性的特征[10]，所以越來越多的研究人員嘗試使用深度神經網絡來檢測道路表面的病害。分類網絡可以在只包含一種預定義病害類型的圖像中獲得相當高的準確性[11]。分割神經網絡在病害的量化上具有明顯優勢，因為其檢測粒度是像素級別的[12-13]。使用基于目標檢測的方法對道路表面病害進行檢測并分類是更好的選擇，因為目標檢測數據集的標注與制作更加簡單高效，且這些方法可以提供實例級別的病害檢測[14]。

在目標檢測網絡的前饋推理過程中，考慮到模型的速度和大小，必須對原始輸入圖像和后續特征圖像進行降采樣。然而，采集到路面圖像中的路面病害本身目標信號就較弱，一些小裂縫可能只有少數像素，因此，隨著網絡深度的增加，不可避免地會造成信息的持續損失。在以往的目標檢測研究中，研究者傾向于使用更深層次的特征圖，因為這些特征在經過大量神經網絡層的提取后，具有豐富的語義信息。然而這樣的特征選擇卻忽略了一定的空間信息，尤其對于道路表面病害來說，這種信息忽略可能是致命的，因為原始圖像中一條明顯的裂縫，隨著網絡深度的加深，可能不再為深層網絡所見。特征金字塔網絡(Feature Pyramid Network，FPN)讓目標檢測模型也關注到了淺層特征，并將特征圖的各個層次進行了融合，空間信息和語義信息進一步得到了提升[15]。因此將FPN引入到道路表面病害的目標檢測網絡中，可以為整個網絡提供更多的空間信息。此外，在使用深度神經網絡處理圖像時，原始圖像以及后續特征圖是三個維度的，空間信息僅僅利用了二維的信息，因此通道信息也是不能被忽略的。與此同時，如何更好地利用FPN所生成的多層次特征圖并提取出更有用的信息也是該文的研究重點。

1 相關工作

1.1 FPN

2017年，Lin等人提出了特征金字塔網絡FPN，金字塔的構建包括自下而上的路徑、自上而下的路徑和橫向連接。圖1顯示了構建FPN的過程。對于最高層次的特征圖，其包含的細節信息較為粗糙，將該特征圖的空間分辨率向上采樣2倍。然后，通過對應元素直接相加的方式，將上采樣后的特征圖與相應的自下向上的特征圖通過橫向連接融合。重復此過程，直到最大分辨率的最底層特征圖。最后，在每個融合后的特征圖上加上一個3×3的卷積，生成最終的輸出特征圖，這可以減小融合后的混疊效果。最后一層輸出特征圖P6是通過P5上采樣生成的。FPN是一種可以用于多尺度目標檢測的實用且準確的解決方案，在兩階段目標檢測模型Faster R-CNN[16]上集成FPN并取得顯著的效果之后，FPN成為許多新目標檢測器和模型的基礎。

圖1 FPN的網絡結構

對于兩階段目標檢測模型來說，FPN不僅是生成候選目標的特征來源，也是最終輸出預測目標的特征來源。目前的兩階段檢測模型大多使用ROI特征提取器，該特征提取器根據候選區域生成網絡(Region Proposal Network，RPN)生成的候選邊界框來選擇主干網生成的特征區域。引入FPN以后，特征提取不再直接操作于主干網特征，而是操作于由FPN生成的特征金字塔上。對于ROI特征提取器來說，會將每個ROI映射到FPN的某一個單層次特征圖，然后進行池化等操作。公式1就是最基本的映射規則，將寬度為w、高度為h的ROI分配到特征金字塔的第k層。以Faster R-CNN為例，在未使用FPN之前，僅在C4階段的單尺度特征圖上運行目標檢測與分類，因此k0一般設置為4。而公式1同時也說明如果某個ROI的尺度較小(例如，224的一半)，那么該ROI會被映射到一個更低層次的特征圖(例如，k=3)，而該特征圖剛好也包含更多的細節信息，這也表明了公式1設計得比較合理，因此該映射規則一直被使用。

(1)

1.2 通道注意力

最經典的通道注意力架構單元是擠壓和激發塊(Squeeze and Excitation，SE)[17]。圖2顯示了通道注意力機制的擠壓和激勵過程。第一步擠壓是通過全局平均池化將形狀為W×H×C全局特征圖壓縮成1×1×C形狀的通道描述符，以此來收集全局空間信息。第二步是激勵，將第一步中聚集的信息，通過FC-ReLU-FC變換來重新學習通道之間的權重分布，并引入一個超參數r來限制復雜性，然后用一個sigmoid激活函數作為一個簡單的門控機制輸出一個注意力向量。注意力向量最終通過相乘的方式來重新調整原始特征圖的輸入通道。

圖2 SE通道注意力機制結構單元

1.3 路面病害目標檢測

在Maeda等人的研究中，開發了分別以MobileNet和Inceptionv2為主干網的SSD檢測模型，用來檢測8類道路表面病害，同時公布了公共道路損傷數據集2018(Road Damage Dataset 2018，RDD2018)[18]。Wang等人在該RDD2018上使用Faster R-CNN來檢測和分類受損的道路。Kluger為了解決道路損壞檢測和分類問題，應用Faster R-CNN、RetinaNet、隨機森林與神經網絡以及集成學習的方法。

2 模型與方法

FPN是一種等價于從不同圖像分辨率提取特征的體系結構，它已經被大量實驗證明具有維持空間信息的有效能力。該文進一步考慮通道特征對于路面病害表征的有效性。長久以來，通道特征注意力的發展一直集中在語義分割和圖像分類任務上，在目標檢測領域應用了更多的空間注意力機制，這是因為對于目標檢測的直觀感受上，空間信息更重要。而對于路面病害檢測來說，經過主干網的一系列卷積處理，然后通過FPN生成特征金字塔，每兩個層次的特征圖之間的分辨率相差2倍，即使分辨率最高的特征圖，仍然只有輸入圖像的四分之一大小。然而，圖像中的道路病害，如裂縫，本身可能只有幾個像素，因此，隨著網絡深度的增加，一條明顯的裂縫可能不再為深層網絡所見。筆者認為此時增加空間注意力并不是最佳選擇，因為卷積本身就是一種廣義的空間注意力模塊，因此將重點放到特征圖的通道維度，如圖3所示，對FPN的每一層輸出圖都使用一個SE進行通道矯正。在以往的模型中集成SE時，都是將SE加到主干網的某一些堆疊塊后面，比如殘差塊，該文開創性地將通道注意力機制應用到頸部網絡，集成方式只是簡單的串聯，使模型具有松耦合的特性，簡單高效，并且幾乎不增加模型的復雜度。

圖3 FPN與通道注意力的集成

集成了通道注意力的特征金字塔，分別從通道維度和空間維度增強了模型對于路面病害的表征能力，并生成了多層次特征圖，然后由特征提取器根據ROI選擇特征層次進行特征提取。在傳統的FPN中只考慮了單層次特征圖提取的方法，這存在一些信息相關的問題。公式2可以表示為RPN中的回歸子網對錨框的修正，x是在特征金字塔上輸入的某一層次的特征圖，w*是要學習的回歸權重參數(*表示x,y,w和h，對應錨框的平移變換和尺度縮放)，d*(x)是網絡的輸出，用來修正候選錨框。可以看出，這里可能存在特征沒有對齊的問題，如果特征圖x來源于第i層，候選錨框P1位于來自特征金字塔的第i層，然后候選錨框P1經過RPN的第一次修正后變為P2，在頭部網絡進行第二次修正時，公式1將P2映射到FPN的第j層，如果i≠j，那么該ROI經過兩次修正后很明顯存在依賴的特征基礎不一致。

d*(x)=w*x

(2)

在過往的研究中都指出，在設計路面病害的檢測模型時，如何利用好低層次的特征是非常重要的，高層次的特征融合可能會造成冗余的干擾信息[19]。受此啟發，提出了一種自下而上的ROI路面病害特征提取器，將其命名為RDROIE(Road Disease ROI Extractor)。圖4顯示了這一提取框架。k是通過公式1計算而來，認為由公式1計算出來的第k層次是某個尺度病害的理想特征層次，具有較好的語義特征，然而由于道路病害的細微性，在卷積下采樣的過程中，特征信息損失嚴重，因此選擇k層及k層以下的ROI特征進行融合。首先是ROI池化模塊，它是一個對非規則ROI執行最大池化以獲得固定大小表示的模塊，ROIAlign是現階段最流行的池化操作，它通過將原始特征圖上的ROI劃分為相等的網格，并在每個網格內使用雙線性插值來縮小矩形特征圖區域。經過ROIAlign池化模塊生成ROI特征都具有相同的形狀，隨后是一個預處理模塊，其目的是對池化后的區域進行初步細化。該文使用了一個5×5卷積層，然后使用一個求和操作，聚合來自每個層次分支的單個ROI特征。在最終返回聚合特征之前應用了一個額外的細化步驟，這一步應該允許網絡學習全局特征，加強最終ROI特征的信息能力。該文選擇應用空間注意力層，這一層的主要目標是消除無用信息。

我的第三個男朋友，叫羅思平。其實，我和他之間，也沒有發生什么，但我依然堅稱他是我男朋友。我喜歡將那些與我有過千絲萬屢聯系的男孩或者男人，統稱為男朋友，無論我們之間的關系是微妙抑或明朗。羅思平是我所在打工小食店的常客，三十歲左右，喜歡刁著煙，隔一陣子用食指輕輕地將燃過的煙灰彈去。他總是一臉的憂郁。

圖4 路面病害ROI提取框架

3 實 驗

3.1 實驗細節

對于路面病害檢測來說，準確檢測到病害的重要性是高于檢測速度的，而兩階段模型在準確率上大多時候是優于一階段模型的，因此采用兩階段的檢測模型作為基線模型，選取了帶有FPN的Faster R-CNN，圖5展示了所使用的路面檢測框架。

圖5 路面病害檢測模型

該文將改進后的特征金字塔網絡在兩個數據集進行了驗證，一個是RDD2018，圖像來自日本的7個地方(Ichihara，Chiba，Nagakute，Sumida，Muroran，Adachi和Numazu)，共9 053張圖像樣本，有7 240張和1 813張圖像被分別用作訓練樣本和測試樣本。該數據集包含8個不同的道路病害類別，分別是縱向裂縫(D00)，縱向接縫(D01)，橫向裂縫(D10)，橫向接縫(D11)，龜裂(D20)，車轍、露骨、坑槽和分裂歸為一類的D40，人行道模糊(D43)和白線模糊(D44)。一個是筆者自己制作的瀝青路面病害數據集，包含2 297張圖像，隨機選擇了其中2 072張用于訓練，225張用于驗證，共六種病害，分別是縱向裂縫(Type1)，橫向裂縫(Type2)、灌封修補(Type3)、塊狀修補(Type4)、坑槽(Type5)和塊狀裂縫(Type6)。圖6分別給出了兩個數據集中的圖像示例，(a)是文中的瀝青路面病害數據集的示例，(b)是RDD2018中的示例。在訓練期間，對于自己制作的數據集，用于訓練和測試的圖像原始大小為4 000×3 000的高分辨率圖像，如果直接使用原始分辨率的圖像作為訓練輸入，需要大量的GPU內存以及訓練時間，造成模型訓練和優化困難。針對這種情況，將圖像大小調整為1 333×800，這是最常用的目標檢測圖像輸入分辨率，既可以保持病害在圖像中的完整性，也可以減少在訓練階段對硬件的需求。盡管如此，由于使用的是一塊GTX 1080 Ti 11 GB GPU，批量大小不能設置得太大，但是對于批量歸一化來說，小批量會使批量統計的估計不準確，所以在訓練過程中固定BN層的參數，不更新它們。在將每個圖像饋送到網絡之前，對其進行了隨機水平翻轉，隨機概率為0.5，然后將輸入圖像的RGB通道上的均值和標準差值進行歸一化。在后續的模型比較中，與之比較的所有模型都不是來自原始論文的實現，但它們是在相同的環境上進行訓練并測試，除了提出的改進的FPN模塊外，其余都使用相同的配置，因此該文使用MMDetection作為基礎工具箱來開發文中方法。

圖6 路面病害圖像示例

3.2 實驗結果

采用基于IOU的方法來匹配預測邊界框與真實標注(Ground Truth，GT)邊界框，從而判斷定位是否準確，如果IOU≥0.5，則認為該檢測邊界框是TP。如果IOU<0.5，則認為該檢測邊界框是FP。由于目標檢測中不涉及真陰性(TN)這一概念，因此評估指標主要是基于TP、FP和FN的精確率P和召回率R，分別定義為：

(3)

(4)

在此基礎上使用F1分數來評價檢測結果，F1分數定義如下：

(5)

將Faster R-CNN ResNet-50 with FPN作為基線結果，然后在此基礎上引入提出的集成通道注意力的特征金字塔和改進的ROI特征提取器。表1顯示了在逐漸引入提出的方法后，模型在瀝青路面病害數據集和RDD2018測試集上的F1分數變化。

表1 每個啟發式方法在測試集上的F1分數

表2 不同模型的F1分數對比

在驗證了提出的模型改進方法的有效性后，與其他的流行的目標檢測模型在ARSDD測試集進行了比較。從表2中可以看出，兩階段模型Faster R-CNN和所提模型在結果上明顯好于一階段模型SSD、YOLOv4、RetinaNet和FCOS，這說明了兩階段目標檢測在現階段的路面病害檢測中的應用應該是更有效的。FCOS是近期比較熱門的一個目標檢測模型，該模型實現了無候選邊界框的創新思路，在諸如COCO等公開數據集上的表現好于許多基于錨框的目標檢測算法。從表2可以看出，該模型在兩個數據集的F1分數都明顯優于其余的模型。

3.3 結果分析

圖7顯示了文中模型的在兩個數據集上正確的檢測結果，圖7(a)檢測到了一些瀝青路面數據集中的橫向裂縫。同理，圖7(b)檢測到了一些龜裂(D20)。裂縫作為路面上最常見的病害，對其進行精準檢測是十分重要的，無論是圖7(a)近處的裂縫，還是圖7(b)中遠端的裂縫，基于改進后的特征金字塔網絡模型都能夠有效地檢測到。

圖7 模型的檢測結果可視化

4 結束語

道路路面的損壞會影響道路正常運行，如果放任不管，會使得整條道路持續惡化，該文使用基于目標檢測的方法來檢測道路表面病害。由于路面病害目標具有特征信號微弱的特點，首先介紹了FPN以及特征提取器，然后闡述了目標檢測中通道注意力機制，在此基礎上，介紹了針對路面病害檢測所提出的兩個方法，一個是將通道注意力機制集成到多層次特征圖上，增強網絡的語義表征能力。第二個方法是對特征提取器進行了重新設計，讓路面病害的ROI不再僅僅只依賴于某一層次的特征圖，而是融合了更多低層次的特征圖信息。接著采用基于Faster R-CNN在RDD2018和瀝青路面病害上分別進行了實驗，結果表明帶來了顯著的提升，同時分別在提出的數據集以及公共數據集與其他模型進行了對比和驗證，結果表明該模型都優于其他的模型。