基于改進YOLO算法的混凝土表觀病害識別方法

楊 魁， 王丹妮， 唐 雙， 李 巖， 劉 綱

(1.國網重慶市電力公司建設分公司，重慶 617000； 2.重慶大學 土木工程學院， 重慶 400045)

0 引言

橋梁是保障國家經濟建設的重要基礎設施，其服役質量直接關系到國民經濟發展和人民生命財產安全[1]。在我國，混凝土橋梁應用最為廣泛[2]，但由于施工缺陷、材料老化以及長期交變荷載、突發事件過載等作用，混凝土極易出現蜂窩、露筋、裂縫、剝落等各類表觀病害[3]，對橋梁結構的耐久性造成較大影響，并可能危及結構的安全性[4-5]。因此，如何及時和快速發現這些病害對提高橋梁全壽命周期安全至關重要。

多年來，混凝土表觀病害常采用人工進行檢測，工作量大、效率低，難以滿足高墩、大跨等橋梁結構表觀病害全面檢測的需求。同時，檢測過程中往往存在一定的安全風險，例如2018年南寧三岸大橋因檢測車故障導致3名檢測人員罹難。近10 a來，隨著無人機及攝影技術的快速發展，采用無人機拍攝圖片逐漸成為表觀病害檢測的新手段[6]。但海量圖片若采用人工進行識別，便無法解決效率低下的問題，故通過機器視覺從圖片中自動識別表觀病害已成為當前研究熱點。目前，采用主成分分析、支持向量機和貝葉斯分類器等機器學習方法實現混凝土裂縫的自動識別技術已較為成熟；且隨著深度學習的快速發展，國內外學者針對基于卷積神經網絡的混凝土裂縫自動識別方法進行了大量研究，取得了豐碩的研究成果，裂縫識別的相對誤差已可控制在10%以內[7]。但混凝土表觀病害類型較多，不同病害類型需采用不同的識別方法，故如何實現各種病害類型的自動分類仍亟待研究。

You Only Look Once(YOLO)系列算法采用直接回歸方法獲取檢測目標的類別，是目前速度最快的基于深度學習的目標分類算法之一[8]，被廣泛應用于車輛、行人和手勢識別等多個領域[9-10]，能滿足混凝土表觀病害類型分類識別的需求。但該方法需大量訓練樣本才能獲得較高的分類精度，這在工程上較難滿足，特別在早期缺乏病害樣本時。因此，本文將最新的YOLOv3方法引入混凝土表觀病害分類中，并從兩個方面進行改進，一是融合仿射變換數據增強和遷移學習技術，分別從增加學習樣本的多樣性以及引入深度網絡預訓練模型降低對訓練樣本的要求，二是采用拉普拉斯圖像銳化技術對圖像進行預處理，提升病害的對比度以提升病害分類精度，從而建立基于深度學習的混凝土表觀病害自動分類方法(Concrete Surface Defects Identification)CSDI-YOLO，為通過數字圖像實現混凝土表觀病害的自動識別、分類提供技術支撐。

1 YOLOv3算法原理

YOLOv3算法主要用于目標識別及分類，其基礎網絡架構是卷積神經網絡，通過特征提取網絡對輸入圖像采用回歸思想直接提取特征，該算法的基本思路如圖1所示。首先將圖片分成S×S個大小相同的網格，每個單元格負責預測中心落在該格內的目標，如圖1(a)中黑色小圓點所示。每個單元格將預測3個邊界框及各邊界框對應的置信度c，其計算公式為：

(1)

同時，每個網格還會預測針對C個條件類別的概率，即在網格中含有物體的條件下，該物體屬于某一類別的概率，如圖1(c)所示。在進行分類識別時，將條件概率與置信度相乘，得到每個邊界框在各個類別的綜合得分值，從而得到該類別物體出現在框中的概率以及邊界框與物體的吻合程度，以此達到分類識別的目標，最終識別結果如圖1(d)所示。

圖1 YOLOv3識別及分類原理Figure 1 YOLOv3 identification and classification principle

在網絡結構上，YOLOv3深度學習網絡主要由Darknet-53特征提取網絡、多尺度融合特征網絡組成，如圖2所示。圖中y1，y2，y3分別表示算法在3個不同尺度的特征圖輸出。

圖2 YOLOv3網絡結構[12]Figure 2 YOLOv3 network structure[12]

Darknet-53特征提取網絡借鑒了特征金字塔[11]網絡思路，由53個卷積層構成，并分別在原圖片分辨率的1/32、1/16、1/8尺度上提取特征。例如對分辨率為416×416像素的輸入圖片，分別在13×13、26×26、52×52尺度上提取圖片的特征。因YOLOv3設定每個網格可預測3個邊界框，每個邊界框有5個基本屬性值，同時可預測80個類別概率，所以3個尺度上的預測深度均為3×(5+80)。

在網絡訓練階段，需在作為訓練樣本的圖片中用長方形框人工標記出病害位置、類型；其次，將圖片輸入YOLOv3網絡，在Darknet-53特征提取網絡中經過一系列深度卷積過程，其像素數量逐漸減小，并在3個尺度上得到預測框，當人工標記框與預測邊界框的交并比超過一定閾值，則計算該預測邊界框與標記框之間的誤差，包括兩框之間的坐標誤差、置信度誤差和類別誤差；然后，將誤差反向傳播回特征提取網絡，從而自適應調整網絡中各個卷積核的參數，訓練足夠的次數后，誤差減小到預設的閾值后，深度網絡的訓練完成。

在病害識別和分類階段，將圖片輸入訓練完成的網絡中進行特征提取，每張圖像可分別得到3種尺度的特征圖；其次，根據特征圖預測出目標的位置和類別，得到3種結果；然后，對所得3種結果進行回歸，得到準確的預測信息，完成目標的識別和分類。

從YOLOv3的識別過程可知，其在3個層級的特征圖上進行目標檢測，同時利用低層和高層特征的語義信息，使得提取的特征更加豐富，這非常適合混凝土表觀病害的識別和分類，因混凝土表觀病害在圖片中的尺寸通常較小，其面積往往僅占圖片總面積的5%～30%左右，需從不同的尺度上才能提取較精確的特征。

YOLOv3算法的主要目標是識別目標并分類，故可采用R指標評價其識別和分類效果：

(2)

2 YOLOv3算法的改進

本節通過在YOLOv3算法的基礎上融入遷移學習策略、仿射變換數據增強以及拉普拉斯圖像銳化增強技術，提出適合小樣本學習的混凝土表觀病害類型分類方法CSDI-YOLO方法。

2.1 遷移學習策略

遷移學習是指根據目標圖像集的特征，選取類似圖像集對深度網絡進行學習，取得預訓練網絡模型；然后再采用目標圖像集的少量訓練樣本，通過對預訓練模型的再次訓練，即可快速得到適合目標圖像集的深度網絡模型，從而達到舉一反三的效果，故遷移學習可大幅降低對目標圖像集訓練樣本數量的要求。

從遷移學習的原理可知，采用遷移學習所得網絡模型的精度取決于類似圖像集與目標圖像集的相似度，若兩者的相似度較低，所得深度網絡模型的精度將會受到較大影響。而針對混凝土表觀病害而言，較難找到與其非常類似的相關圖像集，故本文采用類似圖像集訓練YOLOv3深度網絡得到預訓練網絡模型后，保留所得Darknet-53特征提取網絡的模型及參數，即圖2中的虛線框部分；然后將預訓練模型頂層網絡的參數移除(即將參數設置為0)，再用表觀病害訓練集重新訓練整個深度網絡，獲得新的網絡權重，以生成一個適用于表觀病害識別、分類的深度網絡模型，從而在保留網絡計算精度的前提下減少所需訓練樣本。

2.2 仿射變換數據增強

仿射變換通過將圖片在平面上進行移動、旋轉、鏡像等操作，產生新的圖片從而增加訓練樣本，是一種幾何空間變換形式的數據增強方法。設原始圖片中位置為(x，y)的像素點經過仿射變換后對應的坐標為(x′，y′)，則仿射變換的運算形式為：

(3)

其中，M為變換矩陣。M矩陣取不同的參數值可實現平移、縮放、旋轉、鏡像翻轉、偏移等操作，例如旋轉的M矩陣為：

(4)

其中，θ為順時針旋轉角度。

2.3 拉普拉斯圖像銳化增強

無人機在拍攝圖片時，往往無法控制光線、振動等外界因素的影響，會對圖片中表觀病害的顯示造成影響，導致病害的特征較難提取，故選用拉普拉斯圖像銳化算法對圖像進行銳化濾波以突出有用信息。該算法通過二階微分提取邊緣輪廓特征，較一階微分定位邊緣的能力更強，銳化效果更好[13]。拉普拉斯算子定義為：

f(x，y+1)+f(x，y-1)-4f(x，y)

(5)

其中，f(x，y)表示圖片坐標(x，y)處圖像灰度的數值大小。某蜂窩圖像進行拉普拉斯算子銳化增強后的效果如圖3所示。從該圖可知，銳化增強后蜂窩病害的邊緣輪廓更加清晰，許多細小的蜂窩病害也更加清楚。

(a)原始圖像

2.4 CSDI-YOLO算法流程

基于YOLOv3深度學習算法原理，采用拉普拉斯圖像銳化增強提升原始圖片的特征信息，利用遷移學習及仿射變換數據增強降低深度網絡訓練階段對訓練樣本數量的要求，從而構建了CSDI-YOLO方法進行混凝土表觀病害的識別和分類，其具體步驟如下：

a.建立混凝土表觀病害圖片數據集。采集混凝土表觀病害圖像，并采用LabelImg工具通過手工標記各類病害在圖片中的位置和類型。

b.圖像預處理。使用拉普拉斯銳化算法將病害圖像進行銳化增強，然后將所得圖像進行順時針90°、180°和270°旋轉進行仿射變換數據增強，以提升病害特征及增加數據集的數量。

c.YOLOv3深度網絡預訓練。選用已有圖像集對YOLOv3網絡進行訓練，建立預訓練網絡模型。

d.新YOLO網絡模型訓練。按2.1節內容移除預訓練模型頂層網絡的參數，然后從數據集中選取表觀病害訓練集，再次對新深度網絡進行訓練，直至達到最大迭代次數，得到新的YOLO網絡模型。

e.表觀病害識別和分類。對新獲得的圖片進行拉普拉斯銳化增強，然后采用新YOLO網絡模型識別病害位置和類別。

3 混凝土表觀病害識別算例

3.1 混凝土表觀病害檢測結果

搜集混凝土表觀病害圖片1 304張，選取1154張作為訓練集，150張作為測試集，根據我國現行《公路橋梁技術狀況評定標準》和《公路橋涵養護規范》標準將病害分為裂縫、剝落、露筋、滲水、蜂窩、麻面、空洞共7種類型，采用LabelImg工具人工標注每張圖片中的病害類型、病害部位，如圖4所示。為驗證所提方法的適用性，訓練集、測試集中包含的各類病害標記框數量如表1所示。實驗硬件配置的CPU為Intel ? CoreTMi7-6900K，GPU為NVIDIA GeForce GTX 1080，顯存為8GB GDDR5X，內存為96 G。

圖4 數據集中的病害標記

表1 各類病害標記框數量Table 1 Details of defect datasets病害類型訓練集測試集標記框合計裂縫1 1881161 214剝落1 0571631 220蜂窩1 1541601 314麻面1 0401001 140空洞956651 021露筋963691 032滲水1 0611101 171

在YOLO網絡模型中，設置權重衰減系數為0.000 5，初始學習率為0.001，采用多分布策略，沖量常數取0.9。為防止過度擬合并提高訓練速度，設置每次迭代訓練的圖像數量為64，最大迭代次數為20 000；在迭代次數分別為15 000、17000時將學習率依次衰減為原來的0.1；設置分類類別classes為7，故本文中深度網絡模型3個尺度上的預測深度為3×(5+7)。

預訓練的圖像集采用華盛頓大學的ImageNet圖像集，該圖像集包括超過1 400萬張圖片，共分為21 841個類別。

采用2.4節的流程得到新YOLO深度網絡模型，然后采用測試集驗證所提方法識別、分類混凝土表觀病害的效果，如表2所示。7類病害的識別示例如圖5所示。

表2 所提算法的識別結果Table 2 Detection results of the proposed algorithm 序號目標類別標記框數量預測框數量R值1裂縫116940.812剝落1631520.933蜂窩1601520.954麻面100930.935空洞69660.966露筋1101060.967滲水65600.92合計 7837230.92

圖5 7類病害檢測結果示例Figure 5 Detection results examples of 7 types of defects

從表2可知，除裂縫的識別精度為81%外，其余各類病害的識別精度均高于92%，7類病害總體的識別精度為92%。裂縫識別效果相對較低的原因主要在于圖像數據在輸入到網絡中進行特征提取時，3 000×3 000像素的原圖像需壓縮到416×416像素，而訓練集中絕大部分裂縫的寬度小于100像素，裂縫在經過圖像壓縮后，其主要特征信息損失較大，導致識別精度所有降低。

3.2 不同方法識別結果對比

在圖像識別和分類領域，另外常用的兩個深度網絡分別為Faster Region-based Convolutional Network(Faster R-CNN)算法[14]和Single Shot MultiBox Detector(SSD)算法[15]，故針對混凝土表觀病害識別和分類問題，采用相同的訓練集、測試集以及計算環境，將這2種方法與本文方法進行對比，對測試集150張圖片的識別結果如表3所示。

表3 3種算法的病害識別結果對比Table 3 Comparison of defects detection using three differ-ent algorithms算法名稱識別結果R值計算時間/sFaster R-CNN0.93113SSD0.8767CSDS-YOLO0.9224

從表3可看出，SSD算法的識別精度低于Faster R-CNN和CSDI-YOLO算法，且SSD算法的計算時間是CSDI-YOLO算法的2倍以上；雖Faster R-CNN的識別精度比本文的CSDI-YOLO算法的精度高1%，但其計算耗時卻是本文方法的5倍左右。因此，綜合識別精度和計算時間，本文所提CSDI-YOLO方法能較好適用于混凝土表觀病害的識別。

4 結語

基于能快速識別、分類的YOLOv3深度學習網絡算法，結合遷移學習策略提取圖像特征以減少對訓練樣本數量的要求，借助仿射變換數據增加技術擴充訓練樣本集的多樣性，并采用拉普拉斯圖像銳化增強圖片中病害的輪廓特征，提出了CSDI-YOLO算法。采用所搜集的混凝土表觀病害圖片1 304張作為數據集，對數據集中包含的7類混凝土常見表觀病害進行識別和分類，計算結果表明：

a.采用CSDI-YOLO算法的總體識別精度可達92%。裂縫識別精度相對較低的原因在于特征提取時，算法將對圖片進行壓縮，而細長的裂縫在圖像壓縮時將丟失部分特征。

b.通過與Faster R-CNN及SSD兩種算法對比，表明CSDI-YOLO算法在保證較高識別和分類精度的同時，計算速度遠遠優于Faster R-CNN及SSD算法，可為無人機采集的混凝土表觀病害的快速識別提供技術支撐。