基于卷積神經網絡的航道邊坡病害識別

吳 煉，錢國明，韓曉健

（1.南京郵電大學電子與光學工程學院、柔性電子學院，江蘇南京 210023；2.南京工業大學 土木工程學院，江蘇 南京 211800）

目前，中國已經成為在國際上有著巨大影響力的水運強國，截至2020 年底，國內內河航道通行里程達到了12.77 萬千米，排名全球首位。航道安全不僅關系到我國綜合運輸體系的平穩運轉，也與周邊群眾的安全有著密切的關系。然而，一些航道常常由于水流侵蝕或河道周邊地段開發等原因導致河道邊坡產生裂縫、碎落、滑坡等病害。

目前，國內外對于航道邊坡監測的主要研究點集中在航道的變化監測以及邊坡穩定性的評估方法。文獻[1]研究了基于無人機遙感圖像的卷積神經網絡（CNN）方法在邊坡破壞檢測中的有效性。文獻[2]以北京市石景山永定河為例，設計了一種河道自動提取與變化監測方法。文獻[3]提出了一種算法將無人機拍攝的邊坡圖像進行校正，通過邊緣檢測表獲取滑坡的邊界并進行拼接，最后實現對病害的識別及定位。

近年來，有監督的卷積神經網絡[4]通過良好的空間數據結構特征分析能力在圖像處理研究中得到了普遍應用，為相關人員提供了一種可以快速分析數據的有效工具。因此，文中嘗試設計一種航道邊坡病害特征提取算法，基于該算法實現一種航道邊坡病害分類識別系統。

1 數據集的采集及制作

1.1 樣本分類

常見邊坡病害主要包含凹陷、碎落、裂縫、滑坡、坍塌等[5]。考慮到數據集實際采集環境的局限性，文中最終選擇了航道邊坡病害中較為常見的三種類型：裂縫、缺損、碎落進行研究，如圖1 所示。

圖1 典型航道邊坡病害圖

1.2 圖像裁剪

航道邊坡病害圖像均由課題組人員使用手持設備及無人機拍攝，圖像分辨率高但數量較少，不利于模型訓練。因此將高分辨率圖片按指定大小裁剪為多張低分辨率的圖片，并挑選其中滿足要求的部分。經過對結果的多次比對，最終選擇將原圖像剪裁成長寬均為300 像素的子圖像。如果為了獲得更多的訓練圖像而將圖像裁剪成更小的尺寸，圖像特征會被切割得過于分散，不利于后期處理時的分類標記。多次試驗后確定300×300 為最佳的尺寸。因為過小的樣本不能捕捉到足夠的數據模式，因此文中還對樣本數據進行了數據擴充以改善模型的泛化能力，同時降低網絡的過擬合現象。數據增強[6]是指在數據集中樣本數量不足的情形下，通過對其部分圖片進行轉換再添加到數據集使數據集更加健壯。文中采用隨機剪切、旋轉/反射/翻轉變換、顏色變換（亮度、對比度的隨機變化）以及噪聲擾動方式進行擴充。經過篩選后最終得到裂縫圖像1 834 張，缺損圖像2 031 張，碎落圖像1 922 張，背景圖像5 000 張。

2 航道邊坡病害識別方案

2.1 基本架構

文中基于改進后的ResNet18 網絡，使用采集的航道邊坡病害圖像進行訓練，對比改進前后的識別性能，選擇最優模型。系統結構如圖2 所示。

圖2 系統流程圖

2.2 圖像預處理

由于航道邊坡處于城市水體的兩側，水面的位置高低不定，近水一側的邊坡會由于水體的波動在邊坡面形成明顯的亮暗差，導致位于暗處的病害特征不明顯，會影響到訓練的效果。這里選取Retinex[7]作為增強算法，Retinex 算法將圖像S(x,y)分解為亮度圖L(x,y)與反射圖R(x,y)，如式（1）所示。

通過減少亮度的影響，以對各種圖片進行自適應增強[8]。對反射圖像還原方法的不同也衍生出了很多的算法，從單尺度到改進的色彩恢復算法（MSRCR)[9]和色度保持算法（MSRCP）。

文中選定并對比了MSRCR、Automated MSRCR、MSRCP 三種算法的效果，如圖3 所示，MSRCP 相較于其他兩種方法明顯提升了圖片的總體亮度，并且原先隱藏于暗處的病害也得到了一定程度的凸顯，最終選定MSRCP 作為圖像增強算法。

圖3 Retinex各算法效果對比圖

2.3 改進的深度學習網絡模型

深度學習通過提高網絡模型中的層數得到更高維度的圖像特征，不過在單純地提高網絡深度時，效果不僅不會變好，反而會出現梯度爆炸等現象使效果越來越差。ResNet 很好地改善了這一情況，殘差學習單元如圖4所示。這是一種和電路中的“短路”[10]相似的連接。通過殘差單元，網絡只會學習每層的殘差，確保了即使在沒有學習到新特性的情形下，網絡也僅實現了恒等映射的功能。

圖4 殘差學習單元

ResNet18 模型由17 個卷積層與全連接層構成。當圖像塊進入模型后，卷積層會對圖像的高層特征進行抽取，其中特殊的短路結構來減小卷積層堆疊引起的問題；最后對全連接層輸出用Softmax[11]分類，如式（2）所示：

其中，k代表網絡中的輸出節點數，vj為v中第j個輸出的數值，計算結果范圍在0 至1 之間，且每個類型的數值求和為1。

ResNet18 模型優勢十分突出，但同時面臨著底層與卷積層參數的獲取工作量巨大、模型訓練速度緩慢的問題。為此，改進ResNet18 模型殘差塊結構和平均池化層。

2.3.1 殘差塊結構優化

為了降低原模型的參數量，將原結構更換為兩個1×1 和一個3×3 卷積的結構串聯，如圖5 所示。

圖5 殘差塊修改前后結構

以256 維的數據為例，替換后的殘差塊結構的參數量僅為7×104，約為改進前參數量1.18×106的6%。優化后的結構計算工作量明顯減少，可以增加一定時間內的訓練數量，減少模型問題并改善模型的泛化性。

2.3.2 平均池化層改進

在主結構殘差塊的末端連接一個1×1 的卷積層和批標準化[12]層的串聯結構，使用ReLu 函數進行激活，再使用最大池化層替換原網絡中的平均池化層，從而凸顯特征圖的細節和紋理，使其更具有分辨性。

1×1 卷積和ReLu 激活可以在不丟失功能的情況下起到關鍵作用，使網絡可以更好地鑒別信息的特征，而最大池化層[13]可以有效防止過擬合，并提高模型對新樣本的適應能力[14]。改進后的模型如圖6所示。

圖6 改進的模型示意圖

3 實驗環境及結果分析

3.1 模型訓練與評價指標

實驗環境硬件平臺為AMD 5800X @4.60GHz CPU，32 GB RAM，NVIDIA Geforce RTX 3070 GPU，軟件平臺為Windows 10 21H1 和Pytorch 1.7.1，設置訓練epoch 為100，學習率為0.000 1，批處理大小為32，并采用了AdamOptimizer[15]更新模型參數。

實驗選用精確率P，召回率R來定量評價文中算法[16]，如式（3）、（4）所示。

式中，Tp表示成功識別為正例的個數；Fp表示錯誤識別為正例的個數；FN表示錯誤識別為負例的個數。

3.2 結果和分析

為確定對模型的殘差塊結構、平均池化層改進對ResNet 網絡模型的具體提升效果，該實驗一共設計了四種不同網絡進行測試。模型一：未優化的ResNet18 網絡；模型二：僅改進了殘差塊結構后的網絡；模型二：僅改進了平均池化層后的網絡；模型四：兩處結構都改進后的網絡。各模型方案表現效果如表1 所示。模型一與模型四精確率對比如圖7 所示。

表1 各模型方案表現效果

圖7 模型一與模型四精確率對比圖

由表1 和圖7 數據可得，經過優化的模型精確率、召回率較原模型分別提升了3.86%、5.1%，表明改進后的網絡模型性能有了一定程度的提升。

4 結論

文中設計了一種基于深度學習的航道邊坡病害分類識別系統，系統基于ResNet18 網絡，對網絡的殘差塊以及平均池化層進行了優化。結果表明，經過改良后的神經網絡在原網絡模式的基礎上精確率和召回率均有提高，結果證明了設計的有效性。