基于宏微觀耦合深度學習的高速鐵路無砟軌道板表面裂縫精細化測量

胡文博，王衛東，汪雯娟，彭俊，吳錚，王勁，邱實

(1.中南大學土木工程學院，湖南長沙，410075；2.中南大學軌道交通基礎設施智能監控研究中心，湖南長沙，410075；3.中南大學重載鐵路工程結構教育部重點實驗室，湖南長沙，410075；4.首都經濟貿易大學工商管理學院，北京，100026)

高速鐵路在運營階段，受氣候、環境、服役時間等影響，無砟軌道板表面逐步出現裂縫并不斷生長。裂縫持續增長，會導致無砟軌道結構失效，嚴重威脅高速鐵路的運行安全[1-3]。精準測量無砟軌道板表面裂縫寬度是評估軌道板服役狀態劣化程度的重要手段，也是養護維修決策的關鍵依據[4]。

由于高速鐵路線路長、服役條件復雜、表面裂縫的可識別性差，在天窗點的人工巡道難以高效、精準識別裂縫并判斷其寬度，漏檢或錯檢不可避免。目前，人們研發了不少高精度的機器視覺巡檢設備[5-7]和基于圖像的裂縫識別技術，替代人工巡檢和人工裂縫識別，其中，裂縫寬度自動化測量的前提是裂縫邊界的判識[8-9]，所以，裂縫邊界的判識精度直接影響裂縫寬度測量的準確性。現有裂縫邊界判識的圖像處理技術可以分為邊緣檢測[10]、閾值分割[11]、區域增長[12]、分水嶺分割[13]和濾波器[14]，這些技術通過處理巡檢圖像中的淺層特征(如顏色、灰度、輪廓、邊緣和頻率)來區分裂縫像素和背景像素[15]。盡管它們結構簡單且計算成本較低，但最佳閾值和種子像素的選擇需要大量的先驗知識和工程經驗[16-19]，若裂縫特征或檢測背景發生較大變化，則需要調整計算參數甚至重新設計算法。因此，這些算法具有高特異性、低泛化性和不確定性，易產生模糊或不連續的裂縫邊界(漏檢)，從而導致測量的寬度無效[20]。近年來，以深度語義分割網絡為代表的深度學習方法直接利用巡檢圖像的像素信息作為輸入，通過多層卷積運算對圖像特征進行自動提取和高層抽象，最大限度地挖掘輸入圖像的所有有效特征信息，從而實現對裂縫像素和背景像素的精準區分，克服了傳統圖像處理技術的不足[21-22]。YANG等[23]提出了一種深度全卷積神經網絡，所得裂縫寬度像素的判識精度超過97%，相對測量誤差在20%以下。JI等[24]提出了一種基于深度語義分割網絡(DeepLabv3+)和快速并行細化算法(FPT)的融合算法，能夠精準識別瀝青或混凝土路面裂縫像素，且所得相對測量誤差比中軸算法等傳統方法的低。然而，現有的深度語義分割網絡的應用場景大多單調、均一[25]，其共性在于僅通過微觀邊界層面的分析來判識裂縫邊界，難以有效區分裂縫像素以及與裂縫高度相似的噪聲、污損等背景像素，對復雜背景狀況的適應性差造成漏檢或誤檢，導致裂縫寬度的測量結果與實際嚴重偏離[26]。為解決跨復雜背景的無砟軌道板裂縫精細化測量難題，本文在總結現有方法局限性的基礎上，提出一種基于宏微觀(宏觀區域層面、微觀邊界層面和裂縫幾何特征層面)耦合的深度學習算法。

1 基于宏微觀耦合的深度學習算法

1.1 基本框架

通過宏觀區域—微觀邊界—幾何特征3個層面的裂縫特征提取和處理結果傳遞，構建裂縫區域提取—裂縫邊界判識—裂縫寬度測量的精細化算法，形成無砟軌道板巡檢圖像—裂縫邊界—裂縫寬度的映射關系。該算法的基本框架如圖1所示。

圖1 基于宏微觀耦合的深度學習算法的總體框架Fig.1 Total architecture of deep learning algorithm based on multi-scale coupling

1.2 宏觀區域層面的裂縫區域提取

宏觀區域層面的裂縫區域提取能夠減少大量非目標區域的噪聲、污損等背景像素，并降低后續微觀邊界層面的裂縫邊界判識的計算成本。采用YOLOv3 深度目標檢測網絡通過輸出邊界框從巡檢圖像中快速、高效地提取裂縫所在區域。YOLOv3是一種典型的單階段目標檢測網絡，它將區域分類和坐標回歸封裝到1個網絡中，目標在邊界框中的置信度和目標所屬類別的概率在1次評估中直接從完整圖像中捕獲，從而實現實時、高效的端到端檢測。圖2所示為本文所使用的YOLOv3的網絡主干架構，其最顯著的特點是具有宏微觀的檢測能力，對裂縫這種微小目標的定位精度高。

圖2 YOLOv3深度目標檢測網絡的主干架構Fig.2 Backbone architecture of YOLOv3 deep object detection network

1.3 微觀邊界層面的裂縫邊界精準判識

根據輸出的邊界框坐標對宏觀區域層面的裂縫區域提取結果進行裁剪，并將裁剪后的裂縫區域作為DeepLabv3+深度語義分割網絡的輸入，以逐像素地判識裂縫邊界。DeepLabv3+是一種用于語義分割的編碼器-解碼器架構，如圖3 所示。在編碼器模塊(Encoder)中，首先，采用ResNet-101模塊(主干網絡)快速捕捉裂縫邊界的有效特征信息，并使用空洞卷積模塊在不改變特征圖像素的同時調整感受野以提取宏微觀的語義信息。然后，通過多孔空間金字塔池化模塊對捕捉到的裂縫特征信息進行篩選并得到最具辨別力的信息。最后，將提取到的最具辨別力的整個圖像的特征圖輸入到解碼器模塊(Decoder)中。解碼器模塊通過上采樣操作對輸入的特征圖進行解碼，并與來自ResNet-101模塊的相應低級特征進行融合后還原到與輸入圖像一致的空間尺寸，從而實現對裂縫區域中的裂縫邊界像素的精準判識。

圖3 DeepLabv3+深度語義分割網絡的總體架構Fig.3 Overall architecture of DeepLabv3+deep semantic segmentation network

1.4 幾何特征層面的裂縫精細化測量

QIU等[27]提出正交投影法，采用Canny邊緣算子獲取裂縫邊界進行寬度計算。然而，Canny邊緣算子對含噪圖像的判識效果差，輸出的模糊或不連續的裂縫邊界會導致裂縫寬度測量結果嚴重偏離實際。為此，本文提出一種改進的正交投影法，采用微觀邊界層面的裂縫邊界判識方法代替原始的Canny算子，并根據輸出的裂縫邊界判識結果提取單像素的裂縫骨架和輪廓線，計算裂縫的連續寬度。首先，將裂縫骨架的方向定義為由局部相鄰骨架點導出的每個骨架點處的切線方向。然后，沿著逆時針方向和八鄰域對裂縫邊界像素進行跟蹤匹配，通過匹配所有的邊界像素，將二值邊界轉換為1 個分層序列，從而得到2 條裂縫輪廓線。最后，從每個骨架點像素引出正交投影射線作為骨架的法線，每條正交投影射線和裂縫的2條輪廓線有2個交點，這2個交點之間的歐幾里得距離被定義為裂縫內部某點的連續寬度(見式(1))，如圖4所示。根據裂縫連續寬度的分布計算最小值、最大值、平均值(見式(2))、中值(見式(3))和標準差(見式(4))，以精細表征裂縫的寬度。

圖4 改進的正交投影法的計算流程Fig.4 Computational processes of the improved orthogonal projection method

式中：aij為裂縫中某一點的連續寬度；為奇數點集中某點的連續寬度；為偶數點集中某點的連續寬度；xi和xj分別為裂縫輪廓線和正交投影射線的交點橫坐標和縱坐標；n為裂縫連續寬度測量點集；m為任意自然數；ˉaij為裂縫連續寬度的平均值；Maij為裂縫連續寬度的中值；Saij為裂縫連續寬度分布的標準差。

2 案例分析與算法實現

2.1 數據采集與標注

通過安裝在高速綜合軌道巡檢車上的高分辨率線陣相機對某高速鐵路區段CRTSⅢ型無砟軌道板進行掃描，獲得4 096 像素×4 096 像素的原始軌道板巡檢圖像。利用規格為60 kg/m的鋼軌軌頭的實際寬度(73 mm)作為參照，得到采集區域對應的實際長×寬為235.5 mm×235.5 mm。此外，由于高速鐵路軌道結構一般處于自然環境中，受自然光照和相機光源的疊加影響以及巡檢車自身振動和噪聲等復雜環境條件的干擾，采集到的巡檢圖像存在噪聲、污損等復雜、不規則背景。

為了降低計算機顯存的需求，所采集的圖像被進一步裁剪為400 像素×400 像素的圖像子塊，并從中隨機選取50張圖像作為驗證集，450張圖像作為訓練集。其中，每張圖像均對應1 張標簽圖(ground truth)。標簽圖是人工通過labelme 軟件對圖像中的裂縫進行標注得到的訓練參考圖。首先采用矩形框對裂縫所在區域進行標注得到深度目標檢測網絡的訓練參考圖，在此區域內，沿著裂縫邊界逐像素地標注裂縫輪廓得到深度語義分割網絡的訓練參考圖，如圖5所示。

圖5 無砟軌道板裂縫圖像數據采集與標注Fig.5 Data acquisition and annotation of crack images for ballastless track slab

2.2 實驗設置

本文設置2個損失函數分別對宏觀區域層面和微觀邊界層面的誤差進行評估，并校正YOLOv3深度目標檢測網絡和DeepLabv3+深度語義分割網絡的檢測性能。在裂縫區域提取階段，預測框面積和標注框面積的平方誤差之和被定義為YOLOv3的損失函數(見式(5))，以校正預測邊界框坐標和置信度。

在裂縫邊界像素判識階段，采用交叉熵損失評估預測像素和標記像素之間的誤差(見式(6))，以評估DeepLabv3+的裂縫邊界判識效果。

式中：l2為DeepLabv3+的總損失；y為標簽值；為預測值。

此外，本文設置10 折交叉驗證以獲得具有更豐富圖像特征的訓練集和驗證集，即每次隨機地選取500張樣本圖像中的10%作為驗證集，剩余的作為訓練集，這樣可以得到10組＜訓練集，驗證集＞。使用這10 組＜訓練集，驗證集＞充分訓練YOLOv3深度目標檢測網絡和DeepLabv3+深度語義分割網絡，最大程度上消除由于有限、單一的數據特征導致的宏觀區域層面、微觀邊界層面和幾何特征層面之間的檢測誤差積累。本文以GPU 為計算核心(CPU 為AMD2990WX@3.0 GHz，RAM 為64 GB，GPU 為NVIDIA GeForce RTX 2080Ti)，依托Facebook 開源的深度學習框架PyTorch1.2.0，通過10 折交叉驗證的充分訓練得到的最優超參數設置如表1所示。

表1 實驗超參數設置Table 1 Setting of experimental hyperparameters

2.3 評價指標

本文采用所有類別檢測對象的平均精度(mean average precision，MAP)來衡量YOLOv3 網絡的檢測性能。MAP的計算關鍵在于預測區域和標注區域之間的重疊程度U(見式(7))：

式中：A為預測區域面積；B為標注區域面積。

U的閾值通常設置為0.5，當預測邊界框和標注邊界框之間的U大于此閾值時，該預測邊界框被定義為陽性樣本，否則為陰性樣本。此外，預測邊界框的置信度閾值也被用于區分正預測和負預測。當預測結果的U大于0.5且預測正確時，表示裂縫邊界判識的真陽性結果(TP)；當預測結果的U小于0.5 或預測錯誤時，表示裂縫邊界判識的假陽性結果(FP)；當不存在標注框時，表示裂縫邊界判識的假陰性結果(FN)，這表明模型無法從人工注釋中檢測到任何對象標簽。

基于這些指標可以確定精準率(P)和召回率(R)。精準率表示正確檢測的目標占檢測總數的比例(見式(8))，召回率表示正確檢測的目標占實際目標總數的比例(見式(9))。通過計算不同的置信度閾值下YOLOv3網絡在測試集上的精準率和召回率，得到P-R曲線。MAP通過對P-R曲線進行積分得到，表示P-R曲線與坐標軸圍成的面積。

采用不同類別檢測對象的U的平均值(MU)度量預測的裂縫像素和標記的裂縫像素之間的重疊程度(見式(10))，以評估DeepLabv3+深度語義分割網絡的裂縫邊界判識效果。

式中：n1為檢測對象的類別數量。

2.4 實驗結果

圖6 和圖7 所示分別為針對450 張訓練集圖像和50 張驗證集圖像的裂縫區域提取和裂縫邊界判識的實驗結果，分別經過近1 000 個輪次和500 個輪次的充分訓練，YOLOv3 網絡和DeepLabv3+網絡的損失值、MAP和MU均收斂，此時，這2個網絡都達到了擬合狀態。通過計算驗證集P-R曲線與2個坐標軸圍成區域的面積，得到YOLOv3 網絡的MAP為93.36%，尤其當預測邊界框的置信度閾值達到0.9時，該網絡的精準率仍在80%以上，顯示出優異的裂縫區域識別性能。通過統計50 張驗證集圖像上U的平均值，得到DeepLabv3+網絡的MU為82.99%。

圖6 YOLOv3深度目標檢測網絡的訓練結果Fig.6 Training results of YOLOv3 deep object detection network

圖7 DeepLabv3+深度語義分割網絡的訓練結果Fig.7 Training results of DeepLabv3+deep semantic segmentation network

3 結果對比與評估

3.1 宏微觀耦合算法與單一微觀邊界層面的深度學習算法的對比

圖8所示為本算法與現有2種微觀邊界層面的深度語義分割網絡對于30 張測試集圖像的裂縫邊界判識結果，其中U-Net 網絡的計算時間(單張圖像處理時間)最低，但測試集的MU僅為68.8%，而DeepLabv3+網絡的MU達77.59%，但計算時間較高。宏微觀耦合算法用于宏觀區域-微觀邊界層面耦合分析時的總計算時間由2部分構成：裂縫區域提取的計算時間(A區域)和裂縫邊界判識的計算時間(B 區域)。盡管宏微觀耦合算法消耗的總計算時間略高于單一微觀邊界層面的DeepLabv3+網絡的計算時間，但其MU相比單一微觀邊界層面的DeepLabv3+網絡的MU提高了近7%，且宏觀區域層面的裂縫區域預提取也使得該算法在微觀邊界層面判識裂縫邊界時的計算時間比DeepLabv3+的低。

圖8 不同深度學習算法在測試集上的裂縫邊界判識結果Fig.8 Results of crack boundary detection by different deep learning algorithms on testing set

不同算法對于4張測試樣本圖像的裂縫邊界判識結果見圖9。U-Net 網絡對于裂縫細節的判識效果不佳，容易產生不連續的裂縫邊界，且U-Net和DeepLabv3+均易將噪聲、污損等與裂縫高度相似的背景像素誤判為裂縫像素(圖9中黃色圓圈所示)。與U-Net 和DeepLabv3+相比，宏微觀耦合算法在宏觀區域層面提取裂縫區域時有效地消除了目標區域之外的噪聲、污損的干擾，對經過坐標裁剪后的裂縫區域進行微觀邊界層面的邊界分割能夠得到更精細化的判識結果。但測試樣本3的判識結果顯示宏微觀耦合算法難以完全去除復雜背景條件下的干擾，存在于裂縫區域之內的噪聲、污損仍會對該算法得出的微觀邊界層面判識結果造成不利影響。

圖9 不同深度學習算法對于4張測試圖像的裂縫邊界判識結果Fig.9 Results of crack boundary detection by different deep learning algorithms for four tested images

3.2 宏微觀耦合算法與傳統正交投影法的對比

為了進一步測試本算法的裂縫寬度測量性能，將本算法和傳統正交投影法針對4張測試樣本圖像計算得到的裂縫寬度表征指標(最小寬度、最大寬度、平均寬度、中值寬度和標準差)進行對比，結果見圖10。圖10(a)中直方圖為傳統正交投影法的計算結果，點線圖為宏微觀耦合算法的計算結果。由傳統正交投影法計算得到的測試樣本1和測試樣本2 的最大寬度均是宏微觀耦合算法計算結果的8倍以上，且遠大于其平均寬度測量值，說明傳統正交投影法易將噪聲、污損等與裂縫高度相似的復雜背景誤判為裂縫像素，引起骨架變形，從而導致最大寬度測量值出現較大偏差。進一步地，采用宏微觀耦合算法可以得到4張測試樣本中裂縫的最小寬度，而采用傳統正交投影法計算得到的裂縫的最小寬度近似為0 mm。這是由于傳統正交投影法在裂縫像素輪廓提取階段采用的Canny算子容易產生不連續的裂縫邊界，難以獲得裂縫真實的最小寬度。此外，宏微觀耦合算法計算得到的4張測試樣本的裂縫平均寬度和中值寬度的差值均小于0.1 mm，而采用傳統正交投影法時，該差值可能達到0.3 mm。圖10(b)所示為2 種方法測得的裂縫的連續寬度的標準差，其中宏微觀耦合算法的裂縫連續寬度測量結果的標準差均在2 mm 以下，而傳統正交投影法在測試樣本2上的標準差達18 mm，顯示出宏微觀耦合算法具有更加優異的測量穩定性和可靠性。上述對比結果表明宏微觀耦合算法能夠在噪聲、污損等復雜背景狀況的干擾下更精細、更穩定地表征裂縫寬度。

圖10 宏微觀耦合算法和傳統正交投影法的裂縫寬度測量結果對比Fig.10 Comparison of crack width measurement by macro-micro coupling algorithm and by traditional orthogonal projection method

4 結論

1)提出了一種基于深度學習的包含裂縫區域提取、裂縫邊界判識和裂縫寬度測量的宏微觀耦合算法，其在宏觀區域層面實施的裂縫區域預提取能夠去除大部分的噪聲、污損導致的像素誤判，顯示出對與裂縫高度相似的復雜背景條件的良好適應性。

2)盡管宏微觀耦合算法在圖像-微觀邊界層面耦合分析時的總計算時間(單張圖像處理時間)比DeepLabv3+網絡的略高(多0.03 s)，但其在30張測試集圖像上的裂縫邊界判識精度達84.57%，相比單一微觀邊界層面的深度語義分割網絡的(U-Net和DeepLabv3+)判識精度最高提升近15%。

3)宏微觀耦合算法能夠消除噪聲、污損的干擾，從而得到更精細化的裂縫寬度，且其計算得到的裂縫連續寬度波動(標準差)遠比傳統的正交投影法(降幅最高達90%)的低，顯示出該算法的裂縫寬度測量性能具有精度高、穩定性強和可靠性好等特點。