基于改進Faster R-CNN法的盾構渣土流塑性自動識別研究

李 琛，駱漢賓，劉文黎，柳 洋

(華中科技大學土木與水利工程學院，湖北 武漢 430074)

0 引言

隨著我國軌道交通的發展，中國已是世界上隧道及地下工程規模最大、數量最多、地質條件和結構形式最復雜、修建技術發展速度最快的國家[1]。土壓平衡盾構因其施工速度快、對周圍環境影響小、自動化程度高等特點，已成為城市地鐵隧道施工的主要方法[2]。土壓平衡盾構施工的核心在于實現土艙內外的壓力平衡和土艙內出入土量的平衡。在地質條件和盾構等多方面因素中，渣土性質和盾構機型對機艙內壓力平衡和出土量平衡有較大影響[3]。在施工過程中，盾構穿越的地層往往復雜多變，盾構過程開始后很難更改其硬件裝置，需要通過渣土改良方法使渣土呈塑性流動狀態，實現盾構機艙的穩定“出入土”和“保壓”，進而減少掘進過程中每環總推力和總轉矩的變化幅度，提高盾構穩定性[4]。如果渣土改良不當，則會造成“結泥餅”和“噴涌”等現象，嚴重影響施工效率[5]。

渣土改良的質量可通過坍落度試驗、流動度試驗、稠度試驗和攪拌試驗等室內試驗方式進行評價[5]。受地層變化和試驗效率的影響，通過室內試驗方式指導渣土改良參數存在一定的滯后性，提高渣土流塑性的檢測效率和準確性對盾構參數的穩定控制十分關鍵。目前，渣土流塑性一般采用人工旁站檢測或輔以攝像頭在渣土控制艙進行人工檢測，需要專人進行，費時費力，受工人技術水平和主觀工作狀態的影響較大。若不能及時反饋渣土情況，將導致盾構施工安全和質量問題，亟需一種能對渣土流塑性自動、準確、高效的檢測方式。

基于深度學習的目標檢測技術，已廣泛應用于各類土木工程場景。在安全監測方面：Li等[6]將卷積神經網絡用于施工現場，采用SSD-MobileNet算法檢測施工現場施工人員安全帽佩戴情況；Wei等[7]通過采用改進的深度學習算法，實現了建筑工地不安全行為的自動識別；高寒等[8]將目標檢測算法應用于施工過程安全管理中，實現了實時監控工人侵入危險區域的目的。在質量檢測方面：Wang等[9]提出了一種基于深度學習和卷積神經網絡的大跨度結構天花板損傷檢測與定位方法；Meijer等[10]通過采用CNN方法，實現了下水管道常見12種管道缺陷的自動分類；Dung等[11]通過采用一種基于深度全卷積網絡(FCN)的裂縫檢測方法，檢測了循環荷載下的混凝土裂紋，并準確評估了裂紋密度；Ji等[12]提出一種基于卷積神經網絡DeepLabv3+的裂紋檢測集成方法，將裂紋長度、平均寬度、最大寬度、面積和比率5個指標通過量化算法實現了裂紋的檢測和量化。以上研究針對不同場景下的目標檢測，實現了目標的特征識別和特征的定量計算。

目前，針對盾構渣土性質的目標檢測領域研究不多，研究智能化渣土識別和控制技術對指導盾構實現安全穩定施工具有重要意義。本文針對土壓平衡盾構掘進過程中的渣土改良，提出一種基于圖像的改良渣土流塑性檢測方法CSD(conditioned soil detection)net，通過圖像預處理和構建卷積神經網絡檢測模型自動識別出渣口改良渣土的流塑性，從而實現改良渣土的智能化檢測。

1 CSD net

為區分不同塑性流動狀態的改良渣土圖像，提出一種基于改進Faster R-CNN的CSD net改良渣土流塑性檢測方法。通過視頻采集圖像，對圖像進行特征增強的預處理，根據圖像中渣土的形態進行流塑性劃分，在Matlab中建立數據集，之后通過構建卷積神經網絡對數據集進行訓練和測試得到識別結果，最后根據識別結果對渣土改良提供實時反饋指導。渣土流塑性的檢測流程如圖1所示。

圖1 渣土流塑性的檢測流程圖

1.1 Faster R-CNN

雖然Fast R-CNN在速度和精度上有了顯著的提升，但還需要通過事先使用外部算法來提取目標候選框。Faster R-CNN將提取目標候選框的步驟整合到深度網絡中，速度大幅提升，被廣泛應用到目標檢測中。同時，Faster R-CNN是第1個真正意義上的端到端的深度學習目標檢測算法，也是第1個準實時的深度學習目標檢測算法。Faster R-CNN由區域提議網絡和Fast R-CNN組成，且由RPN和Fast R-CNN共享一部分卷積層，有助于實現更快的檢測速度。Faster R-CNN網絡如圖2所示。

圖2 Faster R-CNN網絡圖

1.2 基于改進Faster R-CNN的CSD net

1.2.1 位置注意模塊

深層網絡一般通過網絡層數來提高對樣本特征的提取能力。試驗證明：隨著網絡層數的提升，模型的精確性會有所提升，但達到飽和后，模型的精確性會因為非過擬合原因迅速下降。本研究采用ResNet50作為基礎網絡，網絡層數為50，卷積核為3×3。ResNet網絡在網絡深度增加的同時不會影響誤差，其特征通過殘差單元跳層連接，使梯度能夠直接到達輸入層，可以有效解決深度網絡模型退化問題，在圖像分類研究中有優異的性能。

ResNet網絡并不總是表現良好，有時可能會忽略一些重要的圖像特征。特別地，當ResNet作為目標檢測網絡的基礎網絡時，會出現平移不變性現象；同時，ResNet作為一種全卷積網絡(fully convolutional network, FCN)，其局部特征會導致對目標和內容的錯誤分類[13]。為了在局部特征上建立良好的上下文連接，本研究引入了位置注意模塊，將更廣泛的上下文信息編碼到局部特征中[14]。改進位置注意模塊如圖3所示。

圖3 改進位置注意模塊示意圖

將特征映射S∈Rc×h×w輸入到3個具有相同濾波器大小的卷積層，產生了3個新的特征映射A、B、C(A、B、C∈Rc×h×w)。然后，對A、B、C進行重塑，再對A進行轉置，從而產生特征映射D、E、F(D、E、F∈Rc×n,n=h×w)。隨后，通過softmax層對D和E進行矩陣乘法運算，如式(1)所示，得到位置注意映射G∈Rn×n。

(1)

式中：gij為第j像素對第i像素的影響，2個位置的特征越相似，它們之間的相關性就越大；Aj、Bi分別為特征映射A、B中不同位置像素點。

隨后，對G和F進行矩陣乘法運算，同時對S進行求和運算，得到最后輸出的特征映射S′∈Rc′×h′×w′，如式(2)所示。

(2)

1.2.2 感興趣區域連接模塊

為了獲得不同ROIs 的不同特征細節粒度，通過結合淺層和深層來改進 ROI 池化層多個卷積層中的級別特征；對它們進行 ROI 池化和 L2 歸一化；將生成的特征連接在一起并重新調整形狀以適應特征的原始尺度；使用大小為 1×1 的卷積濾波器匹配原始網絡的通道數。總體而言，一些中間結果和組合 RPN 中的最終特征圖以產生最終的 ROI 池化特征物體檢測。改進感興趣區域連接模塊如圖4所示。

圖4 改進感興趣區域連接模塊

2 數據集

2.1 圖像獲取

圖像采集設備固定安裝在武漢地鐵19號線盾構左螺旋機出渣口，攝像機與出渣口距離固定，光照情況基本相同。攝像頭型號為Hikvision DS-2SC3Q120MY-T/GLT，內存為32 G，像素為400萬。

2.2 圖像預處理

2.2.1 圖像裁剪

通過觀察發現，初始采集到的圖像中，所要研究的目標主體即傳送機皮帶上渣土部分只占圖像中很小的一部分。為了減少后期處理中的數據量從而提高處理效率以及盡量排除非主體部分造成的干擾，在圖像預處理環節中，通過圖像裁剪的方式只保留皮帶傳送機上渣土部分十分必要。通過圖像裁剪將其分辨率從1 280×720更改為300×320，保留了原始圖像特征，大大減少了計算量。

2.2.2 圖像復原

在攝像頭捕捉圖像的過程中，會不可避免地受到各種噪聲和運動模糊的干擾，使所捕捉到的圖像具有噪聲復雜、模糊、對比度低、細節紋理不清等特點，讓圖像質量大大下降。需對捕捉的原圖像進行恢復，去除圖像退化現象，提高圖像質量，保留圖像細節信息。

(3)

假設噪聲和圖像不相關，其中一個原始圖像或恢復圖像有零均值，且估計中的灰度級是退化圖像中灰度級的線性函數的條件下，均方誤差函數的最小值在頻率域內如式(4)所示。

(4)

2.2.3 圖像增強

圖像信息采集通常容易受到光照、振動等因素的影響，存在偏暗或偏亮等問題，產生對比度較低的圖像。復原后的圖像需要解決出渣口影像中存在的光照不足和噪聲干擾等問題，否則將會嚴重影響后期特征提取的機器處理結果。

直方圖均衡化通過改變圖像的直方圖來改變圖像中各像素的灰度，主要用于增強動態范圍偏小的圖像的對比度。采用直方圖均衡化將原始圖像的直方圖變換為均勻分布的形式，如式(5)和(6)所示。通過變換函數T(r)可以控制圖像灰度級的概率密度函數ps(s)，從而改善圖像的灰度層次，這樣就增加了像素之間灰度值差別的動態范圍，達到增強圖像整體對比度的效果。

(5)

(6)

式(5)和式(6)中：r和s分別為歸一化的原圖像灰度和經直方圖均衡化后的圖像灰度；T(r)為r到s的變換函數；pr(r)為隨機變量r的概率密度；ps(s)為隨機變量s的概率密度；Fs(s)為假定隨機變量s的分布函數。圖像預處理過程如圖5所示。

(a)干土

3 渣土流塑性檢測

基于實地調研武漢地鐵16號線、19號線等10余個土壓平衡盾構施工在建項目，目前盾構操控手大多數依據監控影像中渣土物理形態是否適合盾構掘進要求，根據主觀經驗判斷流塑性，未根據渣土流塑性進行性質劃分[5]，且現有規范未具體劃分改良渣土流塑性。

結合文獻資料及實際調研，本文綜合出渣口渣土累積狀況及噴涌情況、機帶渣土形態、單個土塊相對體積大小等要素綜合劃分渣土形態，將改良渣土分為偏干土、合適土和偏濕土3類。改良渣土特征劃分如表1所示。根據出渣口的視頻信息，請多位具有一定工作經驗的工程師交叉標注，構建改良渣土的土性標注圖庫，從中篩選7 200張渣土圖片，其中偏干土、合適土和偏濕土的照片各2 400張，采用留出法，每類土包含2 100張訓練集和300張測試集。

表1 改良渣土特征劃分[15-16]

3.1 實施細節

試驗硬件環境如表2所示，軟件環境如表3所示。

表2 硬件環境

表3 軟件環境

3.2 訓練參數

通過反復測試確定最優試驗參數，將初始學習率設置為0.001，動量為0.9，權重衰減系數為0.000 1，批處理大小為18，最大訓練迭代次數為30。

3.3 試驗與分析

3.3.1 試驗驗證

為驗證所提出模型的準確性，需對測試集圖像進行測試。一般地，對于單目標的檢測問題一共有4種結果，分別為TP(true positive)、FN(false negative)、TN(true negative)、FP(false positive)[17]。針對本試驗中的渣土流塑性檢測，TP表示圖像為一種特定類型改良渣土，且被正確檢測為特定類型改良渣土的圖像數量；FN表示圖像為一種特定類型改良渣土，但被誤檢測為其他類型改良渣土的圖像數量；TN表示圖像為其他類型改良渣土，且被正確檢測為其他類型改良渣土的圖像數量；FP表示圖像為其他類型改良渣土，但被錯誤檢測為特定類型改良渣土的圖像數量。

本試驗采用正確率、精確率和召回率評價檢測結果。其中，正確率為正確檢測樣本數與總樣本數之比，即正確率

(7)

精確率為檢測到的正確目標樣本數與檢測到的所用目標樣本數之比，即精確率

(8)

召回率為檢測到的正確目標樣本數與應被檢測到的目標樣本數之比，即召回率

(9)

為減少因主觀因素造成的測試結果誤差，本試驗測試集經工程師交叉驗證，得到原始Faster R-CNN網絡和CSD net的渣土形態檢測結果。改良渣土流塑性檢測結果如表4所示。

表4 改良渣土流塑性檢測結果

3.3.2 結果分析

由表4可知，CSD net相比原始Faster R-CNN網絡在檢測偏干土和偏濕土時的正確率和精確率更高，而在檢測合適土時性能差別不明顯，且合適土相比偏干土和偏濕土的識別精確率較低，這是由于合適土相比偏干土和偏濕土的特征相對不明顯。

為驗證所提出CSD net的有效性，本試驗將CSD net與其他前沿方法進行了比較，試驗采用控制變量法，均在前文篩選的數據集上進行訓練對比。CSD net與前沿目標檢測方法的檢測效果比較如表5所示。

表5 網絡檢測效果比較

由表5可知：1)單階段與兩階段檢測方法的側重點不同。一方面，相對于兩階段代表網絡Faster R-CNN，作為單階段代表網絡的YOLO和SSD的檢測速度較為出色，雖然檢測速度為評價網絡性能的重要指標之一，但本模型更注重在檢測速度和精度找到平衡點；另一方面，作為單階段檢測網絡的代表，SSD與YOLO模型結構較大，在后期維護網絡時十分不便。2)CSD net相比原始Faster R-CNN網絡和前沿目標檢測方法有更好的效果和適用性，檢測結果與視頻實景下的改良渣土類型較為匹配，3類土的檢測情況較好。3類改良渣土檢測結果如圖6所示。

(a)偏干土

4 結論與討論

1)將CSD net模型運用在地鐵其他線路中均有較好檢測效果，模型有較好可靠性，基本滿足渣土改良的實際需求，具有一定的工程應用價值。

2)相較于傳統的人工檢測方法，改進的Faster R-CNN法提高了渣土改良的工作效率，一定程度上減少了由于環境因素給工人帶來的身心影響，避免了由于主觀性造成的不利影響，具有效率較高、實用性強等優勢，有助于實現土壓平衡盾構掘進過程中改良渣土的智能化檢測。

3)改進的Faster R-CNN法，檢測3類改良渣土的平均正確率達91.55%，平均精確率達86.83%，平均召回率達87.42%，檢測效果較好。

本文僅通過出渣口視頻將改良渣土定性分為偏干土、合適土和偏濕土，未進一步布設其他傳感器獲取改良渣土的其他參數，后續研究中可根據改良渣土性質進一步劃分改良渣土類型，通過布置各類傳感器實現渣土的定量檢測分析，同時利用深度學習技術提高圖像復原精度，并改進相關算法提高改良渣土自動檢測的準確性。