基于深度學習的土木工程計算機視覺健康監測

方 成， 于盛鑫， 李永剛， 賈王龍， 楊鵬博， 楊欣悅

（1. 同濟大學 土木工程學院， 上海 200092；2. 中國二十二冶集團有限公司， 河北 唐山 064000）

隨著基礎項目建設的高速發展，工業民用建筑進入了飽和期和維護期。一方面，建筑結構在長期荷載、環境腐蝕、材料變形和疲勞破壞等因素的耦合作用下出現大量的損傷破壞。另一方面，結構在強臺風、海嘯、破壞性地震等偶發環境外力作用下將發生不同程度的破壞及倒塌。因此，在工業智能化時代，如何利用人工智能技術來高效地輔助土木工程建設全生命周期中涉及到的施工安全管理、結構損傷檢測及結構重大災后整體評估等任務一直是學者們不斷探索的課題。本文旨在對現有基于深度學習算法的計算機視覺技術在土木工程建設全生命周期中的研究和應用進行針對性總結與歸納，通過進一步分析各檢測體系中所涉及算法的共性問題，從探索深度學習算法可以完成的計算機視覺任務開始，到挖掘出更豐富的可以應用的工程領域，從而實現從算法微觀層面到構建整體檢測體系的宏觀層面的飛躍，助力人工智能新成果更好地輔助土木工程領域任務。

1 文獻檢索與分析

為了系統地識別和分析近年來基于深度學習的計算機視覺技術在土木工程建設全生命周期中的應用，本研究選擇Web of Science作為檢索文章的數據源，通過設置包括“土木工程”且“深度學習”且“計算機視覺”或“結構健康監測”或“結構表面損傷”或“施工安全”或“震后損傷評估”或“災后影像識別” 的關鍵詞或主題，設置跨度為2015 年1 月至2022 年5 月的發文時間，在剔除不相關文獻后，選擇使用271篇文獻進行分析，文獻出版時間分布如圖1所示。

圖1 文獻出版時間分布Fig. 1 Distribution of publication time of literature

本研究基于Citespace［1］進行了關鍵詞分析，繪制了本研究領域的高頻、高中介中心性關鍵詞排序表格，見表1。 可以看出，“deep learning”和“computer vision”位居頻率排名的前兩名，說明所檢索文章較好地反映了基于深度學習的土木工程計算機視覺技術研究；結合高中心性，可以看出“convolutional neural network”與多個研究對象關聯緊密，說明其在本研究領域具有重要意義。

表1 關鍵詞排名Tab. 1 Ranking of keywords

2 計算機視覺技術簡介

計算機視覺技術旨在助力計算機使用算法來理解數字圖像和視頻并提取有用的信息，重點在于圖像數據的特征設計，包括提取特征點、邊緣和輪廓等數據特征。最初的特征設計是基于人工實現的，例如，尺度不變特征變換算法實現了顯著穩定的圖像特征點檢測，可有效用于圖片匹配；方向梯度直方圖算法對圖像的幾何和光學形變具有良好的不變性，通過與支持向量機分類器結合廣泛應用于圖像識別中，可實現實時性檢測。隨著互聯網技術的發展以及便攜式電子設備的出現，大量圖片數據資源被獲取，人工特征設計技術衍生成了成熟的數據集圖像處理技術，包括降噪、傅利葉變換等，主要負責圖像壓縮、增強復原和匹配識別三大任務。此外，機器學習在快速發展后被廣泛應用于圖像識別、結構優化［2］、自然語言處理等多個領域。由此，基于機器學習的計算機視覺技術在健康監測等領域得到迅速應用與發展。

為解決一般機器學習算法效率低、精度不足等問題，有學者提出基于深度學習卷積神經網絡（CNN）［3］的計算機視覺技術，其具有卓越的學習能力、廣泛的覆蓋范圍和良好的適應性等優勢。表2列舉了與計算機視覺相關的常用深度神經網絡。通過與深度神經網絡相結合，計算機視覺技術的識別精度得到了大幅提升，應用場景也快速擴展，在圖像分類、目標檢測、語義分割和實例分割任務中發揮重要作用。

表2 與計算機視覺相關的深度神經網絡分類Tab. 2 Classification of deep neural networks related to computer vision

3 深度學習數據集的構建

創建高質量數據集對提高算法訓練效率和學習泛化能力具有重要意義。本節將介紹常用的數據獲取手段、數據處理技術以及數據標注方式。

3.1 數據獲取

通常將深度學習樣本分成訓練集、驗證集和測試集三部分。訓練集用于訓練神經網絡學習特定特征；驗證集用于對網絡訓練結果進行驗證，確定網絡參數和最終模型；測試集則用于評估算法的運行狀況及檢測性能。目前常用的數據獲取方法有人工收集、虛擬合成、網絡爬取、對抗生成等，它們可在一定程度上解決深度學習模型訓練效果不佳以及學習泛化能力不足等問題。

3.2 數據處理

除了通過增加新樣本來擴充訓練集樣本數量外，圖像處理技術也可增強圖像包含的數據信息。例如，通過噪聲消除等方法可進一步優化圖像對環境變化的魯棒性，此外，圖像處理算法還能減少分辨率差異，優化模型對特征的提取能力和檢測性能［4］。近年來深度學習模型的應用也從二維擴展到三維，實現了擴充數據的目的。以上方法對提升數據驅動型深度學習算法的訓練效果和檢測性能至關重要。

3.3 數據標注

為了將數據集中目標對象的位置和像素等信息轉化為計算機所能理解的語言，數據標注的過程是必不可少的。目前常用的標注工具大多源自Github，其功能幾乎覆蓋了訓練深度學習模型所需要的全部數據標注方法。除此之外，各大科技公司也相繼開發出了支持人機協作自動化數據標注及人工矯正的云平臺。表3 介紹了常用的標注工具，列舉了典型的標注類型和文件導出格式，以便于實際應用。

表3 常用的標注工具及其特點Tab. 3 Common annotation tools and their features

4 基于深度學習的計算機視覺技術在土木工程中的應用

基于深度學習的計算機視覺技術在土木工程結構建設全生命周期中均有廣泛而豐富的應用，從對建造施工現場的危險把控和識別，到對結構投入使用過程中的結構連接安全性檢測以及結構表面典型缺陷檢測，到對老化結構的健康狀況監測以及災后建筑物倒塌檢測評估等。

4.1 施工現場安全管理

基于深度學習的計算機視覺技術在施工現場安全管理中的應用包括施工人員安全、設備安全以及進度管理。

（1）施工人員安全監測

正確合理佩戴個人防護裝備是施工人員預防危險的重要舉措，利用深度學習目標檢測技術可以檢測工人的狀況及潛在安全隱患。以安全帽檢測為例，已有研究成功實現工人安全帽佩戴檢測［5-6］，通過構建高質量數據集，可顯著提高防護設備檢測效率［7］，實現施工場景中人與物的識別［8-9］。此外，計算機視覺技術在工人活動識別領域也取得較大的進展，研究相繼解決了運動傳感器布置和混合不安全行為檢測［10］等問題，實現了工人活動模式定義［11］和行為解釋，使施工人員安全管理更為先進高效。表4列舉了施工人員安全監測任務中使用的多種技術方法，包括工人防護設備檢測、潛在環境安全因素檢測及工人不安全行為識別和解釋等。

表4 施工人員安全監測方面各方法評價Tab. 4 Evaluation of construction personnel safety monitoring methods

（2）施工設備安全監測

施工現場常有大型工程設備，一旦發生不規范設備操作便極易引發安全事故，因此針對工程設備的監測尤為重要。

表5列舉了該監測任務中多種常見的基于深度學習的計算機視覺技術方法，首先解決了工程設備實時檢測問題［12］，并陸續提高了檢測精度［13］， 但仍存在遮擋、無法驗證距離測量精度等問題［14］。為此，Zeng 等［15］基于改進的YOLO v3 算法實現了對遠場視頻工程設備的實時多尺度檢測與定位，圖2 展示了該研究中各種檢測方法關鍵性能指標的比較。圖中，R-FCN 表示基于區域的全卷積網絡，Faster RCNN 表示更快的區域卷積神經網絡。結果表明改進的YOLO v3 較Faster R-CNN、RetinaNet 以及RFCN 在檢測速度、精度和魯棒性方面都得到了顯著的提升。值得一提的是，基于深度學習的目標檢測算法在設備和工人之間交互行為的安全性檢測中也具備突出優勢，例如，可實時監控工人與設備之間潛在的碰撞、判斷設備與工人在空間中的接近度以及量化發生交互行為時工人的安全水平等。

表5 施工設備安全監測方面各方法評價Tab. 5 Evaluation of construction equipment safety monitoring methods

圖2 各類工程設備檢測方法的性能比較［15］Fig. 2 Performance comparison of various testing methods for engineering equipment

（3）施工進度管理

施工進度管理是維持施工秩序、規范建筑活動及控制風險的重要方法，其關鍵是設備活動識別。表6列舉了施工進度管理任務中常見的計算機視覺技術方法。將 CNN 和長短期記憶網絡（LSTM）結合可實現基本的設備活動識別，在此基礎上增加檢測、跟蹤和分類網絡，可以實現長視頻中工程設備活動及生產力的評估與分析［16］，確保更安全的施工操作［17］、更有效的人力資源配置［18］以及更高效的施工監管［19］。此外，自動化施工場景分析也是基于深度學習的計算機視覺技術重要應用領域，將場景分析技術用于安全管理中，可以更清晰地反映當前施工場景的含義［20］，以便施工進度管理。

表6 施工進度管理方面各方法評價Tab. 6 Evaluation of construction schedule management methods

從本節可以看出，目前研究局限于單次解決某個或幾個對象特征自動識別的問題，而沒有從整體上實現施工現場安全管理中多任務場景內動態關聯，從而達到高效的信息獲取與分析。未來可以引入視頻結構化技術，通過匯聚全量施工現場視頻場景記錄，在連續幀中檢測和關聯相同對象來實現動態關聯網絡，進一步提高檢測能力，實現對所獲信息的高效利用。

4.2 在役結構損傷檢測

基于深度學習的計算機視覺技術在土木工程結構服役時的局部損傷檢測中已發揮出積極作用，檢測任務主要分為結構連接安全性檢測和結構表面典型損傷檢測。

（1）結構連接安全性檢測

焊縫連接是鋼結構、組合結構中常用的連接形式，控制焊縫質量是確保構件連接安全的重點，表7列舉了多種焊縫缺陷識別計算機視覺技術方法。常用的焊縫缺陷檢測多使用普通焊縫圖像數據集［21］，這往往會增加識別成本，影響識別效率。為此學者們提出了利用X射線焊縫圖像獲得理想數據集的思路［22］，在該基礎上結合圖像增強技術提高了焊縫缺陷檢測效率［23］。此外，有學者提出更為先進的算法，對缺陷種類進行細分或利用分類器進行精細化缺陷識別，解決了小數據集下網絡泛化性能差的問題［24］并滿足了焊縫缺陷實時檢測要求［25］。

表7 焊縫缺陷識別各方法評價Tab. 7 Evaluation of weld defect identification methods

螺栓連接是另一種常用的結構連接方式，具有連接方便、可靠性強等優點，但螺栓松動、銹蝕和缺失會產生一系列安全隱患。以螺桿伸長為興趣指標，有學者基于深度學習的計算機視覺技術實現了對螺桿伸長的實時檢測，在此基礎上，Yuan 等［26］實現了對螺栓松動近實時地識別、分類、分割和計數。但基于螺桿伸長的方法來檢測螺栓初期松動是困難的，為此，有學者結合霍夫線性變換算法實現了任意角度下螺栓微小松動的檢測［27］，進一步實現了螺栓松動角度的量化［28］。為了提高深度學習模型的檢測效率和特征感知能力，Yang［29］、Zhang［30］等利用一些新的檢測算法框架完成螺栓連接微小松動、缺失以及損壞等結構連接安全性檢測任務。表8列舉了螺栓松動自動識別相關技術方法。

表8 螺栓松動識別各方法評價Tab. 8 Evaluation of bolt loosening identification methods

（2）結構表面典型損傷檢測

在結構服役期內，裂縫被認為是結構表面損傷中最普遍的破壞類型之一。近年來， 已有多種經典的神經網絡模型被遷移應用于裂紋檢測，如：AlexNet［31］、GoogLeNet［32］、ResNet［33］、Faster R-CNN和U-Net［34］等。此外，有學者開發了新的深度學習網絡架構［35］，顯著提高了裂紋檢測性能。針對圖像數據質量影響檢測性能的問題，有研究提出了兩階段聯合遷移學習方法［36］，解決了強環境背景推斷條件下的裂紋識別問題，也有研究結合圖像生成算法，克服了缺乏裂紋標記圖像的缺點。裂紋自動檢測技術也可遷移應用到其余表面損傷檢測中，同時實現多種缺陷的損傷檢測，如：銹蝕、鋼筋裸露、混凝土剝落定位檢測等［37］。表9列舉了多種結構表面典型損傷自動檢測技術方法。

表9 結構表面典型損傷檢測各方法評價Tab. 9 Evaluation of typical damage detection methods for structural surfaces

近年來，相關研究學者提出了基于深度學習的三維重建技術，該技術現已在土木工程結構損傷檢測領域得到了快速發展與應用。Zhang 等［38］提出了一種基于卷積神經網絡的CrackNet，可實現三維裂縫像素級別的自動檢測，在此基礎上有學者提出了CrackNet II［39］、CrackDN等衍生類架構，取得了更好的整體性能。此外，三維重建在生成密集點云方面具有突出優勢，其可在建筑立面缺陷、路面裂縫檢測、建筑拆除碎片體積評估等方面發揮重要作用［40］。對于橋梁工程結構而言，三維重建技術已發展為可集成小型無人機、移動機器人平臺來生成橋梁三維模型的狀態管理系統，在此基礎上，已有學者結合同步定位和映射方法（SLAM）實現了三維層面上橋梁損傷自動檢測和量化［41］。此外，三維損傷數據還可與橋梁建筑信息模型（BIM）的缺陷對應［42］。表10列舉了一般土木工程結構三維損傷自動檢測技術方法。

表10 一般土木工程結構三維損傷檢測各方法評價Tab. 10 Evaluation of 3D damage detection methods for general civil engineering structures

本節主要總結了近年來在役結構損傷檢測中基于深度學習的計算機視覺技術的應用，可以看出，目前研究缺乏具有可靠文本信息或可視化圖像的損傷自動評價體系。未來可考慮集成損傷分析，進一步組織成可供計算機和人理解的可靠文本信息或可視化圖形信息，實現“輸入圖像+輸出圖文報告”的機制，以提供更多的信息解釋和趨勢判斷能力。

4.3 災后結構損傷評估

災后建筑物倒塌損壞識別是實現快速救援及合理重建的關鍵。隨著光學成像、合成孔徑雷達等遙感技術的迅速發展及應用，基于深度學習的計算機視覺技術被廣泛用于評估災后建筑物的破壞情況。

（1）基于衛星影像識別

以卷積神經網絡為代表的深度學習算法被廣泛應用于災后衛星影像物體檢測和識別，基于CNN框架將衛星遙感圖像用于場景分類是可行的，在此基礎上，有學者依靠特征提取后處理方法實現了建筑物定量和定性檢測［43］，結合樣本平衡方法解決了災后建筑物識別樣本失衡問題［44］。此外，也有學者結合超參數優化算法、使用深度網絡架構以及輕量化網絡模型提高了檢測精度和速度［45-46］。近年來，隨著超像素分割和特征融合等技術的發展，已有研究同時實現了災后建筑物多種損傷等級的檢測，克服了特征選擇困難、圖像分割碎片化等問題。表11列舉了基于衛星影像的結構災后整體損傷自動評估技術方法。

表11 基于衛星影像的結構災后整體損傷評估各方法評價Tab. 11 Evaluation of global damage assessment methods for post-disaster structures based on satellite images

（2）基于航拍影像識別

除了衛星影像外，航拍影像也被廣泛應用于災后救援及重建領域。有學者提出了一種基于航空圖像的震區倒塌建筑物自動識別技術，基于此思路，Miura等［47］利用航拍影像訓練CNN模型成功實現了不同損傷等級識別，驗證了該技術的應用潛力，值得一提的是，在此基礎上引入圖像的3D特征可以顯著提高網絡模型的泛化能力和準確率。然而，由于航拍影像下倒塌建筑物形狀多樣、背景復雜，檢測會受到傳統網絡特征提取能力的限制，為此，有學者引入可變形卷積層提高對任意形狀倒塌建筑物的適應性［48］，或使用k-means算法優化錨點的數量和尺寸大小［49］，這些做法有效緩解了誤檢和漏檢問題。此外，通過結合在線硬樣本挖掘技術提高信息利用率［50］或使用新的網絡架構［51］可獲得更好的分類結果。表12列舉了基于航拍影像的結構災后整體損傷自動評估技術方法。

表12 基于航拍影像的結構災后整體損傷評估各方法評價Tab. 12 Evaluation of global damage assessment methods for post-disaster structures based on aerial images

（3）結合多種分辨率或多模式災害影像識別

以上方法大都使用單一分辨率作為輸入，而結合多種途徑（機載、衛星、航拍圖像）或者多種模式（多分辨率、多時相、多感官）獲取的高分辨率圖像來訓練網絡可以提高算法的檢測精度。較為典型的是Rudne 等［52］提出的融合多分辨率、多時相和多感官衛星圖像訓練CNN 的思想。表13列舉了結合多種分辨率或多模式災害影像的災后自動識別技術方法。

表13 結合多種分辨率或多模式災害影像的災后識別各方法評價Tab. 13 Evaluation of post-disaster identification methods in combination with multi-resolution or multi-modal disaster images

從本節可以看出，基于深度學習的計算機視覺技術以高效、低成本、可快速獲取感興趣圖像特征等優勢正在結構災后整體損傷評估領域發揮著愈發重要的作用，但不可否認的是，該技術在處理災后地面現場細致調查時存在精度不足、無法探測結構內部破壞等問題。為此，未來可考慮與工業自動化監測設備集成，在解決災后細致調查問題的同時使結構健康監測更加智能化和高效便捷。

5 結語

本文重點回顧和總結了基于深度學習的計算機視覺技術在土木工程建設全生命周期中的應用。首先利用CiteSpace 軟件對檢索到的相關文獻進行科學分析與統計；其次簡要闡述了計算機視覺技術的發展歷程和基本原理，歸納了構建深度學習數據集所涉及的數據獲取、數據處理以及數據標注方法；最后回顧了近年來基于深度學習的計算機視覺技術在施工現場安全管理、在役結構損傷檢測以及災后結構損傷評估領域中的應用研究。通過對相關工程應用發展脈絡的了解，可以找到研究共性和遷移點，從而啟發研究者在未來開發更多類型的實際應用，更好地輔助工程任務。下面列出了可以拓展的應用方向。

（1）進一步完善預制構件的數據集類型，使其更好地服務于裝配式建筑施工進程。

（2）引入視頻結構化技術，建立施工場景對象動態關聯網絡。

（3）將可見損傷檢測結果與內容分析相結合，進一步組織成可供計算機和人理解的文本信息或可視化圖形信息，以提供更多的信息解釋和趨勢判斷能力。

（4）集成自動化監測車以及機器人，使結構健康監測更加智能化和高效便捷，進一步推動基于深度學習的計算機視覺技術在土木工程領域的實際部署及產業化發展。

目前，基于深度學習的計算機視覺技術正在土木工程建設全生命周期中發揮重要作用。未來，通過構建高質量數據集、引入新的圖像處理技術以及改進深度學習算法框架等方法，基于深度學習的計算機視覺技術將發揮出更豐富的土木工程應用潛力。

作者貢獻聲明：

方 成：論文想法提出，論文核對。

于盛鑫：論文框架設計，論文撰寫與修改。

李永剛：論文構思、修改與核對。

賈王龍：論文構思與核對。

楊鵬博：論文構思與核對。

楊欣悅：論文總體規劃，論文撰寫與核對。