計算機視覺在建筑工程施工領域的研究與應用

房霆宸 左俊卿 龔 劍

1. 上海建工集團股份有限公司 上海 200080；2. 同濟大學土木工程學院 上海 200092；3. 上海超高層建筑智能建造工程技術研究中心 上海 200080

計算機視覺（computer vision）是研究如何采用機器看 的科學，通過對采集的圖片或視頻進行處理以獲得相應場景的三維信息，類似于給計算機安裝眼睛（照相機）和大腦（算法），讓計算機能感知環境。作為一門綜合性的學科，計算機視覺是當今全球科學領域和工程領域中一個富有挑戰性的研究領域。計算機視覺已經吸引了來自各個學科的研究人員參與研究，包括計算機科學和工程、信號處理、應用數學和統計學、物理學以及神經生理學和認知科學等；其應用范圍覆蓋各個領域，包括航空航天、醫療診斷、土木建筑、軍事、金融、貿易等。

由于其應用的重要性，計算機視覺受到全世界的廣泛關注和研究。西方發達國家如美國將其列為對經濟、科學有廣泛影響的科學和工程中的重大挑戰。關于計算機視覺的研究起于20世紀50年代，主要針對二維圖像的分析處理。

1959年，Hubel等[1]對大腦視皮層細胞感受野進行了研究。感受野是一個感覺神經元的某個位置受到適當的刺激，引起該神經元反應的區域。Hubel等以貓為試驗對象，從簡單的形狀開始研究視覺識別。首先將微電極植入貓的視皮質細胞，然后在屏幕上打出一些光影和圖形，通過固定貓的頭部控制視網膜上的成像，并測試細胞對線條、直角、邊緣線等圖形的反應。研究發現，貓在看到魚和老鼠投像后，視覺處理流程的第一步不是對整體的魚或者老鼠進行處理，前期的視覺處理只是對簡單形狀的結構處理、邊緣排列，只有當圖片切換時才產生激烈的反應。

1963年，Lary Roberts運用計算機程序根據線畫圖來理解由多面體構成的景物，并對物體形狀及物體的空間關系進行描述，試圖從圖像中闡釋出如立方體等多面體的邊緣和形狀。Roberts的研究采用計算機理解三維場景，將計算機視覺從二維層面引入到三維領域[2]。作為一門人工智能領域學科，計算機視覺的研究始于1966年。美國麻省理工學院（Massachusetts Institute of Technology）人工智能實驗室成立了計算機視覺學科。自此，人工智能領域中發展得最快的門類ü ü 計算機視覺學科正式誕生。但直到20世紀70年代后期，計算機視覺才得到了正式的關注和發展。這一時期，計算機技術快速發展，計算處理性能得到提高，能處理圖像這樣的大規模數據。然而因受限于不同行業的需求，計算機視覺問題始終沒有得到正式定義，如何解決計算機視覺問題也沒有成型的公式。20世紀80年代，計算機視覺基礎研究取得重要進展。美國麻省理工學院人工智能實驗室David Marr[3]首次提出視覺分層的觀點：第1層次為計算理論，研究對什么信息進行計算以及為什么要進行這些計算；第2層次為算法，研究如何進行所要求的計算，即設計特定的算法；第3層次為實現算法的機制或硬件，研究完成某一特定算法的計算機構。David Marr認為視覺是個信息處理任務，從以上3個層次進行理解和研究。隨后，計算機視覺持續保持較快的發展趨勢，主要經歷了2個階段，一是以流形學習為代表的子空間法，二是目前以卷積神經網絡和深度學習為代表的視覺方法。卷積神經網絡和深度學習推動著計算機視覺軟件和硬件的快速發展、服務收入的快速增長。據Tractica預測，到2025年，全球計算機視覺市場規模將從2016年的11億美元增長到262億美元。

1 基于計算機視覺的建筑施工技術應用

計算機視覺支持從制造業到零售業再到金融業、土木建筑等一系列行業，幫助政府和企業擴展邊緣、增強人工智能。在土木建筑行業，計算機視覺有廣大的應用前景。計算機視覺的對象識別和能力可用于評估混凝土裂縫，識別明顯的質量問題或外觀缺陷，監測結構位移、識別模態參數以及檢測施工作業安全等。

1.1 基于計算機視覺的混凝土裂縫識別

基于計算機視覺具有先進的圖像處理能力，通過分析結構表觀圖像可以識別裂縫及外觀缺陷再進行評估，是建筑施工領域結構狀態損傷識別的研究熱點之一。Yeum等[4]采用一種基于視覺的自動分析方法，通過目標檢測和分組進行自動處理，可以探測和評估構筑物中螺栓附近的裂縫。Jahanshahi等[5]調研了基于圖像分割等傳統圖像處理結構裂縫檢測技術，通過比較研究結構在不同時期的圖像，掌控結構變化情況，實現基于圖像識別的結構外觀缺陷檢測，并通過非接觸式遙感裂縫檢測方法，量化了裂縫指標。Sakagami[6]研發了一種基于紅外熱成像技術的無損評估方法，實現結構疲勞裂縫監測和結構完整性評估。Lee等[7]開發了基于視覺的圖像采集機器人裝置系統，自動識別通過數字圖像處理軟件采集到的裂縫大小情況。這一先進的自動視覺監控系統提高了檢測過程的便捷性、安全性和可靠度，且成本可控。Liu等[8]結合二維圖像處理與三維場景重構，對裂縫邊緣進行三維定位的視覺檢測，為混凝土的健康狀況監測評估提供了一種新的方法。Oullette等[9]提出了一種基于遺傳算法和卷積神經網絡的裂縫檢測方法。Makantasis等[10]也是采用2個卷積層和1個全連通層的淺層卷積神經網絡，對隧道結構裂縫進行檢測。周穎等[11]基于計算機視覺識別技術，采用消費級照相機檢測裂縫，通過圖像模糊、圖像增強、形態學運算、圖像畸變校準、連通域標記、孤立點消除、裂縫碎片拼接等進行圖像預處理和裂縫識別，并針對提取出的裂縫區域，統計裂縫發展方向，計算其對應的裂縫長度和寬度。綜上所述，計算機視覺可以很好地應用于混凝土裂縫識別，顯著提高施工工效，有效降低對結構表面進行裂縫識別的經濟和時間成本。

1.2 基于計算機視覺的鋼構件焊縫識別

計算機視覺技術的應用既能提高鋼構件焊接無損檢測的準確性，也能量化檢測結果，包括焊縫的位置、大小和性質等。Valavanis等[12]通過研究大量焊縫X射線圖像幾何特征與紋理，提出了一種基于SVM與神經網絡的焊縫缺陷檢測與分類算法。李尚仁等[13]設計了一種基于機器視覺的焊縫表面下塌缺陷檢測系統。通過配置CCD（charge coupled device，電荷耦合器件）相機與輔助光源實時采集焊縫圖像，針對焊縫表面下塌缺陷增強、分割、提取、識別進行算法組合，并使用改進的GrabCut算法解決了焊縫下塌缺陷和背景分割的難題，快速精確地識別焊縫下塌缺陷，可代替人工檢測。Malarvel等[14]改進了Otsu圖像分割算法，精確分割X射線圖像焊縫缺陷。楊燕萍等[15]研發了一種基于計算機視覺的鋼結構特種焊縫無損檢測與缺陷信號識別系統。該系統采用攝像裝置獲取模擬/數字式的超聲波探傷設備顯示屏幕上的視頻數據。首先，通過圖像分割差分閾值算法抽取出波形圖像，通過計量靜態波的個數自動確定是否分析動態波形。然后，系統自動對回波生成包絡線，為實現焊縫缺陷的定位、定量和定性評定分析提供數據。利用計算機的存儲功能記錄整個測量過程的波形數據，并用三維圖像立體視覺表示測量過程中的波形變化情況。最后，根據存儲在計算機中的波形分析專家知識表、檢測中自動生成的包絡線和三維波形變化圖像進行數據融合以及綜合分析判斷，實現鋼結構特種焊縫無損檢測和缺陷信號自動識別。綜上所述，計算機視覺可以很好地應用于鋼構件焊縫識別，提高鋼構件焊縫的識別和檢測效率，加快鋼構件工業化生產加工進程，提高鋼構件焊接質量。

1.3 基于計算機視覺的位移測量

傳統的位移測量技術發展至今已經在建筑施工過程中得到了廣泛的應用，近十年來由于位移測量對智能化、便捷性和精準性的要求越來越高，相比許多傳統方法，計算機視覺新技術逐漸展現出優越性。計算機視覺應用于位移測量最早出現于20世紀80年代，主要是通過對圖像信息的分析，得到結構振動位移測量。Lee等[16]對比研究了分別采用傳統位移傳感器技術和數字圖像處理技術對實驗室4層框架結構進行同步振動測量的結果，分析結果表明，2種方法測得的數據擬合相關性較好。Ho等[17]研發了基于多點視覺的基礎設施動態位移測量方法。Chen等[18]提出了一種采用數字視頻攝像機來檢測高層結構變形的方法。該方法以不同頻率為工況進行振動測試，具有良好的穩定性和測量精度。對高層建筑的振動測試結果表明：與傳統方法相比，基于計算機視覺的位移測量可以反映結構的振動特性，同時此方法可以測量2個方向上的位移，體現了計算機視覺測量技術的優越性。Zhao等[19]在土木工程橋塔結構動態位移的監測中，采用支持向量濾波及KLT特征點匹配追蹤相結合的方法。先利用支持向量濾波方法選出大致的區域，再利用KLT實現精確跟蹤，同時具備了魯棒性和精確性。Shan等[20]基于立體視覺坐標系變換原理，提出一種基于立體視覺的位移測量方法。基于該技術進行砌體模型試驗驗證，分析得到三維位移時程曲線，結果表明，該方法可靠度高，適用于結構三維變形的監測。綜上所述，計算機視覺可以很好地應用于位移測量，有利于提高建筑現場場地測量、建筑結構和部件變形控制的精度和工效。通過分析以上學者的研究結果發現，計算機視覺在混凝土裂縫識別、鋼構件焊縫識別、位移測量等方面的研究與應用已有很好的基礎，但相關理論研究和應用大數據開展相關研究的情況較少。建立混凝土結構裂縫、鋼構件焊縫損傷、結構變形損傷等建筑工程施工技術方面的圖像數據庫，基于大數據和計算機圖像識別開展檢測識別技術，是探索計算機視覺在建筑工程施工技術領域研究與應用的關鍵。

2 基于計算機視覺的施工控制與質量管理

2.1 基于計算機視覺的施工人員管理

建筑施工人員的安全管理，是施工安全管理的重點和難點。隨著計算機信息技術的進步，基于計算機視覺的施工人員管理得到越來越多的關注和研究。基于計算機視覺技術的施工人員面部信息的疲勞檢測為施工人員疲勞狀態評價提供了一種有價值的技術手段。崔兵等[21]研究構建了一種基于計算機視覺技術的施工機械操作員疲勞作業檢測方法。采用圖像處理開源庫（dlib）模型標注68個人臉特征點，計算實時的眼縱橫比（eye aspect ratio，EAR）和嘴縱橫比（mouth aspect ratio，MAR）值，并取前30 s視頻作為樣本計算出相應的閾值，進而計算出眨眼頻率、平均眨眼時長、眼瞼閉合時間百分比（PERCLOS）以及哈欠頻率這4個指標值，利用歸一化方法進行指標融合，依據綜合疲勞指標的取值和持續時間采取不同的疲勞應對措施。最終通過試驗驗證該方法的準確性，結果表明該論文提出的綜合疲勞指標能夠反映不同情境下檢測對象疲勞狀態的變化趨勢，其眨眼狀態判定的正確率為95%左右。Li等[22]提出基于三維人體骨架模型來獲取每個關節的三維坐標，結合人體工程力學分析建筑工人的姿態和運動，通過評估動作頻率、姿勢和持續時間來評估疲勞狀態。但這種方式容易受到關節點三維坐標數據誤差的影響。Cheng等[23]通過視覺檢測技術實時采集、處理工人和施工設備的位置數據，并將相關安全和活動績效信息實時、可視化地向決策者顯示，從而實現對建筑工人安全的管理。Wu等[24]提出基于OpenPose算法以施工人員姿態估計為輔助的安全帽佩戴的檢測方法。將人體姿態估計應用于自動檢測施工人員是否佩戴安全帽的場景中，設計了整合人體姿態估計與目標檢測的自動檢測系統。首先將目標檢測模型輸出的人物邊框與對應的人體姿態估計模型輸出的人體姿態進行匹配，然后遍歷人物邊框，根據空間關系將安全帽與人體配對，并根據安全帽與人體面部中心點的空間位置關系判斷安全帽是否被正確佩戴。綜上所述，基于計算機視覺可以很好地實現對施工現場作業人員的生理健康、行為安全的管理，可以顯著提高施工現場的安全水平。

2.2 基于計算機視覺的臨邊洞口安全管理

臨邊洞口處的高處墜落事故仍是建筑施工安全事故防范的重點。計算機視覺技術的迅速發展為實現施工現場的自動化安全管理提供了新的解決思路。目前，針對施工過程中的臨邊洞口安全管理方面的研究，主要集中于探究建筑信息模型（building information modeling，BIM）技術在臨邊洞口安全管理上的應用，結合BIM和射頻識別（radio frequency identification，RFID）技術，對工人定位跟蹤，在其靠近臨邊洞口等危險區域時發出預警，探究在模型里如何正確地設計臨邊洞口防護，為現場安全管理人員提供可靠的搭設管理思路。王丹爽[25]通過人工操作無人機監測臨邊洞口，從人、機、材3個角度進行評價，劃分安全等級并對施工現場提出整改建議。張根杰等[26]利用無人機自動采集施工現場的照片，通過HOG＋SVM算法實現臨邊洞口的自動識別，實時反饋存在安全隱患的臨邊洞口，并根據BIM模型提供的先驗信息，判定存在安全隱患的臨邊洞口的方位，通過有效識別防護措施不到位的臨邊洞口，對現場安全隱患進行自動化排查，降低高處墜落事故發生的風險。徐峰等[27]從空間建模和人員傷害程度評估的角度出發，對危險源影響空間展開研究，將建筑施工中臨邊墜落的特性模型化。綜上所述，基于計算機視覺可以很好地實現對施工現場臨邊洞口的安全管理，避免發生安全事故。

2.3 基于計算機視覺的施工現場車輛管理

在大型工地施工現場出入的施工及其他車輛很多，對車輛的管理直接關系到施工現場的秩序和安全。如不對出入施工現場的車輛數量加以控制，會造成施工工地內部擁堵和混亂。針對大型施工工地對車輛統計和監控的需求，劉云波等[28]提出一種基于計算機視覺的施工現場車輛監管方法。首先，采用高斯背景建模方法得到高精度的監管區域背景；然后，運用背景差分結合二值化方法實時提取運動目標，根據車輛尺寸和形狀特征識別車輛的運動目標，并通過尺寸和形狀濾波等方法對車輛進行分類，識別出工程大車和小型機動車。另外，該研究對車輛速度進行了基于視覺的虛擬檢測線法估計，當車車超速時進行抓拍和警告。即在道路中心位置平行設置2條虛擬檢測線，當車輛通過其間時，對車輛速度和數量進行統計。試驗結果表明，該方法基本達到了大型工地現場對車輛監管的需求。綜上所述，基于計算機視覺可以很好地實現對施工現場車輛和施工機械的管理，但相關研究并不多，且缺乏相應的控制機理，將計算機視覺技術應用于施工現場大型施工機械和施工車輛的管理，可以提高現場施工效率。

通過以上學者的研究結果，我們可以發現，計算機視覺在施工人員管理、臨邊洞口安全管理、施工現場車輛管理等施工控制和質量管理方面的研究與應用已有很好的基礎，但關于風險機理、算力算法等方面的研究較少，在建立相關風險耦合模型、場景演化數據庫與施工裝備結合等方面的研究與應用，對于提高施工控制和質量管理水平具有重要意義。

3 結語

本文從計算機視覺基本概念、發展現狀、建筑施工技術、施工控制和質量管理等方面闡述了計算機視覺在建筑工程施工領域的相關研究和應用現狀。計算機視覺在建筑工程施工領域的研究和應用仍處于起步階段，具有很大的發展空間。為使計算機視覺理論與技術更好地應用于建筑工程施工，推動計算機視覺在土木工程學科的發展，需要在以下方面進行系統的科學研究和技術研發。

1）結合建筑工程施工學科特點，建立建筑工程施工的計算機視覺理論體系。

2）采用深度學習等理論深入挖掘結構健康監測、檢測、試驗、數值模擬等大數據，剖析風險控制機理，發展建筑工程施工大數據挖掘的計算機視覺方法。

3）基于計算機視覺理論的智能建造等相關的軟件和硬件裝備升級發展。深度融合計算機視覺與建筑工程施工，將推動我國的土木工程進一步向綠色化和智能化的可持續方向發展。