多視角幾何三維重建法識別工程結(jié)構(gòu)缺損與變形

劉宇飛，樊健生，孔思宇，魏曉晨

(清華大學(xué)土木工程系，清華大學(xué)土木工程安全與耐久教育部重點實驗室，北京 100084)

結(jié)構(gòu)表面缺損與構(gòu)件變形是既有結(jié)構(gòu)現(xiàn)場檢測或長期監(jiān)測的重要指標(biāo)，也是安全性評估、鑒定的重要依據(jù)，典型如混凝土結(jié)構(gòu)表面裂縫、漏筋，鋼結(jié)構(gòu)銹蝕、螺栓脫落，鋼結(jié)構(gòu)構(gòu)件彎曲變形與板材局部屈曲等。在當(dāng)前既有結(jié)構(gòu)檢測鑒定現(xiàn)場作業(yè)中：對表面缺損的檢查仍依賴于人工接觸式方法，操作費時費力，存在測不準(zhǔn)、高空多、效率低、記不全等缺點，一方面檢查精度與效率低下，另一方面人員作業(yè)安全風(fēng)險難以控制；對構(gòu)件變形的測量仍依賴于全站儀，難以實現(xiàn)空間變形的精準(zhǔn)測量。采用數(shù)字圖像法配合以智能的數(shù)字圖像處理技術(shù)，可有效提升檢查與檢測的效率、降低作業(yè)風(fēng)險，相關(guān)研究成為近五年的熱點并逐漸實現(xiàn)工程應(yīng)用。但是，工程實踐中暴露出的問題，影響了數(shù)字圖像檢測技術(shù)的推廣應(yīng)用，如定量檢測中圖像幾何變形修正困難、局部損傷難以在整體結(jié)構(gòu)中定位、無法測量鋼結(jié)構(gòu)空間變形等。結(jié)合多視角幾何三維重建法的研究與應(yīng)用，可有效解決上述問題，提高數(shù)字圖像法的適用性并擴展技術(shù)的應(yīng)用場景。本文對多視角幾何三維重建法識別結(jié)構(gòu)表面缺損與變形的方法原理與技術(shù)創(chuàng)新進(jìn)行研究與討論。

1 多視角幾何三維重建法

1.1 方法原理

多視角幾何三維重建法(Multi-view geometric 3D scene reconstruction method, 常被簡稱為“多視”)利用數(shù)字圖像進(jìn)行表面三維場景重建，主要原理是基于機器視角的多視角幾何方法[1?2]。其中，“多視角”表示圖像獲取的要求以及算法執(zhí)行的假設(shè)：用于重建的圖像必須在多個不同的攝影視角與機位下拍攝，圖像互有重疊且重疊率不小于50%，環(huán)繞拍攝效果更佳。基于數(shù)字圖像的多視角幾何三維重建不依賴于物體原始的空間幾何關(guān)系與相對尺寸信息，也無需成像時相機的空間位置與朝向信息，僅利用原始的數(shù)字圖像與相機、鏡頭參數(shù)等信息，即可直接還原成像模型、生成相機空間參數(shù)與三維場景。因此，該方法具有硬件設(shè)備要求低、現(xiàn)場操作簡便等特點。

多視角幾何三維重建法的成功實現(xiàn)依賴于后期算法處理。首先，數(shù)字圖像要經(jīng)過圖像畸變矯正(Image undistortion)完成預(yù)處理；在此之后，經(jīng)過特征點識別(Feature extraction)、特征點匹配(Feature matching)、相機運動參數(shù)估計(Camera motion estimation)、模型優(yōu)化(Model optimization)、稀疏點云三維重建(Sparse point cloud 3D reconstruction)等步驟，完成運動恢復(fù)結(jié)構(gòu)(Structure from Motion,SfM)運算，獲得相機空間參數(shù)及稀疏三維點云模型。在此基礎(chǔ)上，利用獲得的參數(shù)與模型，進(jìn)行密集三維點云重建(Dense point cloud 3D reconstruction)，獲取密集的三維點云模型。完整的多視角幾何三維重建法步驟見圖1 所示。

圖1 多視角幾何三維重建法步驟Fig. 1 Process of multi-view geometric 3D reconstruction method

多視角幾何三維重建的核心算法是運動恢復(fù)結(jié)構(gòu)運算，運動恢復(fù)結(jié)構(gòu)運算的最重要功能是相機運動參數(shù)估計。事實上，多視角幾何算法就是解決相機運動參數(shù)估計的方法，具體包括了雙視角幾何、三視角幾何、以及多視角幾何等不同情況，其中多視角幾何問題可由雙視角幾何與三視角幾何組合來解決。以雙視角幾何算法為例，待估計的計算相機內(nèi)參主要包括基礎(chǔ)矩陣(Foundation matrix)F與本質(zhì)矩陣(Essential matrix)E，其中基礎(chǔ)矩陣F描述了兩個相機成像的極線約束關(guān)系，如圖2 所示的約束三角關(guān)系。圖2 中點O與點O′分別表示參與雙視角幾何計算的兩個相機的空間位置，點A表示某個匹配的特征點對的實際空間位置，點a與點a′分別表示點A在2 個相機成像平面上的位置，采用薄透鏡成像模型。由匹配特征點的空間位置約束可以求取基礎(chǔ)矩陣F，數(shù)學(xué)關(guān)系的描述參見式1 所示。基礎(chǔ)矩陣F共包括7 個待定參數(shù)，因此需要最少7 組匹配特征點方可確定F。式中，x與x′分別表示匹配特征點對的齊次像素坐標(biāo)。

圖2 雙視角幾何的極線幾何約束關(guān)系Fig. 2 Polar line geometric constraint relationship of double-view geometry

本質(zhì)矩陣E是基礎(chǔ)矩陣F在圖像坐標(biāo)系歸一化時的特征表達(dá)形式，可由式(2)進(jìn)行計算：

式中，K與K′分別表示兩個相機的內(nèi)參矩陣。

基礎(chǔ)矩陣F與本質(zhì)矩陣E是連接匹配特征點到相機運動參數(shù)估計的橋梁，是雙視角幾何運算的核心變量。在三視角幾何中，基礎(chǔ)矩陣由三焦張量(Trifocal tensor)T代替。

1.2 算法實現(xiàn)

多種算法可實現(xiàn)多視角幾何三維重建法。以特征點識別與匹配為例，經(jīng)典方法是哥倫比亞大學(xué)David G.Lowe 教授提出的SIFT (Scale Invariant Feature Transform)[3]方法，其特征描述對圖像的旋轉(zhuǎn)、縮放保持不變，具備所謂的“尺度不變性”；在此基礎(chǔ)上2012 年提出的KAZE 算子[4]擁有相對更高的匹配率與更好的識別效率。表1 列出了三維重建的4 個關(guān)鍵步驟的實現(xiàn)算法，包含了經(jīng)典方法與相對更高效的方法。除利用表1 中的算法，基于數(shù)字圖像的多視角幾何三維重建可由多種開源或圖形界面應(yīng)用程序系統(tǒng)實現(xiàn)，如FIT3D toolbox[5]、VisualSFM[6?7]等。

表1 多視角幾何三維重建的實現(xiàn)方法Table 1 Implementation methods of multi-view geometric 3D reconstruction

過去數(shù)十年中，基于數(shù)字圖像與多視角幾何的三維重建技術(shù)得到快速發(fā)展[1]，在土木工程領(lǐng)域的應(yīng)用也逐漸被重視。以多視角幾何為基本原理的傾斜攝影技術(shù)，在地表測繪與三維地理空間建模[13?15]領(lǐng)域得到廣泛應(yīng)用。由于三維重建技術(shù)不需要人工靶標(biāo)或拍攝相機空間位置參數(shù)、可直接生成有一定精度的三維模型，在巨型建筑結(jié)構(gòu)、基礎(chǔ)設(shè)施的快速建模應(yīng)用中表現(xiàn)出較大優(yōu)勢，典型應(yīng)用包括城市三維數(shù)字建模[16]、施工現(xiàn)場精細(xì)管理[17]等。但是，在既有結(jié)構(gòu)的損傷識別、檢測與監(jiān)測領(lǐng)域，多視角幾何三維重建技術(shù)目前的應(yīng)用研究較少，可見的文獻(xiàn)報道主要集中于裂縫識別[18]等領(lǐng)域。

2 基于三維重建的損傷識別方法創(chuàng)新

采用多視角幾何三維重建可以獲取待測物體的表面點云模型以及圖像拍攝時相機的空間位置與視角。利用上述信息，可完整恢復(fù)成像模型與場景，為基于數(shù)字圖像法的結(jié)構(gòu)表面損傷與變形的識別提供有力工具。

2.1 表面投影法解決成像幾何變形與損傷定位

由成像原理和結(jié)構(gòu)表面形狀決定，成像于二維數(shù)字圖像的結(jié)構(gòu)表面缺損通常存在幾何變形，影響數(shù)字圖像法定量檢測的精度。變形原因有兩類：1)當(dāng)拍攝方向或主光軸方向并非正對待測物體表面時，成像的物體呈現(xiàn)近大遠(yuǎn)小的透射變形；2)當(dāng)待測物體表面幾何形狀非平面，成像后表面損傷會產(chǎn)生復(fù)雜結(jié)構(gòu)表面投影的幾何變形。上述成像幾何變形會導(dǎo)致結(jié)構(gòu)表面損傷的分布與形狀發(fā)生變化。以圖3 中裂縫損傷為例，示例1 中相機A為正對開裂平面的攝影，成像后的裂縫無明顯變形，除此之外的相機B以及示例2-4 均存在透視變形；示例2-4 中的開裂結(jié)構(gòu)表面分別為多個表面、曲面以及復(fù)雜表面，攝影圖像中的裂縫會產(chǎn)生復(fù)雜幾何表面投影變形。在裂縫識別中，這兩類幾何變形不僅影響對裂縫分布、形狀的測量，也會影響對裂縫寬度與長度的準(zhǔn)確計算。

圖3 投影過程中的幾何變形Fig. 3 Process of crack projection

另一方面，損傷識別精度與損傷定位的矛盾影響數(shù)字圖像法檢測的應(yīng)用效率。當(dāng)損傷識別精度要求較高時，通常采用近距離拍攝或使用長焦鏡頭，圖像場景變小，難以定位損傷；當(dāng)希望在全景圖像或整體結(jié)構(gòu)中定位損傷，又需要遠(yuǎn)距離拍攝或使用廣角鏡頭，圖像場景變大，但對損傷的分辨率降低、細(xì)微損傷無法識別。工程實踐中，在對大體量工程結(jié)構(gòu)進(jìn)行數(shù)字圖像法損傷識別，或使用高倍望遠(yuǎn)鏡、長焦鏡頭拍攝損傷，單張圖像所包含的場景遠(yuǎn)小于整體結(jié)構(gòu)，均產(chǎn)生損傷定位困難的問題。倘若拍攝的圖像中缺乏唯一性標(biāo)記或未準(zhǔn)確記錄拍攝點軸線等位置信息，后期處理將無法生成損傷分布圖，單純基于二維數(shù)字圖像法的損傷識別失去意義。

針對上述兩種工程實踐問題，結(jié)合三維重建模型與場景，提出基于成像原理的損傷投影方法，修正二維數(shù)字圖像的傾斜與深度、完成幾何變形的修正，同時實現(xiàn)損傷在整體模型中的定位[18]；具體地，采用多視角幾何三維重建方法，完成結(jié)構(gòu)表面的三維重建，獲得三維點云模型，進(jìn)一步擬合形成結(jié)構(gòu)表面連續(xù)模型；利用多視角幾何三維重建得到的相機空間參數(shù)(相機位置與朝向)，還原成像過程，逆向投影，將二維數(shù)字圖像中識別得到的表面裂縫等損傷投影至結(jié)構(gòu)表面連續(xù)模型中(如圖4 所示)，將裂縫還原、標(biāo)記于三維模型中，完成裂縫體的形態(tài)修正。如果投影過程采用了多視角幾何三維重建的結(jié)構(gòu)整體模型，可以實現(xiàn)損傷在整體模型中的準(zhǔn)確定位，化解損傷識別精度與損傷定位的矛盾。進(jìn)一步地發(fā)展損傷定位優(yōu)勢，集成硬件設(shè)備，可實現(xiàn)損傷的長期監(jiān)測。上述操作中，二維數(shù)字圖像的損傷識別可由數(shù)字圖像處理方法或深度卷積神經(jīng)網(wǎng)絡(luò)方法實現(xiàn)。

圖4 裂縫體投影過程Fig. 4 Process of crack projection

2.2 逆向工程建模與特征提取識別幾何變形損傷

基于多視角幾何三維重建獲取的三維點云模型，經(jīng)過逆向工程建模與特征提取，可實現(xiàn)構(gòu)件幾何變形損傷的定量檢測。工程現(xiàn)場獲得結(jié)構(gòu)表面三維模型的方法有多種，表2 對包含多視角幾何三維重建法在內(nèi)的4 種獲取三維表面模型的常用技術(shù)進(jìn)行對比，對比內(nèi)容包括技術(shù)原理、光源、精度、數(shù)據(jù)格式、現(xiàn)場操作時長、操作技能要求、設(shè)備成本等，結(jié)果表明，多視角幾何三維重建法具有現(xiàn)場操作方便、操作技術(shù)要求低、設(shè)備成本低廉等優(yōu)勢，且相對而言精度滿足工程要求，在工程實踐中具有明顯優(yōu)勢。

表2 獲取三維表面模型的常用技術(shù)Table 2 Commonly-used techniques for obtaining 3D surface models

在獲取稀疏或密集三維點云的基礎(chǔ)上，進(jìn)一步地，對點云執(zhí)行降噪、抽稀操作，生成密度適中、精度高的精細(xì)點云模型之后，可進(jìn)行三角形表面網(wǎng)格化建模以得到三角形表面網(wǎng)格模型。三角形表面網(wǎng)格化的重要作用是將離散的點云模型轉(zhuǎn)化為連續(xù)的表面模型[19?20]，為后期三維模型的逆向處理提供重要素材。雖然直接重建得到的點云模型精度可能僅為厘米級，經(jīng)抽稀、降噪、擬合后提取構(gòu)件幾何特征，精度可進(jìn)一步提升，滿足工程精度要求。

3 應(yīng)用研究①：結(jié)構(gòu)表面裂縫識別

3.1 結(jié)構(gòu)表面裂縫識別

基于數(shù)字圖像的結(jié)構(gòu)表面裂縫識別是當(dāng)前數(shù)字圖像法檢測應(yīng)用的熱點。采用基于二維數(shù)字圖像處理與深度卷積神經(jīng)網(wǎng)絡(luò)可實現(xiàn)圖像中裂縫的識別，結(jié)合第2.1 節(jié)表面投影方法可進(jìn)一步解決成像幾何變形問題。圖5、圖6、圖7 分別展示了結(jié)構(gòu)表面單個平面、結(jié)構(gòu)表面多個平面以及結(jié)構(gòu)曲形表面的裂縫投影示例，投影使用的裂縫圖像為1 張或多張。利用上述方法完成裂縫投影后，可得到裂縫體在三維模型中的形態(tài)與參數(shù)，完成裂縫形態(tài)的修正以及裂縫在三維模型中的位置標(biāo)記。進(jìn)一步地，利用投影后的裂縫寬度特征點計算裂縫寬度，即可得到準(zhǔn)確、無變形的裂縫參數(shù)。

表3 展示了圖5、圖6、圖7 示例中共計11個測點的裂縫識別結(jié)果，與人工測量結(jié)果相比，裂縫寬度識別結(jié)果的誤差在0%～33%，基本滿足工程應(yīng)用的需求。

圖5 裂縫投影至結(jié)構(gòu)表面單個平面(試驗T1)Fig. 5 Crack projection onto single plane of structural surface (Test T1)

圖6 裂縫投影至結(jié)構(gòu)表面3 個平面(試驗T2)Fig. 6 Crack projection onto three planes of structural surface (Test T2)

圖7 裂縫投影至結(jié)構(gòu)曲形表面(試驗T3)Fig. 7 Crack projection onto curved structural surface (Test T3)

表3 裂縫寬度計算誤差Table 3 Error of crack width calculation

4 應(yīng)用研究②：大型構(gòu)筑物表面損傷定位

大型構(gòu)筑物以及橋梁、隧道、大壩、路面等工程結(jié)構(gòu)的損傷檢查中，單張照片中損傷定位的難度較大，采用第2.1 節(jié)表面投影方法可有效解決該問題。以某冷卻塔外壁損傷識別為例，該冷卻塔塔高70 m，淋水面積2000 m2，為小型自然通風(fēng)淡水冷卻塔，建于20 世紀(jì)70 年代末期，長期使用后塔筒混凝土出現(xiàn)嚴(yán)重的破損、漏筋等耐久性問題，現(xiàn)因改變使用需求須加固改造。結(jié)構(gòu)安全性檢查中，采用多視角幾何三維重建方法，對塔筒外壁進(jìn)行三維重建。圖像拍攝使用佳能EOS 5D Mark III 相機，圖像分辨率5760×3840。共使用58 張不同視角環(huán)繞拍攝的圖像完成重建，得到的三維表面模型與成像時相機的位置朝向見圖8、圖9 所示，建立了各張圖片與整體三維模型的對應(yīng)關(guān)系，使得任何一張圖片中標(biāo)記出的損傷都可投影、定位于整體三維模型。本算例以塔外壁模板印格為投影單元，通過對模型進(jìn)行展開處理，得到塔筒外壁損傷展開布置圖(見圖10 所示)，損傷類型為混凝土破損與漏筋，網(wǎng)格為模板印格。可見，耐久性損傷主要出現(xiàn)在塔壁的下半部，損傷分布密集，損傷布置圖將為塔筒耐久性處理的加固設(shè)計出圖與現(xiàn)場施工提供重要依據(jù)。因此，采用多視角幾何三維重建的數(shù)字圖像檢測方法可大大提升損傷檢查的效率與準(zhǔn)確度。類似應(yīng)用場景還包括大規(guī)范工程結(jié)構(gòu)施工過程質(zhì)量、安全檢測與監(jiān)測[21]等。

圖8 三維模型立面視圖Fig. 8 Elevation view of 3D model

圖9 三維模型俯視圖Fig. 9 Top view of 3D model

圖10 外壁損傷展開布置圖(混凝土破損、漏筋)Fig. 10 Damage distribution of outer wall(concrete damage, rebar exposure)

5 應(yīng)用研究③：鋼結(jié)構(gòu)構(gòu)件變形識別

鋼結(jié)構(gòu)構(gòu)件的幾何變形在工程結(jié)構(gòu)現(xiàn)場檢查中較為常見，典型如網(wǎng)架的桿件彎曲、鋼桁架角鋼局部屈曲等。采用第2.2 節(jié)逆向工程建模與特征提取方法可準(zhǔn)確識別空間幾何變形損傷。以某體育場空間鋼網(wǎng)格屋蓋為例，采用多視角幾何三維重建法對其中1 根彎曲變形桿件進(jìn)行變形測量，圖像拍攝使用佳能EOS 5D Mark III 相機，圖像分辨率5760×3840，加密拍攝64 張不同視角下的圖像，以此進(jìn)行重建，形成的密集三維點云模型的局部放大圖見圖11 所示。圖中，彎曲桿件清晰可見，點云分布均勻。在點云模型的基礎(chǔ)上執(zhí)行桿件軸心曲線擬合操作，提取準(zhǔn)確的彎曲變形曲線，同時實現(xiàn)最大變形撓度的測量。圖12 展示了提取的彎曲變形與使用全站儀測量的彎曲變形的結(jié)果比較，可見二者的誤差相差不大，最大撓度的相對誤差為5.05%，最大撓度所在桿件的軸向坐標(biāo)的相對偏差為6.89%。事實上，通過觀察圖12中全站儀的變形測量曲線可以發(fā)現(xiàn)，全站儀測量的曲線并不光滑，與實際情況不符，原因在于圓形截面鋼管沿軸向并無明顯特征，全站儀沿軸向測量過程難以保持各測點均在截面中心，測得的變形曲線很可能是一條折線；相比之下，使用多視角幾何三維重建法直接獲取變形桿件的三維模型，在此基礎(chǔ)上提取的軸心變形曲線則要準(zhǔn)確的多。

圖11 變形桿件區(qū)域的三維重建密集點云模型Fig. 11 Three-dimensional reconstruction model of zone around deformed member

圖12 鋼管軸心變形測量對比Fig. 12 Comparison of axial deformation measurements of steel tubular member

6 結(jié)論

多視角幾何三維重建法以運動恢復(fù)結(jié)構(gòu)為核心算法，通過特征點識別、特征點匹配、相機運動參數(shù)估計、模型優(yōu)化、稀疏點云三維重建等步驟，獲得結(jié)構(gòu)表面三維模型與攝影場景。結(jié)合二維數(shù)字圖像處理與深度卷積神經(jīng)網(wǎng)絡(luò)等方法識別損傷，通過表面投影法解決成像幾何變形與損傷定位，采用逆向工程建模與特征提取識別幾何變形，可有效識別結(jié)構(gòu)表面缺損與變形。方法具有以下應(yīng)用優(yōu)勢：

(1)在精確定量檢測中，可實現(xiàn)透射變形與復(fù)雜結(jié)構(gòu)表面投影的幾何變形的修正，獲取準(zhǔn)確的表面損傷分布、形狀與其它參數(shù)；

(2)在大場景定量檢測中，可在保持檢測精度的同時，實現(xiàn)損傷定位，進(jìn)一步生成損傷分布圖；

(3)設(shè)備要求低、可方便快速地重建結(jié)構(gòu)表面模型，重建形成的三維點云模型色彩真實豐富、點云精度較高，通過逆向工程建模與特征提取可實現(xiàn)幾何變形檢測。

多視角幾何三維重建法在數(shù)字圖像法工程結(jié)構(gòu)檢測、監(jiān)測領(lǐng)域具有巨大的發(fā)展?jié)摿εc應(yīng)用優(yōu)勢。結(jié)合無人機平臺，可豐富攝影視角、極大提升數(shù)字圖像獲取能力，實現(xiàn)硬件平臺與軟件技術(shù)的互補結(jié)合。團隊未來研究工作將圍繞二者的結(jié)合開展結(jié)構(gòu)損傷識別研究[22]。