基于圖像三維建模技術的橋梁病害巡檢定位技術

陳國強

（杭州市公路管理局，浙江 杭州 310004）

0 引言

隨著大規模公路設施，尤其是橋梁隧道等結構物從建設期過渡到運營期，公路資產面臨著日益嚴峻的養護任務，設施損壞狀況的精準檢查與定位是科學合理的養護決策與執行的前提[1]。公路養護技術標準JTG H10—2018規定[2]橋梁檢查分為經常性檢查、定期檢查和特殊檢查。日常巡檢主要服務于設施的養護以及結構損壞和安全問題的發現。日常巡檢是檢測環節中最為日常瑣碎且高頻率的檢測項目，其檢測內容最為復雜，但是其檢測數據卻無法被有效的保存和分析并服務于后續的工作[3]。國內外養護管理現狀對比發現國內養護管理的問題主要是現行的“重建輕養”、“事后養護型”管理模式、落后的橋梁養護技術和缺少養護專業隊伍[4]。

對橋梁結構狀況的準確判斷離不開歷史損壞數據的積累與跟蹤[5]。影像三維建模技術在建筑及測繪領域的應用逐漸證明了其應用于空間建模的可行性[6]。方留楊等人提出了一種基于無人機三維建模技術的橋梁檢測方法[7]，然而，由于控制難度、續航及價格等原因，此方法不適用于網級橋梁管理。因此，該研究探索日常手機、普通相機如何應用于巡檢管理。即二維序列影像數據應用于橋梁結構三維建模及表觀病害巡檢的可行性，包括應用于橋梁三維模型構建的二維圖像采集方法、三維建模、巡檢貼圖以及示例工程巡檢數據匹配與分析。

1 巡檢邏輯與數據設計

1.1 流程設計

具體流程設計見圖1。包括研究用于建立橋梁三維信息模型所需要的橋梁二維圖像采集方法、二維圖像解析建模并建立三維模型空間、巡檢圖像三維空間匹配、病害識別定位4個部分。

圖1 巡檢流程設計

全景影像量測的目的是在全景影像中點擊物體的表面，獲取長度、面積、坡度等信息，從而將拍攝的序列制作成360°的全景影像。制作一張完美的360°全景影像是一個很復雜的過程，包括圖像投影、影像匹配、特征點提取、圖像變換、色彩融合等內容，限于篇幅，本文簡要介紹制作全景影像過程中用到的主要方法。以全景二維影像為基礎，基于OpenGL將做好的全景影像投影到一個球體上。

1.2 圖像采集

選用專用3D羅盤搭載數碼相機（見圖2），羅盤用于輔助攝影測繪的高精度定位、定向、定姿。通過拍照時的閃光燈熱靴觸發信號獲取拍照瞬時的定位坐標、方位角、傾斜角、翻滾角、海拔高程等信息并顯示在機器屏幕上，同時存入本機閃存。采取高精度差分修正的方法修正坐標信息，將坐標信息寫入照片文件。根據該動態采集系統記錄的采集信息，對數據進行分組分站等歸類操作。

圖2 數碼單反相機搭載3D羅盤

已建成的橋梁在橋梁的兩邊拍攝，對于在江面上的橋梁部分可以通過無人機拍攝和通過橋檢車，對橋梁底部進行拍攝影像，見圖3。

圖3 橋梁圖像采集方案

選擇了3座橋梁作為代表橋梁：（1）江東大橋以3跨連續箱梁（長約115 m）為試驗對象，采用全景云臺、影像RTK進行數據采集。影像RTK攝站22個，采集數據22張；全景云臺攝站21個，采集影像468張。（2）東吳大橋以預應力連續箱梁（68 m+120 m+68 m）段中跨為試驗對象。采用全景云臺進行數據采集，共布置攝站148個，采集影像1280張。（3）道冠山大橋選取2跨作為本次試驗對象，長約40 m。采用全景云臺進行數據采集，共布置攝站53個，采集影像793張。布設方案示例見圖4。

圖4 東吳大橋布設方案

1.3 三維建模

（1）影像預處理

原始拍攝影像存在很多問題，諸如失真變形、色彩不均勻等，同一物體因為在不同角度拍攝，造成在不同影像中的視覺不一致性，因此需要找到不同圖像的同名點并計算出轉換矩陣，但是僅僅轉換到同一矩陣后是無法完全吻合的，需要做圖像變換處理。鑒于相機攝站的規則排列，影像之間的相對關系可以預先測定出，投影到以立體相機為中心的柱面上會保證視覺上的一致性。

（2）影像匹配

影像匹配的目的在于在兩張不同的影像之間通過每個點的特征找出特征點最相似的兩個點，即尋找同名點，根據的是點的相似度，可以利用周邊點的信息，通常稱為影像窗口，在另一影像中開辟同大小的窗口進行相似度匹配。一般利用灰度、梯度等信息進行匹配。

（3）特征提取

特征提取，在圖像處理領域是一種最常用的手段，從數學的角度講是將圖像中的每個點獨有的特征信息表示出來，將高維度的信息降維到低維度來表示一個點的信息，理論上每個點在不同圖像上特征是相同的。通俗地講就是人們“感興趣”的點。因為存在各式各樣的相機，從不同角度、不同位置拍攝影像，因此要求這個點的特征需要有不隨平移、縮放、旋轉而改變的特點。

（4）參考面選取

參考平面選擇的好壞會嚴重影響捆綁調整的質量，如果只是隨機的選擇輸入圖像中的一幅作為參考平面，那么很有可能會因為累計誤差過大而造成捆綁調整的失敗。從輸入圖像中選取初始參考平面應考慮以下三個因素的影響：

a.與該圖像重疊的圖像的數量；

b.與該圖像重疊區域的大小和特征匹配特征點對的數量；

c.所有待拼圖像與該圖像的變換矩陣級聯次數。

綜合上述因素，需用下式計算每幅圖像的影響值：

式中：Ei表示圖像參考面選取中的影像因子；ki表示第i個圖像與其他圖像有所重疊的影像數量；Tij表示圖像i和j之間影像匹配中的特征點對數；λTij表示兩張影像i和j重疊面積區域的大小（重疊面積比例的十倍，如1/2比例的重疊，為5）；I（n）表示需要拼接的原始影像；Dip表示兩張影像之間坐標變化所需要的迭代次數。

λD是一個調節參數，其目的在于將放大，一般取得最大值。綜合考慮了各方面的影響因子，ki考慮了重疊的影像數量的作用考慮了兩張影像匹配點數量的影響則將變換矩陣的迭代次數納入考慮范圍，因此其可以代表作為參考面影像的影響因子，取max（Ei）最大值作為參考平面。

（5）全景影像拼接

以上步驟根據影像匹配求出不同影像之間的同名點，并由序列影像中Ei的最大值作為圖像參考面的初始面進行拼接，求出序列影像中兩兩的變換矩陣即可將序列影像轉換到同一坐標系下。拼接處理包括以下兩部分：

a.根據模板匹配的方式，可得到圖片見的平移（或者包括縮放）參數，繼而根據參數進行圖像拼接操作；

到了定遠縣城，蔣海峰在賓館安置下來，先獨自一人前往水仙芝家里。他進屋拜見伯母，噓寒問暖，特地給她帶來一個景泰藍花瓶、兩盒燕窩。

b.根據特征點匹配的方式，則利用這些匹配的點來估算“單應矩陣”，也就是把其中一張通過個關聯性和另一張匹配的方法。單應矩陣H（Homography Estimation）效果如下：

通過單應矩陣即可將序列影像轉換到同一坐標系下，變換后的影像統一輸出即為拼接好的全景影像，可直接用于存儲，變換，管理。

（6）圖像融合

因為在特征點提取，左邊變換中總會出現像素坐標的非整數化，因此會難免造成圖像重疊區拼接出現接縫、色彩模糊等問題。因此圖像融合技術顯得至關重要，使接縫處過渡更加自然，色彩更加均衡。圖像融合技術主要分為像素級、特征級和決策級3種層次，基于像素級的圖像融合技術在三者中具有最優的性能。研究者們在研究像素級融合技術的過程中，提出了線性加權法、小波變換法、彩色空間法、主成分分析法等圖像融合的技術方法來減少明顯的接縫。

多通道融合相對于線性融合，其優勢在于將圖像進行分層處理，通過建立圖像金字塔，將圖像分為輪廓信息，一級細節信息，二級細節信息等多層次的方式，在不同層上采用針對不同細節程度的融合步長以及融合方法，來提高最終的拼接效果。例如，在輪廓區域，采用線性融合的方式，這樣能夠最大程度的保留圖像的輪廓信息，同時保證圖像主要輪廓信息的自然過渡，而在圖像的細節信息上，改用改進的線性融合方式，針對圖像的位置，對像素差異大的圖像進行取舍，從而既能夠保證圖像全景影像的平滑過渡，又保證在細節處基本不出現重影，能夠大大提高圖像的最終拼接效果。在建立高斯金字塔的過程中，多通道融合算法與SIFT算法相同，首先利用DOG對圖像進行不同分辨率信息的分層，而對于每一個分辨率層，利用DOG算子對圖像的細節信息進行分離。最終得到一組關于圖像輪廓和細節信息的高斯金字塔。對于相同分辨率的圖像，將得到相同規模的高斯金字塔，且金字塔中的圖像位置而是一一對應的，對于每一幅分圖像進行單獨的融合之后，將得到一組新的高斯金字塔，通過高斯金字塔的反運算重新疊加即能夠得到融合后的完整圖像。多通道融合算法在由于需要針對每幅圖像建立單獨的圖像金字塔，且需要對每幅金字塔中的圖像都金融圖像融合，因此其計算量從建立的過程來看，是非常大，而對于魚眼圖像等像素值較高的圖像來說，其計算速度較慢。

1.4 巡檢圖像檢索與定位

首先采用SIFT算子提取影像特征點的描述子，然后采用K-means聚類算法生成視覺單詞并構建詞匯樹，最后通過改進TF-IDF方法對視覺單詞進行加權并檢索相似影像。

檢索出與巡檢影像相重疊的圖像后，與其進行相對定向就可以求得影像間的相對位置，恢復影像位姿，因為檢索出的影像在建模過程中的位置和姿態已經解算完成，根據其在數據庫中的位姿，就可以將破損影像進行圖像轉換，使其與系統中的基礎坐標系一致，從而解算其三維坐標。在遞增式重建過程中，初始影像姿態的精度影響整個重建三維模型的精度。為了逐步剔除粗差，采用自適應RANSAC算法與五點法相結合來恢復圖像的相對位姿。

1.5 病害識別與跟蹤

（1）病害定位

橋梁結構作為一個相對復雜的空間結構，往往根據部件、構件進行管理及評價。復雜的空間結構對于巡檢人員確定橋梁結構構件編號及損壞所在位置做成了一定的難度。基于三維空間系統，本研究采用圖形匹配的方式可以確定病害圖片的空間位置，進而匹配其所在構件，具體到每一片梁上的具體位置。其病害位置匹配流程見圖5：首先，在初始檢測階段利用實際拍攝機位作為參考信息以提高識別效率；其次，通過病害圖像匹配確定所述構件及病害圖像與構件展開平面的坐標關系；最后，將病害在圖像中的坐標換算為實際構件上的坐標，見圖 6，將像素坐標（i，j）換算為空間平面坐標（x，y），圖 7為病害定位識別結果。

圖5 基于構件的橋梁病害坐標計算流程

圖6 害像素坐標與實際構件平面坐標換算示意

圖7 破損影像裂縫三維坐標展示

（2）病害跟蹤

通常來講，巡檢所拍攝病害圖像往往缺乏參照及尺度信息，除非額外輔助測量工具。本系統設計通過病害圖像的定位及姿態校準，將不同拍攝角度的圖像校準到同一視角，并進行病害嚴重程度在時間上的比較，從而跟蹤病害的發展，見圖8。

圖8 檢測結果多期數據對比

2 結果分析

對3座示例橋梁進行建模解析，其數據采集方式、建模情況的對比見表1及圖9，解析時間對比見表2。

表1 三維建模情況對比

圖9 三維模型對比

表2 三維建模解算時間對比

通過模型可以看出，江東大橋自動匹配建模效果較差。經分析，失敗原因主要有：本次試驗中，由于管理單位對江東大橋混凝土表面做了涂裝，混凝土表面光滑，無明顯特征點，導致在計算機自動建模過程中，數據匹配失敗；拍攝距離遠，無法將細微病害拍攝清楚，缺少可識別特征信息。

本次試驗自動建模結果表明：

光滑涂裝表面不適用采用一般橋梁的拍攝及自動拼接方法，需要更為近距離的數據支撐；

RTK影像采集技術在橋梁及隧道中的應用受到限制；

全景云臺攝站間距設置為3m較為合理，由此采集的數據生成的三維模型效果較好。

建模解析時間的對比表明：

建模時間受到采集數據的來源影像，單一設備建模速度更快；

圖像解算分析時間同圖片數量正相關，有GPS數據輔助的情況下解算效率更高；

數據質量及解析效果受到拍攝環境及設施結構復雜性影像，針對具體設施應設置不同的數據采集要求，一般中型梁橋平均0.6 m一個拍攝站，每站拍攝16張照片可以滿足高精度建模需求。

選擇建模較好的東吳大橋進行巡檢，對比東吳大橋損壞識別和人工調查結果見表3和圖10，對比道冠山大橋損壞識別和人工調查結果見表4和圖11。

表3 東吳大橋巡檢損壞識別與定位對比表

通過位置的對比分析可以看出，巡檢匹配的方式所獲得的位置信息基本滿足要求。

3 結論

本文研究分析了圖像三維建模技術應用于橋梁病害巡檢定位的具體辦法，確定了用于建立橋梁三維信息模型所需要的橋梁二維圖像采集方法，包括設備選擇、設站、拍攝距離、拍攝密度；形成了二維圖像解析建模并建立三維模型空間的成套算法；確定了巡檢圖像三維空間匹配及病害識別定位的方法，并進行了驗證。研究表明，序列圖像三維建模技術應用于橋梁日常巡檢是可行的。此外，本研究還確定了一般巡檢圖像的多期數據對比用于橋梁表觀病害的跟蹤方法的有效性。

圖10 損壞位置對比關系圖（人工與系統）

表4 道冠山大橋部分病害檢查明細表

圖11 損壞位置對比圖