基于無人機傾斜攝影的橋梁三維建模研究

毛 琳，王超，余星宇，錢 嘉，崔彌達，侯士通，吳 剛

（1.江西省交通科學研究院有限公司，江西南昌 330052；2.東南大學土木工程學院，江蘇南京 211189；3.東衢智慧交通基礎(chǔ)設(shè)施科技(江蘇)有限公司，江蘇南京 211199；4.江西省橋梁結(jié)構(gòu)重點實驗室，江西南昌 330096）

引言

我國現(xiàn)役橋梁數(shù)量龐大，為保證橋梁運行安全，需對橋梁橋面設(shè)施、上部結(jié)構(gòu)、下部結(jié)構(gòu)及附屬構(gòu)造物進行日常檢查，對橋梁主要結(jié)構(gòu)及附屬構(gòu)造物進行定期全面檢查。

傳統(tǒng)橋梁檢測多采用人工現(xiàn)場調(diào)查法，主要針對的是外觀檢測，檢查橋梁是否存在裂縫、鋼筋銹蝕、滲水、支座脫空等病害，但橋梁檢測人員只能在橋面或橋底進行檢測，存在視覺盲點，或距離過遠在目力可及范圍之外。橋梁檢測車能將工作臂升起或降低到橋面以下，為橋梁檢測人員和設(shè)備提供工作平臺，對橋底展開精細化檢測，但是工作效率較低，對一些橋梁比如懸索橋的橋底檢測，因為斜拉索阻擋，存在一定的局限性。無人機作為一種新型工具，也開始應(yīng)用在橋梁檢測中。無人機具有靈活，飛行平穩(wěn)等特點，通過搭載高清攝像頭和紅外熱像儀，代替人眼檢查橋梁病害。配合橋梁病害自動識別算法，無人機能實現(xiàn)橋梁結(jié)構(gòu)的無人化檢測，且能到達高聳塔柱、梁底表面等人工不易到達部位進行病害檢測，效率較高。

雖然現(xiàn)在無人機在橋梁檢測中已有應(yīng)用，但是仍然存在一些問題：對于橋底環(huán)境，GPS 信號不穩(wěn)定，無人機常會丟失定位信息，對于鋼結(jié)構(gòu)橋梁，磁場的存在也會干擾無人機信號傳輸。[1]為解決上述問題，本文主要研究了利用無人機傾斜攝影測量來快速建立橋梁三維模型，從而構(gòu)建橋梁地圖。未來可以研究在給定地圖的情況下，進行無人機橋梁檢測的航線規(guī)劃及估計無人機的位姿，解決無人機的定位及防撞問題。

1 無人機數(shù)據(jù)采集

1.1 無人機簡介

無人機作為飛行平臺，一般分為多旋翼和固定翼兩種，因為用于橋梁檢測的無人機有定點懸停拍攝橋梁影像的應(yīng)用需求，常使用多旋翼無人機，該類無人機還有可垂直起降、靈活、可沿各方向自由飛行等優(yōu)點。典型的多旋翼無人機主要由機體結(jié)構(gòu)系統(tǒng)、飛行動力系統(tǒng)、飛行控制系統(tǒng)、數(shù)據(jù)鏈路系統(tǒng)（數(shù)傳和圖傳模塊）、遙控及顯示系統(tǒng)，還可搭載用于橋梁檢測的多種傳感器和設(shè)備，例如紅外相機，云臺相機，計算平臺等等，功能可拓展。

1.2 無人機橋檢技術(shù)研究進展

專家學者對無人機在橋梁檢測中的應(yīng)用進行了一定的研究，如賀志勇等[2]研究在無人機上搭載高清變焦攝像頭、激光測距儀、GPS，并規(guī)劃其飛行路線來實現(xiàn)對橋梁的自動化檢測，并利用數(shù)字圖像處理技術(shù)對無人機采集的圖片數(shù)據(jù)中的裂縫進行自動分類與識別，具有較高的準確率；梁亞斌等人介紹了一種基于無人機航拍的大橋橋索外觀檢測方法及其在武漢天興洲長江大橋橋索聚乙烯（PE）保護套外觀檢測中的應(yīng)用[3]；鄒露鵬等開發(fā)了一種加裝高分辨光學相機及紅外熱成像儀的微型無人機，通過近距離飛行采集橋梁表觀光學和熱成像圖譜，再通過后期的圖像分析處理，完成橋梁的斜拉索和梁底等構(gòu)件的病害檢測[4]。

為解決橋下無人機定位穩(wěn)定性差和防撞性能不好。呂福瑞在現(xiàn)階段的無人機檢測技術(shù)的基礎(chǔ)上研究了一種新型無人機檢測系統(tǒng)，其主要由異形檢測無人機、中繼無人機和建筑信息化模型地面站系統(tǒng)組成，異形無人機有良好的防撞性能和抗磁干擾能力，丟失定位信號時中繼無人機增強無人機全球定位信號、差分定位信號及磁羅盤校準的工作，有效地解決了當今無人機檢測行業(yè)的一些問題[5]。還可以基于PIXHAWK 控制器和改進人工勢場法，計算無人機的最佳避障路徑，從實現(xiàn)自動避障功能，滿足橋梁檢測的要求[6]。

除了對無人機進行改組裝，解決橋底定位穩(wěn)定性差還有一種思路。利用無人機傾斜攝影測量來快速建立橋梁三維模型，從而構(gòu)建橋梁地圖。在橋梁地圖已知的情況下，進行無人機橋梁檢測的航線規(guī)劃及估計無人機的位姿，解決其定位及防撞問題。

1.3 無人機傾斜攝影的航線規(guī)劃

無人機傾斜攝影的航線常用的有二維攝影測量、三維攝影測量（井字飛行）、三維攝影測量（五向飛行）和環(huán)形航線，如圖1 所示。

圖1 無人機傾斜攝影常用航線

相比二維攝影測量，三維攝影測量都會采集測區(qū)立面的信息，井字飛行每條航線飛機不調(diào)轉(zhuǎn)機頭，能采集4 個方向傾斜數(shù)據(jù)；五向飛行通過調(diào)轉(zhuǎn)機頭會采集1 條正射和4 個方向傾斜的數(shù)據(jù)；環(huán)形航線常用于單體建筑物的影像采集。

通過無人機采集橋梁影像，首先應(yīng)對測區(qū)進行調(diào)研，如明確測區(qū)范圍，橋梁類型，模型分辨率要求，收集相關(guān)資料。對于橋梁測區(qū)形狀一般為矩形，航線規(guī)劃較為簡單，可采用五向飛行或井字飛行，設(shè)置航向重疊率（無人機前進方向拍攝照片與照片的重疊率）、旁向重疊率（航線間照片的重疊率）、相機傾斜角等參數(shù)后開始自動完成橋梁影像采集。

2 傾斜攝影技術(shù)在橋梁建模中的應(yīng)用

傾斜攝影的基本原理是多視角三維重建，該技術(shù)顛覆了以往正攝影像只能從垂直角度拍攝的局限，可通過在同一飛行平臺上搭載多臺傳感器，由中心一個正攝角度的相機和周圍幾個均勻分布的有一定傾斜角度的相機構(gòu)成。工作時，同時從一個垂直、四個傾斜等五個不同的角度采集影像，滿足了對地面同一地物三張以上不同角度影像的拍攝并滿足一定的重疊率，將獲取的數(shù)據(jù)處理后進行三維實景重建。

由于近年SIFT 算法的發(fā)展，且隨著并行計算和計算機硬件的進步，大幅降低了對航攝硬件和數(shù)據(jù)采集的要求[7]，對于在小面積區(qū)域內(nèi)的橋梁建模，可通過單鏡頭多旋翼無人機規(guī)劃平行航線折返拍攝，也能采集多角度的橋梁航攝影像，只要滿足一定的重疊度，也能實現(xiàn)較好的三維模型重建，并具有成本較低的優(yōu)勢。針對不同的檢測任務(wù)，方留楊等人還總結(jié)了3 中不同的航拍檢測方案[8]。

2.1 傾斜攝影建模的核心步驟及方法

航攝數(shù)據(jù)下載及圖像預處理。從無人機設(shè)備中下載航攝數(shù)據(jù)，并檢查數(shù)據(jù)完整性，將飛行姿態(tài)和坐標信息導出為POS 文件。

空中三角測量控制點加密?？杖用苁莾A斜攝影建模的核心步驟，其主要目的是將無序的影像在空間中相互對齊并構(gòu)建接近真實狀態(tài)的空間模型。主要處理流程有：載入數(shù)據(jù)、影像特征點提取、同名特征點匹配、影像外方位元素反算等。[9]

密集點云生成及模型構(gòu)建。根據(jù)空中三角測量運算出的影像外方位元素，通過多視影像密集匹配可獲得高密度的數(shù)字點云。密集點云數(shù)據(jù)量較大，將數(shù)據(jù)分塊后進行不同層次細節(jié)度下的Tin 模型構(gòu)建。

紋理切片及自動映射。根據(jù)三角網(wǎng)所構(gòu)成曲面的曲度變化對Tin 模型數(shù)據(jù)進行簡化，最后將優(yōu)化后的Tin 模型和紋理影像進行配準和貼圖。

三維模型重建。依次按照密集點云生成、Tin模型構(gòu)建、紋理自動映射三個步驟來完成后，最終生成三維虛擬場景模型。

建模核心步驟如圖2 所示。

圖2 傾斜攝影建模步驟

2.2 Smart3D(Context Capture)建立橋梁模型

實景建模軟件Context Capture 是Bentley 公司于2015 年收購的法國Acute3D 公司的產(chǎn)品，是一款能夠通過拍攝等手段獲取現(xiàn)實模式的應(yīng)用軟件，能解決將現(xiàn)實的模型轉(zhuǎn)變?yōu)椤半娮幽Ｐ汀钡膽?yīng)用需求，適用性較廣。無人機所采集的圖像數(shù)據(jù)可通過Smart3D 軟件實現(xiàn)自動化建模。在Smart3D 中新建工程文件，導入圖像數(shù)據(jù)和POS 文件，并輸入相機的主要參數(shù)，之后完成數(shù)據(jù)預處理與計算、空中三角測量控制點加密等步驟，最后實現(xiàn)三維場景模型重建。三維模型可導出格式為osgb。

2.3 大疆智圖(DJI Terra)建立橋梁模型

大疆智圖是大疆創(chuàng)新公司開發(fā)的一款提供自主航線規(guī)劃、飛行航拍、二維正射影像與三維模型重建的PC 應(yīng)用軟件。大疆智圖提供了一站式解決方案，從無人機航線規(guī)劃，到三維模型重建，操作截面簡潔直觀，步驟清晰。大疆智圖和Smart3D 建模方法類似。首先在軟件中新建傾斜攝影任務(wù)，然后進行空三加密，添加無人機所采集的數(shù)據(jù)照片，選擇建圖場景及清晰度，選擇需要輸出的模型格式，有osgb、b3dm、ply 三種格式可選擇。點擊空三進行空三處理，像素點管控設(shè)置并導入像控點文件，點擊像控點坐標系統(tǒng)設(shè)置坐標系。點擊重建，三維模型建模完成。

3 案例分析

3.1 工程背景

南京某大橋，位于江蘇省南京市江寧區(qū)，主跨為下承式預應(yīng)力混凝土系桿拱橋，剛性系桿剛性拱肋，跨越秦淮河（6 級航道），始建于上世紀70 年代，2004 年舊橋拆除改建為下承式拱橋，橋長139 m，寬8 m，設(shè)計荷載汽車-20 級，掛車-100 級，設(shè)計交角90°。

主拱肋采用鋼筋混凝土結(jié)構(gòu)，拱軸線選用二次拋物線。每片拱肋設(shè)19 根剛性吊桿，吊桿為預應(yīng)力鋼管混凝土結(jié)構(gòu)。系桿為預應(yīng)力混凝土結(jié)構(gòu)，每根系桿內(nèi)布置有預應(yīng)力鋼絞線。全橋共有21 根橫梁，中橫梁采用T 型截面，端橫梁采用箱形截面，橋面板使用普通鋼筋混凝土實心板。兩片拱肋間共布置7 道橫撐，其中拱頂設(shè)1 道米字型橫撐，拱肋四分點處各設(shè)3 道K 字型橫撐。[10]

3.2 無人機選型

圖3 為大疆M300-RTK，是大疆的一款工業(yè)級無人機，工作溫度-20～50℃，最大可承受風速15 m/s，最大圖傳距離為15 km，空載飛行時間高達55 min，最多可同時支持三個負載，六向定位避障，最大探測范圍達40m，即使在橋底水面等復雜作業(yè)環(huán)境下，也可保證穩(wěn)定飛行和避障。大疆M300 可搭載五鏡頭使用，同時五個不同的角度采集橋梁影像，也可搭載單鏡頭并規(guī)劃平行航線折返拍攝來模擬五鏡頭拍攝效果。

圖3 DJI M300-RTK

圖4 為大疆精靈PHANTOM4-RTK 無人機，集成全新RTK 模塊，擁有更強大的抗磁干擾能力與精準定位能力，提供實時厘米級定位數(shù)據(jù)，顯著提升圖像元數(shù)據(jù)的絕對精度。支持PPK 后處理。飛行器持續(xù)記錄衛(wèi)星原始觀測值、相機曝光文件等數(shù)據(jù)，在作業(yè)完成后，用戶可直接通過DJI 云PPK 服務(wù)解算出高精度位置信息。定位系統(tǒng)支持連接D-RTK2高精度GNSS 移動站，并可通過4G 無線網(wǎng)卡或WIFI 熱點與NTRIP 連接。

圖4 DJI PHANTOM4-RTK

本案例采用大疆精靈PHANTOM4-RTK 無人機，采用單鏡頭并規(guī)劃平行航線折返拍攝橋梁影像，從基本滿足橋梁傾斜攝影三維建模的使用需求，且相比大疆M300-RTK 靈活性更佳。

3.3 實際應(yīng)用

首先在精靈4 無人機中設(shè)置航向，旁向重疊率，設(shè)置為≥75 %；飛行速度5 m/s；任務(wù)完成后自動返航；飛行高度比拱頂高30 m；相機傾斜角40°～45°。實際航線如圖5 所示。

圖5 實際五航線

3.4 兩種建模方法耗時對比

計算平臺采用Inter i5-9400F 2.9 GHz 處理器，機帶RAM16GB。將無人機采集的圖片數(shù)據(jù)進行預處理后分別導入Smart3D 和大疆智圖進行建模處理，Smart3D 完成模型構(gòu)建共耗時2 小時50 分鐘，而大疆智圖耗時48 分鐘。在建模速度上，大疆制圖耗時較短。

3.5 兩種建模方法建模精度對比

比較兩種建模方法所構(gòu)建的橋梁三維模型，總體而言，Smart3D 構(gòu)建的模型保留了較多細節(jié)，但是模型出現(xiàn)了不平整現(xiàn)象，大疆智圖對構(gòu)建的模型進行了后期修整，較為平順，去掉了冗余的信息。對比模型的局部細節(jié)，在圖6 中對于橋梁橋面，大疆智圖構(gòu)建的模型十分平順，且對主拱在橋面上的影子進行了去除，而Smart3D 構(gòu)建的模型橋面出現(xiàn)了不平順的現(xiàn)象；在圖7 中，對于拱肋間的K 型橫撐，建模效果較好；如圖8，對于吊桿的建模，兩個軟件構(gòu)建的模型都出現(xiàn)了部分吊桿建模缺失的現(xiàn)象。

圖6 橋面的建模

圖7 K 型橫撐的建模

圖8 吊桿的建模

4 結(jié)語

本文主要介紹了無人機在橋梁檢測中的應(yīng)用，利用無人機采集橋梁圖像數(shù)據(jù)，并通過Smart3D 和大疆智圖分別對橋梁圖像進行后期處理并建立橋梁三維模型，并定性比較了兩個建模軟件的建模效果。

通過傾斜攝影技術(shù)，能將橋梁圖像數(shù)據(jù)建立可視化的三維模型；同時該模型可作為橋梁病害信息載體，將橋梁病害圖片精準定位到數(shù)字模型上；該模型還可作為無人機與橋梁的信息傳遞媒介，可通過數(shù)字模型來進行無人機橋梁病害檢測的航線規(guī)劃。