蒙版殘差卷積神經網絡輔助的輸電桿塔快速傾斜空三建模

王卓林，盧晨，黃昊，馬霄雯，吳名洲

(1.國網上海市電力公司工程建設咨詢分公司，上海 200122；2.武漢市迪特影像科技有限公司，武漢 430077)

0 引言

近年來電力行業(yè)三維數字化設計和管理進入快速發(fā)展時期，高壓電力輸電線路的快速建模和調查監(jiān)測要求逐步提高。采用傳統的測量方式對輸電線路走廊資源進行踏勘調查及規(guī)劃設計工作量大、效率低、成本高，且在復雜環(huán)境中的適用性差，難以滿足電網建設需求[1-2]。而基于無人機傾斜攝影測量技術的高壓電力輸電線路三維實景建模的這項新興技術得到了廣泛應用。無人機傾斜攝影測量通過無人機獲取多視角地面物體的影像信息，快速重建地面物體的三維模型，可應用于電力線路走廊影像采集、地形測繪以及線路和桿塔的幾何量測[3]。基于傾斜攝影測量技術的實景三維模型為電力工程三維數字化設計和管理提供了一個全新的途徑。

基于無人機傾斜攝影的高壓電力桿塔建模技術，是通過獲取的多個不同的角度，帶有一定重疊度的高分辨率影像、位置和姿態(tài)信息，經過內定向、相對定向、絕對定向、空中三角測量、多視密集匹配、泊松重建、紋理映射等技術構建實景三維模型[4]。該項技術具有以下特點和優(yōu)勢：①無人機的飛行高度相對較低，可以快速獲取高壓電力桿塔的多角度影像數據；②實現自動影像匹配和建模，減少了人工干預；③傾斜攝影獲取影像的顏色信息真實，分辨率高，能夠提供實景三維模型需要的精細紋理[5]；④實景數據采集快速，綜合成本相對較低。

高壓電力輸電線路三維實景建模的主要對象是電力桿塔。由于桿塔屬于線狀結構地物，在進行傾斜攝影三維重建電力桿塔的過程中，往往需要更加貼近桿塔攝影才能拍攝到桿塔細節(jié)，由此產生大量照片，增加內業(yè)處理時間。在傳統的實景三維重建中，桿塔和背景是一起作為重建對象進行空三、密集點生成和三維建模的。從電力桿塔重建的效率來說，大量時間都被耗費在與桿塔無關的背景地物的重建上。可以發(fā)現，電力桿塔在圖像上占比要遠小于背景的占比，因此如果能夠精確選定電力桿塔范圍的圖像區(qū)域進行三維重建，就可以極大提高建模效率，減少無效信息。

精確選定電力桿塔范圍的圖像區(qū)域可以通過圖像蒙版技術實現。Photoshop自2018版本以來就添加了基于機器學習的“選擇主體”功能，只需利用該功能便可對圖像中較為明顯的主體做出選擇，方便進行批處理，從而實現主體的快速自動選取和蒙版生成。然后在三維重建軟件中導入蒙版，圈出照片中參與三維重建的主體區(qū)域，主體區(qū)域只占圖片的很小部分，在同名點匹配環(huán)節(jié)大大減小匹配范圍，從而提高重建速度。

Photoshop自動化的“主體選擇”功能要求主體和背景有較大的反差，故當主體和背景沒有明顯差異時，“主體選擇”功能無法主動識別出主體。而在室外攝影測量場景中，由于天氣的影響包括云朵遮擋等導致照片偏暗、地面顏色與電力塔顏色相近或者地面背景較為復雜時，Photoshop基本上識別不出主體。如圖1所示，紅色圓圈為Photoshop識別結果，存在識別范圍不全、識別范圍過大、識別錯誤和未識別出來的情況。

圖1 Photoshop的桿塔“主體選擇”結果

為解決基于機器學習的方法在電力桿塔提取方面的不準確問題，本文通過標注少量電力桿塔樣本，采用Mask RCNN深度學習網絡來進行訓練和識別，自動形成每張圖像對應的桿塔蒙版。相比Photoshop中的“主體識別”，Mask RCNN網絡專門識別電力桿塔，更具針對性，且該網絡對光照變化不敏感，不完全依托于背景識別主體，因此，具備比Photoshop更好的識別能力。最后對每張識別出電力桿塔的圖像，進行基于蒙版選擇的空三重建和密集匹配，快速生成電力桿塔實景三維模型。

1 Mask RCNN電力桿塔蒙版的自動生成

電力桿塔蒙版的自動生成屬于模式識別的技術范疇。隨著CNN[6]、Fast RCNN[7]、Faster RCNN[8]以及Mask RCNN[9]的出現，目標識別逐漸由目標檢測[10]、語義分割[11]，發(fā)展到實例分割[12]。實例分割技術是通過對圖像多次進行卷積運算得到原始圖像中的目標特征圖，結合語義特征完成對圖像中目標的識別，有效檢測目標的同時能輸出高質量的實例分割。何愷明提出的Mask RCNN是當前工業(yè)界最為流行的目標檢測與分割框架之一，既能準確檢測出圖像中的目標，又能為一個目標生成具有較高質量的Mask[13]。Mask RCNN利用模型中的特征提取網絡及特征的金字塔網絡，通過空間金字塔池化獲取特征及特征圖，引入Mask分支生成候選框及邊界框，而二者又分別繼承了Fast RCNN和Faster RCNN的技術優(yōu)勢[14]，其技術流程如圖2所示。

圖2 實例分割技術流程圖

如圖3所示，在Mask RCNN中輸入單幅圖像進行色彩、分辨率、長寬比預處理；把結果輸入到預訓練好的神經網絡，處理得到對應的特征圖；為特征圖設定預定數量興趣區(qū)域(ROI)，將候選ROI送入區(qū)域候選網絡(RPN)，運行二值分類和邊框回歸運算，濾掉部分候選ROI；對剩余ROI進行興趣區(qū)域匹配(ROIAlign)操作；對ROI進行N類別分類、邊框回歸和Mask生成。(在每一個ROI里面進行全卷積(FCN)操作)。

圖3 Mask RCNN結構圖

2 基于蒙版選擇的電力桿塔三維重建

在多數三維重建軟件中提供導入蒙版功能。通過蒙版導入，可以圈出照片中參與重建的區(qū)域，這些區(qū)域只占圖片的一小部分，在同名點匹配環(huán)節(jié)大大減小匹配范圍，從而提高重建速度。基于蒙版選擇的桿塔三維重建的主要流程和普通三維重建流程相同。但需要導入蒙版，并且在空三解算環(huán)節(jié)選擇蒙版。

以Photoscan為例，基于蒙版選擇的電力桿塔三維重建流程如圖4所示。右擊模塊→Import→Import Masks，選擇從Alpha通道輸入模板、替換、應用于所有圖片。在連接照片環(huán)節(jié)(空三解算，Align Photos)選擇將蒙版應用于關鍵點(Key points)。再經過IMU、DGPS(差分GPS)數據的聯合處理，利用POS(定位定向系統)輔助空中三角測量技術，獲取每張像片的多個外方位元素，導入到Photoscan軟件后，實現多視角影像區(qū)域網的平差，經過多次的迭代計算，得到符合精度要求的空中三角測量成果。

圖4 Photoscan中基于蒙版的三維重建界面

基于蒙版選擇的電力桿塔三維重建中，多視影像聯合平差和多視影像密集匹配是關鍵技術，相對于傳統垂直攝影測量，多視影像聯合平差充分考慮了多視影像的影像畸變和地物間的遮擋關系[15]。結合POS和IMU的外方位元素，在多級影像上進行同名點自動匹配和自由網光束法平差，得到更優(yōu)的同名點匹配結果，然后把連接點和連接線、控制點坐標加入到自檢校區(qū)域網平差的誤差方程后，展開聯合結算平差，確保平差精度[16]。影像匹配是傾斜攝影測量三維重建的關鍵問題之一，多視影像具有覆蓋范圍大、分辨率高等特點[17]。因此，如何在匹配過程中充分考慮冗余信息，快速準確地獲取多視影像上的同名點坐標，進而獲取地物的三維信息，是多視影像匹配的關鍵。由于單獨使用一種匹配基元或匹配策略往往難以獲取建模需要的同名點，近年來隨著計算機視覺發(fā)展起來的多基元、多視影像匹配逐漸成為人們研究的焦點，通過搜索多視影像上的邊緣和紋理特征來進行密集匹配。

3 高壓電力桿塔快速三維重建實驗對比與分析

實驗區(qū)位于上海市金山區(qū)楓涇鎮(zhèn)，地形多為平地，實驗覆蓋亭涇線169～174號共六座基塔，以及周邊其他五條電力線路、一條動車線路、兩個村莊、一條干線公路在內的約1 km2的電力大通道，如圖5所示。

圖5 實驗區(qū)概況

經現場踏勘，為確保飛行作業(yè)數據的穩(wěn)定性及精度要求，制定了荷載達5 kg的六軸多旋翼行業(yè)應用無人機大疆M600Pro，搭載索尼A7R IV全畫幅微單實測方案。于2020年5月13—18日對實驗區(qū)進行了傾斜攝影，航飛當天風力小于5級，晴朗無云，飛行高度150 m，飛行速度8.7 m/s，完成了向下傾斜40°、呈“米”字型八個方向以及垂直正攝共九條航線飛行作業(yè)，航線設計如圖4所示。對項目擬定線路區(qū)域進行了高重疊度精細化航片采集，并分別對區(qū)域內各電力桿塔在多條交錯的線路之間進行了多角度上下垂直影像采集。針對單體電力鐵塔(鏤空建筑)建模效果差的問題，為獲得更加精細的桿塔模型，進行了區(qū)域內各電力桿塔空中圓周環(huán)繞飛行拍攝，共獲取影像3 247張，采用WGS 84坐標系和正高高程系統，航拍影像如圖6所示。通過對影像質量檢查分析可知，航向重疊度80%，旁向重疊度70%，測區(qū)最高點地面分辨率為2 cm/像素，符合《電力工程數字攝影測量規(guī)程》(DL/T 5138—2014)相關要求；通過對GPS和慣性測量單元(IMU)以及獲取的影像照片進行分析，本次傾斜攝影飛行姿態(tài)穩(wěn)定，設計航線的航向航高保持良好，影像成果的分辨率合格，顏色、亮度及對比度均衡。

圖6 實驗區(qū)航線(正射)布設圖

圖7 桿塔樣本采集

實例分割技術流程首先進行樣本制作，如圖7所示。樣本制作工具選用麻省理工大學計算機科學和人工智能實驗室研發(fā)的圖像標注工具LabelMe，可以使用該工具創(chuàng)建定制化標注任務或執(zhí)行圖像標注，常用于實例分割、語義分割、目標檢測、分類任務的數據集標注工作。樣本制作完成后，在Mask RCNN中進行網絡訓練，并利用測試數據進行模型驗證和優(yōu)化，從而建立識別分類器，最后對全部原始圖像進行桿塔目標的自動識別提取。

從圖8和圖9可以看到，Mask RCNN識別生成的蒙版能夠緊緊包圍電力塔，并且沒有遺漏。表1定量給出了蒙版識別質量評價，顯示基于Mask RCNN的實例分割可以生成質量較好的蒙版，為快速三維重建提供良好數據基礎。

圖8 Mask RCNN識別生成的蒙版(全部)

圖9 Mask RCNN識別生成的蒙版(局部)

表1 蒙版識別質量評價 %

空三處理的影像成功率為99.97%，平差報告中各項誤差值均優(yōu)于1像素。查看重建后模型，區(qū)域地形地物紋理顏色基本與現實環(huán)境相同，高壓電力桿塔外觀結構清晰，紋理覆蓋均衡，空中三角測量誤差如表2所示。

表2 空中三角測量誤差

如表3所示，在Photoshop自動提取蒙版、手動提取蒙版、Mask RCNN提取蒙版和不使用蒙版等四種不同蒙版狀態(tài)下進行空三和密集匹配時效性對比。結果顯示，通過蒙版選擇照片區(qū)域，可減少約四倍密集匹配用時，同時生成的點云數量也減少四倍左右；這充分說明了采用Mask RCNN提取蒙版的技術在高壓電力桿塔快速三維重建中的優(yōu)勢。

表3 不同蒙版狀態(tài)下的空三和密集匹配時效性對比

最后通過羅列自動提取模板和手動提取模板的密集點云生成效果(圖10至圖13)可以看出：①通過蒙版選擇圖片處理范圍，可以極大程度地減少無效點云生成；②雖然Photoshop自動提取的模板在某些照片上沒有包含整個電力塔，但是因為照片由多個角度獲取得到，某些角度的照片可能會彌補相應的電力塔缺失，因此電力塔總體看起來較為完整(圖10)；③在不提取蒙版的情況下，生成了最完整的拍攝場景，但是電力塔提取不完整，下半部分嚴重缺失，此情況的發(fā)生極有可能是因為電力塔屬于桿狀地物，當不使用蒙版時，其在照片中占比較少。Photoscan算法存在一定的缺陷，在密集匹配的深度圖生成以及深度圖過濾環(huán)節(jié)中，電力塔的深度值難以正確計算并保存。④從圖11至圖13可以看出，自動蒙版提取、Mask RCNN蒙版提取下的電力塔三維重建的完整程度同手動模板提取的三維重建完整程度一致，而不使用蒙版時，從各個角度觀察電力塔重建均不完整。

圖10 重建出的總體密集點云

圖11 桿塔側面點云(視角1)

圖12 桿塔側面點云(視角2)

圖13 桿塔俯視點云

4 結束語

針對高壓電力走廊的特點，將桿塔三維重建從整個環(huán)境三維重建的任務中分離出來，通過桿塔樣本和實例分割技術，自動生成傾斜攝影圖像的桿塔蒙版，采用基于蒙版的空三和密集匹配方法，直接對桿塔對象進行實例化三維重建，從而顯著地提高了桿塔重建的效率。此外，通過引入蒙版縮小密集匹配搜索范圍的同時，有可能避免背景中重復紋理或者單一顏色的干擾，提高密集匹配準確率，進而提高了模型重建的完整性，這在本文研究的農田或者山林等場景中的桿塔提取具有極大的應用意義。

無人機傾斜攝影測量在輸電線路工程中具有顯著的技術優(yōu)勢，通過優(yōu)化設計航飛路線和成像參數，結合無地面控制的全局空中三角測量技術可以得到高精度的空三成果。在三維建模過程中基于蒙版的實例分割技術可以顯著提高桿塔建模的效率。無人機傾斜攝影三維實景建模技術將線路走廊用數字化、圖像化、模型化的技術手段重現，使得輸電線路設備及其走廊環(huán)境變得直觀、客觀真實和可量測。相對于傳統的測繪，無人機傾斜攝影測量能快速獲取輸電線路場景的影像信息，各流程的中間成果評價分析合理，處理后各種數據直觀展示，能快速高效重建輸電線路及桿塔設備真實準確的三維空間場景，為電力工程三維數字化管理、設計和監(jiān)測提供了一個全新的途徑。

本文的研究成果對于安全檢測也具有重要意義。如“三跨”跨越架的安全檢測，對規(guī)劃線路周邊的高速公路、鐵路及有電線路開展真實三維場景的模擬后，規(guī)劃跨越架安裝工程的形體檢測(高度、寬度、長度)的三維可視化場景，保證跨越架安全和順利搭建。如抱桿安裝的安全檢測，對周邊已通電線路開展真實三維場景的模擬后，建立抱桿吊裝點(完全張開后半徑9 m，最大吊裝高度約70 m))的運行三維的可視化模擬，實現抱桿安裝的安全距離的碰撞檢測，保證抱桿離通電節(jié)點最短6 m的安全范圍。針對安全檢測，對高壓輸電線路兩側各300 m，開展真三維平行世界建模，實現場景的高精度再現和坐標、長度、高度的可量測；對跨越架、抱桿真實尺寸的高精度建模；通過三維可視化分析實現碰撞空間的檢測，對跨越架、抱桿的安裝規(guī)劃實現數據可視化的檢測依據，指導施工的安全開展。