改進的無人機影像處理技術(shù)在新冠疫情復(fù)工建設(shè)中的應(yīng)用

李梓豪，唐 超，郭文遠

(北京城建勘測設(shè)計研究院有限責(zé)任公司，北京 100101)

在疫情特殊時期，為響應(yīng)國家及防疫部門減少人員聚集的號召，無法通過現(xiàn)場巡視的方式了解現(xiàn)場情況以開展工作。復(fù)工情況緊迫，施工進度壓力大。雄安高鐵站總建筑面積為47.2萬m2。針對如此巨大的工程場地及緊張的施工進度，如何快速掌握現(xiàn)場施工情況并作出施工工作部署是保障高鐵站建設(shè)的前提。

無人機技術(shù)是近年興起并具有低成本、快速響應(yīng)、靈活、分辨率高等特點的新型遙感技術(shù)，主要用于大場景高分辨率需求的正射影像與三維建模[1]。但是在數(shù)據(jù)采集過程中，無人機影像數(shù)據(jù)量巨大，且影像特征點快速提取與影像拼接是其中的關(guān)鍵步驟，若使用傳統(tǒng)遙感影像處理方式進行處理則耗時長，影像匹配速度慢，對于新冠疫情背景下復(fù)工復(fù)產(chǎn)的快速響應(yīng)需求難以發(fā)揮良好作用。

為解決無人機影像在特征點快速提取與影像匹配關(guān)鍵步驟影像匹配耗時長的問題，國內(nèi)外學(xué)者已經(jīng)作了大量研究。針對尺度不變的特征變化文獻[2]提出了SIFT(scale invariant feature transform)算法。該算法在匹配時與影像的旋轉(zhuǎn)角度和尺度無關(guān)，且對光線變化較大、噪聲點、小窗視角上有較好的容忍度，因此對工程施工場地中地物反射光線變化較大的區(qū)域有較好的提取優(yōu)勢。但是對可見光邊緣較為光滑、特征點呈非均勻分布的條件下地物識別提取能力較弱，因此針對這些缺點，文獻[3]對其進行了改進，使用無人機的pos信息建立三角網(wǎng)，并在相鄰的兩幅影像上進行SIFT算法匹配，從而在時間上有一定程度的節(jié)約。針對無人機在外業(yè)采集數(shù)據(jù)時，相鄰航帶之間重疊率較高，導(dǎo)致可能存在過度匹配的情況，文獻[4]在影像匹配過程中減少了過度匹配的情況下使用SIFT算法，一定程度上解決了提取特征點效率的問題，但是未從根源上解決無人機影像特征提取數(shù)據(jù)量大、處理時間長、效率低的問題。2006年文獻[5]在借鑒SIFT算法的基礎(chǔ)上提出了SURF(speeded up robust features)算法。該算法在微分模板上進行了簡化處理，在進行影像的特征點提取，使得算法的運行速度得到了一定的提高。方法提出后，文獻[6]提出了一種新的無人機影像拼接方法，首先對影像的原始數(shù)據(jù)進行采樣，然后在采樣的基礎(chǔ)上進行SURF特征提取。該方法同樣使無人機影像數(shù)據(jù)處理的速度上得到了提升，但是仍存在影像拼接質(zhì)量和精度降低的問題。在快速提取特征點的算法中，文獻[7]采用ORB[8](oriented fast and rotated brief)算法對無人機影像進行拼接處理，同時采用降低迭代次數(shù)的方法提高了無人機影像的拼接速度。綜上所述，SURF算法的計算速度之所以比SIFT算法快，一部分原因是SURF算法對高斯二階濾波器進行了簡化，因此SURF特征提取算法在無人機影像的處理的應(yīng)用上效率高、速度快。

相比傳統(tǒng)測繪，無人機作業(yè)效率高，作業(yè)面積大，作業(yè)成果具備高時效性，無須多人作業(yè)，且可以通過改進的SURF算法加速影像處理。一方面可以快速得到施工現(xiàn)場正射影像，滿足了管理者對施工現(xiàn)場進度的掌握；另一方面可以識別出現(xiàn)場施工作業(yè)機械設(shè)備情況；同時也做到了不到現(xiàn)場的工作巡檢方式，減少了聚集，從而可以在做好防護的前提下做好復(fù)工復(fù)產(chǎn)工作，保障雄安高鐵站建設(shè)的質(zhì)量與進度。因此本文針對雄安高鐵站建設(shè)需要快速獲取影像并估算復(fù)工復(fù)產(chǎn)情況的需求，提出了使用基于SURF算法與工程目標識別相融合的無人機影像拼接識別技術(shù)。

1 基于改進的SURF算法對無人機影像快速處理

1.1 Harris-laplace無人機影像特征提取

在無人機影像處理過程中，自相關(guān)函數(shù)能夠較好地展現(xiàn)出影像中特征點的不同尺度信息[9-10]。若以任意像素N為中心，向任意方向作一定偏移都會引起灰度值明顯波動，就能說明這個點是算子在尋找的角點。假設(shè)自相關(guān)矩陣為M，其特征值可以用自相關(guān)函數(shù)的一階曲率表示。若一個像素點的兩個自相關(guān)矩陣M具有較大值,則其像素點為特征點[11]。定義自相關(guān)矩陣M為

(1)

式中，L(x,y)為輸入的原始影像；X為高斯平滑影像上對應(yīng)的像點(x,y)；Lx、Ly分別為高斯平滑影像在x、y方向上的梯度值；g(σ1)為高斯函數(shù)；σ1為積分尺度；σD為微分尺度。

其特征點相應(yīng)函數(shù)如下

Coner=det(u(X,σ1,σD))-α·trace2(u(X,σ1,σD))>threshood

(2)

式中，corner為像素點的響應(yīng)函數(shù)值；X為高斯平滑影像上對應(yīng)的像點(x,y)；det(μ(X,σ1,σD))為對矩陣μ(X,σ1,σD)進行行列式值運算；trace(μ(X,σ1,σD))為對矩陣μ(X,σ1,σD)進行跡運算；α為常數(shù)。當(dāng)最終得到的響應(yīng)值corner大于閾值且為影像空間中的極值，則得到特征點。

Harris-laplace特征點檢測步驟可以分為3個部分：①利用和函數(shù)與原始影像進行卷積運算，在影像中每個尺度上篩選出候選點P。②對候選特征點P使用迭代法進行檢驗，檢查運算值是否為極值點。若P是極大值則保留，若不是則舍去。③在P的鄰域內(nèi)求能夠使corner大于閾值的特征點Q，如果存在則替換Q，不斷重復(fù)以上步驟，直到Q不再有新值出現(xiàn)為止。

1.2 Hessian矩陣無人機影像特征提取

SURF算法中主要利用Hessian矩陣對影像中的特征點進行提取并進行變換操作，此處將任意點X=(x,y)所在位置的積分影像定義為

(3)

對于無人機影像中的任意點X=(x,y),它在σ空間尺度上的Hessian矩陣可以定義為

(4)

式中，Lxx(X,σ)、Lxy(X,σ)和Lyy(X,σ)為高斯二階偏導(dǎo)數(shù)在該無人機影像上點X處的卷積。若使用Dxx、Dyy和Dxy表示模板與無人機影像卷積的最終結(jié)果，那么可以得到矩陣行列式為

Det(Happrox)=DxxDyy-(0.9Dxy)2

(5)

如圖1所示，在簡化模板中，白色區(qū)域、黑色區(qū)域、灰色區(qū)域的值分別為1、-2、0。使用濾波器σ=1.2對最小尺度空間值對圖像進行濾波及特征點檢測，然后在響應(yīng)的無人機影像上對采樣點進行非極大抑制，最終特征點就能夠被確定。

圖1 SURF簡化計算模板

1.3 本文算法快速處理步驟

本文使用改進SURF算法意在加快無人機影像的處理速度，能夠?qū)崿F(xiàn)特殊環(huán)境下高時效性的要求，快速得到無人機正射影像。考慮到雄安高鐵站主要為建筑工地，具有建筑物輪廓明顯，可見光反射變化清晰等特點，如圖2所示，因此使用Harris-laplace算子、Hessian矩陣同時對無人機影像中建筑工地的特征點進行提取。在特征影像處理加速環(huán)節(jié)，本文主要分為3大步驟：①結(jié)合Harris-laplace算子、Hessian矩陣各自優(yōu)勢在多尺度空間下對無人機高分辨率影像同時進行特征點檢測；②根據(jù)采樣點數(shù)建立索引表，提高計算速度；③使用SURF算法中非極大抑制的方式找到局部的極值點，并通過閾值對極值點進行篩選，提取特征點；④選取特征點鄰域，將鄰域內(nèi)的灰度值排列順序并進行等分處理；⑤在上一步中等分的像素點鄰域內(nèi)進行采樣排序，得到像素點描述算子；⑥對描述算子進行累加處理，確定特征點的描述符；⑦計算特征描述符之間的歐氏距離[12]，完成特征點的配對。

圖2 無人機原始數(shù)據(jù)

1.4 快速正射影像處理

1.4.1 外業(yè)無人機影像采集情況

考慮到雄安建設(shè)對本次工作任務(wù)有較高的時效性要求，傳統(tǒng)旋翼無人機受電池續(xù)航、作業(yè)速度等因素影響，外業(yè)無人機影像采集效率低，因此本次任務(wù)采用固定翼無人機對高鐵站片區(qū)進行影像采集工作。其具有巡航作業(yè)時間長，機身穩(wěn)定，控制半徑大等特點，可以滿足本次工作需求，無人機參數(shù)見表1。

表1 無人機參數(shù)

本次作業(yè)無人機共飛行4個架次，作業(yè)面積11.1 km2，總航程185.674 km，總飛行時間183 min，飛行高度200 m，飛行速度17 m/s，飛機航向、旁向重疊率高達80%，照片分辨率3 cm，拍照間距32 m。航線規(guī)劃如圖3所示。

圖3 航線任務(wù)規(guī)劃

1.4.2 內(nèi)業(yè)數(shù)據(jù)情況

本次內(nèi)業(yè)處理涉及文件5370個，總大小為74.7 GB，由于作業(yè)面積大，任務(wù)時間緊，因此本文使用基于Harris-laplace算子的SURF算法加速影像拼接。采用6臺工作站集群方式對數(shù)據(jù)進行處理，配置為：cpu i7；內(nèi)存64 GB;顯卡1080 ti。內(nèi)業(yè)處理耗時6.5 h。

1.4.3 影像成果情況

本文采用固定翼無人機在施工場地外圍對雄安新區(qū)高鐵站施工情況進行數(shù)據(jù)采集，避免了人員聚集與接觸。通過高效的外業(yè)無人機影像采集與內(nèi)業(yè)數(shù)據(jù)聯(lián)動，待外業(yè)數(shù)據(jù)采集完成后通過移動端實時上傳至云端工作站進行處理，降低了時間損耗。通過183 min的外業(yè)數(shù)據(jù)采集和390 min的內(nèi)業(yè)數(shù)據(jù)處理，在短時間內(nèi)完成了正射影像的出圖，效果如圖4、圖5所示。

圖4 測控區(qū)域三角網(wǎng)與灰度影像

圖5 成果展示

2 現(xiàn)場設(shè)備識別

2.1 設(shè)備識別思路

大型鐵路建設(shè)項目施工現(xiàn)場存在大量機械設(shè)備，通過對大型施工設(shè)備的識別可以間接推測出施工現(xiàn)場的復(fù)工情況，因此本次應(yīng)用主要針對大型機械設(shè)備進行識別。

首先，對已經(jīng)生產(chǎn)完成的正射影像進行興趣區(qū)域(ROI)劃分。由于整幅影像為11 km2的巨大畫幅，其中存在較多的非興趣區(qū)域(NROI)，如果直接使用整幅正射影像進行目標檢測，將造成巨大的時間浪費，因此對已經(jīng)獲取的無人機高分辨率影像進行興趣區(qū)域劃分，設(shè)定以高鐵站主體100 m范圍內(nèi)為興趣區(qū)域，剔除非興趣區(qū)域。

其次輸入建立目標樣本庫，對挖掘機、渣土運輸車等重點目標建立樣本，采用卷積神經(jīng)網(wǎng)絡(luò)Fast-R-CNN[13-15]進行目標學(xué)習(xí)檢測。對已經(jīng)識別的目標進行監(jiān)督分類得到新的訓(xùn)練樣本，然后將該訓(xùn)練樣本再次注入樣本庫進行學(xué)習(xí)，提高檢測能力。最終搜索完成整個ROI區(qū)域后完成對目標設(shè)備的識別。

2.2 Fast R-CNN網(wǎng)絡(luò)識別原理概述

Fast R-CNN是結(jié)構(gòu)中隊整個預(yù)測礦篩選、回歸和分類的重要階段，網(wǎng)絡(luò)結(jié)構(gòu)圖以及其中的關(guān)鍵參數(shù)如圖6所示。本節(jié)將以ROI pooling、分類層和回歸層、Fast R-CNN后處理模塊等方面進行闡述。

圖6 結(jié)構(gòu)

2.2.1 興趣區(qū)域池化(ROI-Pooling)層

在樣本選取中，本文采用512×512像素大小的影像切片，初期訓(xùn)練樣本以監(jiān)督方式從原始影像中切取，如圖7所示為部分訓(xùn)練樣本。在篩選過程中僅留存包含目標的影像并進行統(tǒng)一編碼標注屬性。本文基于輕量級標注工具進行快速標注，生成每個訓(xùn)練樣本的信息。

圖7 機械設(shè)備(挖掘機)訓(xùn)練樣本

在Fast R-CNN中，卷積層和全連接層兩部分被分開來，通過特征共享樣本進行輸入，進入第一階段的預(yù)測框。在全連接層之前，ROI pooling必須把位置、尺寸不一致的預(yù)測框反映到共享特征圖才能得到預(yù)測框內(nèi)的特征圖區(qū)域。映射的規(guī)則是無人機正射影像與特征圖的尺寸比值。

ROI pooling的執(zhí)行中有效減少了計算量，通過將樣本池得到的特征進行聚合，使用全局平均池層而非全部連接層來融合特征圖并降維，提高了計算速度與網(wǎng)絡(luò)性能。

2.2.2 分類、回歸層

分類和回歸都采用全連接層，不同之處是分為水平和傾斜兩個分支。對于一張輸入圖片，當(dāng)分類分支輸出維度為[512,(class_num+1)]，水平預(yù)測回歸系數(shù)維度為[512,4×(class_num+1)]，傾斜預(yù)測回歸系數(shù)維度為[512,5×(class_num+1)]時，F(xiàn)ast R-CNN部分結(jié)束。

2.2.3 后處理模塊

通過Fast R-CNN預(yù)識別得到的結(jié)果還需要進入目標層進行最后一次篩選：①進行月結(jié)提出；②對所有預(yù)測框進行非極大抑制從而充分避免預(yù)先檢測結(jié)果有大量重疊的情況。至此，整個檢測過程結(jié)束，檢測識別樣例如圖8所示。

圖8 機械設(shè)備(挖掘機)識別樣例

3 總 結(jié)

本文運用基于Harris-laplace算子的SURF算法與工程目標識別相融合的無人機影像拼接識別技術(shù)，在573 min內(nèi)快速實現(xiàn)了雄安高鐵站周邊約11 km2面積的正射影像，并且在此基礎(chǔ)上運用機器學(xué)習(xí)算法實現(xiàn)了機械設(shè)備(挖掘機)的識別。一方面滿足了新冠疫情期間對人員聚集情況的需求，另一方面快速地獲取了施工現(xiàn)場的復(fù)工情況。通過施工現(xiàn)場正射影像能夠直觀了解施工進度、施工人員進場情況，同時避免了現(xiàn)場巡查人員的密集接觸。

由于本文算法注重實效性，強調(diào)無人機影像處理速度以及識別速度，舍棄了部分影像的拼接質(zhì)量，后期的工作中需考慮保證速度的同時提升無人機影像拼接質(zhì)量。將考慮運用云端處理以及5G技術(shù)加快運算以及等待時間損耗，同時考慮更具穩(wěn)健性的無人機影像拼接算法。