基于改進(jìn)布料模擬濾波算法的施工場(chǎng)地傾斜攝影點(diǎn)云地面提取

王 鵬,辛佩康,劉 寅,余芳強(qiáng)

(上海建工四建集團(tuán)有限公司工程研究院,上海 201103)

伴隨著硬件設(shè)備和軟件算法的更新迭代,無(wú)人機(jī)傾斜攝影測(cè)量技術(shù)飛速發(fā)展,已被廣泛應(yīng)用于三維城市重建[1]、自然災(zāi)害評(píng)估[2]等領(lǐng)域。與機(jī)載激光雷達(dá)(LiDAR)點(diǎn)云相比,傾斜攝影點(diǎn)云無(wú)法穿透植被,存在大量局部噪聲點(diǎn)[3],但含有豐富的顏色和紋理信息,常用于土方算量、標(biāo)高控制等工程建設(shè)領(lǐng)域。然而由于施工場(chǎng)地地物多樣、地勢(shì)復(fù)雜[4],傾斜攝影點(diǎn)云中包含大量植被、機(jī)械設(shè)備等非地面點(diǎn),嚴(yán)重影響了地面點(diǎn)云的應(yīng)用精度,必須采取合適的算法剔除非地面點(diǎn),提取施工場(chǎng)地的地面點(diǎn)云。

現(xiàn)有點(diǎn)云濾波算法,如基于坡度的濾波算法[5]、基于數(shù)學(xué)形態(tài)學(xué)的濾波算法[6]、基于不規(guī)則三角網(wǎng)的濾波算法[7]、基于機(jī)器學(xué)習(xí)的濾波算法[8-9]等,大多是針對(duì)LiDAR點(diǎn)云開(kāi)發(fā)設(shè)計(jì)的,對(duì)傾斜攝影點(diǎn)云適用性較差[10-11],且普遍具有參數(shù)設(shè)置復(fù)雜且極度依賴(lài)經(jīng)驗(yàn)、復(fù)雜地形濾波效果差、時(shí)間復(fù)雜度高等缺陷[12-13]。文獻(xiàn)[14]提出了布料模擬濾波(cloth simulation filtering, CSF)算法,使用“彈簧-質(zhì)點(diǎn)”布料模型自上而下貼合倒置的地表點(diǎn)云,依據(jù)模型和點(diǎn)云之間的高程差分離地面點(diǎn)和非地面點(diǎn)。該算法模型巧妙易懂、參數(shù)設(shè)置簡(jiǎn)單、濾波精度較高[15],且在傾斜攝影點(diǎn)云上具有較好的應(yīng)用可行性,但濾波參數(shù)不能根據(jù)地勢(shì)特征自適應(yīng)調(diào)整,難以兼顧復(fù)雜濾波區(qū)域。

為此,本文提出一種結(jié)合目標(biāo)檢測(cè)和地勢(shì)分析的傾斜攝影點(diǎn)云改進(jìn)布料模擬濾波算法,實(shí)現(xiàn)施工場(chǎng)地傾斜攝影點(diǎn)云的自適應(yīng)濾波并在某施工場(chǎng)地展開(kāi)應(yīng)用。

1 布料模擬濾波算法原理

CSF假定虛擬布料由布料粒子通過(guò)彈簧連接而成,在迭代時(shí)粒子只受重力和內(nèi)力作用且僅發(fā)生垂直方向運(yùn)動(dòng)[16]。算法的主要步驟如圖1所示,分別為布料初始化、重力模擬、碰撞檢測(cè)和位移調(diào)整。

圖1 CSF算法的主要步驟

布料初始化階段剔除原始點(diǎn)云粗差點(diǎn)并倒置點(diǎn)云,按預(yù)設(shè)參數(shù)初始化布料模型,依投影下最近原始點(diǎn)的高程確定各布料粒子的最低高程;重力模擬階段計(jì)算粒子在重力作用下的位移;碰撞檢測(cè)階段將當(dāng)前高程低于最低高程的粒子視為碰撞狀態(tài),修正其高程為最低高程并置為不可移動(dòng)狀態(tài);位移調(diào)整階段則通過(guò)布料粒子間的內(nèi)力修正可移動(dòng)粒子的位置。迭代重力模擬、碰撞檢測(cè)、位移調(diào)整等步驟,直至布料粒子不再移動(dòng)或達(dá)到預(yù)設(shè)迭代次數(shù),再計(jì)算最終布料與原始點(diǎn)云間的高程差,剔除高程差大于預(yù)設(shè)高程閾值的點(diǎn),剩余即濾波后的地面點(diǎn)云。

相較于其他濾波算法,CSF算法原理簡(jiǎn)單、可解釋性強(qiáng)、自定義參數(shù)少,同時(shí)在計(jì)算效率、濾波精度、地形適應(yīng)性等方面有較大優(yōu)勢(shì)[17-18]。但算法自定義參數(shù)均為全局變量,在極陡峭區(qū)域或有大量地物覆蓋的地形起伏區(qū)域表現(xiàn)較差[19],具體表現(xiàn)為:

(1)陡坡場(chǎng)景下,部分布料粒子先接觸點(diǎn)云而被固定,鄰近粒子受彈簧拉力作用發(fā)生向上運(yùn)動(dòng)而無(wú)法貼合點(diǎn)云凹陷處,導(dǎo)致地面點(diǎn)被錯(cuò)誤劃分成非地面點(diǎn)(即Ⅰ類(lèi)誤差),如圖2(左側(cè))所示。

圖2 常規(guī)CSF算法的典型缺陷

(2)布料粒子修正高程時(shí),較大的重力慣性難以被向上的內(nèi)力抵消,部分粒子沖出地面而粘在低矮地物上[15],導(dǎo)致非地面點(diǎn)被錯(cuò)誤劃分為地面點(diǎn)(即Ⅱ類(lèi)誤差),如圖2(右側(cè))所示。

此外,CSF算法對(duì)形似土堆的地物(如堆放的建材等)識(shí)別不靈敏,容易出現(xiàn)錯(cuò)判或漏判。

2 基于目標(biāo)檢測(cè)與地勢(shì)分析改進(jìn)算法

為有效提升傾斜攝影點(diǎn)云濾波的精度、效率和自動(dòng)化程度,本文提出了結(jié)合目標(biāo)檢測(cè)和地勢(shì)分析的布料模擬濾波改進(jìn)算法:建立各通用場(chǎng)景下布料模擬濾波最優(yōu)參數(shù)庫(kù),依托智能檢測(cè)算法識(shí)別航拍影像中的典型地物并映射到點(diǎn)云空間,采用地勢(shì)分析方法建立算法的初步地形認(rèn)知,自適應(yīng)選取對(duì)應(yīng)的預(yù)設(shè)參數(shù)并濾波。改進(jìn)算法的流程如圖3所示。

2.1 建立布料模擬濾波最優(yōu)參數(shù)庫(kù)

不同的使用場(chǎng)景具有獨(dú)特的典型地物,但相同的使用場(chǎng)景典型地物類(lèi)型大同小異,如不同施工場(chǎng)地的地物具有差異,表明不同具體場(chǎng)景間的地物不同但類(lèi)型相同,基本類(lèi)型仍是機(jī)械設(shè)備、臨時(shí)建筑等。由此,對(duì)某具體場(chǎng)景建立的布料模擬濾波最優(yōu)參數(shù)庫(kù)在與其類(lèi)型相同的場(chǎng)景內(nèi)具有通用性。

根據(jù)不同使用場(chǎng)景(如村莊、施工場(chǎng)地等)中不同地勢(shì)和典型地物情況,通過(guò)人工濾波試驗(yàn),由目標(biāo)地物是否濾除、錯(cuò)誤分類(lèi)點(diǎn)數(shù)量等確定最優(yōu)布料模擬濾波參數(shù)組合,并建立適合該場(chǎng)景的傾斜攝影點(diǎn)云布料模擬濾波最優(yōu)參數(shù)庫(kù)。參數(shù)庫(kù)包含布料硬度系數(shù)、格網(wǎng)分辨率、高程閾值、后處理因子等。其中,硬度系數(shù)控制布料粒子間彈簧的松緊程度,數(shù)值越大,布料越硬,最終形狀越不貼合地表點(diǎn)云[20]。格網(wǎng)分辨率控制布料網(wǎng)格大小,數(shù)值越低,濾波產(chǎn)物越精細(xì)。高程閾值是根據(jù)點(diǎn)和模擬布料間的高程差區(qū)分地面點(diǎn)和非地面點(diǎn)的標(biāo)準(zhǔn)。后處理因子是一個(gè)布爾參數(shù),啟用后可解決因布料硬度導(dǎo)致地面點(diǎn)分類(lèi)錯(cuò)誤的問(wèn)題。

2.2 深度學(xué)習(xí)地物目標(biāo)檢測(cè)和區(qū)域映射

深度學(xué)習(xí)目標(biāo)檢測(cè)是指利用深度學(xué)習(xí)方法獲取圖像中感興趣目標(biāo)的類(lèi)別和像素位置[21]。基于深度學(xué)習(xí)目標(biāo)檢測(cè)算法構(gòu)建典型地物識(shí)別模型,并使用預(yù)先標(biāo)注的典型地物數(shù)據(jù)集訓(xùn)練模型,實(shí)現(xiàn)航拍影像中典型地物的類(lèi)別劃分,同時(shí)輸出預(yù)測(cè)框的坐標(biāo)信息;再通過(guò)映射將二維影像上的預(yù)測(cè)框區(qū)域投影到三維空間,鎖定傾斜攝影點(diǎn)云中地物的感興趣區(qū)域(ROI),以便針對(duì)性濾波。

具體的區(qū)域映射方法為:首先對(duì)傾斜攝影點(diǎn)云逐點(diǎn)創(chuàng)建索引,根據(jù)檢測(cè)出目標(biāo)地物的原始影像的相機(jī)位姿信息,按式(1)將點(diǎn)云映射到該影像的像素空間生成二維虛擬圖像[22],并對(duì)每個(gè)像素坐標(biāo)標(biāo)記點(diǎn)云索引,計(jì)算得到的虛擬圖像與原始影像具有同等尺寸和地物信息;然后將虛擬圖像與原始影像經(jīng)目標(biāo)檢測(cè)的輸出圖像進(jìn)行像素匹配,標(biāo)注出檢測(cè)框內(nèi)的像素點(diǎn),并索引回原始點(diǎn)云,得到檢測(cè)框范圍內(nèi)的三維點(diǎn);最后根據(jù)三維點(diǎn)構(gòu)建最小包圍盒,得到目標(biāo)地物在點(diǎn)云空間內(nèi)的ROI,如圖4所示。計(jì)算公式為

圖4 地物目標(biāo)檢測(cè)和區(qū)域映射流程

(1)

式中,(XW,YW,ZW)為點(diǎn)云中某點(diǎn)的真實(shí)世界坐標(biāo);(u,v)為該點(diǎn)的虛擬圖像像素坐標(biāo);I為相機(jī)內(nèi)參矩陣;E為相機(jī)外參矩陣;fx和fy分別為相機(jī)焦距與x、y軸方向像元尺寸的比值;(x0,y0)為相機(jī)主點(diǎn)的實(shí)際坐標(biāo);s為相機(jī)坐標(biāo)軸傾斜參數(shù);R和C分別為相機(jī)瞬時(shí)旋轉(zhuǎn)矩陣和位置矩陣。

2.3 考慮地物ROI的濾波格網(wǎng)劃分

為了便于濾波參數(shù)的自定義選取和點(diǎn)云數(shù)據(jù)的組織管理,首先對(duì)傾斜攝影點(diǎn)云構(gòu)建最小包圍盒,并在包圍盒頂部等距劃分三維格網(wǎng)。格網(wǎng)劃分后去除內(nèi)部沒(méi)有點(diǎn)云的格網(wǎng),以節(jié)約計(jì)算資源。此外,為避免兩側(cè)格網(wǎng)因采用不同濾波參數(shù)導(dǎo)致交接處真實(shí)地形缺失,對(duì)相鄰格網(wǎng)設(shè)置一定的重疊度,如圖5所示。

圖5 三維格網(wǎng)劃分

然后,遍歷各地物ROI,判斷其與三維格網(wǎng)的重疊關(guān)系。若該地物ROI全部位于某單個(gè)格網(wǎng)內(nèi),則保持格網(wǎng)布局不變;若該地物ROI橫跨多個(gè)格網(wǎng),則合并與ROI交叉的三維格網(wǎng)以包納完整的地物ROI,如圖6所示。此外,對(duì)包含地物的格網(wǎng)標(biāo)記其地物屬性。

圖6 三維格網(wǎng)重布局

2.4 地勢(shì)分析和自適應(yīng)參數(shù)選取

對(duì)未標(biāo)記地物屬性的三維格網(wǎng)中的點(diǎn)云,隨機(jī)抽取若干點(diǎn)并計(jì)算各點(diǎn)之間的坡度。統(tǒng)計(jì)各三維格網(wǎng)中所有坡度角的均值μθ和方差σθ,并據(jù)此劃分各格網(wǎng)的地勢(shì)類(lèi)型,標(biāo)記格網(wǎng)的地勢(shì)屬性。地勢(shì)劃分依據(jù)見(jiàn)表1。

表1 地勢(shì)類(lèi)型劃分依據(jù)

通過(guò)目標(biāo)檢測(cè)和地勢(shì)分析,首先,算法為各三維格網(wǎng)標(biāo)注了其地物或地勢(shì)屬性,建立了對(duì)于濾波場(chǎng)景地物分布和地勢(shì)特征的初步認(rèn)知。然后,算法根據(jù)各格網(wǎng)的標(biāo)簽屬性,自動(dòng)從最優(yōu)參數(shù)庫(kù)中選取并調(diào)用對(duì)應(yīng)的濾波參數(shù),如對(duì)于施工場(chǎng)地場(chǎng)景下某包含挖掘機(jī)和渣土車(chē)的區(qū)域,算法從參數(shù)庫(kù)(見(jiàn)表2)中選取參數(shù)組合(場(chǎng)景:施工場(chǎng)地;類(lèi)型:地物;名稱(chēng):機(jī)械設(shè)備):布料硬度系數(shù)為1,網(wǎng)格分辨率為0.1,高程閾值為0.5,后處理因子為T(mén)。最后,算法將遵循常規(guī)布料模擬濾波算法步驟提取地面點(diǎn)云。

表2 施工場(chǎng)地布料模擬濾波最優(yōu)參數(shù)庫(kù)

3 試驗(yàn)與驗(yàn)證

3.1 試驗(yàn)數(shù)據(jù)

本文以深圳市某建筑項(xiàng)目施工場(chǎng)地東南片區(qū)為研究對(duì)象。該項(xiàng)目建筑用地面積約為657 500 m2,包括豬公山、豬婆山兩座山頭,其東南片區(qū)約為15 000 m2,最大高差約為65 m,同時(shí)包含機(jī)械設(shè)備、臨時(shí)建筑、建材堆料等典型地物和平地、緩坡、陡坡等地勢(shì)類(lèi)型。操縱無(wú)人機(jī)執(zhí)行傾斜攝影任務(wù)采集場(chǎng)地影像930余張,經(jīng)三維重建并裁剪無(wú)關(guān)區(qū)域,得傾斜攝影點(diǎn)云如圖7所示,共包含三維點(diǎn)292 599 339個(gè)。

圖7 研究區(qū)域傾斜攝影點(diǎn)云

3.2 結(jié) 果

綜合考慮研究區(qū)域的點(diǎn)云密度和地物尺寸,以50 m間距劃分三維格網(wǎng),并設(shè)置重疊區(qū)域長(zhǎng)度為三維格網(wǎng)邊長(zhǎng)的1/10。同時(shí)經(jīng)多次濾波試驗(yàn),建立了布料模擬濾波最優(yōu)參數(shù)庫(kù),見(jiàn)表2;基于YOLO v5構(gòu)建并訓(xùn)練了施工場(chǎng)地典型地物檢測(cè)模型。然后使用改進(jìn)算法對(duì)研究區(qū)域點(diǎn)云進(jìn)行濾波,剔除重疊區(qū)域的重復(fù)點(diǎn)后,得到最終的濾波結(jié)果,如圖8所示。

圖8 改進(jìn)算法濾波效果

3.3 效果評(píng)估

為了進(jìn)一步評(píng)估改進(jìn)算法的有效性,開(kāi)展了常規(guī)CSF算法和改進(jìn)算法的對(duì)比試驗(yàn)。其中,常規(guī)算法共3組,自定義參數(shù)分別選用3類(lèi)基礎(chǔ)地勢(shì)(平地、緩坡、陡坡)的內(nèi)置預(yù)設(shè)參數(shù),主要區(qū)別為布料硬度系數(shù)。此外,人工標(biāo)注了研究區(qū)域的傾斜攝影點(diǎn)云,并以此為真值驗(yàn)證算法濾波精度。

3.3.1 效果比較

對(duì)比試驗(yàn)結(jié)果如圖9所示,圖中黑色為地面點(diǎn),灰色為非地面點(diǎn)。隨著常規(guī)算法的布料硬度系數(shù)從3(平地)、2(緩坡)到1(陡坡)減小,主體部分黑色區(qū)域面積逐漸增大,算法濾波效果逐漸變好,但錯(cuò)誤分類(lèi)比例仍舊較大。改進(jìn)算法能根據(jù)場(chǎng)地的典型地物和地勢(shì)特征自適應(yīng)調(diào)整濾波參數(shù),濾波結(jié)果接近人工標(biāo)注結(jié)果,濾波表現(xiàn)明顯優(yōu)于常規(guī)算法,能夠很好地將地面點(diǎn)和非地面點(diǎn)分離。

圖9 研究區(qū)域?yàn)V波對(duì)比試驗(yàn)結(jié)果

3.3.2 精度評(píng)估

定量比較分析改進(jìn)算法和常規(guī)算法的差異,本文采用Ⅰ類(lèi)誤差(Type Ⅰ)、Ⅱ類(lèi)誤差(Type Ⅱ)和總誤差(Type Total)評(píng)定各組試驗(yàn)的濾波精度。Ⅰ類(lèi)誤差和Ⅱ類(lèi)誤差可較好地評(píng)估濾波算法的適應(yīng)性,總誤差反映了濾波算法的可行性[23]。此外,本文還引入Kappa系數(shù)以衡量濾波算法分類(lèi)結(jié)果是否與真實(shí)值具有一致性。Kappa系數(shù)值越大,一致性越高,算法穩(wěn)定性越強(qiáng)。

統(tǒng)計(jì)各對(duì)比試驗(yàn)的濾波結(jié)果、計(jì)算評(píng)價(jià)指標(biāo)如表3和圖10所示。分析數(shù)據(jù)發(fā)現(xiàn),本文算法的Ⅰ、Ⅱ類(lèi)誤差和總誤差均明顯低于其他3組常規(guī)布料模擬濾波試驗(yàn),其數(shù)值下降至1.11%、6.36%和2.39%;Kappa系數(shù)為93.45%,濾波結(jié)果一致性顯著強(qiáng)于另外3組?？傊?本文算法的可行性、適應(yīng)性和穩(wěn)定性均超過(guò)了常規(guī)布料模擬濾波算法,能夠更精確地提取施工場(chǎng)地的地面點(diǎn)云。

表3 研究區(qū)域?yàn)V波對(duì)比試驗(yàn)結(jié)果

圖10 研究區(qū)域?yàn)V波對(duì)比試驗(yàn)評(píng)價(jià)指標(biāo)

4 結(jié) 語(yǔ)

為解決現(xiàn)有的點(diǎn)云濾波算法普遍存在的參數(shù)設(shè)置復(fù)雜、地形適應(yīng)度差等問(wèn)題,本文以?xún)A斜攝影點(diǎn)云為研究對(duì)象,提出了一種結(jié)合目標(biāo)檢測(cè)和地勢(shì)分析的布料模擬濾波改進(jìn)算法,通過(guò)目標(biāo)檢測(cè)和地勢(shì)分析方法智能優(yōu)選濾波參數(shù),實(shí)現(xiàn)了復(fù)雜場(chǎng)景下傾斜攝影點(diǎn)云的自動(dòng)濾波和地面提取。該方法大幅提升了算法對(duì)各類(lèi)地形的自適應(yīng)性,在極陡峭地形區(qū)域,濾波總誤差仍能保持小于3%,且Kappa系數(shù)保持大于90%,濾波精度和結(jié)果一致性遠(yuǎn)高于常規(guī)算法,更好地保留了復(fù)雜地形的地表特征信息,有利于后續(xù)地面點(diǎn)云的工程應(yīng)用。

此外,本文仍存在成片地物濾波不徹底的問(wèn)題,在后續(xù)研究工作中,考慮從兩方面展開(kāi):①采用實(shí)例分割替代目標(biāo)檢測(cè),縮小地物感興趣區(qū)域,再整體剔除地物感興趣區(qū)域內(nèi)的點(diǎn)云,避免因少量布料粒子粘在地物頂部產(chǎn)生的二類(lèi)誤差;②使用其他算法對(duì)點(diǎn)云進(jìn)行低精度粗濾波,在此基礎(chǔ)上歸一化原始點(diǎn)云高程,降低點(diǎn)云起伏程度,再施行改進(jìn)布料模擬濾波,進(jìn)一步提升算法的地形適應(yīng)性。