城市實(shí)景模型結(jié)構(gòu)化線面特征重構(gòu)方法

梅 熙， 王 義， 曲英杰， 鄧 非

（1.中鐵二院工程集團(tuán)有限責(zé)任公司，四川 成都 610031；2.武漢大學(xué) 測(cè)繪學(xué)院，湖北 武漢 430072）

城市實(shí)景的三維重建技術(shù)是當(dāng)前攝影測(cè)量領(lǐng)域的研究熱點(diǎn)之一。利用飛行器在城市場(chǎng)景中進(jìn)行多角度拍攝，通過影像立體匹配技術(shù)生成密集點(diǎn)云，再對(duì)密集點(diǎn)云進(jìn)行構(gòu)網(wǎng)，最終構(gòu)建出實(shí)景三維網(wǎng)格模型［1］。目前開源的網(wǎng)格重建算法［2-3］從全局優(yōu)化的角度求解表面，存在過度平滑的問題，使得構(gòu)建的城市實(shí)景模型邊緣模糊、表面起伏。城市場(chǎng)景最為顯著的特點(diǎn)是存在大量平面和直線，重構(gòu)這些結(jié)構(gòu)化線面特征有利于實(shí)景模型的展示和測(cè)量。此外，準(zhǔn)確提取三維線面特征對(duì)配準(zhǔn)［4］、定位［5］、標(biāo)定［6］、結(jié)構(gòu)化重建［7］等研究均有重要意義。

研究者們嘗試在網(wǎng)格模型上重構(gòu)線面特征。在平面提取方面，主流的網(wǎng)格平面提取方法包括RANSAC（random sample consensus）［8］方法和區(qū)域生長(zhǎng)方法［9］。RANSAC方法將網(wǎng)格頂點(diǎn)作為點(diǎn)云處理，通過隨機(jī)采樣提取點(diǎn)云中的平面，這忽略了網(wǎng)格自身的拓?fù)潢P(guān)系，平面提取結(jié)果可能在網(wǎng)格表面上并不連續(xù)。區(qū)域生長(zhǎng)方法則在網(wǎng)格上選取種子點(diǎn)進(jìn)行擴(kuò)散，聚類具有相近法向和距離的三角面。結(jié)構(gòu)感知建筑物網(wǎng)格多邊形化（SBMP）方法［10］在此基礎(chǔ)上進(jìn)行改進(jìn)，以平面度方法取代距離度量，聚類具有相同平面度的三角面。這類方法將網(wǎng)格的所有三角面都作為處理對(duì)象，即使是彎曲或者不規(guī)則的三角面也作為平面對(duì)待，導(dǎo)致錯(cuò)誤的平面提取結(jié)果。無序點(diǎn)云的最優(yōu)平面估計(jì)（GoCoPP）方法［11］從全局能量函數(shù)的角度提取點(diǎn)云中的平面，并以增加、刪除、修改等5種幾何操作最小化能量函數(shù)實(shí)現(xiàn)點(diǎn)云中平面基元的提取，但所有平面基元僅貼附在一起，并不能保證拓?fù)溥B接。

在網(wǎng)格線特征提取方面，文獻(xiàn)［12-13］中使用相似的思路，即首先提取三維平面，而后在每個(gè)平面中提取線。不同的是，文獻(xiàn)［12］中通過分割方法獲取平面中的邊界線，而文獻(xiàn)［13］中通過角點(diǎn)提取組成線。這些方法關(guān)注平面內(nèi)部線的重建，而對(duì)于平面與平面之間的線的重建研究較少。

綜上所述，現(xiàn)有的線面重構(gòu)方法多以頂點(diǎn)的位置和法向作為特征提取的依據(jù)，而本研究中使用表達(dá)曲面彎曲程度的曲率信息引導(dǎo)結(jié)構(gòu)化線面特征重構(gòu)。首先，根據(jù)網(wǎng)格頂點(diǎn)的曲率將網(wǎng)格模型分割為平面、可展凹、可展凸以及不可展4類；然后，在平面分割結(jié)果中提取平面，再利用三角面的拓?fù)潢P(guān)系將平面以區(qū)域生長(zhǎng)的方式向可展凹和可展凸內(nèi)延伸，重構(gòu)直線特征，而不規(guī)則的不可展區(qū)域不作處理；最后，形成了一種帶有幾何特征的復(fù)合網(wǎng)格模型。

1 基于曲率的網(wǎng)格線面重構(gòu)方法

1.1 基于曲率分析的網(wǎng)格分割

在微分幾何中可展曲面被定義成高斯曲率為零的曲面［14］，較為直觀的理解是沿著曲面母線對(duì)曲面進(jìn)行展開而不會(huì)受到阻礙。圖1 為曲面類型示意圖。可展曲面有一個(gè)重要的幾何特征，即母線方向存在一個(gè)為零的主曲率，根據(jù)另一個(gè)主曲率的正負(fù)，可展曲面被分為可展凸和可展凹。不可展曲面是除了可展曲面以外的曲面，具有不規(guī)則的特點(diǎn)。如果2個(gè)主曲率都為零，該曲面就為平面；如果2個(gè)主曲率都不為零，該曲面就不可展。根據(jù)網(wǎng)格頂點(diǎn)的曲率特征，結(jié)合馬爾科夫隨機(jī)場(chǎng)（MRF）算法將網(wǎng)格模型表面分割為平面、可展凹、可展凸以及不可展。

圖1 曲面類型Fig.1 Surface types

具體地，令kmax、kmin分別為最大曲率和最小曲率。平面的主曲率特征為kmax=kmin=0；可展凸的主曲率特征為kmin=0 ＜kmax；可展凹的主曲率特征為kmin＜kmax=0；不可展的主曲率特征為kmin≠0 且kmax≠0。將以上4種特征標(biāo)記為L(zhǎng)={1，2，3，4}，l={l1，l2，…，lN}表示N個(gè)格網(wǎng)頂點(diǎn)所屬類型的集合。為描述網(wǎng)格頂點(diǎn)的所屬類別，將曲率k進(jìn)行歸一化，即Gσ(k)=exp(-k2/2σ2)，其中σ為網(wǎng)格曲率標(biāo)準(zhǔn)方差，則每個(gè)頂點(diǎn)屬于各個(gè)類型的概率為

式中：P(li|(kmin，kmax))表示每個(gè)頂點(diǎn)屬于每個(gè)類型的概率。對(duì)網(wǎng)格M的每個(gè)頂點(diǎn)求其分類器結(jié)果，取最大值作為初始分類結(jié)果，該結(jié)果僅考慮了獨(dú)立頂點(diǎn)的曲率信息，類別結(jié)果存在噪聲（如圖2 第二行所示）。因此，構(gòu)建MRF 模型，將曲率分析結(jié)果作為MRF模型的數(shù)據(jù)項(xiàng)，并根據(jù)頂點(diǎn)之間的鄰接拓?fù)潢P(guān)系構(gòu)建平滑項(xiàng)。優(yōu)化全局能量函數(shù)U(l)。N個(gè)網(wǎng)格頂點(diǎn)l的能量總和為U(l)，即每個(gè)頂點(diǎn)數(shù)據(jù)項(xiàng)Di(li)和平滑項(xiàng)Vij(li，lj)的和，表示為

圖2 基于曲率分析的網(wǎng)格分割結(jié)果Fig.2 Mesh segmentation results based on curvature analysis

式中：V為網(wǎng)格頂點(diǎn)集合；E為網(wǎng)格邊集合。Di(li)表示網(wǎng)格頂點(diǎn)作為不同類型所產(chǎn)生的代價(jià)，計(jì)算式如下所示：

Vij(li，lj)表示鄰接頂點(diǎn)i和頂點(diǎn)j的類別相同與不同時(shí)的代價(jià)，Vij(li，lj)計(jì)算式如下所示：

Vij起到使相鄰頂點(diǎn)標(biāo)簽一致的作用，即在馬爾科夫假設(shè)下相鄰頂點(diǎn)應(yīng)有相同的標(biāo)簽。

為使能量函數(shù)U(l)最小，采用α-expansion［15］算法求解全局最優(yōu)解。求解結(jié)果如圖2 所示，第一行為原始網(wǎng)格，第二行為根據(jù)曲率分析計(jì)算的初始分割結(jié)果，第三行為MRF算法優(yōu)化后的分割結(jié)果。經(jīng)MRF算法優(yōu)化后，類別結(jié)果趨于相同。對(duì)分割的平面塊內(nèi)的頂點(diǎn)使用RANSAC算法進(jìn)行平面擬合，可得到初始的平面結(jié)果。

1.2 基于區(qū)域生長(zhǎng)的平面擴(kuò)展

城市場(chǎng)景中存在大量的平面和線特征，但由于網(wǎng)格重建方法存在過度平滑問題，網(wǎng)格模型總是在邊界處形成彎曲的弧形，該弧形具有凸或凹的特點(diǎn)，被本方法識(shí)別為可展凹或可展凸（見圖2）。因此，在網(wǎng)格分割的基礎(chǔ)上，將已經(jīng)分割出的平面通過區(qū)域生長(zhǎng)的方式［6］向可展的凸或凹進(jìn)行延伸，重構(gòu)出線特征（見圖3）。具體地，每個(gè)平面的邊緣頂點(diǎn)向鄰接的可展凹或可展凸內(nèi)的一鄰域頂點(diǎn)延伸，若2 個(gè)頂點(diǎn)法向之間的夾角小于45°且頂點(diǎn)到平面的距離小于網(wǎng)格模型所有邊的平均邊長(zhǎng)，則延伸成功，該點(diǎn)成為平面點(diǎn)，繼續(xù)向一鄰域延伸，反之則停止延伸。如果在延伸過程中產(chǎn)生拓?fù)溧徑樱ㄒ妶D3），即2個(gè)鄰域頂點(diǎn)所屬的平面不同，就將2 個(gè)頂點(diǎn)中距離交線最近的點(diǎn)投影到交線上。目前，平面與平面之間線的重建研究尚少，本研究通過曲率分割方法預(yù)估交線的范圍，并通過平面延伸重構(gòu)交線，而對(duì)于網(wǎng)格模型中不規(guī)則的不可展區(qū)域，不進(jìn)行處理。

圖3 線構(gòu)建過程Fig.3 Line construction process

1.3 基于線面特征的網(wǎng)格簡(jiǎn)化

網(wǎng)格簡(jiǎn)化算法以降低網(wǎng)格模型的精度換取三角面數(shù)量的減少，而本研究只針對(duì)重構(gòu)的平面區(qū)域進(jìn)行簡(jiǎn)化，網(wǎng)格形狀不會(huì)因簡(jiǎn)化而改變。分別在每個(gè)平面提取結(jié)果所覆蓋的三角面中實(shí)施經(jīng)典的Quadric 簡(jiǎn)化算法［16］。Quadric 簡(jiǎn)化算法計(jì)算網(wǎng)格中每條邊的二次誤差度量并排序，依次折疊二次誤差度量最大的邊，使三角面數(shù)量減少，直到三角面數(shù)目減少到設(shè)置的閾值時(shí)停止。實(shí)際中，每個(gè)平面停止簡(jiǎn)化的閾值設(shè)置為原有三角面數(shù)量的5%。

2 實(shí)驗(yàn)分析與驗(yàn)證

在多視立體技術(shù)生成［17］的城市實(shí)景模型上進(jìn)行測(cè)試。定性實(shí)驗(yàn)評(píng)估本方法的視覺結(jié)果，定量實(shí)驗(yàn)評(píng)估本方法提取平面和直線特征的準(zhǔn)確性。

2.1 定性實(shí)驗(yàn)

定性實(shí)驗(yàn)數(shù)據(jù)采用2組無人機(jī)影像構(gòu)建的實(shí)景數(shù)據(jù)。實(shí)景數(shù)據(jù)1采集于武漢市某地，包括114張像素分辨率為5 456×3 632 的影像，無人機(jī)飛行高度約為100 m，地面分辨率約為3 cm。實(shí)景數(shù)據(jù)2采集于奉化市某地，包含224 張像素分辨率為6 000×4 000的影像，無人機(jī)飛行高度約為150 m，地面分辨率約為4 cm。2 組數(shù)據(jù)包含了寫字樓、住房、廠房、樹、車等典型地物。

2.1.1 平面提取結(jié)果

將初始網(wǎng)格模型重構(gòu)為包含幾何特征的復(fù)合網(wǎng)格模型，其中平面采用隨機(jī)彩色渲染，非平面以灰色渲染，如圖4 所示。實(shí)景數(shù)據(jù)1 包含了大量的樹木，復(fù)合模型很好地適應(yīng)了該復(fù)雜場(chǎng)景。樹地物在初始網(wǎng)格上表現(xiàn)得極為彎曲，基于曲率網(wǎng)格分割方法將其分割為不可展面（見圖2e），不參與平面提取處理，從而保證了平面提取的準(zhǔn)確性。實(shí)景數(shù)據(jù)2的場(chǎng)景相對(duì)較為簡(jiǎn)單，提取的彩色平面幾乎將場(chǎng)景全部覆蓋。

圖4 本算法平面提取結(jié)果Fig.4 Plane extraction results of the algorithm in this paper

2.1.2 結(jié)構(gòu)化線面特征重構(gòu)結(jié)果

對(duì)比了初始網(wǎng)格與線面特征重構(gòu)網(wǎng)格的可視化結(jié)果（見圖5和圖6）。初始網(wǎng)格的屋頂、立面和地面存在起伏（見圖5），而本方法結(jié)果更為平整，平面上沒有噪聲。此外，本方法生成的網(wǎng)格模型在平面相交部分較初始網(wǎng)格更為“銳化”，能夠清楚地確定交線的位置，即使是在屋頂邊緣矮墻結(jié)構(gòu)中（見圖5）。最后，本網(wǎng)格相較于初始網(wǎng)格使用數(shù)量更少，采用更大的三角面構(gòu)建平面（見圖6）。

圖5 結(jié)構(gòu)化線面特征重構(gòu)結(jié)果Fig.5 Reconstructed results of the structured line and plane features

圖6 網(wǎng)格密度對(duì)比Fig.6 Comparison of mesh density

線面特征數(shù)量與簡(jiǎn)化率的量化統(tǒng)計(jì)如表1 所示。簡(jiǎn)化率的計(jì)算方法為1-ndec/nori，其中ndec為簡(jiǎn)化后的三角面數(shù)量，nori為原始三角面數(shù)量。由于實(shí)景數(shù)據(jù)1 存在更多沒有被簡(jiǎn)化的樹結(jié)構(gòu)，因此簡(jiǎn)化率低于實(shí)景數(shù)據(jù)2。綜上所述，本網(wǎng)格使用更少的頂點(diǎn)和三角面得到了更為平整且邊結(jié)構(gòu)“銳化”的網(wǎng)格模型。

表1 線面特征與簡(jiǎn)化率的量化統(tǒng)計(jì)Tab.1 Quantitative statistics of the line and plane feature and compression rates

2.2 定量實(shí)驗(yàn)

2.2.1 數(shù)據(jù)與評(píng)價(jià)指標(biāo)

選取城市攝影測(cè)量數(shù)據(jù)集Ai3dr［18］進(jìn)行定量實(shí)驗(yàn)，該數(shù)據(jù)集包括了美國(guó)Dublin市的2個(gè)區(qū)域Area1和Area2。每個(gè)場(chǎng)景有下視和傾斜視角的無人機(jī)影像以及機(jī)載雷達(dá)點(diǎn)云。下視影像的圖像分辨率為9 000×6 732，地面分辨率為3.4 cm。激光雷達(dá)點(diǎn)云的密度為335 m-2。以機(jī)載雷達(dá)數(shù)據(jù)為參考評(píng)價(jià)網(wǎng)格。以所有平面和線上點(diǎn)到最近雷達(dá)點(diǎn)的距離的均值（μM2L）和均方根誤差（σR2L）評(píng)價(jià)精度。此外，所提取的線面特征應(yīng)盡量貼近于原始網(wǎng)格，因此以所有平面和線上點(diǎn)到初始網(wǎng)格表面距離的均值（μM2M）和方差（σR2M）評(píng)價(jià)保真度。

2.2.2 平面特征評(píng)價(jià)

針對(duì)平面提取結(jié)果，對(duì)比了經(jīng)典的RANSAC方法［8］、Region Growing 方法［9］以及SBMP 方法［10］（這里對(duì)比方法中平面提取部分）和GoCoPP方法［11］（見圖7）。RANSAC 方法沒有考慮網(wǎng)格頂點(diǎn)的鄰接關(guān)系，出現(xiàn)跨區(qū)域的平面提取結(jié)果，導(dǎo)致網(wǎng)格嚴(yán)重失真。GoCoPP 方法構(gòu)建的結(jié)果最為簡(jiǎn)單，但忽略了最多的細(xì)節(jié)，提取的平面之間存在空隙，丟棄了原始網(wǎng)格的拓?fù)湫畔ⅰegion Growing方法和SBMP方法具有相似的結(jié)果，都將網(wǎng)格模型的所有部分表達(dá)為平面，這使得小的不規(guī)則的屋頂結(jié)構(gòu)和樹結(jié)構(gòu)出現(xiàn)錯(cuò)誤的平面提取結(jié)果。本方法基于曲率信息預(yù)先設(shè)置平面特征的潛在范圍，在窗戶部分獲得了更精細(xì)的平面分割結(jié)果（見圖7 第一行和第三行）。此外，原始網(wǎng)格中較為不規(guī)則的部分被平面提取跳過（見圖7 第一行中的建筑物屋頂、圖7 第三行中的樹木以及圖7第四行中的車），而其余方法將網(wǎng)格所有部分都變成平面，產(chǎn)生失真的結(jié)果。表2 為所有方法提取的平面精度。RANSAC 方法和GoCoPP 方法嚴(yán)重失真，導(dǎo)致誤差較大，而Region Growing方法和SBMP 方法由于過度的平面擬合導(dǎo)致精度不高。本方法有更為精細(xì)的平面提取結(jié)果，同時(shí)對(duì)于樹木等不規(guī)則網(wǎng)格部分沒有提取平面，因此具有最高的保真度和精度。

表2 平面提取精度Tab.2 Accuracy of the extracted plane

圖7 平面提取結(jié)果Fig.7 Results of plane extraction

2.2.3 線特征評(píng)價(jià)

針對(duì)線特征提取結(jié)果，對(duì)比了快速檢測(cè)三維線段（LFP）方法［13］。LFP方法和本方法都基于空間信息直接提取三維線特征。圖8第一行展示了整個(gè)測(cè)區(qū)的線提取結(jié)果，第二行和第三行展示了線特征與原始網(wǎng)格模型的疊加結(jié)果。本方法的線由面面相交獲得，能夠有效重構(gòu)出建筑的結(jié)構(gòu)線輪廓，相比LFP方法，本方法線特征與網(wǎng)格模型更加貼合，具有更高的精度（見表3）。

表3 線提取精度Tab.3 Accuracy of the extracted line

圖8 線提取結(jié)果Fig.8 Results of line extraction

3 結(jié)語

重構(gòu)城市實(shí)景模型中的結(jié)構(gòu)化線面特征，有助于實(shí)現(xiàn)實(shí)景模型的語義化與結(jié)構(gòu)化。通過曲率將網(wǎng)格分割為平面、可展凸、可展凹和不可展曲面，重構(gòu)線面特征，改善網(wǎng)格模型邊角模糊問題，同時(shí)對(duì)平面結(jié)構(gòu)進(jìn)行簡(jiǎn)化，大量減少網(wǎng)格三角形數(shù)量。重構(gòu)的平面特征幾乎覆蓋建筑物，未來將建立起平面之間的拓?fù)潢P(guān)系，將建筑物分離為單體，完成結(jié)構(gòu)化重建。

作者貢獻(xiàn)聲明：

梅 熙：研究選題，提供研究思路和技術(shù)指導(dǎo)，論文審定。

王 義：實(shí)驗(yàn)數(shù)據(jù)獲取，論文撰寫與審定。

曲英杰：數(shù)據(jù)處理，方法實(shí)現(xiàn)，論文整體構(gòu)思與撰寫。

鄧 非：?jiǎn)栴}探討，論文審定。