基于輪廓恢復和最小二乘修正的三維Mesh優化

尹曠 王紅斌 方健 胡帆 覃煜 張奇源

摘要：在由密集點云生成的初始Mesh網中存在較多冗余數據、噪聲和細節損失，具體表現為：初始Mesh網往往存在非流行、棱角鈍化和平面凹凸等問題，上述問題會嚴重影響三維重建的精度和效果。傳統的先簡化再優化的Mesh處理策略盡管可以減少冗余數據、提升Mesh的平滑性，但容易使Mesh丟失細節信息。為解決上述問題，提出采用簡化—優化結合并迭代執行的策略，通過簡化恢復模型輪廓和棱角，并采用最小二乘法精確求解Mesh中三角網頂點的改正量，進而實現對Mesh的精細優化。

關鍵詞：Mesh優化；最小二乘；輪廓恢復；三維重建

中圖分類號：TP39文獻標志碼：A文章編號：1008-1739（2022）17-67-05

0引言

近年來，智慧城市的建設在國內外不斷推進。在智慧城市建設中，一個核心的問題是高效、低成本、快速地獲取城市場景的三維模型，而傳統手工建模方式由于其低效、高成本、低現勢性已不能滿足要求。隨著無人機傾斜攝影測量三維重建技術的不斷成熟，將有效解決城市三維重建中存在的上述問題。無人機具有靈活性高、成本低、飛行條件要求低、可快速獲取數據等特點，在大比例尺測圖、實時響應、應急救援以及三維重建中具有獨特的優勢和應用前景[1]。利用無人機搭載多臺相機從一個或多個不同角度對同一物體或場景傾斜攝影，用無人機影像進行真實三維表面模型的重建是計算機視覺和攝影測量領域的重要研究內容[2-5]。

基于影像的三維重建可以描述為根據已知的攝影中心和方向、光照等條件，由物體或場景的一系列影像，對其表面進行三維形狀的最佳估計問題[6]。基于影像三維重建的主要流程為：自動空中三角測量、影像密集匹配、構網和紋理貼圖[3]。基于影像的三維重建技術能夠得到現勢性強、可視化效果好的三維實景模型，但是該技術在具體應用中仍存在著一些問題。例如在密集匹配方面，目前還沒有一種精度和效率都很優秀的匹配算法能完全滿足城市場景三維重建對密集匹配精度和效率的要求。如SGM[7]和COLMAP開源庫中的PatchMatch[8]算法盡管可以生成效果較好的密集點云，但匹配效率較低。因此，密集匹配一直是計算機視覺領域的研究熱點。另外，由密集點云構三維Mesh網更加關注三角網的點面關系、可視性等信息，往往會損失較多細節，導致三維模型的細節表達性能較弱。

由于密集匹配和構網后Mesh網中存在較多噪聲和細節損失，初始網往往存在非流行、孔洞及棱角鈍化、平面凹凸等問題，會嚴重影響三維重建的效果。降低冗余數據量，提升重建模型的細節信息是實景三維重建研究領域亟待解決的問題。通過對原始Mesh網做簡化—優化相結合的迭代處理是解決上述問題的一種有效的手段。Mesh簡化可以降低Mesh的冗余數據量，增強Mesh的各向異性。Mesh優化可以去除Mesh中的噪聲，并提升Mesh對模型細節的表達性能。在Mesh優化方面，當前的主流是采用影像匹配方法對最佳表面位置進行估計[9-11]，實現對三維模型的網形和準確度的優化。該方法可以提升模型細節和平滑度，但也存在一些問題：如表面優化過程的效率較低，模型棱角和輪廓鈍化嚴重等。為此，本文提出采用簡化-優化相結合的策略，通過簡化恢復模型輪廓和棱角，并采用最小二乘法精確求解Mesh中三角形的頂點移動量，進而實現對Mesh的精細優化。

1三維輪廓恢復

三維表面輪廓指場景中物體的邊緣輪廓線或較大平面區域，如房屋的棱角、臺階的棱沿以及平面墻壁等。三維輪廓的恢復對提升三維模型的細節層次及視覺效果起著至關重要的作用。為了提升Mesh的重建效果，Mesh處理的目標是得到各向異性較強的Mesh網。具體地，對于平面區域會利用大三角面去表達，對于邊緣和棱角區域，一般采用狹長和較為密集的三角面去表達。傳統方法一般采用先簡化后優化的策略，Mesh簡化可以減低網格的冗余度和去除非流行，但簡化比的參數較難準確給定，所以Mesh簡化往往會造成網格細節信息損失的問題。Mesh優化的目的是提升網格對物體表達的精度，需要網格具備足夠的細節信息。

目前，比較有代表性的方法是文獻[12]中提出的優化方法，該方法通過采用多層級金字塔的方法對三維模型由粗到精的優化。在金字塔的最底層是在原始影像1/4尺度下對初始網進行簡化，通過簡化過濾初始網中代價低的三角形，降低細小三角形和原始網中的噪聲頂點對后續優化的影響。隨著金字塔層級的升高，三角網得到進一步細分，網的表面細節得到進一步優化。上述方法中存在三角面過度細分的問題，會影響輪廓構建。為解決上述問題，本文采用一種簡化—優化結合的迭代優化策略：簡化操作可修正三角面的法向量，構造大平面和棱角處輪廓，為網形優化提供更準確的輪廓位置和法向量初始值；優化操作可提升網的細節信息。本文方法中一次簡化和金字塔各層級的優化為一次迭代，根據初始網平滑度和每一次迭代處理的優化目標，選取不同的簡化比和梯度下降優化次數，從而實現整體輪廓的恢復和和表面細節的積累。

本文方法流程如圖1所示。

簡化—優化恢復輪廓效果如圖2所示。簡化—優化最終結果如圖3所示。

2基于最小二乘解算的Mesh頂點移動量分配

通過影像匹配可獲得同一物點在多幅影像上對應的像素點和該物點的優化移動量。在由密集點云構建Mesh后，不屬于三角形的冗余物點將會分布在Mesh中三角形的內部。一般，密集點云中的大部分點在構建Mesh后是冗余點，分布在Mesh中的三角網內。三角網的位置優化是通過移動三角網中所有三角形頂點實現。為了更精確地計算三角形頂點的移動量，可將每個三角形內所有物點（內點，下同）的移動量分配到三角形的頂點上。內點移動量的分配，實質是三角面內的表面優化能量離散化到三角形頂點上的問題。

物點改正量計算如圖4所示。

上述是三角形在一個立體像對中頂點坐標改正優化的過程，考慮到Mesh中每個三角形都可被多個立體像對可見。所以在具體優化時，Mesh中三角形的頂點改正量是根據可視性強弱對每個立體像對求得改正量并做加權平均。

3實驗與分析

為了驗證本文方法對Mesh優化的有效性，對近景拍攝的影像做空三、密集匹配和構網處理后得到初始Mesh網，數據信息如表1所示。然后，分別采用文獻[13]中的方法（借助OpenMVS開源庫的實現）和本文方法對初始Mesh網做優化處理。

3.1實驗結果

初始Mesh網如圖6所示。

在Vu和本文方法分別對初始Mesh網優化后，在細節層次上對優化效果做了對比。Vu方法優化后的結果如圖7（a）所示，本文方法優化的結果如圖7（b）所示。在Vu方法優化后，Mesh網中的頂點個數為287 000，三角面個數為575 000。本文方法優化后Mesh網中的頂點個數為166 000，三角面個數為332 000。

3.2實驗分析

首先，對Mesh網輪廓恢復的效果進行分析。從圖3可以看出，在采用本文方法對Mesh優化時，隨著簡化—優化迭代的進行，細小三角面被不斷地剔除，三角面的法線方向得到修正，輪廓被逐漸恢復。在優化后平面區域更為平坦，棱角處更為銳利。從圖4可以看出，本文方法對平面和棱角區域的優化效果更好。

在輪廓恢復的基礎上加入最小二乘法去精確求解Mesh中三角形頂點的改正量，從而實現Mesh優化，優化效果如圖7（b）所示。對比圖7（a）和圖7（b）可以發現，在棱角處（1號和2號橢圓區域），由于本文方法采用簡化降低冗余數據并修正了三角面的法向量，故本文方法優化后棱角更為銳利。本文方法冗余數據量低，法向量準確對Mesh優化的貢獻也體現在平面區域（3號方框內）。所以，相較于Vu方法，采用本文簡化—優化組合處理的方法，在對Mesh優化后可提升Mesh網的細節，并增強Mesh網的各向異性。

4結束語

針對采用影像匹配最佳表面估計法對三維Mesh優化時存在棱角鈍化、像素力量到頂點分配不準確導致優化后的Mesh細節層次信息損失嚴重的問題，本文提出采用輪廓恢復和基于最小二乘法修正三角網的頂點移動量對初始Mesh進行優化。在采用本文方法對Mesh做優化后與Vu方法做對比，驗證了本文方法對Mesh網優化具有更好的效果。

參考文獻

[1]傅桂霞.基于AUV測量信息的時空3D數據地形構建[D].哈爾濱：哈爾濱工程大學， 2011.

[2]王辰.基于影像的三角網表面模型優化[D].武漢：武漢大學， 2019.

[3]劉健辰.基于傾斜影像的Mesh模型自動構建方法研究[D].武漢：武漢大學， 2017.

[4張春森，張夢輝，郭丙軒，等.影像三維重建的網格自適應快速優化[J].武漢大學學報（信息科學版），2020，45（3）：411-418.

[5] DUAN Y ， YANG L ， QIN H ， et al. Shape Reconstruction from 3D and 2D Data Using PDE-Based Deformable Surfaces[C]// European Conference on Computer Vision. Springer. Berlin： Springer，2004：238-251.

[6] SORKINE O，COHEN-OR D.Least-squares Meshes[C]// Proceedings Shape Modeling Application. Genova：IEEE， 2004：191-199.

[7] HIRSCHMULLER H. Stereo Processing by Semi-Global Matching and Mutual Information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2008， 30（2）： 328-341.

[8] DRORY A，HAUBOLD C，AVIDAN S，et al.Semi-global Matching：A Principled Derivation in Terms of Message Passing[C]//Lecture Notes in Computer Science.Berlin： Springer，2014：43-53.

[9] ZHENG E L， DUNN E，JOJIC V，et al. PatchMatch Based Joint View Selection and Depthmap Estimation[C]//IEEE Conference on Computer Vision and Pattern Recognition. Columbus：IEEE，2014：1510-1517.

[10] NEALEN A，SORKINE O，ALEXA M，et al. A Sketch-based Interface for Detail-preserving Mesh Editing[J].ACM Transactions on Graphics （TOG），2005，24（3）：1142-1147.

[11] NEALEN A， IGARASHI T， SORKINE O，et al. Laplacian Mesh Optimization[C]//Proceedings of the 4th International Conference on Computer Graphics and Interactive Techniques in Australasia and Southeast Asia.Kuala Lumpur：ACM，2006：381-389.

[12] VU H H， LABATUT P，PONS J P，et al.High Accuracy and Visibility Consistent Dense Multiview Stereo[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2012：34（5）：889-901.