三維網格去噪算法研究綜述

張棟棟，龔偉華

（浙江理工大學信息學院，浙江 杭州 311121）

0 引言

三維網格不僅在動畫和游戲制作中十分常見，而且在各種應用如虛擬現實和增強現實、三維模擬、醫學形狀分析等方面也發揮著至關重要的作用。在三維掃描儀出現之前，三維模型可以由模型設計師通過一些軟件如Maya、3Dmax 等創建。如今可以通過掃描儀輕而易舉獲得現實物體的三維空間數據，但原始網格不可避免地含有噪聲，因此網格去噪成為極為重要而有意義的工作。本文梳理和分析了目前學術界的研究進展，總結了已有方法存在的局限性，展望了未來的發展趨勢。

1 各向同性網格去噪方法

早期一些經典網格去噪算法都是以各向同性的方式進行的，將噪聲與特征都視作高頻部分再進行低通濾波處理，這些方法都沒有考慮網格自身的特征，如經典的Laplacian 平滑算法［1］不能保持體積，其原理就是將頂點的位置信息用其相鄰點的位置信息加權平均來替換，所以在經過多次迭代后會發生收縮現象。

其中N1(i)表示面片i的Ⅰ環鄰域。

從圖1 的實驗結果可以明顯看出迭代3 次后有明顯的收縮現象，如果無窮次迭代下去最終會收縮成一個圓環［2］。

Fig.1 Laplacian algorithm applied to noisy rings圖1 Laplacian 算法在有噪聲環上的應用

考慮到頂點位置不應該只和臨近頂點位置有關，還應該和 頂點初 始位置有關，Vollmer 等［3］提出The HC-Algorithm。在拉普拉斯平滑基礎上，目標頂點是對初始位置加權的結果，幾何意義上相當于把頂點的位置反向移動一定距離。因為Laplacian 平滑算法平滑過度時HC-Algorithm可以減輕平滑效果，Taubin 等［4］將用于信號處理的一些方法引入Laplacian 算法中，如下所示：

所以，當使用Laplacian 算法經過無窮次迭代后，網格模型會收縮到其重心位置。Taubin 等［4］為了減緩因拉普拉斯算子引起的收縮現象，提出一種基于擴散的方法，并證明它是一種低通濾波器，具有抗收縮性。然而，Desbrun等［5］指出這種擴散方法是有缺陷的，因為它對網格的假設不現實。他提出一種基于曲率流的方案，在每個頂點計算局部曲率法向，并以其為基礎進行擴散；Meyer 等［6］進一步擴展這種思想到各向異性的特征保持領域；之后，Kim 等［7］基于前3 個方法構造一個更為靈活的二階濾波器GeoFilter框架，其中頻率根據用戶選擇的特征自動計算以達到預期的結果。近年來，基于三維曲面的微分性質，一些學者提出一些基于優化的方法。He 等［8］將Xu 等［9］在圖像平滑中使用的L0優化算法推廣到網格去噪上，提出一種基于L0優化的算法。他將網格表面分段平坦區域最大化，因此能夠在平滑的同時有效保持模型的幾何特征。它們在高斯噪聲情況下表現出色，但計算成本也很高，去噪結果隨其他噪聲類型的增加而惡化；Sun 等［10］使用L0正則化描述點集的平滑度并將其去噪；Cheng 等［11］針對非凸L0優化問題開發一種基于融合坐標下降框架的高效逼近算法，該算法可以獲得梯度稀疏性好、與原始輸入足夠接近的解。然而，由于局部像素的高度一致性，在濾波輸出中可能會產生更多的樓梯效應；Ahao 等［12］利用L0范數將頂點位置和頂點法向結合起來以衡量幾何特征的稀疏性，進而提出一種改進的交替極小化求解框架。有些算法利用L1范數替代L0范數避免求解非凸問題，但在某些情況下這種近似會帶來較大的誤差；Wu 等［13］用L1范數構造數據保證項降低了異常值和噪聲對算法的影響。L1范數求解容易，但是稀疏性比L0范數弱，所以在一些情況下可能得不到稀疏解，這類基于稀疏優化的方法能夠有效保持尖銳特征；Wang 等［14］認為必須滿足噪聲獨立分布的先決條件。所以，對于符合這些幾何特征的模型可以生成很好的結果，如CAD 模型。而對于大噪聲模型而言高階微分性質很敏感，結果往往并不滿意。濾波器通常是局部操作的，這些方法可以很好地恢復局部特征并且計算效率高。然而出于同樣的原因，它們的性能往往因為表面存在較大噪聲或不規則采樣率而降低。

2 各向異性網格去噪方法

2.1 頂點雙邊濾波

雙邊濾波最初應用于圖像去噪，它可在圖像平滑的同時保留圖像的邊緣和細節。雙邊濾波的本質是高斯濾波的擴展，Jones 等［15］、Abedi 等［16］和Flesishman 等［17］將圖像去噪中的雙邊濾波方法推廣到網格去噪上。該方法在多數情況下能夠有效去噪并保持特征，但由于算法假設網格是均勻采樣的，對于高度不規則即大噪聲的網格去噪效果不理想；Solomon 等［18］在前者基礎上提出一種通用框架，可用于任意鄰域的雙邊和平均移位濾波；Vialaneix 等［19］利用沿曲率方向的可分離濾波器進行近似網格雙邊濾波，以提高雙邊濾波運算速度；Wei 等［20］利用人臉法線和頂點法線來充分利用特征區域的互補性。這種基于濾波器的全局優化方法比基于稀疏性的方法更容易求解，并且很容易將現有濾波器組合起來，不會產生由強稀疏假設引起的副作用。然而，這些方法只使用兩個高斯核和一些簡單的幾何屬性（如正態差異）隱式地區分特征；Duguet 等［21］通過對點云數據的射流估計，將雙邊濾波擴展到基于表面曲率的二階濾波。作為雙邊濾波方法的完善與推廣，一些三邊濾波算法［22-24］相繼被提出。Choudhury 等［22］提出新的三邊濾波器由Tomasi 等［25］雙邊濾波器改進而成，它將信號平滑到一個尖銳的分段線性近似。與雙邊濾波或各向異性擴散方法不同，三邊濾波器在高梯度區域提供了更強的降噪和更好的孤立點抑制。Wang 等［23］提出一種基于能量最小化框架的特征感知三邊濾波器用于三維網格去噪。該方法以兩步法為基本框架，基于濾波器和全局優化方法的優越性以保持局部和全局特征并很好地對抗高噪聲和不規則采樣，而不需要二步求解方法、多步策略、訓練數據等，不用擔心過度擬合。與Choudhury 等［22］的濾波器不同，他們的濾波器以自適應鄰域指示函數作為第3 個濾波器核。

2.2 面法向濾波方法

相比于網格的頂點信息，面片的法向信息更能體現網格表面的變化，即曲面特征信息，因為它是曲面上的一階微分量。為解決面向頂點的雙邊濾波方法缺陷采用兩步走（Two Step）方法，首先在網格的面法向量上進行一次濾波操作，然后根據校準后的面法向量進行頂點重建。

Zheng 等［26］首先將雙邊濾波器核集成到二次能量函數中進行全局法線優化。這項工作保留了特征，但性能受到雙邊濾波器的限制，因為噪聲輸入信號很難可靠地反映理想輸出信號的幾何形狀。其法向濾波定義如下：

其中，n(ci)、ci、N(i)分別為面fi上的法向量、中心和鄰域；Aij表示三角面fi、fj之間的權重參數，此處采用Aij為fi的面積；W(ci)為單位化系數；ωs、ωr為權重函數，分別表示網格上兩相鄰面fi、fj之間的位置相似性和法向信息相似性。當兩個相鄰面的法向量有著較大差異時，說明這兩個面位于一尖銳邊的兩側。ωr定義如下：

其中σr為函數ωr的衰減程度。

面法向之間的影響應該和面片之間距離成反比，因而可以采用歐氏距離的高斯函數來定義空間域權重：

Yagou 等［27］在處理面部網格模型時使用均值過濾和中值過濾。均值濾波是鄰域面片法線的加權平均值，由于均值濾波本身不是維持特征的濾波方法，因此該方法將破壞網格的原始特征；而中值濾波則是根據中心面片法向與鄰域面片法向之間的夾角選取中值對應的法向作為濾波后的法向，在噪聲較小的網格中，中值濾波能較好地保持原有特征，但在大噪聲情況下結果并不理想。Yagou 等［27］提出一種α-截斷濾波方法，通過選取不同的α得到均值濾波和中值濾波，因此這是均值濾波和中值濾波的折衷方法；Shen 等［28］提出一種基于最小二乘誤差的法向和頂點位置更新的模糊中值濾波器，雖然效果比之前的方法更能保持特征，但是計算代價很大；Sun 等［29］將采樣點的局部鄰域限制在法向量的相似區域并對法向量進行修改。為了降低特征點的平滑性，提出一種基于雙邊濾波器的改進方法，用基于隨機游走（Random walk）的權值對中心面片鄰域內的法向量進行加權，用共軛梯度法過濾法線并求解頂點優化問題，從而保持網格特征；Zhang 等［30］提出分片常數空間及相應的微分算子，提出TV 法向濾波，濾波發現采用人臉模型面法向的變化總和可以描述更多的尖銳特征，獲得良好的去噪效果，但是輕微的彎曲區域都會有明顯的階梯效應，且解要比L0方法少。這些方法雖然降低了求解難度，但也增加了更多約束，從而削弱了算法的魯棒性。

2.3 引導法向濾波的去噪方法

雙邊濾波核函數有一先驗條件，即鄰近輸入信號的差異與輸出信號之間的差異相似。但這一假設并不總是成立，如果網格模型噪聲過大則該假設將不再成立。因此，Zhang 等［31］提出一種導向濾波的網格去噪算法。相比雙邊濾波算法，引導濾波算法從原始模型上提取引導信號用于修改雙邊權值，為輸出信號提供一個更為可靠的信息，可以更好地保持細節特征。該方法和Zheng 等［26］提出的方法相似，不同之處在于Zhang 等［31］采用聯合濾波代替雙邊濾波。

對于網格面片fi的法向量ni做聯合濾波處理，得到濾波后的法向ni：

這里變量表示類似雙邊濾波的表達式，所不同的是函數ωr中采用了引導法向gi代替法向ni。

Wang 等［32］在Zheng 等［26］基礎上提出滾動（Rolling）引導濾波，迭代過程中每一步都用原始的法向作為指導，更好地保持了原始模型的特征；Zhang 等［33］提出靜態/動態（Static/Dynamic）引導濾波算法，其輸入的引導網格被視為靜態引導網格，迭代過程中不斷更新的輸出網格被視為動態引導網格，兩者的特征信息相互結合，共同引導濾波過程；郭清華等［34］提出一種非線性引導濾波算法，它簡便靈活，其核心是在網格面片的局部鄰域內對引導網格的面片法向進行二次變換，得到法向場后，用Sun 等［35］的方法恢復網格頂點坐標，該算法可以有效防止在平滑過程中出現體積收縮、邊緣模糊等現象，但是該算法每次迭代都需要調參以得到較好的引導網格；Liu 等［36］在引導濾波基礎上通過特征探測識別特征面與非特征面，提出鄰域選擇的度量來增強特征，取得比指導濾波更好的效果，為了更有效地處理人臉網格模型，他們提出一種搜索算法來找到那些接近特征面并且具有相似幾何特征的人臉，然后利用其指導濾波過程，最后根據濾波后的人臉法線更新頂點位置；Zhao等［37］使用圖割（GraphCut）來生成分段平滑的塊，并在其上建立指導法線。這些方案在復雜特征的合成網格上表現良好，但這些方案的主要思想是根據面法向差異找到一致的塊，結構信息沒有得到充分利用。掃描網格中包含多種噪聲以及更復雜的形狀，如鋸齒噪聲、階梯狀噪聲和不規則的邊，面法向的差異很大，所以很難區分噪聲和特征。因此，要么導致偽特征，要么過度平滑。

2.4 數據驅動網格去噪方法

因為噪聲網格可能包含各種不規則結構，這些結構被不同模式的噪聲破壞。因此，利用特定的濾波器或先驗假設去噪并不能一直產生令人滿意的結果。此外，用戶必須仔細微調各種模型參數。為了規避這些限制，數據驅動日益受到重視。Wang 等［38］提出了一種基于數據驅動的網格去噪技術——基于正態回歸的方法。該方法可以在不假設面幾何特征和噪聲模式的情況下去除噪聲。首先將濾波后的人臉法向描述子映射到真實輸入的人臉法線，通過學習的方法得到非線性回歸函數，然后應用所學習到的模型計算濾波后的人臉法線。在實時去噪過程中，首先獲取噪聲模型的特征，將其帶入回歸模型，得到與之對應的法向量，通過法向量重建模型。不同于各向同性的一些方法，該方法從訓練數據中學習非線性去噪過程，對輸入中的噪聲分布和幾何特征沒有具體假設。算法先驗條件為噪聲只與其局部信息有關，如果噪聲模型與真實模型差異太大將不能很好地完成去噪，所以其去噪效果依然存在一定缺陷。Wang 等［39］提出先從噪聲模型和真實模型對中學習，使用噪聲差異通過神經網絡來移除噪聲，然后將濾波模型和真實模型通過回歸函數恢復特征。雖然這些數據驅動的方法能夠在一定程度上學習去噪模式，不需要對幾何特征和噪聲模式進行特定假設，但它們仍然需要從噪聲輸入中手動提取幾何描述符，例如Wang 等提出的面法向描述子（Facet NormalDescriptor）。

深度學習在圖像處理中獲得巨大成功，圖形學研究人員也試圖利用深度神經網絡進行三維模型處理。然而，與具有規則像素網格結構的二維圖像不同，三維模型具有不規則連通特性。因此，早期的工作探索了輸入三維模型向網格結構的轉換，例如體積表示［40-44］、深度圖［45］、多角度圖像［46］等等，通過數據轉換就可直接使用深度神經網絡來處理網格數據。

Zhao 等［47］提出了一種基于深度學習的網格面法濾波方案（NormalNet），第一次將神經網絡用于網格去噪算法。提出了迭代訓練框架，其中訓練數據的生成和網絡訓練交替進行，真實法向作為導向濾波中的指導法線，得到目標法線，生成準確的引導法向并有效地去除噪聲，同時保留原始特征并避免偽特征；Li 等［48］設計了DNF-Net，直接處理網格表面提取的局部塊中的法向量。該方法不假設網格結構，也不將法線重新采樣到網格中；直接處理網絡每個塊上的法向量以及局部三角形連接信息，并將其作為輸入，輸出去噪后的法向量。

這類方法訓練過程很耗時，并且數據驅動方法都有一個共性缺點，即訓練結果要受數據集影響。

3 其他方法

聚類信息可以從本質上消除各向異性表面的擾動。Dai 等［49］受此啟發，設計了一種區域增長聚類方法，將有噪聲的網格模型分割成塊，再將常規的一些去噪算法如單邊法向濾波（UNF）、雙邊法向濾波（BNF）、導向濾波（GNF）等算法應用到分塊上，提高去噪效果。因為張量投票是幾何處理中準確檢測高質量網格特征的基本工具，一些基于張量投票法的網格去噪算法近來也被相繼提出［50-52］。其中Wei 等［50］提出一個級聯去噪框架，它們的方法包括多尺度張量投票、用于檢測尖銳特征的頂點聚類方法和用于保留識別特征的分段擬合方法；岳少陽等［53］提出一種基于線性插值的、快速高效的網格模型去噪算法，其總體上將去噪模型看作是噪聲模型和過分光滑模型的中間插值結果；Hurtado 等［40］選擇鄰域除了點和法向信息外考慮梯度信息來處理鄰域。局部算法能夠通過迭代逐漸恢復特征，但為了保持細節特征，局部算法的迭代次數往往很難自動設定。

低秩矩陣逼近方法［54-55］還用到網格去噪上，Li 等通過以法線場的形式探索三維網格上局部表面貼片之間的幾何相似性，利用協方差矩陣找到相似的曲面片，設計了一個低秩恢復模型，該模型通過貼片組對法向量進行濾波，構造出相應的法向矩陣，進而通過低秩分解得到去噪后的法向。該算法雖然能夠處理較大的噪聲輸入，但是和大多數非數據驅動類算法一樣，對于特別大的噪聲處理效果不理想。與此同時，如果模型中存在法向翻轉也不能有效去噪。

4 實驗結果與比較

除了從視覺效果比較各種方法性能，本節還介紹了3種常用的定量評價方法：均方角誤差值（Mean Square Angular Error，MSAE）、基于頂點的L2誤差度量和Hausdorff 距離。

4.1 均方角誤差值

均方角誤差值一般用來度量去噪前后法向的差異，其定義為：

E表示期望值。MSAE的值越小，說明去噪前后面法向量越接近，表明濾波效果越好。

4.2 基于頂點的L2 誤差度量

該方法定義為：

其中F、V、a分別表示面集、頂集和三角形面積。dist(,T)表示去噪后頂點與原始網格中與該頂點相鄰的面片T最近的距離。

4.3 Hausdorff 距離

Hausdorff 計算得到的距離越小，說明去噪后的頂點距離真實平面越接近，去噪效果越好［56］。

設X和Y分別為兩個度量空間(M,d)非空子集，Hausdorff 距離定義如下：

其中，sup 表示上確界，inf 表示下確界。

4.4 去噪算法的比較與分析

下面分析常見的幾種去噪算法對標準網格模型的處理結果，模型包括細節較少的Eight 網格模型、細節豐富的Gargoyle 網格模型，CAD 模型Part_Lp 網格模型和Kinect 真實掃描的David 網格模型。

由圖2 可知，對于細節較少的模型大部分算法都能得到較好的效果。其中非迭代方法和Tabin 方法視覺上表現稍遜，但是從表1、表2 可以發現，這兩種方法在定量分析上表現卻很出色。在處理CAD 模型時，雙邊濾波方法和非迭代方法并不能有效平滑噪聲，而拉普拉斯平滑算法過渡明顯平滑，網格的邊緣特征已經被消除；Tabin 算法模型恢復得不是很好，因為其主要適用于大噪聲模型［57］。雙邊法向濾波在處理標準CAD 模型時體現了其保持特征的優勢，模型棱角信息保留較好。但是，從圖3 可以發現，對于細節豐富的模型，雙邊法向濾波會丟失細節。L0算法雖然可以去除噪聲，但是模型邊緣地方會變扁。

Fig.2 Comparison of denoising results of various denoising algorithms for models with less details圖2 各種去噪算法對細節較少的模型去噪結果比較

對于細節豐富的模型，如圖3 所示，導向濾波算法結果較好，但顯著的邊緣特征仍存在瑕疵，一些邊和尖角發生了扭曲，因為導向濾波方法適合復雜特征的合成模型；但是對于不規則噪聲，如真實掃描模型中的噪聲，面法向的差異很大，所以很難區分噪聲和特征，因此要么導致偽特征，要么過度平滑。而基于數據驅動的方法，如RoFi 和級聯回歸去噪效果良好［58］。從圖4 和圖5 可以發現，同樣都是細節豐富的模型，使用L0算法去噪結果卻相去甚遠，因為L0算法對參數敏感。

Fig.3 Comparison of denoising results of CAD models by various algorithms圖3 各種算法對CAD 模型去噪結果比較

Table 1 Comparison of average angular error and error metric of various algorithms表1 各種算法的平均角誤差Ea 和L0 誤差度量Ev 的比較

Fig.4 Comparison of denoising results of various algorithms for models with rich details圖4 各種算法對細節豐富的模型去噪結果比較

Fig.5 Comparison of denoising results of real scanning model by various algorithms圖5 各種算法對真實掃描模型去噪結果比較

對于真實的掃描模型，如圖5 所示，基于學習的方法，如RoFi 和級聯回歸都能在保持原有特征的前提下較好地完成去噪。而雙邊濾波、L0平滑、非迭代法都未能得到好的效果，說明基于學習的方法更能勝任相對復雜的噪聲模型的去噪。這類方法的缺點是某些假設可能并不總是得到滿足，但是即使在高噪聲或不規則采樣率下也可獲得良好的結果和全局特征，因為它通過優化將誤差分布在整個表面。

Table 2 Hausdorff distance between the denoising results of various algorithms and the original model表2 各種算法去噪結果與原始模型的Hausdorff 距離

5 結語

三維網格建模在計算機圖形學領域應用是一個基礎性研究課題，在游戲、電影行業發揮著重要作用。網格去噪是建模過程中重要的一步。本文總結了近年來網格去噪算法的一些研究成果，旨在幫助讀者快速了解該領域的研究進展。

深度學習和神經網絡技術在圖像領域的飛速發展促使越來越多的研究者嘗試將其應用到三維圖形上，這是一個具有挑戰性且十分有意義的研究。到目前為止，還沒有一個算法能夠達到完美的去噪效果，這些算法都是在去噪與保特征之間博弈。RoFi、NormalF-Net、級聯回歸、Normal-Net 等算法效果都較好，但是大多數網絡結構還不能接受三維數據的直接輸入，仍需要一些表示算法作為輔助。同時，大量訓練數據的獲取、算法的優化、效率提升都是需要考慮的問題。