非結構點云的幾何與學習協同法線估計

周杞鑫，鄒春喜，程琳

（1.中航西安飛機工業集團股份有限公司，陜西 西安 710089；2.中航西安飛機工業集團股份有限公司，陜西 西安 710089；3.中航西安飛機工業集團股份有限公司，陜西 西安 710089）

0 引言

近幾十年來，出現了各種各樣的三維激光掃描儀和深度相機，使得點云成為許多實際應用的焦點，如機器人抓取[20]、三維重建[11]和自動駕駛[24]。通常，掃描的點云只包含與噪聲、不完全性和采樣不規則性相關的點空間位置信息，而缺乏點法線等局部曲面幾何屬性。精準的法線可以促進大量的下游任務，例如點云合并[10]、曲面重建[13]和模型分割[8]。因此，對非結構化點云進行法線估計是一項不可避免的重要任務。

點云法線估計問題已被廣泛研究，可以將現有的法線估計技術大致分為兩類：傳統方法和基于學習的方法。傳統的方法通常利用一些精心設計的規則來保持或恢復尖銳的特征，而基于學習的方法則追求從噪聲輸入到真實值的一般映射。傳統的方法中最簡單和最著名的法線估計方法是主成分分析法（PCA）[17]，通過分析點鄰域的局部結構的協方差，將法線定義為最小特征值對應的特征向量。在這項工作之后，文獻[23，7，14]提出了許多變體，Mitra等人[23]分析了鄰域大小、曲率、采樣密度和噪聲對法線估計的影響。另一種法線估計方法是基于Voronoi cells[2，12，1，22]的，然而這種方法不能很好地估計尖銳特征或附近點的法線。文獻[19，32，30，31]認為位于不同曲面的鄰近點應該被放棄，應該只從位于同一曲面的點中選擇一個近似鄰域來估計法線。[3，28，9]假設曲面通常是由分段的平面組成的，通過基于稀疏性的方法在銳利的特征保持方面得到了非常好的結果。其他一些方法，如霍夫變換[5]也得到了很好的結果。基于學習的方法近年來才在法線估計方面嶄露頭角。Boulch等人[6]提出將一個表示法向的離散霍夫空間投射到一個適合于CNN深度學習的結構上，Roveri等人[26]為CNN定義了一個網格狀的規則輸入以學習理想的法線結果。Ben-Shabat等人[4]提出了一種方法，該方法使用點式、3D修正的多尺度Fisher Vector代表近似局部法線，并將這種代表輸入到深度三維CNN結構中，他們還用一種混合專家結構來學習鄰域大小，以最小化法線估計誤差。這三種方法主要在于將非結構化點云參數化為規則域，然后直接應用到CNN結構。另一種點云學習框架PointNet[25]在3D領域非常流行，因為它可以直接從點數據中學習特征。基于對PointNet結構的修改，Guerrero等人[15]提出了一種在噪聲點云中估計法線和主曲率值的統一方法，其中他們特別強調在給定的中心點周圍提取局部屬性。Hashimoto等人[16]利用PointNet和3DCNN，提出了一種能夠從點云中準確推測法線的聯合網絡。基于PointNet結構，Zhou等人[33]引入了額外的特征約束機制和多尺度鄰域選擇策略來估計三維點云的法線。

然而，沒有一種現有的算法可以作為法線估計的萬能方法，原因在于：（1）傳統方法總是嚴重依賴參數調整，如平面擬合的鄰域尺度[31，32]；（2）基于學習的方法，使用卷積神經網絡（CNN）結構[6，4]或PointNet結構[15，33]，兩者都受到特征表示能力的限制。因此，特別是在尖銳的特征區域，很難學習從嚴重退化的輸入到真實法線的直接映射。

基于這些問題，本文提出了一種非結構化三維點云的兩階段法線估計方法。該方法的核心思想是通過兩個子步驟來解決法線估計的不確定問題：（1）用幾何估計器計算盡可能保留特征的次優中間法線場；（2）將最終法線恢復過程作為一個回歸函數，將中間法線結果映射到真實值。具體來說，為了降低在具有挑戰性的區域進行法線學習的難度，提出了一種多尺度擬合塊選擇法來幫助估計次優法線，這在特征保持方面有更大的貢獻。由于在一些參數難以調整的困難區域，初始法線仍然是不完美的，因此本文設計了一個基于法線的高度圖和法線圖網絡，它利用上述估計的法線和局部曲面信息來獲得最終的最優法線。實驗證明，幾何估計器方案和基于學習的恢復方案的組合效果優于兩者中任一個。

1 算法介紹

本文提出了一種基于幾何估計和深度網絡的兩步法線估計方法。圖1展示出了所提議的方法的算法流程。它包括以下兩個主要步驟：多尺度次優法線估計和基于法線的高度圖和法線圖網絡。首先，對每個接近尖銳特征區域的候選點提出了一個多尺度鄰域選擇來計算其次優法線，同時對遠離尖銳特征區域的光滑點用主成分分析法獲得其次優法線。然后，基于這些計算出的法線，用雙邊法線濾波器為每個點定義一個多尺度點描述符，作為后續網絡的輸入。最終，通過基于法線的高度圖和法線圖網絡恢復出最優法線，該網絡包含兩個子模塊，分別是基于高度圖和法線圖的改進模塊和收集模塊。

圖1 算法流程

1.1 多尺度次優法線估計

在計算每個點的初始法線之前，首先用局部協方差分析（sec.4.2[32]），將所有點分為接近尖銳特征的候選點和遠離尖銳特征的光滑點。用主成分分析法可以簡單地計算出光滑點的法線。

為了估計候選點的法線，一種常見的策略是隨機選擇三個非共線點來構造一組候選平面，并選擇一個最能描述潛在面的平面。典型的方法是RNE[19]和PCV[31]，它們引入剩余帶寬來評估候選平面到潛在面的接近度。然而，當輸入有噪聲時，用于檢測候選平面的目標點的鄰域往往會被相交面的點所破壞，這導致所選平面偏離真實表面。

輸出的次優法線將用于以下基于法線的高度圖和法線圖網絡中，該網絡可以保留尖銳區域的幾何特征。與直接使用原始法線（PCA）作為輸入相比，這些初始法線增強了網絡的性能。

圖2 多尺度方法

1.2 基于法線的高度圖和法線圖網絡

接下來將介紹算法流程中的學習部分。網絡架構如圖1所示。首先，引入多尺度描述符，然后解釋如何將其輸入到接下來的兩階段學習模塊中，該模塊將輸出最終的法線。

1.2.1 多尺度描述符

神經網絡的輸入數據應該是結構化的，在Wang等人[29]的工作啟發下，通過組濾波法線加上局部高度圖和法線圖來定義其多尺度描述符，以協同提高學習效果。根據第4節中估計的法線，通過雙邊濾波計算每個點的濾波法線，并根據相應的濾波法線構造高度圖和法線圖。

高度圖構造：點 以及它的一個濾波法線定義一個切面，在該平面上構建高度圖面片。假設有格子的矩陣用來描述局部點的位置，每個格子中心位于 。與[10]類似，通過加權平均每個格子中心的球鄰域中的點的高度距離來填充每個格子。

法線圖構造：同高度圖構造類似，點 以及它的一個濾波法線定義一個切面，在該平面上構建法線圖面片。假設有格子的矩陣用來描述局部點的位置，每個格子中心位于 。通過加權平均每個格子中心的球鄰域中的點的次優法線來填充每個格子。

將所有濾波法線、高度圖面片和法線圖面片組合起來，得到每個點的多尺度描述符：

各向不變性：為了保持多尺度描述符的旋轉不變性，需要同時考慮法線不變性、高度圖面片和法線圖面片不變性。首先，對多尺度描述符的法線分量應用全局旋轉，使其對剛性變換保持不變。具體地說，通過 的每個濾波法線計算法線張量 來構造旋轉矩陣是由 的三個特征向量（按特征值排序）定義的矩陣，將 中的所有法線旋轉到Z軸。此外，如果一條法線在負Z軸方向，將其反轉為正，同樣的旋轉矩陣也應用于法線的真實值。對于多尺度描述符的高度圖面片和法線圖面片分量，其局部坐標系的Z軸也由矩陣 旋轉，X軸和Y軸由旋轉后的法線與兩個最小特征值對應的特征向量的叉積計算。

1.2.2 基于法線的高度圖和法線圖網絡架構

本文的網絡架構如圖1所示，它以濾波法線、高度圖和法線圖作為輸入。首先，應用文獻[29]中基于聚類的方法來促進學習。網絡由兩個模塊組成：基于高度圖面片和法線圖面片的改進模塊和收集模塊。其核心思想是利用高度圖面片和法線圖面片學習一個3×3變換矩陣，該矩陣用于利用輸入的法線并將兩個模塊連接在一起。然后，收集改進模塊的每個分支，并輸出最終的法線。

基于高度圖和法線圖的改進模塊：高度圖和法線圖作為整個網絡開始時的輸入。改進模塊包含與多尺度描述符中的對相對應的個獨立分支，每個分支接收單個高度圖面片和法線圖面片的鏈接，并使用多個卷積層和最大池化層對其進行處理，輸出矩陣 。該模塊的細節如圖3所示。輸出的矩陣作為轉換矩陣，將用于收集模塊。這種相同分支的設計是為了更好地保留與先前雙邊濾波器的可變參數相關聯的局部特征。

圖3 改進模塊

圖4 收集模塊

2 實驗與分析

本文使用[29]中的數據集進行訓練，提供了包含點樣本和法線合成的三角網格模型。訓練集的真實值點云共有21個模型，其中包括6個CAD模型、8個光滑模型和7個特征豐富的模型。對每一個真實值點云添加高斯噪聲來獲得噪聲點云，其標準偏差為包圍盒對角線長度的0.1%、0.2%和0.3%。最終的訓練集包含63個噪聲點云的150萬個點。

在構造多尺度描述符時，多尺度描述符包括9組法線、高度圖和法線圖，即在基于高度圖和法線圖的改進模塊中有9個獨立的分支。對于高度圖和法線圖的構造，使用7×7的網格，使用pytorch在單個NVIDIA Geforce RTX 2080 Ti GPU上訓練網絡。

為了能夠定量地評估，使用估計的法線和它們的真實值之間的平均角度誤差作為評估度量，用于法線精度比較。本文主要從文獻[29]和文獻[31]的合成網格模型測試集的數據來獲取基準數據。該數據集包括11個特征尖銳的模型、8個特征豐富的模型、8個表面光滑的模型和8個強噪聲的模型這4種類別，每個類別都包含具有挑戰性幾何特征和不同采樣密度的點云。為了擴充數據，特征尖銳和表面光滑類別中的每個點云都受到高斯噪聲的干擾，其標準偏差為包圍盒對角線長度的0.05%、0.1%和0.15%，對于特征豐富類別添加0.05%、0.1%、0.15%和0.2%的噪聲，對于強噪聲類別添加0.2%、0.3%、0.4%和0.5%的噪聲，最終基準數據集總共包含121個點云。將本文的方法在只用尺度面片選擇模塊與使用完整的網絡結構兩種情況與幾種最新的方法進行了比較：PCA[17]，HF[5]，LRR[32]，PCV[31]，HoughCNN[6]，PCPNet[15]和Nesti-Net[4]，并且用本文的數據集對HoughCNN、PCPNet和Nesti-Net進行了再訓練。其中HoughCNN有使用單尺度、3尺度和5尺度的三個版本，PCPNet有單尺度和多尺度兩個版本，本文對所有情況都進行了評估。比較上述方法時，對于特征尖銳、特征豐富和表面光滑三個類別中令單尺度方法的鄰近點的數量為K=100，HoughCNN的3尺度版本使用其原文推薦的50、100和200這3種鄰近點數量，HoughCNN的5尺度版本用K=32、64、128、256、512，本文的多尺度方法在多尺度面片選擇時將鄰近點的數量設置為K=50、100、150。對于強噪聲類別，將每種方法的對應鄰近點數量加倍，所有其他參數均按默認值設置。結果通過圖5中的條形圖說明，本文的方法在所有方面都優于其他方法，尤其在強噪聲模型上更為突出。

圖5 不同方法的誤差對比

本文的方法也在文獻[29]中用微軟Kinect v1掃描的真實點云數據集上進行了測試。在圖6中展示了彩色渲染后的法線估計的視覺效果比較。真實的掃描數據更加具有挑戰性，如來自于Kinect相機的投影表面上的起伏。非高斯噪聲和非連續噪聲干擾了估計器對真實面的恢復，通過訓練這些掃描數據，本文的網絡能夠從掃描噪聲獲取幾何特征。同時，如表1所示在法線精度方面，本文的方法優于所有其它方法。在表1中記錄了圖6和圖8中所有模型的誤差和時間數據，本文的方法的運行時間是包括所有步驟的總測試時間。

圖6 真實點云視覺效果比較

此外，本文還展示了文獻[27]提供的幾個真實掃描的室內場景的定性結果。用同一個數據集訓練所有網絡，以便進行公平比較，從圖7來看，PCA、HF、HoughCNN和PCV可以保留微小的細節，但是同時也會保留噪聲。Nesti-Net可以很好地平滑噪聲表面，但會過度平滑幾何特征。在表1中記錄了圖6和圖8中所有模型的誤差和時間數據，本文的方法的運行時間是包括所有步驟的總測試時間。

圖7 真實掃描的室內場景對比

本文進行消融實驗來驗證本文網絡的每個模塊的有效性，對所提出的學習方法與其另外三種變體進行了比較。方案1只訓練由次優法線構造高度圖和法線圖，并輸出變換矩陣來改善法線。方案2是在不使用收集模塊的情況下，對由濾波法線構造的高度圖和法線圖進行訓練。方案3只使用濾波法線構造高度圖和法線圖進行訓練。此外，還記錄了次優法線和平均濾波法線的誤差。表2總結了在合成數據上法線估計結果的總誤差。通過將濾波法線和局部結構信息相結合，本文提出的方法可以得到更可靠、更精確的結果。

表2 消融實驗結果

估計良好的法線可以提高許多點云處理任務的效果，如去噪和曲面重建。為了進一步驗證本文方法的優點，使用相同的點更新算法，但不同的法線估計方法來顯示去噪結果。圖8展示去噪和重建結果的視覺效果，可以看出本文的法線估計結果有助于產生更好的去噪和重建結果。

圖8 去噪和重建結果的視覺效果

3 結語

在本文中，針對次優法線估計問題，提出了一種多尺度擬合面片選擇方案；然后，對次優法線進行雙邊濾波得到濾波法線，用濾波法線及其構造高度圖和法線圖組成多尺度描述符；最后，設計了一種包括兩個不同學習模塊的基于法線的高度圖和法線圖網絡，用于進一步改進法線估計。本文的方法是幾何方法和基于學習的方法的結合，與其他方法相比取得了更好的結果。