基于空間可變形Transformer 的三維點云配準方法

謝帥康，熊風光，2，3*，朱新杰，宋寧棟，李文清，王廷鳳

（1.中北大學計算機科學與技術學院，山西 太原 030051；2.中北大學山西省視覺信息處理及智能機器人工程研究中心，山西 太原 030051；3.中北大學機器視覺與虛擬現實山西省重點實驗室，山西 太原 030051）

0 引言

點云配準是計算機視覺領域的重要問題，被廣泛應用于三維（3D）重建［1］、虛擬現實［2］、醫學成像［3］等領域。三維點云配準技術是將來自不同視角或傳感器的多個點云數據對齊并轉換到同一個坐標系下的過程。然而，由于噪聲、異常值、低重疊率等的影響，使得點云配準成為一個具有挑戰性的問題，因此實現高精度、強魯棒性的點云配準算法有著重要的研究意義和價值。

傳統迭代最近點（ICP）算法［4］是被廣泛使用的剛性點云配準算法，最小化源點云和目標點云之間點到點或平面的距離，交替更新源點云和目標點云間的對應關系和變換矩陣。然而，ICP 算法的主要缺陷是極易收斂到局部最優。為了解決該問題，YANG等［5］提出全局最優迭代最近點算法（Go-ICP），利用分支定界法緩解了ICP 存在的一些問題，但卻極大地降低了配準效率。

隨著計算機性能的不斷提高，基于深度學習的方法對傳統特征提取方式進行了改進。CHOY等［6］提出采用全卷積的特征提取網絡（FCGF），使用稀疏三維（3D）卷積緩解點云稀疏性的問題，然而對具有不同旋轉分布特點的點云進行配準時效果欠佳。因此，AO等［7］提出SpinNet，用于提取點云的旋轉不變特征，SpinNet 由空間點轉換器和特征提取器兩個模塊組成，使得網絡能夠學習具有較強魯棒性的局部空間特征，用于點云精配準。針對室內場景數據集，BAI等［8］提出D3Feat，D3Feat 是一種 包含核 點卷積（KPConv）［9］的網絡架構，將核點與其鄰域內的采樣點分組并提取局部幾何特征，采用一種新的關鍵點選擇方法和自監督的檢測損失函數，消除點云密度對關鍵點的影響。HUANG等［10］在D3Feat 的基礎上結合注意力機制［11］提出高度關注重疊區域的成對點云配準（PREDATOR）。交替使用自注意力和交叉注意力機制，并聚合輸入點云局部和全局信息，在3DMatch 場景數據集上表現出較高的配準精度。LI等［12］提出在可變場景中進行點云配準的方法（Lepard），使用具有自注意力和交叉注意力的Transformer 以及可微配準的思想構建網絡最終完成點云配準。

然而，這些基于深度學習的三維點云配準方法嚴重依賴于對應關系的準確性，要求特征提取器學習到的特征必須具備較好的表達能力，否則極易導致點對的誤匹配，影響配準精度，并且當存在對應點的局部鄰域在另一片點云中被遮擋等問題時也極易造成點對的誤匹配。此外，在低重疊、高噪聲、形狀變化等復雜情況下，這些方法也無法兼顧局部和全局的信息。

為了解決上述方法存在的點云有效信息提取不充分、在低重疊場景下配準困難等問題，本文基于深度學習技術，研究多級分辨率特征的提取與融合方法，并顯式地計算點云的局部空間關系，提出一種基于空間可變形Transformer（SDT）的三維點云配準方法。通過SDT 模塊來增強學習局部幾何特征的能力，利用在相似度矩陣邊緣構建松弛向量的方法，有效地降低了不可行匹配對配準算法魯棒性的影響。同時，根據預測的對應點空間特征是否一致來尋找點云在低重疊場景下更精確的對應關系，實現了一對一的硬匹配關系，獲得了更高的配準精度和更強的魯棒性。

1 點云配準網絡模型

本文提出的基于SDT 的三維點云配準方法的網絡模型主要由特征提取與空間關系計算、基于SDT的局部與全局特征加權聚合、重疊對應預測3 個模塊組成，如圖1 所示，彩色效果見《計算機工程》官網HTML 版，下同。對源點云X與目標點云Y進行下采樣，對下采樣點進行局部空間關系計算，同時通過共享權重的特征提取器學習提取點云特征，然后SDT模塊接收特征提取網絡學習到的特征以及局部空間關系，聚合點云內的局部自相關關系與點云間的空間結構關系，迭代n次，得到具有良好表達能力的特征圖。將高維特征圖進行矩陣運算得到的相似度矩陣進行邊緣松弛處理，使用Sinkhorn 算法［13］對矩陣歸一化并計算軟對應置信度矩陣，再經過匈牙利算法求解器［14］把特征的軟對應關系轉換為一對一的點對應關系，最后使用隨機抽樣一致性（RANSAC）［15］方法得到源點云X到目標點云Y的最終轉換關系。

圖1 三維點云配準網絡模型結構Fig.1 Structure of 3D point cloud registration network model

1.1 特征提取與空間關系計算

1.1.1 特征提取模塊

為了有效利用原始點云的輸入信息，特征提取模塊采用位置自適應卷積（PAConv）［16］結合殘差網絡（ResNet）［17］進行多級分辨率的特征提取和融合。與一般的卷積網絡不同，PAConv 通過動態組裝存儲在權重庫中的基本權重矩陣來構建卷積核，可以更好地處理不規則和無序的點云數據，從而提升模型配準性能。特征提取網絡結構如圖2所示。

圖2 特征提取網絡結構Fig.2 Feature extraction network structure

輸入點云可以表示為（NX，3）、（NY，3），其中，NX、NY分別為輸入源點云X、目標點云Y的個數，3 表示每個點的坐標維度。將原始點云輸入到特征提取網絡，經過多層ResBlockA（in，out）和ResBlockB（in，out，［strided］），其中，ResBlock 由Conv1D 卷積層、PAConv 卷積層、Layer-Norm 規范化層以及Leaky-ReLU 激活層組成，in 表示輸入的通道數，out 表示輸出的通道數，strided 為True 表示在執行PAConv 前需要對特征圖進行一次降采樣，使得N變為原來的1/4。為了保證輸入特征圖可以與卷積后的結果直接相加，此時會對Shortcut 執行MaxPooling 操作保證維度一致。在特征提取主干網絡中結合殘差連接，將多級分辨率的特征圖與卷積結果逐層相加達到多級特征融合的效果。最終得到點云的相關特征FX和FY，其特征 維度分別為（′，1 024）和（1 024），其中N′的大小為N的1/64。

1.1.2 局部空間關系計算模塊

對輸入點云進行3 個分辨率級別的下采樣，最粗級別的下采樣點可表示為。將下采樣得到的稀疏點云添加維度為（B，N′，3）并輸入空間關系計算模塊，依照文獻［18］在下采樣的點集內顯式地計算單片點云內的空間關系，包括點間距離ρi,j和空間夾角，并將稀疏點云的局部空間關系顯式地計算為點云的局部空間關系如圖3所示。

圖3 局部空間關系Fig.3 Local spatial relation

在圖3 中：pi和pj表示單片點云內的2 個點；pikn表示pi的第n個最近鄰點。首先，使用gD,i,j函數化兩點之間的距離關系，ρi,j表示pi和pj兩點在歐氏空間中的點間距離，σd是用來控制距離變化靈敏度的常量，一般設置為0.2，得到維度為（B，N′，N′，256）的距離關系，計算公式如下：

然后，使用gA,i,j,ik函數化三點之間的角度關系，表示pi和pj及其第n個最近鄰點在空間中的夾角，σa是用來控制角度變化靈敏度的常量，一般設置為0.2，得到維度為（B，N′，N′，3，256）的角度關系，計算公式如下：

其中：gD,i,j表示兩點之間的距離關系；gA,i,j,ik表示三點之間的角度關系；WD和WA分別是距離關系和角度關系的投影矩陣。

1.2 基于SDT 的局部與全局特征加權聚合

Transformer 利用對點云幾何結構信息的編解碼進行點云配準。然而，現有的配準模型通常只向Transformer 提供高維特征，導致學習到的特征辨識度不高，從而導致嚴重的異常匹配。為此，提出SDT模塊。它由一個用于增強特征表達能力的可變形自注意力模塊和一個用于傳遞點云間特征的特征交叉注意力模塊組成，顯式地接收空間關系計算模塊計算的空間結構關系和特征提取模塊提取的高維特征，并對其進行特征的加權聚合。為了提高計算效率，將主干網絡提取的特征由（N′，1 024）增加維度為（B，N′，1 024）并線性 投影到 較低維度的（B，N′，256），其中B表示輸入點云的批量大小。與局部空間關系模塊計算得到的維度為（B，N′，N′，256）的特征共同輸入SDT 模塊，計算特征的相關性與相應的注意力分數，獲得具有更強表達能力的特征矩陣。將這兩個注意力模塊交互n次，通過大量實驗取n=4以聚合點云局部與全局的特征，最終輸出點云的特征聚合矩陣，維度均為（N′，256）。

1.2.1 可變形自注意力模塊

最初的注意力機制用來描述輸入信息的自相關程度，利用查詢向量（Q）、鍵向量（K）、值向量（V）計算得到的注意力權重矩陣表示，通常根據Q、K的相對重要程度對V進行加權得到注意力矩陣，注意力機制的輸出矩陣一般表示如下：

其中：dk表示鍵向量的維度。

可變形注意力［19-20］機制在局部區域內動態地調整注意力權重以捕捉局部幾何特征，與傳統注意力機制不同，可以動態地調整感受野以更好地適應輸入點云的局部幾何形態。借鑒Swin Transformer V2［21］的思想，引入縮放余弦注意力［21］中的連續位置偏移（CPB）［21］技術，可以平滑地跨窗口傳輸分辨率，這是感受野得以動態調整的關鍵。由縮放余弦函數計算得到的注意力分數的計算公式如下：

其中：Bi,j是點i的查詢向量qi和點j的鍵向量kj之間的相對位置偏移；τ是一個值大于0.01 的可學習的標量，不在頭部和層之間共享。

SDT 模塊的核心是可變形自注意力模塊，它允許局部感受野內的點云特征相互交互，從而捕獲局部的幾何信息。具體來說，可變形注意力模塊利用CPB 中的空間變形偏移量Bi,j來提高模型對局部幾何信息的捕捉能力。Bi,j由以下公式定義，其中Gi,j在默認情況下是一個兩層MLP 之間夾一層ReLU 激活函數的小網絡：

可變形自注意力模塊接收上一模塊提供的高維特征與局部空間關系計算得到的局部關系特征，對高維特征輸入執行分組策略［22-23］，同時對局部空間特征進行柵格偏移采樣［24］得到傳統注意力機制中的Q、K、V以及局部空間關系表示G。對Q與K、Q與G分別做點積運算，再與空間變形偏移量Bi,j相加得到用ei,j表示的可變形注意力中的注意力分數：

其中：x表示輸入的特征矩陣；gi,j表示點i和j的局部空間關系向量；WQ、WK、WG分別是查詢向量、鍵向量和局部空間關系的投影矩陣；dt是輸入向量的維度；Bi,j是點i的查詢向量qi和點j的鍵向量kj之間的相對位置偏移。可變形自注意力計算過程如圖4所示。

圖4 可變形自注意力計算過程Fig.4 Process of deformable self-attention calculation

根據得到的注意力分數容易求得注意力權重矩陣進而得到注意力機制的輸出矩陣，輸出特征矩陣zi是所有投影輸入特征的加權和：

其中：x表示輸入的特征矩陣；ai,j表示對ei,j注意力得分逐行Softmax 計算得到的權重系數；WV表示值向量的投影矩陣。

可變形自注意力模塊將傳統的自注意力中的全局特征交互方式轉化為局部的特征交互，從而適應不同的點云幾何結構。首先，將一個輸入特征圖和一個偏移量預測作為輸入，偏移量預測由卷積層生成，每個節點值表示對應的特征點的偏移量。然后，通過對輸入特征圖進行插值和偏移相加來計算可變形注意力的輸出。通過可變形自注意力模塊使模型自適應地學習點云內的局部幾何空間信息，增強特征的表達能力，從而提高點對匹配精度。

1.2.2 特征交叉注意力模塊

在三維點云配準任務中的關鍵模塊是特征交叉注意力模塊［25］，用于交換點云間的全局特征。首先，給定源點云X、目標點云Y的自注意特征矩陣fX和fY，則可用ei,j表示fX和fY之間的特征相關性：

其中：WQ和WK分別是查詢向量Q和鍵向量K的投影矩陣。

接著，使用Y的自注意特征來計算源點云X相對于目標點云Y的交叉注意特征矩陣zX,i：

其中：ai,j是交叉注意力得分ei,j逐行Softmax 的結果。

最后，以相同的方式計算Y相對于X的交叉注意力特征，得到特征交互后更具魯棒性和判別性的特征表示。

1.3 重疊對應預測

當為某節點尋找對應點時，如果它的大部分鄰域區域在另一片點云中被遮擋或者沒有足夠多的重疊區域時，則認為這兩個點沒有完全匹配，被標記為不可行匹配點。不可行匹配會導致誤匹配結果被計算，從而導致點對應關系出錯，使得配準精度下降。針對該情況，對相似度矩陣進行改進，加入邊緣松弛塊，如圖5 所示。當節點間沒有完全匹配時，它們可以與相應的邊緣松弛塊進行匹配，從而降低其在概率分布計算中的權重，從而提高匹配精度和魯棒性。

圖5 邊緣松弛塊示意圖Fig.5 Schematic diagram of edge slack block

首先，重疊對應預測模塊接收源點云與目標點云的聚合特征矩陣，并使用雙線性插值法［26］將兩個特征矩陣的維度對齊，兩個聚合特征矩陣的維度變為，將轉置，然后直接計算兩者的余弦相似度矩陣P，計算得到的P為一個方陣。這時需要將源點云的聚合特征矩陣映射到目標點云的聚合特征矩陣中，且需要最小化映射的總成本。為了解決這個問題，為相似度矩陣添加邊緣松弛塊，并使用Sinkhorn［13］方法，該方法將相似度矩陣歸一化并轉化為一個軟對應的置信度矩陣，計算公式如下：

其中：P為初始的相似度矩陣；C是一個由相似度矩陣轉換而來的常數矩陣，可表示為C=-loga(P)，較高的相似度值對應C中較低的元素值，使映射總成本達到最小；ε是一個超參數。

最后，使用RANSAC 剛性變換求解器迭代計算變換矩陣，得到點云的最終轉換關系。

1.4 損失函數

受到用于部分點云配準的新型不確定性感知重疊預測網絡（UTOPIC）［27］的啟發，采用一個用真實對應關系作為監督的損失函數，在α平衡交叉熵損失［28］的基礎上進行改進，使用軟對應置信度矩陣與真值對應矩陣之間的焦點損失［28］來訓練本文模型。α平衡交叉熵損失的計算公式如下：

其中：pt表示軟對應置信度矩陣；α是解決對應關系不平衡的平衡因子，α?[0,1]用于正確的對應，1-α用于不正確的對應。

在α平衡交叉熵損失的基礎上，增加調制因子(1-pt)γ得到正確對應的焦點損失Lα、不正確對應的焦點損失以及模型的焦點損失L，分別如式（13）、式（14）、式（15）所示：

其中：N和M分別表示源點云X和目標點云Y經過下采樣后的點數；Lα(pt)表示正確對應的焦點損失；(pt)表示不正確對應的焦點損失。

針對3DMatch 和3DLoMatch 場景數據的配準困難問題，采用文獻［28］的參數設置，將α和γ設置為α=0.25和γ=2。

2 實驗結果與分析

2.1 實驗數據集與參數設置

使用公開的3DMatch 和ModelNet40 數據集作為實驗數據集。3DMatch 數據集包含62 個場景，使用其中46 個用于訓練、8 個用于驗證、8 個用于測試；ModelNet40 數據集包含來自40 個不同類別的計算機輔助設計（CAD）模型，使用前20 個類別進行訓練和驗證，使用后20 個類別進行測試。在實驗中，將3DMatch 場景數據中重疊率低于30%的數據作為3DLoMatch 低重疊數據，將ModelNet40 數據中平均重疊率低于53.6%的數據作為ModelLoNet40 低重疊數據，用來測試所提方法在低重疊場景下的效果。為了保證實驗的公正性，使用相同的訓練參數。在訓練期間，使用AdamW 優化器進行優化，初始學習率設置為0.000 1，并使用學習率衰減來降低學習率，并運行40 個epoch 使模型完成收斂。模型使用PyTorch 框架在一臺擁有NVIDIA GeForce RTX 3090 GPU 的服務器上進行訓練和測試。

2.2 模型評估指標

在3DMatch 和ModelNet40 數據集上進行評估，將訓練結果直接泛化到低重疊率的3DLoMatch 和ModelLoNet40 數據集上進行測試，并與PREDATOR［10］等方法進行比較。使用文獻［10］中的3 個指標來評估配準方法在3DMatch 數據集上的性能：1）特征匹配召回率（FMR），衡量特征描述能力；2）內點比率（IR），衡量對應關系的正確率；3）配準召回率（RR），衡量最終配準性能，即配準算法可以正確匹配的點對占比。使用文獻［10］中的相對旋轉誤差（RRE）、相對平移誤差（RTE）以及倒角距離（CD）來評估模型在ModelNet40 數據集上的性能。

2.3 消融實驗

為了探究所提方法的不同組件對配準結果的影響，在3DMatch 數據集上進行消融實驗，結果如表1所示，其中最優指標值用加粗字體標示，下同。具體而言，分別測試了SDT 模塊和邊緣松弛塊對最終配準結果的影響。

表1 消融實驗結果Table 1 Results of ablation experiment %

1）Self-Attention-Based/no-Slack：在提取多級分辨率特征后，使用原始的Self-Attention 來代替SDT模塊中的Deformable Self-Attention，在得到特征聚合矩陣FˉX和FˉY并計算相似度矩陣之后，不使用邊緣松弛塊處理矩陣，其他的網絡結構不變。

2）Self-Attention-Based/Slack：使用原始的Self-Attention 來代替SDT 模塊中的Deformable Self-Attention 并為相似度矩陣添加邊緣松弛塊，其他的網絡結構不變。

3）Deform-Self-Attention-Based/no-Slack：使用邊緣松弛塊處理相似度矩陣中的不可行匹配問題，其他的網絡結構與所提方法保持一致。

4）所提方法：使用基于SDT 模塊的配準方法進行實驗。

由表1 可以看出，所提方法對于低重疊場景下剛性變換求解非常重要，其中SDT 模塊中的Deformable Self-Attention 對結果影響最大，對3DLoMatch 低重疊場景下的FMR 和RR 的提升約為3 個百分點。雖然邊緣松弛塊對結果的影響相對較小，但也對IR 和RR 的提高有一定貢獻。

2.4 對比實驗

不同方法的特征匹配召回率、內點比率以及配準召回率對比如表2 所示。由表2 可以看出，相較于FCGF［6］、D3Feat［8］、PREDATOR［10］、CoFiNet［29］等目前較先進的配準方法，所提方法在3DLoMatch 低重疊場景下的FMR、IR 和RR 均有所提高。除在3DMatch 數據集下的FMR 與IR 指標略低以外，所提方法的其他指標均較高，在3DLoMatch 數據集上FMR 比其他方法至少高出3.7 個百分點，IR 至少高出2.2 個百分點，RR 至少高出3.9 個百分點。這表明所提方法在處理低重疊數據時具有較好的魯棒性和精度。所提方法與PREDATOR 方法在3DMatch 和3DLoMatch 數據集下的配準結果對比如圖6 所示。

表2 不同方法的特征匹配召回率、內點比率以及配準召回率對比Table 2 Comparison of feature matching recall，inlier ratio，and registration recall of different methods %

圖6 3DMatch 和3DLoMatch 數據集下的配準結果Fig.6 Registration results under 3DMatch and 3DLoMatch datasets

由于3DMatch 和3DLoMatch 的8 個不同的測試場景數據的結構存在差異，因此使得所提方法在不同場景下得到的特征也不同。表3 和表4 分別展示了不同方法在3DMatch 和3DLoMatch 的8 個測試場景中的RR 對比結果。結合表2～表4 的實驗結果表明，所提方法在低重疊場景中配準效果較優。當兩片點云的重疊區域低于30%時將其配準較困難，例如PREDATOR 方法在3DLoMatch 場景下的FMR 僅有77.9%，不能得到更好的特征表示，進而不能很好地計算點云間的轉換關系，使得配準結果存在較大誤差。所提方法在傳統注意力機制的基礎上加入了局部感受野內點云特征的交互，從而捕獲更獨特的幾何信息，使特征得到更好的表達，在尋找兩片點云的特征相似度時加入了邊緣松弛塊，有效解決了配準中存在的不可行匹配問題，在3DLoMatch 的8 個測試場景中所提方法的FMR 仍能達到86.8%，在重疊區域低于30%的情況下依然能很好地完成配準。

表3 不同方法在3DMatch 測試場景下的配準召回率對比Table 3 Comparison of registration recall of different methods under 3DMatch testing scenarios %

表4 不同方法在3DLoMatch 測試場景下的配準召回率對比Table 4 Comparison of registration recall of different methods under 3DLoMatch testing scenarios %

為了驗證所提方法在不同采樣點數量（s）下的魯棒性，同時對比其他方法在接收相同采樣點數量的情況下的性能，通過逐漸減少提供給模型的采樣點數量并對其結果進行分析，實驗結果如表5 所示。由表5 可以看出，除在3DMatch 數據集下提供1 000 個采樣點時PREDATOR 方法的配準召回率略高于所提方法以外，在其他各種情況下所提方法的性能均優于其他方法。可見，所提方法在接收不同采樣點數量時均具有較好的魯棒性。

表5 不同方法在不同采樣點數量下的配準召回率對比Table 5 Comparison of registration recall of different methods under different number of sampling points %

為了進一步驗證所提方法的泛化能力，使用ModelNet40 數據集的前20 個類別對模型進行訓練，使用其他20 個類別進行測試，將訓練好的模型直接泛化到低重疊場景數據集上進行測試，并與PREDATOR［10］、REGTR［25］、DCP-v2［30］、RPM-Net［31］等方法進行對比，實驗結果如表6 所示。由表6 可以看出，所提方法在ModelNet40 數據集下的性能略低于REGTR 方法，但所提方法相比于其他方法性能更優。由圖7 可以看出，所提方法在ModelNet40數據集下的泛化能力明顯優于PREDATOR 方法，且在ModelLoNet40 低重疊場景下的配準效果更優。

表6 對象類別未知的點云配準實驗Table 6 Point cloud registration experiment with unknown object category

圖7 ModelNet40 和ModelLoNet40 數據集下的配準結果Fig.7 Registration results under ModelNet40 and ModelLoNet40 datasets

3 結束語

本文提出一種基于空間可變形Transformer 的三維點云配準方法，計算局部空間關系并提取多級分辨率的特征，設計一個SDT 模塊來增強點云空間特征的表達能力，并利用在相似度矩陣邊緣添加松弛塊的方法降低了不可行匹配對配準魯棒性的影響。在3DMatch 和ModelNet40 數據集上的大量實驗結果表明，所提方法在解決低重疊場景下的點云配準問題方面具有較高的精度及較強的魯棒性和實際應用價值。但由于模型同時使用了SDT 模塊和RANSAC 方法，導致訓練和計算耗時較長，后續將進一步探索更加有效的特征提取與聚合方法提升模型效率，并將所提方法應用于更加復雜的場景，擴展其使用范圍。