ASIS模塊支持下融合注意力機制KNN的點云實例分割算法

項學泳，王力，宗文鵬，李廣云

(1.信息工程大學 地理空間信息學院，河南 鄭州 450001；2.地理信息工程國家重點實驗室，陜西 西安 710054)

點云實例分割是一種比點云語義分割[1]和點云目標檢測[2]更復雜的任務，它能在點級別上切分出場景中的每一個目標物以及它們所屬的語義類別[3]，而語義分割對同一類別的物體不可再分，目標檢測僅僅輸出目標框的參數，對于目標框內的點無法區分類別.對于點云實例分割結果簡單分析可以獲得目標物的位置、尺寸、表面形態等信息，在智慧城市、遙感信息提取與無人系統智能駕駛等科學與工程研究中發揮著重要的作用[4-5].

在深度學習領域，點云實例分割算法可分為區域提議算法[6-7]和無區域提議算法[8-13]2大類.區域提議算法通過目標檢測網絡獲取實例候選區域，再通過掩碼分割去除背景點[3]得到實例標簽.這類算法通常具有較高的精度，由于融合了提案生成網絡與掩碼分割網絡，往往需要通過多階段訓練，實現過程較為復雜.相比而言，無區域提議算法將實例分割問題轉換為嵌入空間的聚類問題，實現過程相對簡單，并且不存在因候選區域重疊帶來分類模糊的問題，因此具有較好的應用前景.

相關學者對無區域提議的實例分割算法開展了廣泛研究.Wang等[8]通過學習點特征，并依據特征計算點間相似度，將相似度接近的點進行合并，獲得實例分割結果；Wang等[9]提出點云語義與實例空間的關聯模塊，將語義、實例特征空間加以關聯實現二者的聯合分割；Pham等[10]以改進的PointNet[14]作為主干網絡提取語義特征與實例嵌入，通過多值條件隨機場與變分推斷法優化模型以獲得語義與實例分割結果.不同于語義分割關注于局部幾何特征的提取，點云實例分割更加注重全局特征的提取[12]，而以上述文獻為代表的算法均以塊狀點云作為輸入，在一定程度上“割裂”場景中的全局特征.此外，跨越不同塊的實例需要額外的后處理算法[8]進行合并，影響模型的運算效率.Lahoud等[11]以整個場景的體素作為輸入，通過3D稀疏卷積[15-16]提取點的語義特征、實例嵌入與方向特征并加以組合實現實例分割；Du等[12]基于3D 語義分割網絡建立多尺度結構實現實例分割；Pan等[13]將語義類別的體素分割結果投影為圖像并輸入2D實例分割網絡，再將實例分割結果投影至點云空間.上述方法未對體素深入處理，導致分割結果離散化.相關研究表明，點云的語義與實例特征空間有一定相關性，對語義特征與實例特征進行關聯具有重要意義[9-10].

基于上述分析，本研究采用子流形稀疏卷積網絡作為主干網絡，在提取點特征的同時保留場景的全局信息，為了克服提取到的特征離散化問題，提出具有注意力機制的KNN（k-nearest neighbors）模塊[17-18].對于Wang等[9]提出的ASIS（associatively segmenting instances and semantics）模塊加以改進，實現語義與實例特征空間相互關聯與優勢互補，以增強點之間的區分度，進一步改善模型分割結果.

1 研究方法

1.1 模型架構

提出的ASIS模塊支持下融合注意力機制的點云實例分割模型由圖1所示.可以看出，網絡整體結構由1個主干網絡和2個分支網絡構成.將維度為N×6 點云輸入至主干網絡，N為點個數.主干網絡用于提取逐點特征，輸出的點特征維度為F.一個分支網絡進行語義標簽預測，另一個分支網絡生成實例分割結果.主干網絡采用3D子流形稀疏卷積網絡，該網絡可在提取點云場景全局特征的前提下，有效克服傳統3D卷積的高計算量問題，之后將提取到的逐點特征輸入至語義分割與實例分割2個分支網絡，并通過提出具有注意力機制的KNN模塊對特征進行聚合操作，分別得到維度為F1的語義特征和維度為F2的實例特征.并利用改進的ASIS模塊做進一步的處理，最終語義分支網絡輸出N×C的特征向量，其中C為點云語義類別數，實例分支網絡輸出N×E的實例嵌入.其中E為實例嵌入的維度.

圖1 所提模型整體結構Fig.1 Overall architecture of proposed network

在訓練過程中，語義分割通過傳統的交叉熵損失函數獲取損失值進行監督訓練，實例分割基于度量學習的原理進行訓練.度量學習理論最早出現在圖像實例分割[19-20]算法中，基本思想是對于同一個實例內的點，默認屬性相近，點特征向量之間的差異應當盡量小；屬于不同實例的點，默認屬性不同，點特征向量之間的差異應較大.制定基于度量學習損失函數為

式中：LA為實例內損失函數，表示同一實例的點應相互靠近；LB為實例間的損失函數，表示不同實例的幾何中心應當保持一定的距離.

在測試過程中，實例分支網絡輸出預測的實例嵌入值，通過mean-shift算法[21]對實例嵌入進行聚類獲取每個實例.實例的語義類別由該實例內點數占主導的語義標簽所決定.

1.2 具有注意力機制的KNN模塊

主干網絡為3D子流形稀疏卷積網絡，雖然可以提取全局特征、緩解傳統3D-CNN的高計算量的問題，與其他3D-CNN相同，輸出的仍是體素特征，即每個體素內的點的特征向量相同.在現實場景中，地物的分布是連續的，因此包括3D子流形稀疏卷積網絡在內的所有3D-CNN普遍會存在特征分布不連續的問題.

解決該問題的核心在于體素內部的點特征要有區分度，為了達到這一目的須從2個方面考慮：1）算法需要在點級別進行操作才可以改善這一問題，通過一般KNN算法直接以鄰居點的特征求均值并與原中心點特征合并，作為新的中心點特征；2）在上一條件的基礎上，中心點與鄰居點的語義、實例類別可能不同，直接聚合會給中心點特征帶來負面影響.從文獻[17]、[18]引入具有注意力機制的KNN模型，該模型依據中心點特征與鄰居點特征的相關度計算關聯度值，再將每個中心點-鄰域點點對的關聯度值和鄰域點特征值做加權求和，最后將加權求和的特征與原中心點特征合并作為新的中心點特征：

一般情況 患者，男，49歲，頭暈伴記憶力減退7個月。在我院行CT及磁共振成像檢查，發現右側額部腫瘤性病變，并行手術切除治療。

式中：f′為新的中心點特征；f為原中心點特征；fi為鄰居點特征；w?i為權重，表述了中心點與鄰域點之間的關聯度.

式中：F C采用全連接神經網絡[22]，并利用softmax函數[23]對計算的權值做歸一化處理，以使聚合后的中心點特征統計分布更加合理.

在實驗過程中，僅僅以中心點和鄰域點的特征向量作為輸入計算式（3）中權值仍不能得到準確的關聯度.通過觀察，物體在體素中的分布存在4種情況：1）同一物體處在同一體素內；2）同一物體處在不同體素內；3）不同物體處在不同體素內；4）不同物體處在同一體素內.對應的分布狀態分別如圖2的所標注數字1、2、3、4所示.在情況4中，當中心點與鄰域點處同一體素內，由主干網絡計算出2個點特征相同.通過式（3）計算，可得兩點之間具有強相互關系，但兩點屬于不同物體，情況2同理.針對該問題，在點特征的基礎上，額外加入原始點坐標、顏色信息作為全連接網絡的輸入.在現實環境中，任一物體都有特定的空間位置、幾何結構與顏色，以此獲取更為合理的中心點與鄰域點的相聯關系.

圖2 具有注意力機制的KNN模型Fig.2 KNN model with attention mechanism

1.3 改進后的ASIS模塊

從語義分割與實例分割概念出發不難得出，屬于不同語義類別的點必然不屬于同一實例，而屬于同一實例的點則必然屬于同一語義類別，說明語義分割與實例分割2種任務間存在一定關聯性.為了利用這種關聯性，文獻[9]提出ASIS模塊，該模塊分為2個部分：第1部分利用全連接神經網絡將語義特征的維度轉換至與實例特征維度一致，并將轉換后的語義特征嵌入至實例特征；第2部分首先對實例空間每個點建立鄰域，然后選定一個實例半徑閾值，對鄰域點與中心點間距小于閾值的鄰域點做最大池化，最后將池化后的特征嵌入至語義特征中，從而完成語義分割與實例分割的任務交互.

本研究對ASIS進行改進，首先將ASIS模塊第1部分的全連接神經網絡改為1×1卷積操作[24]，以實現參數共享從而降低網絡參數的數量.網絡參數的減少降低了網絡的復雜度，使得網絡更加容易訓練，并且減少了模型欠擬合和過擬合的風險.針對ASIS模塊的第2部分，利用空間注意力模塊進行替換，對鄰域內的所有點分別執行最大池化與平均池化操作[25].平均池化可以有效保留點云細節信息的同時，最大池化能夠增強點間區分度，從而改善分割效果；將2個池化操作后的特征進行組合，再利用卷積神經網絡處理；將得到的特征并入語義空間.空間注意力機制在訓練過程中，通過調節模型參數，有效剔除實例外的點，這種處理方式規避了原ASIS模塊中判斷鄰域點是否為實例內的點時間過長的問題，流程如圖3所示.

圖3 ASIS模塊和改進后的ASIS模塊Fig.3 ASIS module and improved ASIS module

2 實驗結果與分析

2.1 實驗環境與細節

實驗的運行環境為Intel Core i910980xe，主頻為3.0 GHz，18cores；緩存為RAM 128GB；GPU顯卡為單張NVIDIA GeForce RTX 2080ti.操作系統為Linux下Ubuntu16.04；深度學習框架為Pytorch1.5.與現有主流模型相同，體素尺寸設置為2 cm；主干網絡的框架采用ResNet，并且使用與文獻[18]相同的稀疏卷積及對應的池化、批量歸一化操作，分支網絡中具有注意力機制的KNN鄰域點數目設置為16；網絡整體采用隨機梯度下降法（stochastic gradient descent，SGD）函數進行優化，學習率設置為0.001，動量值設置為0.9，權值衰減設置為0.0002；mean-shift算法中核函數的帶寬設置為1.0.

2.2 實驗數據與評價標準

為了全面定量地評價所提模型的有效性，針對實例分割，引入平均實例覆蓋率（mean coverage,mCov）、平均加權實例覆蓋率（mean weighted coverage, mWCov）、平均精確率（mean precision,mPrec）、平均召回率（mean recall, mRec）作為評價指標[27-29].其中，mCov為所有實例IoU的均值，mWCov為每個實例IOU乘以與其對應真值點數在總實例真值點數的比重，計算式為

式中：G和P分別為所有實例預測值與真值的集合，g和p分別為某一實例真值與預測值的點集合，| · |為集合中元素的數量，m ax(·)為最大值函數，I oU(·)為某一實例預測值與真值的交并比.

mPrec、mRec分別為精確率和召回率的平均值，對于某一個實例，精確率（PR）和召回率（RE）的計算式為

式中：TP、TN、FP、FN分別為場景中某一實例的真陽例、真陰例、假陽例、假陰例中所包含的點個數，真陽例交并比的閾值為0.5.

針對語義分割，引入總體精度（over-all accuracy, OAcc）、平均交并比（mean intersection over union, mIoU）作為評價指標：

式中： T Pi、F Pi、F Ni分別為第i語義類別的真陽例、假陽例、假陰例中所包含的點個數，n為場景中總的語義類別數.

2.3 消融實驗

以S3DIS數據集下的area 1～4、area 6作為訓練集，由于area 5點云數據采集自單獨的建筑物，建筑樣式以及內部布局與其他區域均有明顯差異，因此以area 5作為驗證集，這樣劃分可以進一步檢驗模型的泛化能力.

2.3.1 具有注意力機制的KNN模塊有效性及效率

為了驗證具有注意力機制的KNN模塊的有效性以及效率，在基準模型中加入具有注意力機制的KNN模塊.基準模型表示該模型既不加入注意力機制的KNN，也不加入ASIS模塊.將3D子流形稀疏卷積網絡輸出結果，再輸入至3層卷積網絡和1層全連接網絡進行處理.對2個模型進行充分訓練并在測試集上進行測試，記錄2個模型在驗證集上的整體分割效果，結果如表1所示.從表1看出，加入具有注意力機制的KNN模塊的網絡在4個標準均有顯著提升，mCoV、mWCoV、mPrec、mRec分別提升了1.5%、1.2%、1.4%、1.3%，說明具有注意力機制的KNN模塊在一定程度上改善了3D卷積網絡輸出結果離散化的問題.記錄基準模型和具有注意力機制的KNN模型在數據集中，每個場景的平均處理耗時分別為142.5和146.7 ms.相比于基準模型，具有注意力機制的KNN模塊單個場景的處理時間增加了4.2 ms.在S3DIS數據集中，每個場景的點數均在十萬級別，處理時間對于大多數實際應用仍處于可接受范圍之內，因此具有注意力機制的KNN模塊在提升分割效果的同時，并未帶來過多的時間消耗.

表1 具有注意力機制的KNN對實例分割結果的影響Tab.1 Effect of KNN with attention mechanism on instance segmentation results %

對具有注意力機制的KNN模塊中鄰域點數量對分割結果的影響進行分析，結果如圖4所示.在進行6組實驗中，從整體變化趨勢不難看出，當鄰域點數目為16時，模型在4個衡量標準(MI)上取得了最佳結果.

圖4 鄰域點數量對模型實例分割結果的影響Fig.4 Influence of number of neighborhood points on segmentation results of proposed model

2.3.2 改進后ASIS模塊的有效性及效率 對于改進后ASIS模塊的有效性進行驗證，并記錄2組實驗在驗證集單場景分割效果，結果如表2所示.由表2可知，將ASIS模塊加入所提模型，模型分割有著較為明顯改善，在4個衡量標準上相較于基準模型提升了0.7% ～1.2%.在基準模型的基礎上，加入改進后的ASIS模塊后，改善效果相較于ASIS模塊進一步提升.在4個衡量指標上，比ASIS模塊高出1.0%～1.6%.改進后的ASIS模塊中1*1卷積網絡相較于原ASIS模塊中的全連接網絡具有更少的參數，因此模型也更容易優化.此外，平均池化的應用也保留了實例分割所需的細節信息.記錄基準模型、ASIS模型以及改進后的ASIS模型在數據集中每個場景的平均處理耗時分別為142.5、158.7和146.3 ms.基于改進后ASIS模塊的模型單場景處理耗時比基于ASIS模塊的模型減少了12.4 ms.綜上，加入改進后的ASIS模塊的模型相比于基于ASIS模塊的模型分割效果有一定改善，但是處理時間并沒有增加，從而驗證了改進后的ASIS模塊中1 *1卷積以及空間注意力模塊的有效性和效率.

表2 改進后ASIS模塊對實例分割結果的影響Tab.2 Impact of improved ASIS module on segmentation results %

2.4 所提模型與其他算法分割結果對比

為了直觀體現所提模型的實例與語義分割結果，采用6-fold交叉驗證方式[14]、S3DIS數據集包含area1-area 6共6個區域，每次選擇其中的5個區域作為訓練集，另一個作為測試集，共進行6次實驗.圖5對輸入值、分割結果以及真值（ground truth，GT）進行展示.由于S3DIS數據集多為封閉式場景，為了更好地展示房間內部的分割細節，圖5展示的場景去掉了部分墻壁和天花板.

圖5 所提模型在S3DIS數據集上實驗結果Fig.5 Qualitative results of proposed module on S3DIS dataset

由圖5可以看出，當室內環境較為簡單時，物體分割邊界較為清晰，在視覺感受上較為良好.當室內環境復雜時，部分物體出現明顯的錯分現象，物體內部同時出現一定量的雜點.為了進一步定量地評價所提模型，采用6-fold交叉驗證方式，實例分割結果與語義分割結果分別如表3、4所示.

表3 所提模型與現有模型在S3DIS數據集上實例分割結果Tab.3 Instance segmentation results of proposed model and some existing models on S3DIS dataset %

由表3可知，在實例分割上，SGPN算法構造相似矩陣消耗了過多內存.在訓練過程中，只能以小批量塊狀點云作為輸入，在一定程度上丟失了全局特征.SGPN算法主干網絡采用PointNet.由于PointNet自身特征提取能力有限，在幾種對比算法中，SGPN算法在4個衡量指標上最低.ASIS主干網絡采用PointNet++.在分割結果上，相對于SGPN算法有較大的改善，這從側面反映出，選擇合適的主干網絡較為重要.所提模型在整體表現上相較于ASIS有一定的提升，在各指標上提升了1.6% ～5.3%.BoNet作為一種區域提議算法，通常比非區域提議算法有著更高的精度.本研究結果在平均召回率上仍分別高于BoNet 5.2%.由表4可知，在語義分割上，所提模型相較于PointNet、PointNet++等主流網絡，在平均交并比以及總體精度上明顯提升.在mIoU和OAcc上，所提模型分別高于PointNet++ 7.2%和7.1%，并且同時優于SGPN、3D-Bevis、ASIS主流實例分割算法下的語義分割結果.

表4 所提模型與現有模型在S3DIS數據集上語義分割結果Tab.4 Semantic segmentation results of proposed model and some existing models on S3DIS dataset %

3 結論

對室內點云數據的實例分割技術進行研究，以子流形稀疏卷積為基礎，建立主干網絡提取點特征，通過具有注意力機制KNN模塊和改進后的ASIS模塊的進一步處理最終輸出語義與實例分割結果.主要得出結論如下.1）具有注意力機制的KNN算法能夠緩解子流形稀疏卷積給分割結果帶來的量化誤差，但是在處理時間上有所增加.2）改進后的ASIS模塊在效果與效率上，均取得了比ASIS更好的結果，說明改進后的ASIS模塊能夠更好地利用語義分割任務與實例分割任務的互補性.3）點云實例分割尚屬比較新的研究課題，在未來仍有較大的探索空間.本研究在訓練過程中所基于的度量學習思想仍繼承于圖像處理領域，而如何充分利用點云所固有幾何信息對損失函數重新設計是未來的研究工作之一.