基于孿生自適應圖卷積算法的點云分類與分割

李維剛，陳婷，田志強

基于孿生自適應圖卷積算法的點云分類與分割

李維剛1，2，陳婷1*，田志強1

（1.武漢科技大學 信息科學與工程學院，武漢 430081； 2.武漢科技大學 冶金自動化與檢測技術教育部工程研究中心，武漢 430081）（ ? 通信作者電子郵箱chenting_myself@163.com）

點云數據具有稀疏性、不規則性和置換不變性，缺乏拓撲信息，導致它的特征難以被提取，為此，提出一種孿生自適應圖卷積算法（SAGCA）進行點云分類與分割。首先，構建特征關系圖挖掘不規則、稀疏點云特征間的拓撲關系；其次，引入共享卷積學習權重的孿生構圖思想，保證點云的置換不變性，使拓撲關系表達更準確；最后，采用整體、局部兩種結合方式，將SAGCA與各種處理點云數據的深度學習網絡相結合，增強網絡的特征提取能力。分別在ScanObjectNN、ShapeNetPart和S3DIS數據集上進行分類、對象部件分割和場景語義分割實驗的結果表明，相較于PointNet++基準網絡，基于同樣的數據集和評價標準，SAGCA分類實驗的類別平均準確率（mAcc）提高了2.80個百分點，對象部件分割實驗的總體類別平均交并比（IoU）提高了2.31個百分點，場景語義分割實驗的類別平均交并比（mIoU）提高了2.40個百分點，說明SAGCA能有效增強網絡的特征提取能力，適用于多種點云分類分割任務。

點云數據；拓撲關系；孿生；自適應圖卷積；分類；分割

0 引言

隨著激光雷達、深度相機等掃描設備的普及與發展［1］，獲取3D點云數據越來越便捷，分析和處理3D點云數據可以幫助計算機更好地理解真實世界［2］，在機器人、虛擬現實、自動駕駛、智慧城市等應用領域［3-4］具有十分重要的研究價值。近年來，隨著深度學習技術的不斷發展，基于深度學習的3D點云數據處理方法越來越流行，在分類［5-8］、對象部件分割［9-11］和場景語義分割［12-13］等任務上均取得了不錯的進展。

基于深度學習的點云數據處理方法大致分為三種，分別為基于體素、基于多視圖與基于點的方法。2018年Zhou等［14］提出了基于體素的VoxelNet，通過將3D點云劃分為體素后進行處理；然而轉換后的數據離散運算量較大，分辨率偏低，導致計算復雜度高、內存開銷大等問題。2022年Sheshappanavar等［15］提出了基于多視圖的MVTN（Multi-View Transformation Network）+SimpleView++，使用鄰域投影和對象投影來學習更細小的結構信息；然而將點云投影得到多視圖圖像的過程中易丟失一些真實點云對象的相對位置信息，存在幾何信息丟失的問題。Qi等［16］首次提出了基于點的PointNet，直接使用不規則的點云數據作為輸入，能保持點云的結構完好無損，打破了以上兩種方法的局限性，為后續基于點的點云處理研究提供了理論支撐。在此基礎上，Qi等［17］又提出層次網絡PointNet++，將3D點云劃分為多組鄰域，再逐層提取點云的局部信息，解決了PointNet無法提取局部特征的問題，但未充分獲取局部特征。為了更好地提取局部特征，DGCNN（Dynamic Graph Convolutional Neural Network）［18］采用了一種新穎的EdgeConv算法，通過聚合每個點及其個鄰域點的特征來提取局部特征，側重于學習采樣中心點與其鄰域點間的特征關系，但忽略了鄰域點相互結構特征的學習。雖然上述網絡在點云的分類、分割任務上都取得了不錯的成績，但它們均忽略了以下兩種潛在的拓撲關系，進而限制了它們提取點云有效特征的能力：1）忽略了鄰域內點間的拓撲關系，缺乏對局部上下文信息的充分探索；2）忽略了鄰域與鄰域間的拓撲關系，對整體鄰域間關系的把握也不夠充分。針對這些問題，本文的主要工作如下：

1）提出自適應圖卷積算法（Adaptive Graph Convolutional Algorithm， AGCA），通過構圖，將稀疏、不規則點云數據的點與點相互連接起來，用圖結構表示點云間潛在的拓撲關系，解決稀疏性導致的信息丟失以及不規則性帶來的特征提取困難問題；

2）引入共享卷積學習權重的孿生構圖思想，保證點云的置換不變性，提出了一種新的孿生自適應圖卷積算法（Siamese Adaptive Graph Convolutional Algorithm， SAGCA），確保特征關系圖的對稱性，更準確地表達點云數據特征間的拓撲關系，消除不考慮點云置換不變性對特征提取帶來的不良影響；

3）采用局部、整體兩種結合方式，將SAGCA與現有基于點的深度學習網絡相結合，深入挖掘上述忽略的兩種拓撲關系，從而增強網絡的特征提取能力，以便更好地完成點云分類、對象部件分割以及場景語義分割任務。

1 相關工作

1.1　基于點的點云處理方法

近些年，越來越多的深度學習網絡嘗試基于點直接處理3D點云，其中最具代表性的是PointNet++，通過下采樣和分組將點云數據劃分為多組鄰域，再遞歸處理每組鄰域，并簡單地使用最大池化層聚合本地特征；然而，它在局部鄰域內單獨處理每個點，因此沒有充分探討點與點之間的拓撲關系。Qian等［19］在2022年重新審視PointNet++后，提出了一種新的點云訓練框架，即將PointNet++與Transformer［20］相結合，提出了PointNeXt，有效提升了網絡的性能。但是，Transformer的引入會產生巨大的計算負荷，對設備要求極高，為了避免超大的計算負荷，同年Ran等［21］提出了RepSurf網絡，使用三角面和傘面構建一種新的點云表示方法，在有效簡化計算過程的同時，增強了網絡的表征提取能力。然而，以上方法仍沒有充分挖掘點云數據特征間潛在的拓撲關系，筆者認為：構建點云特征間的拓撲關系是解決難以提取點云有效特征問題的關鍵。

1.2　圖卷積神經網絡

對于無序不規則的數據，傳統的卷積神經網絡（Convolutional Neural Network， CNN）難以構建數據間的拓撲關系，但不規則數據仍存在許多潛在的關系，且大多可以用圖結構表示，由此，Scarselli等［22］提出了圖神經網絡（Graph Neural Network， GNN），解決了CNN無法處理無序數據的問題。但對于較復雜的圖結構，難以構造有效的深層圖神經網絡，于是Kipf等［23］將圖與CNN相結合，提出了圖卷積神經網絡（Graph Convolutional neural Network， GCN），利用切比雪夫多項式逼近算法，使得雙線性模型近似代替圖卷積操作，從而能夠構造有效的深層GCN。自此，GCN被廣泛應用于不同領域［18，24］。Shi等［25］提出自適應圖卷積層，根據不同的人體骨骼樣本生成相對有效的圖模型，解決了固定圖模型泛化能力差的問題。本文受到文獻［25］工作的啟發，并考慮到點云數據的無序性、不規則性以及置換不變性，提出了一種新的孿生自適應圖卷積算法SAGCA，以構建點云特征間的關系連通圖，充分挖掘點云潛在的拓撲關系，避免丟失稀疏點的特征信息，從而增強網絡的特征提取能力。

2 本文算法

2.1　自適應圖卷積算法

圖1　SAGCA的結構及其與現有網絡結合的框架

圖2　有向的特征關系圖

進一步地，將式（5）寫成卷積操作的形式：

2.2　孿生自適應圖卷積算法

圖3　無向的特征關系圖

2.3　與現有網絡的兩種結合方式

其中：表示整體特征關系圖，表示局部特征關系圖，分別對應圖4（a）、圖4（b）。

本文分別從整體、局部兩個角度將SAGCA與現有網絡相結合，以檢驗算法的有效性。根據式（9），可得到整體、局部兩種結合方式下的輸出矢量：

本文通過將SAGCA與現有網絡的每一個特征提取層相結合，挖掘整體/局部特征間的拓撲關系，通過特征間的自適應加權融合運算，增強網絡的特征提取能力。

3 實驗與結果分析

為了驗證SAGCA的有效性與通用性，在3個公開數據集上進行實驗，使用ScanObjectNN數據集［26］進行三維物體分類實驗，使用ShapeNetPart數據集［27］進行對象部件分割實驗，使用S3DIS數據集［28］進行場景語義分割實驗。實驗均在PyTorch［29］深度學習框架上進行，所用GPU為NVIDIA GeForce RTX 2080 Ti。為保證實驗的公平性，本文實驗的訓練參數均與基準網絡的訓練參數相同。

3.1　分類實驗

采用香港科技大學提出的ScanObjectNN進行點云分類實驗。該數據集包括15個類、15 000個室內真實物體的掃描對象，本文使用文獻［26］中劃分好的訓練集和測試集。

本文算法在網絡RepSurf-U?、PointNet++上分別采用局部和整體兩種結合方式，形成局部孿生自適應圖卷積算法（Local Siamese Adaptive Graph Convolutional Algorithm， LSAGCA）和整體孿生自適應圖卷積算法（Global Siamese Adaptive Graph Convolutional Algorithm， GSAGCA），使用每個類別的平均準確率（mean Accuracy， mAcc）和所有類別的整體準確率（Overall Accuracy， OA）作為評價指標，并使用每秒10億次的浮點運算數（Giga FLoating-point Operations Per Second， GFLOPs）衡量模型的復雜度，以每秒處理樣本數（sample/s）衡量網絡推理速度。輸入點數均為1 024（看作一組樣本）。RepSurf-U?批處理大小為64，epoch為250；PointNet++批處理大小則為24，epoch為200。實驗對比對象為SpiderCNN［5］、PointCNN［6］、DRNet（Dense-Resolution Network）［7］、MVTN+SimpleView++［15］、PointNet、PointNet++、DGCNN、RepSurf-U?、Point-MAE（Mean Absolute Error）［30］和PointMLP（MultiLayer Perceptron）［31］，實驗結果如表1所示。由表1可知：

1）兩種結合方式均能提升PointNet++、RepSurf-U?的分類精度。對于PointNet++，兩種拓撲關系均未充分挖掘，但對于無需上采樣的分類任務，未充分探究鄰域內點與點之間的拓撲關系，相較于未探索鄰域間拓撲關系影響更大，故LSAGCA效果更佳；對于RepSurf-U?，局部點云已使用三角面或傘面表征方法表示，已構建鄰域內點間拓撲關系，而忽略了挖掘鄰域間潛在的拓撲關系，故SAGCA效果更佳。

2）LSAGCA-PointNet++學習構建了局部特征關系圖，充分挖掘了鄰域內點間特征的拓撲關系，故相較于PointNet++，能更好地捕獲局部特征的上下文關系，OA和mAcc指標分別提升了1.99和2.80個百分點。

3）LSAGCA、GSAGCA均采用了圖卷積操作，與網絡相結合，均增加了網絡的卷積核數量以及網絡的卷積乘運算復雜程度，故兩種結合方式均會增大PointNet++、RepSurf-U?的GFLOPs，而LSAGCA卷積核大小比GSAGCA大，導致乘運算更復雜，故與LSAGCA結合后的網絡GFLOPs更大。

4）網絡模型越復雜，推理速度便越慢，即每秒處理樣本數與GFLOPs成反相關，兩種結合方式均會造成推理變慢，但相較于分類效果的提升，速度的降低幅度在合理范圍內，且測試模型預測速度受使用設備影響較大。

5）GSAGCA-RepSurf-U?融合了組與組全部的鄰域特征信息，充分挖掘了鄰域間潛在的拓撲關系，增強了網絡對整體特征的學習能力，OA和mAcc指標高達86.50%和85.69%，比RepSurf-U?分別提升了0.50和2.59個百分點，與對比網絡相比，性能保持最優。

6）本文算法適用于不同網絡，兩種方式均能構建點云特征的拓撲關系圖，獲取更顯著的上下文特征信息，增強網絡對點云的分類能力，證明了本文算法具有通用性，在分類任務上是可行、有效的。

3.2　對象部件分割實驗

點云對象部件分割是一項比點云分類更困難的任務，本文在普林斯頓大學等構建的ShapeNetPart數據集［27］上進行對象部件分割實驗。該數據集包含16個類，每個類別2～6個部件，共有50個部件標簽；共16 881個樣本，其中訓練集12 137個，驗證集1 870個，測試集2 874個。

分別采用整體、局部兩種方式與基準網絡PointNet++結合，使用總體類別的平均交并比（mean Intersection over Union， mIoU）和所有實例平均IoU作為評價指標，并使用GFLOPs衡量模型的復雜度，以每秒處理樣本數衡量網絡推理速度。網絡輸入點數為2 048（將1 024個點看作一組樣本），批處理大小為16，epoch為251。實驗對比對象為SpiderCNN、SPLATNet（SParse LAttice Network） 3D［9］、SSCNN（Synchronized Spectral Convolutional Neural Networks）［10］、Point-PlaneNet［11］、PointNet、PointNet++（msg）［17］、DGCNN和3D-GCN［24］，實驗結果如表2所示。

表1　ScanObjectNN數據集上不同方法的分類性能對比

注：由于官方的PointNet++和RepSurf?U?并未給出推理速度的實驗結果，表1中帶*數據為本文復現結果。

表2　ShapeNetPart數據集上不同方法的對象部件分割性能對比

注：由于官方的PointNet++（msg）［17］沒有給出GFLOPs、推理速度的實驗結果，表2中帶*數據為本文復現結果。

由表2可知：

1）兩種結合方式均能提升PointNet++（msg）［17］的對象部件分割精度，由于GSAGCA構建了整體組間的拓撲結構圖，相較于LSAGCA構建的局部特征關系圖，GSAGCA學習到的語義信息更強，故效果更佳；

2）GSAGCA-PointNet++充分挖掘了鄰域間潛在的拓撲關系，學習到的整體上下文信息更豐富，使類別平均IoU（class average IoU）提高了2.31個百分點，雖然實例平均IoU （instance average IoU）提高并不明顯，但兩種指標與表中列舉的其他方法相比，性能保持最優；

3）本文方法可以更好地分割物體對象的連接點，對類別信息之間的關系更敏感，故類別平均IoU指標提高更明顯；

4）由于LSAGCA卷積核大小比GSAGCA大，導致網絡模型卷積乘運算更復雜，故與GSAGCA結合后的網絡GFLOPs更小，網絡推理速度更大，且GSAGCA-PointNet++分割效果更好，兩種算法相比，PointNet++（msg）與GSAGCA相結合更適合對象部件分割任務；

5）兩種結合方式均降低了基準網絡的推理速度，但與提高的分割性能相比，速度的降低程度在合理范圍內。

圖5給出了ShapeNetPart［27］數據集中耳機（Earphone）、吉他（Guitar）和摩托車（Motorbike）3個類別的對象部件分割可視化結果。由圖中圓圈部分可知，基準網絡忽略了點云數據特征之間的拓撲關系，對于類別對象細小部件的識別不夠敏感，采用LSAGCA、GSAGCA均可以更好地分割物體部件的連接點，得到與原始數據更加接近的分割結果。

圖5　ShapeNetPart數據集上的對象部件分割可視化結果

3.3　場景語義分割實驗

大型室內場景點云數據的復雜程度高，且存在異常值和噪聲，因此，場景語義分割任務更具挑戰性。為了驗證本文算法在此任務上的有效性，使用斯坦福大學構建的大規模場景數據集S3DIS［28］，在PointNet++基準網絡上分別采用兩種結合方式進行實驗。該數據集包含13類對象、11個場景，按文獻［28］的方式使用Area-5作為測試場景，以便更好地衡量本文方法的泛化能力，其他區域均用于訓練。

采用類別mIoU作為評價指標，并使用GFLOPs衡量模型的復雜度，以每秒處理樣本數衡量網絡推理速度。網絡輸入點數為4 096（將1 024個點看作一組樣本），批處理大小為16，epoch為32。實驗對比對象為SegCloud［12］、PointNet、PointNet++（msg）、3D-GCN和DeepGCN［25］，實驗結果如表3所示。

由表3可知：

1）兩種結合方式均能提升網絡的場景語義分割精度，但由于場景點云數據包含點量龐大，且對象類別較多，整體點云特征的拓撲關系對場景語義分割任務影響更大，故GSAGCA效果更佳；

2）與基準網絡相比，GSAGCA-PointNet++學習獲取整體組間的特征關系圖，學習到的整體上下文信息更豐富，對于稀疏部分的點，構圖能夠更好地避免信息丟失，增強了網絡對整體特征的學習能力，mIoU指標提高了2.40個百分點；

3）兩種結合方式均降低了基準網絡的推理速度，但均在合理范圍內，兩種算法相比，GSAGCA-PointNet++的GFLOPs更小，網絡推理速度更大，更適合場景語義分割任務；

4）本文算法具有較強的描述能力和自主學習能力，對大型場景點云數據集也有不錯的效果。

表3　S3DIS-Area5數據集上不同方法的場景語義分割性能對比

注：由于官方的PointNet++［17］并沒有給出S3DIS?Area5［28］實驗結果，也沒有給出GFLOPs、推理速度的實驗結果，表3中帶*數據為本文復現結果。

圖6從正面（Front）、反面（Reverse）兩個角度，依次給出了測試區域Area-5中WC1場景輸入原始圖、真實語義分割結果圖以及場景語義分割的可視化結果圖。由圖中圓圈部分可知，PointNet++［17］基準網絡對于部分區域的識別不準確，使用本文算法后，由于構建了點云特征間的拓撲關系圖，增強了網絡對于不規則的點云數據和分布稀疏的部分數據特征提取能力，可以更好地識別對象類別，得到與原始數據更加接近的分割結果，驗證了本文算法的有效性。

3.4　消融實驗

為了驗證本文將孿生構圖思想引入自適應圖卷積算法（AGCA）的合理性，以PointNet++為基礎網絡，在S3DIS［28］數據集上進行場景語義分割實驗，分別設計了局部點間的自適應圖卷積算法（Local Adaptive Graph Convolutional Algorithm， LAGCA）和整體組間的自適應圖卷積算法（Global Adaptive Graph Convolutional Algorithm， GAGCA），根據是否添加孿生（Siamese）思想，即是否共享卷積的權重矩陣，對AGCA進行消融實驗。用Area-5作為測試場景，實驗結果如表4所示。

表4　S3DIS-Area5數據集上的消融實驗結果 單位： %

注：由于官方的PointNet++并沒有給出S3DIS?Area5實驗結果，表4中帶*數據為本文復現結果。

由表4可知：

1）非孿生LAGCA的mIoU指標降低了0.40個百分點，非孿生GAGCA的mIoU指標僅提高了0.76個百分點，可見構建有向的特征關系圖，不能準確描述無序點云特征間的拓撲關系，分割效果提高不明顯甚至可能起到反效果；

2）引入孿生構圖思想后兩種算法的mIoU指標分別提高了2.06和2.40個百分點，故LAGCA、GAGCA搭配孿生構圖思想，分割效果均更佳；

3）本文提出的孿生自適應圖卷積算法SAGCA通過引入共享卷積學習權重的孿生構圖思想，能更好地學習表達點云數據特征間的拓撲關系，因此引入孿生構圖思想是合理的。

圖6　S3DIS-Area5數據集上的場景語義分割可視化結果

4 結語

本文引入共享卷積學習權重的孿生構圖思想，提出了一種新的孿生自適應圖卷積算法，通過整體、局部兩種方式與多種網絡的各個特征提取層相結合，從而學習構建無序點云特征間的自適應特征關系圖，增強網絡對特征的提取能力。將本文算法從整體、局部兩個角度與基準網絡結合，分別構建得到兩種特征關系圖，在網絡提取特征方面均能發揮正面作用。針對三個公開數據集的實驗結果表明，點云數據的分類、對象部件分割及場景語義分割精度均能得到提高。

由于兩種特征關系圖發揮作用的機制有所不同，今后可將兩種方式同時與現有網絡相結合，對兩者的結合方式進行深入研究，并對更大的點云數據集或更具有挑戰性的任務開展實驗，進一步測試本文算法的有效性。

[1] 李朝，蘭海，魏憲. 基于注意力的毫米波-激光雷達融合目標檢測［J］. 計算機應用， 2021， 41（7）： 2137-2144.（LI C， LAN H， WEI X. Attention-based object detection with millimeter wave radar-lidar fusion［J］. Journal of Computer Applications， 2021， 41（7）： 2137-2144.）

[2] 付豪，徐和根，張志明，等. 動態場景下基于語義和光流約束的視覺同步定位與地圖構建［J］. 計算機應用， 2021， 41（11）： 3337-3344.（FU H， XU H G， ZHANG Z M， et al. Visual simultaneous localization and mapping based on semantic and optical flow constraints in dynamic scenes［J］. Journal of Computer Applications， 2021， 41（11）： 3337-3344.）

[3] FAN T， ZHANG R. Research on automatic lane line extraction method based on onboard lidar point cloud data［C］// Proceedings of the SPIE 12306， 2nd International Conference on Digital Signal and Computer Communications. Bellingham， WA： SPIE， 2022： No.123060P.

[4] MIRZAEI K， ARASHPOUR M， ASADI E， et al. 3D point cloud data processing with machine learning for construction and infrastructure applications： a comprehensive review［J］. Advanced Engineering Informatics， 2022， 51： No.101501.

[5] XU Y， FAN T， XU M， et al. SpiderCNN： deep learning on point sets with parameterized convolutional filters［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11212. Cham： Springer， 2018： 90-105.

[6] LI Y， BU R， SUN M， et al. PointCNN： convolution on-transformed points［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018： 828-838.

[7] QIU S， ANWAR S， BARNES N. Dense-resolution network for point cloud classification and segmentation［C］// Proceedings of the 2021 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2021： 3812-3821.

[8] 史怡，魏東，宋強，等. 基于動態圖卷積和離散哈特萊轉換差異性池化的點云數據分類分割網絡［J］. 計算機應用， 2022， 42（S1）： 292-297.（SHI Y， WEI D， SONG Q， et al. Point cloud data classification and segmentation network based on dynamic graph convolution and discrete Hartley transform different pooling［J］. Journal of Computer Applications， 2021， 42（S1）： 292-297.）

[9] SU H， JAMPANI V， SUN D， et al. SPLATNet： sparse lattice networks for point cloud processing［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 2530-2539.

[10] YI L， SU H， GUO X， et al. SyncSpecCNN： synchronized spectral CNN for 3D shape segmentation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6584-6592.

[11] PEYGHAMBARZADEH S M M， AZIZMALAYERI F， KHOTANLOU H， et al. Point-PlaneNet： plane kernel based convolutional neural network for point clouds analysis［J］. Digital Signal Processing， 2020， 98： No.102633.

[12] TCHAPMI L， CHOY C， ARMENI I， et al. SEGCloud： semantic segmentation of 3D point clouds［C］// Proceedings of the 2017 International Conference on 3D Vision. Piscataway： IEEE， 2017： 537-547.

[13] LIN Z H， HUANG S Y， WANG Y C F. Convolution in the cloud： learning deformable kernels in 3D graph convolution networks for point cloud analysis［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1897-1806.

[14] ZHOU Y， TUZEL O. VoxelNet： end-to-end learning for point cloud based 3D object detection［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4490-4499.

[15] SHESHAPPANAVAR S V， KAMBHAMETTU C. SimpleView++： neighborhood views for point cloud classification［C］// Proceedings of the IEEE 5th International Conference on Multimedia Information Processing and Retrieval. Piscataway： IEEE， 2022： 31-34.

[16] QI C R， SU H， MO K， et al. PointNet： deep learning on point sets for 3D classification and segmentation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 77-85.

[17] QI C R， YI L， SU H， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5105-5114.

[18] WANG Y， SUN Y， LIU Z， et al. Dynamic graph CNN for learning on point clouds［J］. ACM Transactions on Graphics， 2019， 38（5）： No.146.

[19] QIAN G， LI Y， PENG H， et al. PointNeXt： revisiting PointNet++ with improved training and scaling strategies［EB/OL］. （2022-10-12） ［2022-12-29］.https：//arxiv.org/pdf/2206.04670.pdf.

[20] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.

[21] RAN H， LIU J， WANG C. Surface representation for point clouds［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 18942-18952.

[22] SCARSELLI F， GORI M， TSOI A C， et al. The graph neural network model［J］. IEEE Transactions on Neural Networks， 2008， 20（1）： 61-80.

[23] KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks［EB/OL］. （2017-02-22） ［2022-08-24］.https：//arxiv.org/pdf/1609.02907.pdf.

[24] LI G， MüLLER M， QIAN G， et al. DeepGCNs： making GCNs go as deep as CNNs［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（6）： 6923-6939.

[25] SHI L， ZHANG Y， CHENG J， et al. Non-local graph convolutional networks for skeleton-based action recognition［EB/OL］. ［2022-08-24］.https：//arxiv.org/pdf/1805.07694v2.pdf.

[26] UY M A， PHAM Q H， HUA B S， et al. Revisiting point cloud classification： a new benchmark dataset and classification model on real-world data［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 1588-1597.

[27] CHANG A X， FUNKHOUSER T， GUIBAS L， et al. ShapeNet： an information-rich 3D model repository［EB/OL］. ［2022-08-25］.https：//arxiv.org/pdf/1512.03012.pdf.

[28] ARMENI I， SENER O， ZAMIR A R， et al. 3D semantic parsing of large-scale indoor spaces［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1534-1543.

[29] PASZKE A， GROSS S， CHINTALA S， et al. Automatic differentiation in PyTorch［EB/OL］. ［2023-01-01］.https：//openreview.net/pdf？id=BJJsrmfCZ.

[30] PANG Y， WANG W， TAY F E H， et al. Masked autoencoders for point cloud self-supervised learning［C］// Proceedings of the 2022 European Conference on Computer Vision， LNCS 13662. Cham： Springer， 2022： 604-621.

[31] MA X， QIN C， YOU H， et al. Rethinking network design and local geometry in point cloud： a simple residual MLP framework［EB/OL］. ［2023-01-01］.https：//arxiv.org/pdf/2202.07123.pdf.

Point cloud classification and segmentation based on Siamese adaptive graph convolution algorithm

LI Weigang1，2， CHEN Ting1*， TIAN Zhiqiang1

（1，，430081，；2（），430081，）

Point cloud data has sparsity， irregularity， and permutation invariance， and lacks topological information， which makes it difficult to extract features of point cloud. Therefore， a Siamese Adaptive Graph Convolution Algorithm （SAGCA） was proposed for point cloud classification and segmentation. Firstly， the topological relationships between irregular and sparse point cloud features were mined by constructing feature relationship graph. Then， the Siamese composition idea of sharing convolution learning weights was introduced to ensure the permutation invariance of point cloud data and make the topological relationship expression more accurate. Finally， SAGCA was combined with various deep learning networks for processing point cloud data by both global and local combination methods， thereby enhancing the feature extraction ability of the network. Comparison results with PointNet++ benchmark network of the classification， object part segmentation and scene semantic segmentation experiments on ScanObjectNN， ShapeNetPart and S3DIS datasets， respectively， show that， based on the same dataset and evaluation criteria， SAGCA has the class mean Accuracy （mAcc） of classification increased by 2.80 percentage points， the overall class average Intersection over Union （IoU） of part segmentation increased by 2.31 percentage points， and the class mean Intersection over Union （mIoU） of scene semantic segmentation increased by 2.40 percentage points， verifying that SAGCA can effectively enhance the feature extraction ability of the network and is suitable for multiple point cloud classification and segmentation tasks.

point cloud data; topological relationship; Siamese; adaptive graph convolution; classification; segmentation

1001-9081（2023）11-3396-07

10.11772/j.issn.1001-9081.2022101552

2022?10?20；

2023?02?03；

湖北省重點研發計劃項目（2020BAB098）。

李維剛（1977—），男，湖北咸寧人，教授，博士，主要研究方向：工業過程控制、人工智能、機器學習； 陳婷（1999—），女，湖北孝感人，碩士研究生，主要研究方向：深度學習、模式識別、點云數據處理； 田志強（1996—），男，湖北武漢人，博士研究生，主要研究方向：計算機視覺。

TP391.4

A

2023?02?08。

This work is partially supported by Key Research and Development Program of Hubei Province （2020BAB098）.

LI Weigang， born in 1977， Ph. D.， professor. His research interests include industrial process control， artificial intelligence， machine learning.

CHEN Ting， born in 1999， M. S. candidate. Her research interests include deep learning， pattern recognition， point cloud data processing.

TIAN Zhiqiang， born in 1996， Ph. D. candidate. His research interests include computer vision.