摘要:為解決PointNet最大池化損失次要特征導致部件分割精度降低的問題,提出一種面向部件分割的PointNet注意力加權特征聚合網絡,能夠充分利用點云的不同特征進行部件分割。首先利用多層感知機提取點云的空間幾何特征,將特征乘以共享權重矩陣,以獲取每個點的每一個特征的注意力分數;接著把歸一化的分數作為權重乘以對應的全局特征并求和,得到聚合的全局特征;最后使用多層感知機將聚合的特征映射到部件分割結果。實驗結果表明,相比于傳統PointNet方法,該方法提升了部件分割的總平均交并比,同時在網絡魯棒性和計算復雜度方面具有顯著優勢,有效優化了PointNet。
關鍵詞:機器視覺;點云;部件分割;注意力機制;特征聚合;魯棒性
中圖分類號:TP391文獻標志碼:A
文章編號:1001-3695(2023)05-045-1571-06
doi:10.19734/j.issn.1001-3695.2022.08.0423
0引言
隨著三維激光掃描儀[1]、三維場景捕捉相機等三維傳感器的普及與深度學習在點云領域[2]的迅速發展,點云數據的應用場景越來越廣泛,例如自動駕駛[3]、物體分類[4]、語義分割[5]、部件分割[6]、點云配準[7]等。點云數據主要指使用三維激光掃描儀等設備獲取的大量點數據的集合,通常包括點的三維坐標、顏色等。在點云分類與分割領域,深度學習提取特征的速度比手工提取特征的速度更快[8]。利用深度學習提取點云特征的方法主要分為基于多視圖的方法、基于體素化網格的方法和基于原始點云數據的方法。
a)基于多視圖的方法。文獻[9,10]將物體點云從三維空間以多視圖的方式投影至二維空間,再提取其視圖特征。因為是在二維空間中使用這種特征提取方法,所以提取的特征將損失一個維度的信息,導致空間幾何結構信息的破壞。
b)基于體素化網格的方法。物體點云通過體素化網格進行表示,再通過三維卷積神經網絡在體素化網格提取空間幾何特征,如文獻[11,12]。該方法提取特征的缺陷在于體素化處理導致數據出現稀疏性以及計算量龐大、復雜度過高。
c)基于原始點云數據的方法。Qi等人[13]提出了一個基于原始點云數據的開創性方法PointNet,利用多層感知機(multi-layerperceptron,MLP)直接對點云數據進行特征提取,避免上述信息破壞、數據稀疏、復雜度高等缺陷。PointNet[13]采用以MLP為核心的網絡結構,直接提取點云的幾何空間特征,然后使用一種對稱聚合函數,即最大池化,以聚合全局特征。在點云分類與分割領域中,PointNet采用全局特征進行分類與分割,忽略了局部特征及其關系。為此,Qi等人[14]提出PointNet改進版本,即PointNet++,利用最遠點采樣和逐層嵌套PointNet模塊捕獲點云的局部特征。文獻[15]采用Spider卷積與殘差網絡結構獲得更具鑒別性和魯棒性的點云特征,提升了點云分類與分割的精度。DGCNN[16]通過K鄰近點算法為每個點構建鄰域圖,恢復點云的拓撲信息,再利用邊緣卷積模塊對鄰域圖提取特征,提升了點云分類和點云部件分割的性能。以上方法在特征提取方面作出了有益探索。
在特征聚合方面,一種主流的特征聚合方法是注意力機制。LSANet[17]引入注意力機制并設計了一個局部空間感知層,它可以學習局部區域中的空間關系,分層生成空間分布權重,在更少點訓練的情況下提升了點云分類準確率。文獻[18]提出了一個基于注意力的分數細化模塊,初始分割結果通過相鄰點的分數與學習的注意力權重合并,提高了部件分割的總平均交并比。文獻[19]提出一種適用于大規模點云語義分割的RandLA-Net,該網絡通過隨機采樣的方法大幅降低了訓練點數以減少內存成本,并設計了一種局部特征編碼器和注意力池化結合的特征聚合模塊用于提取點云局部空間特征,在大規模點云語義分割中取得了杰出的成果。
近年來,優化點云特征提取的方法有精細化、復雜化的趨勢。文獻[20]指出之前的工作多數依賴優化的卷積、圖或注意力機制以設計復雜的局部幾何特征提取器,點數據預處理步驟多,導致更大的訓練時間開銷、空間開銷。文獻[21]將注意力機制應用到點云數據的方向上進行了探索,利用注意力機制與平均、最大雙通道池化相結合進行特征聚合,但使用雙通道池化會增加內存和計算成本。文獻[22]把注意力機制嵌入到采樣點中心和采樣點鄰域以提取不同的細化特征,提升了分割精度的同時也增加了網絡復雜度和硬件開銷。這些方法利用注意力機制優化特征提取網絡,雖然提升了性能,但未考慮網絡復雜度的增加。文獻[8]分析認為網絡模型輕量化、提高運行速度是點云分割未來的研究方向之一。目前有不少研究著重于注意力機制和復雜的編碼器、設計卷積等結合的方法,以優化特征提取網絡,而忽略了網絡復雜度和訓練時間成本大幅提高的缺陷。在經典的PointNet中,其變換網絡占用大量的參數,但提升的性能有限。基于此,本文遵循輕量優化的思路,舍棄復雜精細的特征提取器,針對最大池化聚合全局特征損失次要特征的缺陷,并且在減少PointNet空間復雜度的基礎上提出了一種基于PointNet的注意力加權特征聚合優化網絡。本文提出一種注意力加權模塊,并結合去除變換網絡的PointNet。本文提出的基于注意力加權方法能夠充分利用不同重要性的全局特征得到更有利于部件分割的結果,同時在魯棒性和計算復雜度方面具有顯著優勢。
1網絡設計
1.1概述
如圖1所示,本文提出的網絡結構包括點云形狀分類網絡和點云部件分割網絡。值得注意的是,本文網絡結構移除PointNet的變換網絡(transformernetwork,T-Net),能夠有效減少模型參數數量、降低空間復雜度。實驗結果表明去除T-Net后,針對點云數據分類和分割的性能幾乎不受影響。在點云形狀分類網絡中,輸入物體的點云數據到MLP提取空間幾何特征,再經過本文設計的注意力加權池化模塊聚合全局特征,最后通過MLP將網絡學習到的全局特征映射到整個形狀的標簽;而在點云部件分割網絡中,除了提取空間幾何特征和使用注意力加權池化模塊聚合全局特征的步驟外,還需要把聚合的全局特征復制后再與MLP提取的64維特征進行特征連接,得到混合特征,最后通過MLP將網絡學習到的混合特征映射到每個點上,得到分割結果。
分割是分類的延伸,點云形狀分類把一個物體的所有點映射為一個類別標簽,而點云部件分割把一個物體的每個點映射為部件標簽,需要更多細化的信息。因此,為取得更好的分割效果,全局特征需要連接初步提取的64維幾何特征作為補充信息。
1.2多層感知機
多層感知機的主要功能是通過卷積提取點云的空間幾何特征,并完成特征維度變換。PointNet的核心思想是通過對集合中的變換元素應用對稱函數來近似定義在點集上的一般函數,其方法是采用MLP網絡和最大池化函數來逼近點集的一般函數。設一個物體的點云數據為集合P={pi∈EuclidMathTwoRAp3,i=1,2,…,N},其中pi=(xi,yi,zi)是點云內一個點的三維坐標,N是一個物體點云的點數量(在不同的數據集中N的值不一定相同,例如2048和4096,后文出現的N都是指一個物體點云的點數量)。以輸入一個物體的點云數據為例,將數據尺寸為N×3的點云數據輸入到4層深度的MLP中,經過多次特征提取,每個點得到1024維全局特征,即其數據尺寸變為N×1024。在注意力加權池化后,對于部件分割,MLP具有特征映射的作用,將池化后并連接了初始特征的1088維全局特征通過深度為5層的MLP映射到每個點上,得到部件分割結果;對于形狀分類,深度為4層的MLP把注意力加權池化后的1024維全局特征映射為類別概率,從而得到形狀分類結果。
相比于形狀分類(一個物體的全部點是一類),部件分割需要把聚合的特征映射到每一個點上,即一個小部件的所有點是一類。本文假設部件分割需要不同重要性的聚合特征。而注意力機制的優勢在于讓網絡具有關注更多相關信息的能力,本質是一種高效提取特征信息的機制。使用注意力機制學習加權分數,不同通道的特征信息重要性得以量化。相比于最大池化,注意力加權池化在特征聚合中更加靈活。最大池化僅保留MLP學習到的值最大的特征,放棄了次要的特征信息。注意力加權池化模塊能夠學習到不同特征的注意力分數,之后對每個特征乘以對應的注意力分數后求和聚合成全局特征,幫助點云部件分割網絡獲取更多次要全局特征信息,在實驗中發現本文提出的注意力加權池化模塊加快了PointNet的收斂速度,同時提升了網絡的魯棒性。
1.3.2設計注意力加權池化模塊
文獻[19]使用一種注意力池化模塊聚合由局部空間編碼器得到的局部特征。受其啟發,為了得到與全局特征一樣數據尺寸的注意力分數,本文設計了一個輕量級的注意力分數產生器,利用共享權重矩陣W和softmax函數[23]計算每個特征的注意力分數,計算公式如下:
全連接層法設計注意力加權池化模塊參數量巨大,權重矩陣有N×1048576個參數,而共享權重法僅有1048576個參數。N是一個物體點云的點數,通常為2048,因此使用共享權重相比于全連接層權重能夠有效減少參數量。每個物體的全局特征都通過同一個權重矩陣獲取注意力分數,從而實現共享權重。實驗發現,使用全連接層法設計的注意力加權池化模塊訓練網絡所需的內存和時間都大幅提升,違背了保持PointNet輕量級再進行優化的初衷,因此選擇共享權重設計注意力加權池化模塊更好。
2實驗與結果分析
2.1數據集
本文選擇的數據集是斯坦福大學公開的基于CAD模型生成的點云數據集ModelNet40[24]、ShapeNet[25]和使用三維掃描相機得到的大場景室內點云標注數據集S3DIS[26]。其中ModelNet40用于點云分類,ShapeNet用于點云部件分割,S3DIS用于點云場景分割。
ModelNet40原始數據集包含12311個物體的CAD模型,本文采用每個物體均勻采樣2048個點的ModelNet40點云數據集。其中一共包含40個不同的物品形狀類別,訓練集有9843個物體的點云數據,測試集有1234個物體的點云數據。
ShapeNet數據集包括16881個物體的點云數據,其中一共有16類物體,50個部件標簽(一類物體被分割為2~6個部件,例如飛機被分割為機身、前翼、引擎、尾翼四個部件,每類具體部件分割數如表1所示),12137個物體的點云數據作為訓練集,1870個物體的點云數據作為驗證集,2874個物體的點云數據作為測試集。
S3DIS數據集包括6個區域、13個語義標簽(窗、門、桌子、椅子等)、11個場景(辦公室、會議室等),其中所有數據已按房間劃分,每個房間的點云被劃分為1m×1m×1m大小的立方塊,并在立方塊均勻取樣4096個點。使用區域5作為測試集,其他區域作為訓練集。
ModelNet和ShapeNet數據集僅包含點的三維坐標(x,y,z)信息,而S3DIS數據集包括點的三維坐標和RGB顏色信息,在本文實驗中統一選用坐標信息。在數據預處理方面,使用與PointNet一致的處理方法:物體點云的三維坐標加入均值為0、標準差為0.01的高斯噪聲進行隨機平移,并繞y軸隨機旋轉0~2π。
2.2實驗方案
在實施對比實驗方案方面,考慮PointNet1、PointNet2和PointNet++方案。
a)PointNet1[13]方案。采用PointNet完整網絡結構,包含MLP、T-Net的點云形狀分類和部件分割網絡。
b)PointNet2[13]方案。采用去除T-Net的PointNet,僅保留MLP的點云形狀分類和部件分割網絡。
c)PointNet++方案。采用多尺度分組(multi-scalegrou-ping)網絡結構進行實驗。
d)本文方案。采用如圖1所示的網絡結構,包含MLP、注意力加權池化模塊的點云形狀分類和部件分割網絡。
2.3實驗配置與實現細節
本文所有實驗的硬件環境為運行內存32GB的IntelCoreTMi9-12900KF3.19GHz的CPU,顯存為10GB的RTX3080GPU;軟件環境為Windows11系統,PyCharm,Python3.7,PyTorch1.10,CUDA11.3。
為了將模型部署到實驗環境,先安裝開發環境PyCharm,再配置上述軟件環境,最后按照圖1網絡結構和圖2模塊結構進行編程,實現本文提出的網絡功能。其中對于如圖2所示的注意力加權池化模塊,可調用torch.nn.linear函數與torch.nn.softmax函數實現。點云形狀分類實驗、點云部件分割實驗和點云場景分割實驗一致選用交叉熵作為損失函數,交叉熵在計算機視覺分類和分割中廣泛應用,其計算公式為
其中:m對于形狀分類是物體總數,對于部件分割是點的總數量;k為分類或分割的標簽數;qij指物體i(分類中)或點i(分割中)是標簽j的真實概率,其值為0或者1;pij指物體i(分類中)或點i(分割中)是標簽j的預測概率,其值為[0,1]。
選擇不同的訓練參數訓練網絡,對網絡的性能有一定的影響。為了準確反映點云形狀分類和部件分割的性能,分類與分割實驗使用如表2所示的訓練參數,其中對學習率衰減因子和批處理大小的選取將在2.4節中詳細闡述。訓練分類和分割網絡統一使用Adam優化器,初始學習率設定為0.001,每隔20個訓練周期學習率乘以學習率衰減因子0.5。所有實驗的批處理大小參數都選擇32,即每次輸入32個物體點云數據到網絡中;訓練輪數都為250輪,訓練一輪網絡表示訓練集的所有樣本都已輸入網絡中;形狀分類的采樣點數為1024,即一個物體的點云均勻采樣1024個點輸入到網絡中,而部件分割的采樣點數為2048。點云場景分割選用的訓練參數與部件分割一致。
其中:k表示一共有k類物體,在ModelNet40數據集中k為40;pii是預測標簽等于真實標簽的個數;pij是預測標簽為i,真實標簽為j的個數。
點云形狀分類實驗結果如表3所示,本文方案對點云形狀分類的總體精度幾乎沒有影響,注意力加權池化帶來的次要全局特征信息對于形狀分類沒有幫助。訓練時間指訓練250輪網絡所耗費的時間,結果顯示本文方案相比于PointNet1節省了8min,這為訓練網絡節省了一些時間成本。相比于去除T-Net的PointNet2,訓練時間增加了32min,原因在于注意力加權池化模塊額外增加了權重矩陣,導致參數變多。對網絡復雜度的分析,將在2.8節中詳細闡述。雖然KPConv[27]和PointNet++的總體分類精度比本文方案高,但訓練時間提升了一個數量級,以訓練時間資源換取了精度。從本文方案與PointNet方案結果的對比中可以發現,本文對PointNet的結構進行輕量級優化后能夠在形狀分類任務中維持其性能。
為了探究不同批處理大小和學習率衰減因子對模型性能的影響,本文以ModelNet40點云形狀分類實驗為基準,其他訓練參數都使用表2的訓練參數,得到在不同批處理大小、學習率衰減因子下,點云形狀分類總體準確率的變化,如圖3和4所示。
圖3結果顯示,學習率衰減因子在0~0.3、0.6~1時,不同模型的分類總體準確率有明顯的區別,因此需要降低學習率衰減因子對模型性能對比的影響。本文所有實驗的學習率衰減因子統一使用0.5,將其作為共同的訓練參數。
在不同批處理大小對模型性能的影響實驗中,為了使圖4結果能夠均勻分布在橫軸上,批處理大小取以自然常數e為底的對數。結果顯示,批處理大小為4和64時,不同模型的分類總體準確率有相對顯著的區別。批處理大小為8時,訓練250輪網絡的時間約為批處理大小為32時的三倍。為了減少批處理大小對模型性能對比的影響,同時兼顧網絡訓練時間成本,本文所有實驗的批處理大小統一使用32。
表4結果顯示,本文方案的分割MIoU在背包、汽車、耳機、吉他、小刀、燈、摩托、滑板、桌子類物體中取得一定的提升。在ShapeNet數據集的總體表現方面,本文對數據集中所有16類物體的分割MIoU求其總平均值,以衡量實驗方案的總體性能。相比于PointNet1,本文方案的總平均MIoU提升了2.8%;而相比于去除T-Net的PointNet2,本文方案的總平均MIoU提升了2.1%。
本實驗同時引入一些其他方法部件分割性能對比的結果。PointNet++的測試結果是在與本文方案幾乎相同的訓練時間下得到的結果。由此可見,在訓練時間成本相同的維度上比較,本文方案比PointNet++分割總平均MIoU具有一定優勢,能夠在相同訓練時間下取得更好的性能。
本文對點云部件分割實驗的部分結果進行了可視化處理,如圖5所示。圖5列出了五種可視化結果。其中圖5(a)~(c)三種結果使用不同的顏色區分不同的部件標簽,而(d)和(e)兩種結果都使用綠色點代表分割正確,紅色點代表分割錯誤(見電子版)。對比結果(d)和(e),(e)的紅色錯誤點更少,所以分割的準確率更高。
由此可見,本文設計的注意力加權池化模塊能夠有效學習到不同特征的重要性,在池化時依據模塊學習到的注意力分數加權聚合成全局特征,提升了點云部件分割的總體性能。另一方面,本文注意到點云部件分割實驗不同物體類別的MIoU有較大的差異。數據集中各個物體類別的訓練樣本數量差別大,桌子類訓練樣本最多,有3835個訓練樣本,而帽子類訓練樣本最少,僅有39個訓練樣本。這對于網絡的特征學習不夠均勻,在相同的分割部件數下,訓練樣本越多,MIoU具有提高的趨勢。在訓練樣本數較為接近時,如摩托類和杯子類,分割部件數越多,所需的細化特征越多,全局特征的貢獻減少,其分割的MIoU也有下降的趨勢。
2.6網絡收斂速度分析
網絡收斂速度是衡量神經網絡性能的一個重要指標,同時也可以比較訓練的時間成本。本實驗采用ModelNet40數據集形狀分類實驗的訓練過程作為對比網絡收斂速度的基準實驗,測試集上總體準確率隨訓練時間的變化如圖6所示。
圖6展現了訓練時間40min內的不同方案在測試集上的總體準確率變化。網絡收斂速度對比實驗的訓練參數同樣以表2的參數進行設置,本文方案和PointNet1、PointNet2方案每訓練10輪網絡后測試一次模型的分類準確率,PointNet++每訓練2輪測試一次分類準確率。由圖6可知在訓練網絡15min之前,本文方案的總體準確率相比于PointNet1和PointNet2有一定的優勢,在訓練網絡6min后,本文網絡的準確率約達到0.81,而PointNet1僅有約0.72,去掉T-Net的PointNet2達到0.79左右。在訓練網絡40min之后,本文方案和PointNet2準確率變化曲線都逐漸收斂于0.86附近;而PointNet1和PointNet++在訓練40min后仍未收斂,且分類精度略低于本文方案。這表明在考慮訓練時間成本的情況下,本文提出的網絡能更快收斂到穩定值。注意力加權池化模塊類似一個自適應過濾器,在訓練網絡的前期,幫助網絡更快找到有助于分類和分割的全局特征。
2.7網絡魯棒性分析
魯棒性常用于衡量系統的穩健程度。在訓練參數、輸入數據變化的情況下,魯棒性強的網絡依然能夠表現出相對理想的性能。魯棒性分析實驗選擇ModelNet40數據集訓練本文方案、PointNet1和PointNet2250輪,PointNet++的訓練時間取本文方案的250輪訓練時長(約34min),以測試訓練時間成本一致的情況下網絡魯棒性情況。使用不同的采樣點數和標準差不同的高斯噪聲進行網絡魯棒性檢驗,其他訓練參數與表1一致。減少輸入物體點云的采樣點數由隨機均勻再采樣實現,這可以基本保持三維點云物體的全局形狀特征。魯棒性測試實驗結果分別如圖7和8所示。
ModelNet40數據集中一個物體的點云有2048個點,本實驗的采樣點數分別取1024、512、256、128、64、32。為了結果能在橫軸均勻分布,采樣點數取以自然常數e為底的對數作為橫坐標。由圖7可見,在采樣點數為128并逐漸減小的情況下,本文方案的形狀分類總體準確率要大于PointNet1和去除T-Net的PointNet2,且差距隨點數減少而增大。在采樣點數為32的極端情況下,本文方案的總體準確率接近0.7,比PointNet2總體準確率高了約0.1。
這充分說明了本文網絡比PointNet1和PointNet2具有更強的魯棒性。在輸入訓練點數減少的情況下,注意力加權池化模塊相比于最大池化更能幫助網絡學習到有利于分類的全局特征,從而得到分類精度更高的結果。在訓練時間成本相同的情況下,本文方案比PointNet++的總體準確率更高,所以本文方案能夠在短時間內獲得良好的魯棒性。
在不同標準差的高斯噪聲檢驗網絡魯棒性實驗中,同樣使用ModelNet40數據集和表2的訓練參數,并調整用于數據預處理的高斯噪聲的標準差,使每個點受到噪聲而大幅度位移的概率增加。在宏觀層面觀察,物體點云的形狀受噪聲的擾動而發生一些變化,這些變化對點云形狀分類和部件分割造成負面影響,進而影響網絡的學習。
圖8結果顯示,改變標準差的高斯噪聲對網絡的全局特征學習有較大的影響。標準差增大到0.05及以上時,本文方案與PointNet1、PointNet2相比,形狀分類的總體準確率更高,對噪聲的魯棒性有顯著提升。在相同訓練時間成本下,本文方案的總體準確率比PointNet++有一定的優勢,說明本文優化的網絡能夠更快地提取到物體點云的全局特征,且更快地獲得一定的抗噪能力。而在全局特征遭到一定程度的破壞時,注意力加權池化模塊聚合的全局特征比PointNet最大池化聚合的全局特征具有更優的魯棒性。
2.8網絡復雜度分析
網絡復雜度通常包括空間復雜度和時間復雜度,本實驗使用一個名為“thop”的Python工具包計算網絡的參數量,即空間復雜度,而時間復雜度則采用訓練1輪網絡的時間來表征。在批處理大小選擇1(僅限計算參數量時,測量訓練1輪時間批處理大小選擇32)、采樣點數都選擇1024,并使用表2的其他訓練參數情況下,得到如表5所示的結果。
由表5可知,本文網絡相比于原始的PointNet1具有空間復雜度更低的優勢,減少了約161萬個參數,這節省了儲存模型的空間;本文網絡與PointNet++具有相近的空間復雜度,但PointNet++的時間復雜度很高,要消耗大量的訓練時間資源。同時本文網絡在訓練時間上相比于原始的PointNet1取得微弱優勢,節約了一些訓練網絡的時間成本,同時在部件分割中能夠取得一定的平均性能提升。
2.9S3DIS點云場景分割
為了檢驗本文提出的優化網絡在現實場景點云分割中的效果,本實驗使用大場景室內S3DIS點云數據集。在點云場景分割實驗中,與部件分割實驗一樣使用式(8)計算點云場景分割的MIoU,實驗結果如表6所示。其中本文方案和PointNet1、PointNet2方案訓練時間指訓練250輪網絡的時間,PointNet++方案訓練的時間取接近本文方案的時間,以測試訓練時間成本相同的情況。
點云場景分割實驗使用部件分割網絡,并使用與表2部件分割實驗一致的參數。本文方案相比PointNet1和PointNet2在總MIoU上分別提升了1.68%和2.03%,這證明本文提出的注意力加權池化模塊的有效性。在考慮訓練的時間成本情況下,PointNet++結果是在訓練時間與本文方案相接近的時候取得的,其分割總MIoU比本文方案略低,這說明注意力池化模塊能更快取得有利于分割的全局特征。
3結束語
為解決PointNet最大池化會損失次要全局特征而導致點云部件分割精度降低的問題,本文在去除T-Net的PointNet基礎上,提出了一種面向部件分割的注意力加權特征聚合優化網絡。通過使用共享權重對重要性不同的全局特征進行學習和評估,得到每個點每個特征的歸一化注意力分數,將其作為特征的權重,再把權重與對應特征相乘,之后求和得到更有利于點云部件分割的全局特征。相比于PointNet,本文網絡在ShapeNet點云部件分割數據集、S3DIS室內場景分割數據集中分別提升了2.1%和1.68%的總平均MIoU,總體上得到了更佳的分割效果,同時加快了網絡收斂速度,減少了空間復雜度并增強了網絡的魯棒性。
PointNet是一個直接處理點云數據的經典神經網絡。為適應工業部件現場檢測等應用場景的低時延特征,未來研究工作將基于PointNet結構,改進局部特征和全局特征提取算法,設計低時間復雜度的快速點云數據處理網絡,并提升對噪聲干擾的魯棒性。
參考文獻:
[1]MoonD,ChungS,KwonS,etal.Comparisonandutilizationofpointcloudgeneratedfromphotogrammetryandlaserscanning:3Dworldmodelforsmartheavyequipmentplanning[J].AutomationinConstruction,2019,98(2):322-331.
[2]GuoYulan,WangHanyun,HuQingyong,etal.Deeplearningfor3Dpointclouds:asurvey[J].IEEETransonPatternAnalysisandMachineIntelligence,2020,43(12):4338-4364.
[3]劉輝席,陳文浩,劉守印.基于IMU和動態目標檢測的多幀點云融合算法[J].計算機應用研究,2021,38(7):2179-2182.(LiuHuixi,ChenWenhao,LiuShouyin.Multi-framepointcloudfusionalgorithmbasedonIMUanddynamictargetdetection[J].ApplicationResearchofComputers,2021,38(7):2179-2182.)
[4]QiCR,SuHao,NiebnerM,etal.Volumetricandmulti-viewCNNsforobjectclassificationon3Ddata[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEEPress,2016:5648-5656.
[5]LawinFJ,DanelljanM,TostebergP,etal.Deepprojective3Dsemanticsegmentation[C]//ProcofInternationalConferenceonComputerAnalysisofImagesandPatterns.Cham:Springer,2017:95-107.
[6]YuFenggen,LiuKun,ZhangYan,etal.PartNet:arecursivepartdecompositionnetworkforfine-grainedandhierarchicalshapesegmentation[C]//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEEPress,2020:9491-9500.
[7]胡江豪,王豐.基于重疊域采樣混合特征的點云配準算法[J].計算機應用研究,2022,39(11):3503-3508.(HuJianghao,WangFeng.Pointcloudregistrationalgorithmbasedonmixed-featuressamplingforoverlappingdomain[J].ApplicationResearchofCompu-ters,2022,39(11):3503-3508.)
[8]趙佳琦,周勇,何欣,等.基于深度學習的點云分割研究進展分析[J].電子與信息學報,2022,44(12):4426-4440.(ZhaoJiaqi,ZhouYong,HeXin,etal.Researchprogressanalysisofpointcloudsegmentationbasedondeeplearningbasedondeeplearning[J].JournalofElectronicsamp;InformationTechnology,2022,44(12):4426-4440.)
[9]SuHang,MajiS,KalogerakisE,etal.Multi-viewconvolutionalneuralnetworksfor3Dshaperecognition[C]//ProcofIEEEInternationalConfe-renceonComputerVision.Piscataway,NJ:IEEEPress,2015:945-953.
[10]WeiXin,YuRuixuan,SunJian.View-GCN:view-basedgraphconvolutionalnetworkfor3Dshapeanalysis[C]//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEEPress,2020:1847-1856.
[11]MaturanaD,SchererS.VoxNet:a3Dconvolutionalneuralnetworkforreal-timeobjectrecognition[C]//ProcofIEEE/RSJInternationalConferenceonIntelligentRobotsandSystems.Piscataway,NJ:IEEEPress,2015:922-928.
[12]LeT,DuanYe.PointGrid:adeepnetworkfor3Dshapeunderstanding[C]//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEEPress,2018:9204-9214.
[13]QiCR,SuHao,MoKaichun,etal.PointNet:deeplearningonpointsetsfor3Dclassificationandsegmentation[C]//ProcofIEEEConfe-renceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEEPress,2017:652-660.
[14]QiCR,YiLi,SuHao,etal.PointNet++:deephierarchicalfeaturelearningonpointsetsinametricspace[C]//Procofthe24thAnnualConferenceonNeuralInformationProcessingSystems.Cambridge,MA:MITPress,2017:5099-5108.
[15]王本杰,農麗萍,張文輝,等.基于Spider卷積的三維點云分類與分割網絡[J].計算機應用,2020,40(6):1607-1612.(WangBenjie,NongLiping,ZhangWenhui,etal.3DpointcloudclassificationandsegmentationnetworkbasedonSpiderconvolution[J].JournalofComputerApplications,2020,40(6):1607-1612.)
[16]WangYue,SunYongbin,LiuZiwei,etal.DynamicgraphCNNforlear-ningonpointclouds[J].ACMTransonGraphics,2018,38(5):1-12.
[17]ChenLinzhuo,LiXuanyi,FanDengping,etal.LSANet:featurelear-ningonpointsetsbylocalspatialawarelayer[EB/OL].(2019-06-20)[2022-08-08].https://arxiv.org/abs/1905.05442.
[18]ZhaoChenxi,ZhouWeihao,LuLi,etal.Poolingscoresofneighboringpointsforimproved3Dpointcloudsegmentation[C]//ProcofIEEEInternationalConferenceonImageProcessing.Piscataway,NJ:IEEEPress,2019:1475-1479.
[19]HuQingyong,YangBo,XieLinhai,etal.RandLA-Net:efficientsemanticsegmentationoflarge-scalepointclouds[C]//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.Pisca-taway,NJ:IEEEPress,2020:11108-11117.
[20]MaXu,QinCan,YouHaoxuan,etal.Rethinkingnetworkdesignandlocalgeometryinpointcloud:asimpleresidualMLPframework[EB/OL].(2022-02-15)[2022-08-08].https://arxiv.org/abs/2202.07123.
[21]孫一珺,胡輝,李子鑰,等.適用于點云數據的注意力機制研究[J].計算機工程與應用,2022,58(23):254-260.(SunYijun,HuHui,LiZiyue,etal.Researchonattentionmechanismforpointclouddata[J].ComputerEngineeringandApplications,2022,58(23):254-260.)
[22]吳軍,崔玥,趙雪梅,等.SSA-PointNet++:空間自注意力機制下的3D點云語義分割網絡[J].計算機輔助設計與圖形學學報,2022,34(3):437-448.(WuJun,CuiYue,ZhaoXuemei,etal.SSA-PointNet++:aspaceself-attentionCNNforthesemanticsegmentationof3Dpointcloud[J].JournalofComputer-AidedDesignamp;ComputerGraphics,2022,34(3):437-448.)
[23]GoodfellowI,BengioY,CourvilleA.Deeplearning[M].Cambridge,MA:MITPress,2016:180-184.
[24]WuZhirong,SongShuran,KhoslaA,etal.3DShapeNets:adeepre-presentationforvolumetricshapes[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEEPress,2015:1912-1920.
[25]ChangAX,FunkhouserT,GuibasL,etal.ShapeNet:aninformation-rich3Dmodelrepository[EB/OL].(2015-12-09)[2022-08-08].https://arxiv.org/abs/1512.03012.
[26]ArmeniI,SenerO,ZamirAR,etal.3Dsemanticparsingoflarge-scaleindoorspaces[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.Piscataway,NJ:IEEEPress,2016:1534-1543.
[27]ThomasH,QiCR,DeschaudJE,etal.KPConv:flexibleanddefor-mableconvolutionforpointclouds[C]//ProcofIEEE/CVFInternationalConferenceonComputerVision.Piscataway,NJ:IEEEPress,2019:6410-6419.
[28]WuZizhao,ShouRuyang,WangYunhai,etal.Interactiveshapeco-segmentationvialabelpropagation[J].Computersamp;Graphics,2014,38(2):248-254.