基于深度學(xué)習(xí)的三維點(diǎn)云分類方法研究

摘 要： 隨著深度學(xué)習(xí)和3D傳感技術(shù)的快速發(fā)展，點(diǎn)云分類已在智能分級等領(lǐng)域得到了廣泛的應(yīng)用。為了更好地推進(jìn)點(diǎn)云分類技術(shù)的研究與應(yīng)用，利用管道體系結(jié)構(gòu)對相關(guān)方法的研究進(jìn)展進(jìn)行全面而系統(tǒng)的梳理、分析和總結(jié)。首先，根據(jù)點(diǎn)云數(shù)據(jù)處理方式的不同，將現(xiàn)有的點(diǎn)云分類方法歸納為間接基于點(diǎn)云的方法和直接基于點(diǎn)云的方法。然后，著重介紹了具有代表性的方法和最新研究成果，同時比較分析了主要方法的核心思想、優(yōu)缺點(diǎn)、適用范圍、應(yīng)用場景以及實(shí)驗(yàn)結(jié)果。最后，從四個方面對點(diǎn)云分類的未來發(fā)展以及研究方向進(jìn)行了展望，結(jié)果表明，將間接和直接點(diǎn)云的方法進(jìn)行2D-3D特征融合是未來的一個重要發(fā)展方向。

關(guān)鍵詞： 計(jì)算機(jī)視覺； 智能分級； 深度學(xué)習(xí)； 三維點(diǎn)云； 點(diǎn)云分類

中圖分類號： TP391；TP183"" 文獻(xiàn)標(biāo)志碼： A

文章編號： 1001-3695（2022）05-002-1289-08

doi：10.19734/j.issn.1001-3695.2021.10.0469

Research of deep learning-based classification methods for 3D point cloud

Wei Tianqi， Zheng Xiongsheng

（Zhejiang Ocean University， Zhoushan Zhejiang 316022， China）

Abstract： With the rapid development of deep learning and 3D sensing technology，point cloud classification has been widely used in intelligent classification and other fields.In order to better promote the research and application of point cloud classification technology，this paper combed，analyzed and summarized the research progress of related methods systematically by using pipeline architecture.Firstly，according to the different point cloud data processing methods，it analyzed and summarized the existing point cloud classification methods into indirect point cloud based methods and direct point cloud based methods.Then，it introduced the representative methods and the latest research，compared and analyzed the core ideas，advantages and disadvantages，scope of application，application scenarios and experimental results of the main methods.Finally，it prospected the future development and research direction of point cloud classification from four aspects.The results show that 2D-3D feature fusion of indirect and direct point cloud methods is an important development direction in the future.

Key words： computer vision； intelligent classification； deep learning； 3D point cloud； point cloud classification

0 引言

三維點(diǎn)云的分類是指將具有相同或相似屬性的同一個點(diǎn)云集（如船舶、樹木、螃蟹等）按照相關(guān)特征定義對其進(jìn)行分類，并用標(biāo)簽對被分類的點(diǎn)云集進(jìn)行標(biāo)記，從而得到每個點(diǎn)云集的類別。在現(xiàn)代漁業(yè)分級領(lǐng)域中，如智能船舶分類，三維點(diǎn)云的分類技術(shù)可以根據(jù)船舶類型的不同特征對船舶進(jìn)行精準(zhǔn)的識別和判斷，從而實(shí)現(xiàn)現(xiàn)代漁業(yè)的智能船舶分類［1］；又如螃蟹的性別分類裝備，點(diǎn)云的分類技術(shù)可以利用雌雄螃蟹不同的腹部和外殼特征對目標(biāo)螃蟹進(jìn)行精準(zhǔn)的特征學(xué)習(xí)，并對其性別進(jìn)行識別判斷，從而實(shí)現(xiàn)控制機(jī)械手臂的智能分級和智能抓取裝配［2］。此外，由于3D傳感技術(shù)的蓬勃發(fā)展，激光雷達(dá)（LiDAR）、RGB-D相機(jī)以及Kinect、Apple深度相機(jī)等三維掃描儀變得越來越普及，三維點(diǎn)云數(shù)據(jù)的采集技術(shù)也隨之變得越來越成熟，并且伴隨著點(diǎn)云的原始幾何、形狀和尺度等信息能夠完整地被保留在三維空間上的重要特性［3］，使得三維點(diǎn)云的分類技術(shù)成為了諸多領(lǐng)域的應(yīng)用研究首選對象，包括自動駕駛［4］、智能機(jī)器人［5］、虛擬現(xiàn)實(shí)［6］、場景重建［7］、逆向工程［8］等。

當(dāng)前，基于二維圖像的分類技術(shù)相當(dāng)成熟，主要得益于卷積神經(jīng)網(wǎng)絡(luò)（CNN）和大量的可用圖像數(shù)據(jù)集兩個關(guān)鍵因素。但是隨著工業(yè)界和學(xué)術(shù)界的不斷擴(kuò)大，分類問題有從2D向3D發(fā)展的趨勢。因此，二維圖像分類的遮擋等局限性問題逐漸被放大，而這些局限性會嚴(yán)重影響最終的分類準(zhǔn)確性，并且將二維圖像的分類技術(shù)應(yīng)用到三維空間時，會出現(xiàn)大量的信息匹配錯誤，而三維點(diǎn)云的出現(xiàn)很好地彌補(bǔ)了二維圖像的缺陷。早期的點(diǎn)云分類任務(wù)主要集中在傳統(tǒng)的機(jī)器學(xué)習(xí)，例如高斯模型［9］、支持向量機(jī)［10］及隨機(jī)森林［11］等，然而這些方法都忽略了點(diǎn)與點(diǎn)之間的聯(lián)系，從而導(dǎo)致最終的結(jié)果容易產(chǎn)生噪聲，影響分類的精確度。為了解決該問題，一些研究者嘗試?yán)蒙舷挛男畔ⅲㄈ珩R爾可夫隨機(jī)場［12］和條件隨機(jī)場［13］）來提高分類性能。這些方法代表著早期的手工設(shè)計(jì)提取特征，雖然取得了一些良好的分類效果，但由于手工設(shè)計(jì)提取特征的方法表達(dá)能力較弱，使得分類模型的泛化能力不強(qiáng)。2015年，深度學(xué)習(xí)［14］被廣泛定義，在深度學(xué)習(xí)技術(shù)的支持下，點(diǎn)云分類方法的相關(guān)研究迅速不斷地向前發(fā)展，在近些年擁有了越來越多的解決方法［15］，配合點(diǎn)云分類技術(shù)處理相關(guān)的計(jì)算機(jī)視覺問題正在成為未來的移動中心。

然而，系統(tǒng)性地歸納基于深度學(xué)習(xí)技術(shù)下的點(diǎn)云分類模型研究方法的文章還比較少，如文獻(xiàn)［15］。但是文獻(xiàn)［15］只是粗略地介紹了一些點(diǎn)云的分類方法，并沒有對各個方法進(jìn)行分區(qū)歸納。本文在前人研究的基礎(chǔ)上，重新對近些年國內(nèi)外的深度學(xué)習(xí)技術(shù)下的點(diǎn)云分類相關(guān)核心算法進(jìn)行了梳理分析，并根據(jù)點(diǎn)云數(shù)據(jù)處理方式的不同對相關(guān)方法進(jìn)行分區(qū)歸納，對比總結(jié)出各類方法的優(yōu)缺點(diǎn)，最后對相關(guān)方法的未來發(fā)展方向進(jìn)行探討，為研究者對于點(diǎn)云分類的研究提供深入地了解和認(rèn)知，促進(jìn)智能分級等領(lǐng)域的研究與應(yīng)用。

1 相關(guān)數(shù)據(jù)集和評估標(biāo)準(zhǔn)

1.1 相關(guān)數(shù)據(jù)集

隨著3D采集技術(shù)的快速發(fā)展，以及各種類型的3D掃描儀、3D攝像設(shè)備的不斷涌現(xiàn)，采集和獲取點(diǎn)云數(shù)據(jù)變得越來越便利和精準(zhǔn)。這些傳感器采集的3D數(shù)據(jù)可以提供豐富的幾何、形狀和比例信息，極大地促進(jìn)了三維點(diǎn)云分類技術(shù)的發(fā)展。本文認(rèn)真總結(jié)和梳理了現(xiàn)有用于評估深度學(xué)習(xí)算法對于不同三維點(diǎn)云應(yīng)用性能的相關(guān)典型數(shù)據(jù)集，并在一些典型數(shù)據(jù)集上進(jìn)行不同分類方法對比，供相關(guān)學(xué)者和研究者對比參考以及分析。其中包括ModelNet10［16］、ModelNet40［16］、ShapeNet［17］、ScanNet［18］、ScanObjectNet［19］等，如表1所示。數(shù)據(jù)集的類型分為合成類型和真實(shí)世界類型兩種；數(shù)據(jù)集的三維模型表示形式分為網(wǎng)格形式、RGB-D形式以及點(diǎn)云形式三種。此外，表1中的模型、類別、訓(xùn)練集和測試集分別代表著該數(shù)據(jù)集的模型總數(shù)、CAD模型的類別數(shù)、用來訓(xùn)練的模型數(shù)量和用來測試的模型數(shù)量。

1.2 評估標(biāo)準(zhǔn)

衡量三維點(diǎn)云分類性能優(yōu)劣性的評估標(biāo)準(zhǔn)通常有分類準(zhǔn)確率（又稱分類精度）、召回率以及查準(zhǔn)率。分類精度指正確預(yù)測的所有樣本個數(shù)與總樣本個數(shù)之間的比例；召回率指正確預(yù)測的所有正樣本個數(shù)與實(shí)際樣本中的正樣本個數(shù)之間的比例；查準(zhǔn)率指正確預(yù)測的所有正樣本個數(shù)與預(yù)測樣本中的正樣本個數(shù)之間的比例［20，21］。如表2所示的混淆矩陣，其中TP、FP、TN和FN分別代表著真陽性（true positive，TP）、假陽性（1 positive，F(xiàn)P）、真陰性（true negative，TN）、假陰性（1 negative，F(xiàn)N）。所以，〈TP+FP+TN+FN〉為總的樣本個數(shù)，〈TP+TN〉為正確預(yù)測的所有樣本個數(shù)，〈TP+FN〉為實(shí)際樣本中的正樣本個數(shù)，〈TP+FP〉為預(yù)測樣本中的正樣本個數(shù)。

因此，分類準(zhǔn)確率、召回率、查準(zhǔn)率用公式可以表示為

Acc=Tp+TNTP+FP+TN+FN（1）

R=TpTP+FN（2）

P=TpTP+FP（3）

其中：Acc代表分類準(zhǔn)確率（accuracy）；R代表召回率（recall）；P代表查準(zhǔn)率（precision）。

本文主要選取總體分類精度（overall acc，OA）和平均分類精度（average acc，AA）這兩個評估指標(biāo)對不同分類方法的表現(xiàn)性能進(jìn)行對比，供相關(guān)研究者對比參考以及分析。

2 基于深度學(xué)習(xí)的點(diǎn)云分類方法研究現(xiàn)狀

為了更好地理解和比較這一領(lǐng)域中最顯著的研究貢獻(xiàn)，本文利用管道體系結(jié)構(gòu)提出了一個類別分類法，主要將基于深度學(xué)習(xí)背景下三維點(diǎn)云的分類方法分為間接基于點(diǎn)云的分類方法和直接基于點(diǎn)云的分類方法，如圖1所示。此分類法主要根據(jù)點(diǎn)云數(shù)據(jù)處理方式的不同對現(xiàn)有方法進(jìn)行分類。其中，間接基于點(diǎn)云的分類方法主要是將不規(guī)則點(diǎn)云轉(zhuǎn)換成規(guī)則化的表示形式，該方法主要是用來克服點(diǎn)云數(shù)據(jù)不能直接用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理的局限。例如利用多視角渲染出模型的多視圖，或者是將不規(guī)則點(diǎn)云體素化后進(jìn)行網(wǎng)格形式表示。而直接基于點(diǎn)云的分類方法不需要進(jìn)行任何形式轉(zhuǎn)換，直接將點(diǎn)云輸入進(jìn)網(wǎng)絡(luò)中進(jìn)行分類。

2.1 間接基于點(diǎn)云的方法

2.1.1 基于體素的方法

第一個將非結(jié)構(gòu)化的點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為體素形式，從而能夠?qū)⑵漭斎氲?D的CNN中進(jìn)行分類的是Maturana等人［22］提出的VoxNet，如圖2所示。該方法通過使用CNN提取三維體素?cái)?shù)據(jù)的空間局部相關(guān)性，從而進(jìn)行分類，對于3D模型識別具有良好的魯棒性。Wu等人［16］設(shè)計(jì)了一種用于各種3D形狀的點(diǎn)分布學(xué)習(xí)方法（3D ShapeNet），該方法能夠有效地學(xué)習(xí)到復(fù)雜體素的分布，在一定程度上解決了點(diǎn)云的非結(jié)構(gòu)化問題。這兩種方法［16，22］在分類性能上雖然取得了不錯的效果，但是在計(jì)算時內(nèi)存占用較大，所以只能在比較稀疏的數(shù)據(jù)上實(shí)現(xiàn)，并未在密集的數(shù)據(jù)上得到應(yīng)用。

為了解決內(nèi)存消耗問題，Riegler等人［23］通過引入八叉樹結(jié)構(gòu)，開發(fā)出一種能夠自適應(yīng)劃分空間的OctNet，該方法首先借助八叉樹結(jié)構(gòu)對點(diǎn)云進(jìn)行分層劃分，然后通過簡單的算法快速取得索引，用于存儲平面的信息，并且可以將平面的計(jì)算限制在平面附近。實(shí)驗(yàn)結(jié)果表明，該方法可以大大節(jié)省計(jì)算開銷，降低內(nèi)存損耗。Wang等人［24］介紹了一種高分辨率點(diǎn)云的內(nèi)存需求較低的O-CNN算法，該算法能夠?qū)瞬鏄渲胁蓸拥?D模型的平均法向量饋送到網(wǎng)絡(luò)中，利用八叉樹表示的稀疏性等優(yōu)勢合理地分配內(nèi)存，明顯提高了分類算法的計(jì)算效率。Le等人［25］提出一種通過使用3D卷積更好地提取表示局部幾何圖形細(xì)節(jié)的混合網(wǎng)絡(luò)模型PointGrid。該網(wǎng)絡(luò)模型通過集成點(diǎn)與網(wǎng)格的表示形式，使得該網(wǎng)絡(luò)在具有規(guī)則結(jié)構(gòu)的基礎(chǔ)下，允許3D卷積分層提取全局信息。為了有效地解決體素網(wǎng)格大小的限制問題，該方法還在嵌入的每個單元體素網(wǎng)格中采用恒定的數(shù)量點(diǎn)，能夠在數(shù)據(jù)大小方面很好地進(jìn)行縮放，從而實(shí)現(xiàn)了高效處理點(diǎn)云。最終的實(shí)驗(yàn)證明，與VoxNet［22］相比，該算法不需要太高的分辨率網(wǎng)格也能達(dá)到滿意的分類效果，很好地解決了計(jì)算時的內(nèi)存占用過大的問題，提高了分類效率。

類似地，為了有效避免較差的縮放行為，以保持較少的占用內(nèi)存，Klokov等人［26］利用三維索引最常見的KD-樹結(jié)構(gòu)，設(shè)計(jì)出一種深層次的點(diǎn)云分類網(wǎng)絡(luò)框架KD-Net。該方法首先使用KD-樹構(gòu)成整體計(jì)算圖，然后共享可學(xué)習(xí)的參數(shù)，同時以自底而上的方式計(jì)算分層的表示序列，使得該方法在訓(xùn)練和測試時占用的內(nèi)存更小，因此計(jì)算效率得到了進(jìn)一步提升。然而，該方法容易受到體素邊界模糊的影響，使局部網(wǎng)格的幾何結(jié)構(gòu)不能得到充分利用。為此，Li等人［27］開發(fā)出一種場探測神經(jīng)網(wǎng)絡(luò)（field probing neural networks，F(xiàn)PNN）。該網(wǎng)絡(luò)首先通過一組探測過濾器對輸入場進(jìn)行采樣，其中每個探測濾波器是由一組探測點(diǎn)組成，并且探測點(diǎn)能夠確定濾波器的形狀和位置，以及與探測點(diǎn)相關(guān)聯(lián)的濾波器權(quán)重。然后優(yōu)化與探測點(diǎn)相關(guān)的權(quán)重和探測點(diǎn)的位置，使探測濾波器的形狀變形，并在三維空間中自適應(yīng)地分布。由于該方法的計(jì)算量取決于在3D空間中放置探測濾波器的數(shù)量，以及每個濾波器探測點(diǎn)的采樣多少，所以計(jì)算復(fù)雜性不會隨著輸入分辨率的增加而增加。最終的實(shí)驗(yàn)結(jié)果顯示，該方法在三維物體分類任務(wù)上取得了先進(jìn)的性能。

基于體素的方法雖然能夠?qū)㈦x散的非結(jié)構(gòu)化點(diǎn)云轉(zhuǎn)換為結(jié)構(gòu)化的體素網(wǎng)格，擁有著不錯的分類效果，但是轉(zhuǎn)換的過程中容易導(dǎo)致出現(xiàn)一些不必要的計(jì)算，并且會出現(xiàn)一些重要特征信息的丟失，這使得最終的分類精度會有所損失。

2.1.2 基于多視圖的方法

最具代表性的多視圖方法是Su等人［28］提出的MVCNN，具體框架如圖3所示。該方法首先將一個3D模型渲染成不同視角的二維視圖，然后將每一個視圖獨(dú)立輸入進(jìn)一個CNN，經(jīng)過一個view-pooling層進(jìn)行特征聚合，最后再將聚合后的特征經(jīng)過第二個CNN得到分類結(jié)果。相比于傳統(tǒng)方法，作為多視圖方法的先驅(qū)者，MVCNN雖然在點(diǎn)云分類任務(wù)上擁有非常好的效果，但是在渲染多視圖的過程中會忽略一些幾何的關(guān)鍵信息，所以不適用于復(fù)雜的大規(guī)模場景；并且MVCNN是多視圖方法的初步嘗試，所以精度并沒有達(dá)到較高水平。

在MVCNN［28］的基礎(chǔ)上，Qi等人［29］在通過改進(jìn)體素CNN以及多視圖CNN，設(shè)計(jì)出兩種不同容量的CNN結(jié)構(gòu)網(wǎng)絡(luò)（MVCNN-Multires）。其中，第一個網(wǎng)絡(luò)主要是通過對物體的一部分進(jìn)行分類，從而引入輔助學(xué)習(xí)任務(wù)，有助于更深入地觀察3D物體的細(xì)節(jié)；第二個網(wǎng)絡(luò)則是使用長的各向異性核來探測遠(yuǎn)距離交互。通過將數(shù)據(jù)擴(kuò)充與多方向池相結(jié)合，使得這兩個網(wǎng)絡(luò)的性能都得到了顯著的提高。對于三維點(diǎn)云分類任務(wù)而言，超過了先前的其他方法。

為了進(jìn)一步提高點(diǎn)云分類的精度，Wang等人［30］通過引入基于優(yōu)勢集的視圖聚類和池化層，對多視圖的方法進(jìn)行了改進(jìn)。首先，將類似的視圖信息進(jìn)行匯集，然后以遞歸的方式將集合的特征向量作為輸入，輸入到同一層。該方法識別準(zhǔn)確率在ModelNet40［16］測試集上達(dá)到了驚人的93.8%。為了提高該方法的訓(xùn)練效率，權(quán)衡了在現(xiàn)實(shí)環(huán)境中的性能和計(jì)算成本，Wang等人還探索出一種快速近似學(xué)習(xí)策略，該策略在犧牲端到端學(xué)習(xí)的同時，極大地提高了訓(xùn)練時的效率，而犧牲端到端學(xué)習(xí)僅僅將識別準(zhǔn)確率降低了0.5%。

然而，上述多視圖方法［28～30］在進(jìn)行聚類操作時，難免會丟失一些有用的重要信息。為了解決該問題，Yu等人［31］提出一種通過協(xié)調(diào)雙線性來集成局部卷積特征，用于產(chǎn)生緊湊的全局描述符的多視圖協(xié)調(diào)雙線性網(wǎng)絡(luò)MHBN（multi-view harmonized bilinear network）。該框架充分利用了多視圖與雙線性池化之間的關(guān)系，得出一種有效的三維物體表示方法。同時該方法對混合雙線特征的奇異值進(jìn)行了協(xié)調(diào)，生成了一種更具有區(qū)分性的三維對象表示。最終的實(shí)驗(yàn)表明了該方法在三維目標(biāo)識別中具有良好的有效性。

Feng等人［32］介紹了一種群視圖卷積神經(jīng)網(wǎng)絡(luò)GVCNN（group-view convolutional neural networks）的分層相關(guān)建模框架。該網(wǎng)絡(luò)模型首先利用擴(kuò)展的CNN來提取視圖的特征，然后通過引入一個分組模塊用來估計(jì)每個視圖的區(qū)分程度，接著將所有的視圖劃分成不同的組，最后將其組合成形狀描述符。實(shí)驗(yàn)結(jié)果表明，該方法在三維點(diǎn)云分類任務(wù)上取得較高的性能。Ma等人［33］展示了一種新的基于多視圖的三維形狀識別網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)通過結(jié)合CNN與LSTM，從多角度挖掘出較多的相關(guān)有用信息，使得分類精度進(jìn)一步得到提升。Yang等人［34］通過改進(jìn)不同視圖圖像之間的區(qū)域到區(qū)域和視圖到視圖之間的關(guān)系，得到了一種關(guān)系網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以從不同的視圖角度有效地連接相應(yīng)的區(qū)域，從而進(jìn)一步增強(qiáng)每個視圖圖像的相關(guān)信息，然后集成這些視圖的信息獲得區(qū)分性較高的三維模型表示。

此外，文獻(xiàn)［35～37］的方法有不同程度的提升。但是，現(xiàn)有基于多視圖的點(diǎn)云分類方法大多數(shù)忽略了視圖固有的層次相關(guān)性和可分辨性，難以進(jìn)一步提高分類精度。為了解決這一問題，Wang等人［38］提出了一種用于高精度識別的端到端的多視點(diǎn)雙注意力網(wǎng)絡(luò)框架（multi-view dual attention network，MVDAN）。一方面，通過卷積層得到查詢、鍵和值三個特征層。空間注意矩陣由查詢和鍵的鍵值對生成，每個特征在原始特征空間分支的值中被賦予不同的重要性，清晰地捕捉視圖中的突出細(xì)節(jié)特征，生成視圖空間形狀描述符，并以類別識別為特征來關(guān)注視圖的細(xì)節(jié)部分。另一方面，通過壓縮不同視點(diǎn)中的通道信息，得到一個通道注意向量，并對每個視圖特征的注意權(quán)重進(jìn)行縮放，找出目標(biāo)視圖與所有視圖中的重要特征之間的相關(guān)性。將這兩個特征描述子結(jié)合起來生成三維模型的全局形狀描述子，對目標(biāo)模型的特征有較強(qiáng)的響應(yīng)能力，可用于高精度的三維物體識別。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有的深度學(xué)習(xí)方法相比，該方法在分類精度上達(dá)到了最先進(jìn)的水平。

基于多視圖的方法雖然能夠利用成熟的二維圖像分類技術(shù)達(dá)到較好的分類性能，但在視圖的表征或處理過程中會丟失一些特征信息或者是細(xì)節(jié)信息，因此需要考慮視圖位置和角度的選取，并且多視圖無法捕獲到3D模型的內(nèi)部幾何信息也是一個很大的問題，不適用于大規(guī)模場景的點(diǎn)云分類。

2.2 直接基于點(diǎn)云的方法

基于體素和多視圖的方法都是先將不規(guī)則點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為其他規(guī)則的形式，很好地克服了點(diǎn)云數(shù)據(jù)不能直接用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行處理的局限，然而在轉(zhuǎn)換表示形式時，不可避免地會丟失一些信息，以及增加計(jì)算的復(fù)雜度。為了充分利用點(diǎn)云數(shù)據(jù)的幾何特性（點(diǎn)云能夠?qū)⑷S模型的原始幾何信息完整保留在三維空間上的重要特性［39］），斯坦福大學(xué)的Qi等人［40］開發(fā)的PointNet框架打開了這類方法的大門。如圖4所示，該方法直接輸入點(diǎn)云數(shù)據(jù)，采用了兩次STN（spatial transformer networks）對輸入的點(diǎn)矩陣進(jìn)行了空間變換；此外，該架構(gòu)還使用共享多層感知機(jī)（shared MLP）以及最大池化層來學(xué)習(xí)每個點(diǎn)的特征，并聚合成全局特征，有效地解決了點(diǎn)云的無序性、置換不變性以及旋轉(zhuǎn)不變性等問題。但是該方法的每一個點(diǎn)都是相對獨(dú)立學(xué)習(xí)的，因此點(diǎn)與點(diǎn)之間的局部結(jié)構(gòu)信息不能夠完全被捕獲。為此，Qi等人［41］基于PointNet進(jìn)行優(yōu)化，提出一種PointNet++框架，但是由于自身的體系結(jié)構(gòu)非常復(fù)雜，其復(fù)雜度相對過高。所以，國內(nèi)外研究學(xué)者提出了許多的解決方案，本節(jié)根據(jù)用于每個點(diǎn)的特征學(xué)習(xí)的網(wǎng)絡(luò)體系結(jié)構(gòu)將直接基于點(diǎn)云的方法進(jìn)一步細(xì)分為逐點(diǎn)MLP法、卷積法、基于圖的方法以及分層數(shù)據(jù)結(jié)構(gòu)法四種方法。

2.2.1 逐點(diǎn)MLP法

在PointNet的基礎(chǔ)上，Joseph-Rivlin等人［42］設(shè)計(jì)出一種使用3D坐標(biāo)作為類標(biāo)志符擴(kuò)展到形狀分類的思路MomeNet，該方法主要是通過非結(jié)構(gòu)化點(diǎn)云數(shù)據(jù)集訓(xùn)練神經(jīng)網(wǎng)絡(luò)來提取點(diǎn)云的鑒別屬性，是一種支持幾何矩陣的點(diǎn)云分類網(wǎng)絡(luò)模型。其中，該網(wǎng)絡(luò)最突出的特點(diǎn)是補(bǔ)充給定的點(diǎn)云坐標(biāo)以及坐標(biāo)多項(xiàng)式函數(shù)，由此可以在網(wǎng)絡(luò)計(jì)算中給定形狀的高階矩陣。與PointNet相比較，該方法在內(nèi)存和實(shí)際的計(jì)算復(fù)雜度上擁有更高的學(xué)習(xí)效率，并且具有更優(yōu)的分類性能。

Yang等人［43］通過改進(jìn)PointNet++開發(fā)出一種具有注意力機(jī)制的點(diǎn)注意力轉(zhuǎn)換器（PAT），該方法能夠使用一個參數(shù)有效的自注意力機(jī)制來取代昂貴的多頭注意力機(jī)制。為了解決數(shù)據(jù)集采樣問題，Yang等人還提出了一種與任務(wù)無關(guān)的具有置換不變的采樣操作（gumbel subset sampling，GSS），以此來實(shí)現(xiàn)端到端的訓(xùn)練效果。利用GSS使得PAT在手勢數(shù)據(jù)集上達(dá)到了最先進(jìn)的分類性能。Zhao等人［44］展示了一種能夠在點(diǎn)云局部領(lǐng)域中提取到上下文特征的網(wǎng)絡(luò)框架PointWeb，該框架首先設(shè)置了一個自適應(yīng)特征調(diào)整模塊，可以在每個成對的點(diǎn)之間相互交換信息，使得學(xué)習(xí)逐點(diǎn)特征的表示能力得到了很好的提升，然后根據(jù)自適應(yīng)學(xué)習(xí)的影響指標(biāo)，對每個特征同一區(qū)域的其他特征進(jìn)行推送。最終的實(shí)驗(yàn)證明利用區(qū)域信息對調(diào)整后的特征進(jìn)行編碼，有利于點(diǎn)云的識別任務(wù)。

為了驗(yàn)證3D物體局部結(jié)構(gòu)之間可能存在的共同聯(lián)系，Duan等人［45］提出了一種有效的結(jié)構(gòu)關(guān)系網(wǎng)絡(luò)模塊（structural relation network，SRN），該模塊能夠用于分析三維點(diǎn)云中局部區(qū)域的結(jié)構(gòu)依賴關(guān)系。具體地說，該模塊能夠計(jì)算出每個局部結(jié)構(gòu)與其他結(jié)構(gòu)之間的幾何位置和相互作用。通過SRN可以讓學(xué)習(xí)到的局部特征對三維結(jié)構(gòu)以及與其他局部區(qū)域的依賴關(guān)系進(jìn)行編碼。此外，該模塊還是一種有效的即插即用模塊，在三維點(diǎn)云分類任務(wù)上有了很大的改進(jìn)。

由于高維輸入和有限的內(nèi)存大小，傳統(tǒng)的查找表無法加快推理過程。為此，Lin等人［46］提出了一種快速查找方法，該方法在PointNet的推理時間上完成了32倍的加速比，并且在快速推理的過程中性能不會下降。Sun等人［47］還設(shè)計(jì)了一種點(diǎn)投影特征提取方法，該方法使得提取的特征與點(diǎn)云輸入的旋轉(zhuǎn)無關(guān)。Yan等人［48］開發(fā)了一種端到端的具有魯棒性的點(diǎn)云處理的網(wǎng)絡(luò)框架PointASNL，該方法首先對最遠(yuǎn)點(diǎn)進(jìn)行采樣，并重新加權(quán)初始采樣點(diǎn)周圍的鄰域，然后自適應(yīng)地調(diào)整采樣點(diǎn)的相關(guān)性，包括點(diǎn)云的特征以及在三維空間的坐標(biāo)等。

2.2.2 卷積法

為了解決三維點(diǎn)云的無序性，使得卷積算法能夠應(yīng)用到三維點(diǎn)云數(shù)據(jù)上，Hua等人［49］提出了一種逐點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠讓輸入點(diǎn)云中的每一個點(diǎn)的特征都能進(jìn)行卷積算法。首先將點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為均勻網(wǎng)格并在每個網(wǎng)格中都定義一個卷積核，然后將相同的權(quán)重分配給同一個網(wǎng)格中的所有點(diǎn)，最后對網(wǎng)格中的所有平均特征加權(quán)求和得到當(dāng)前層的輸出。Li等人［50］開發(fā)了一種針對規(guī)則數(shù)據(jù)的CNN來處理非規(guī)則的無序點(diǎn)云數(shù)據(jù)的方法PointCNN，首先通過X-卷積變換將輸入的無規(guī)則點(diǎn)云轉(zhuǎn)換成規(guī)范順序，然后加權(quán)和排列輸入的點(diǎn)云特征。該方法可以把輸入點(diǎn)云的形狀信息進(jìn)行特征編碼，因此具有相當(dāng)不錯的性能。Lei等人［51］設(shè)計(jì)了一種八叉樹神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和球面卷積核，利用八叉樹將離散的點(diǎn)云規(guī)則化并通過空間分區(qū)粗化了數(shù)據(jù)表示，同時利用了球面卷積核保持平移的不變性，避免了平移后造成的不對稱性。Lan等人［52］展示了一種能夠?qū)γ總€點(diǎn)及其局部鄰域點(diǎn)進(jìn)行特征提取的卷積方法Geo-Conv，該方法主要是將中心點(diǎn)到鄰域點(diǎn)所組成的向量分解在三個正交軸上，然后根據(jù)該向量和三個坐標(biāo)軸的夾角來提取特征，這種方式可以在歐氏空間中保存很好的幾何結(jié)構(gòu)信息。類似地還有文獻(xiàn)［53～55］，都是屬于離散的卷積方法。

然而上述離散卷積方法在實(shí)際的應(yīng)用中會出現(xiàn)一些局限性。例如，無法實(shí)現(xiàn)平移不變和置換不變。為此，Wu等人［56］提出了一種新型卷積運(yùn)算方法，并將其命名為PointConv。該方法是一種連續(xù)卷積的方法，能夠?qū)討B(tài)濾波器擴(kuò)展到點(diǎn)云上。其中，卷積核能夠用于計(jì)算3D空間中的任何點(diǎn)集上的平移不變和置換不變卷積，并且PointConv還可用做反卷積的運(yùn)算符，將子采樣點(diǎn)云中的特征傳播回原始分辨率。Liu等人［57］提出了一種關(guān)系形狀卷積神經(jīng)網(wǎng)絡(luò)RSCNN，該方法與PointConv的思路相似，都是使用共享多層感知機(jī)來學(xué)習(xí)權(quán)重的值，因此可以實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)分析的上下文形狀感知學(xué)習(xí)。

2.2.3 基于圖的方法

由于點(diǎn)云數(shù)據(jù)的稀疏性和不規(guī)則性，研究者們在研究直接基于點(diǎn)云方法的時候，需要充分保留數(shù)據(jù)粒度以及挖掘點(diǎn)與點(diǎn)之間的相互關(guān)系，而圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional networks，GCN）在半監(jiān)督的分類任務(wù)上表現(xiàn)突出，因此研究者們逐漸考慮圖卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)云分類方法。具有代表性的是Te等人［58］提出的一種點(diǎn)云的正則化圖卷積神經(jīng)網(wǎng)絡(luò)RGCNN。該網(wǎng)絡(luò)首先利用譜圖理論，將點(diǎn)云中點(diǎn)的特征作為圖上的信號，然后在RGCNN的每一層中都更新圖拉普拉斯矩陣，使得網(wǎng)絡(luò)能夠更好地自適應(yīng)捕獲到動態(tài)圖的結(jié)構(gòu)。此外，Zhang等人［59］基于圖卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)了一種能夠提取點(diǎn)特征的點(diǎn)云分類網(wǎng)絡(luò)，該網(wǎng)絡(luò)利用圖形結(jié)構(gòu)中編碼的幾何信息，縮小了學(xué)習(xí)模型的搜索空間，提高了模型的收斂速度以及魯棒性。

為解決局部領(lǐng)域幾何特征的獲取能力差等問題，Wang等人［60］開發(fā)出一種動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)DGCNN。該網(wǎng)絡(luò)模型介紹了邊緣卷積和動態(tài)圖形兩種新的概念。其中，邊緣卷積主要是對點(diǎn)云中節(jié)點(diǎn)的特征進(jìn)行更新操作，每次更新后，構(gòu)建的局部圖也會隨之動態(tài)更新。Zhang等人［61］在原始的DGCNN中去除了變換網(wǎng)絡(luò)并添加了節(jié)點(diǎn)的跨層連接的基礎(chǔ)上，提出了一種新穎的鏈接動態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)LDGCNN。該網(wǎng)絡(luò)首先利用共享參數(shù)的KNN和MLP從中心點(diǎn)以及中心鄰域上提取出局部特征，然后在不同層次間的層次特征連接起來，以此計(jì)算出信息的邊緣向量。實(shí)驗(yàn)結(jié)果顯示，LDGCNN在ModelNet［16］以及ShapeNet［17］數(shù)據(jù)集上都達(dá)到了最先進(jìn)的分類性能。

此外，針對花費(fèi)在數(shù)據(jù)結(jié)構(gòu)上的時間長，以及數(shù)據(jù)采樣的速度和可擴(kuò)展性等問題，Xu等人［62］基于體素提出了一種快速采樣方法，稱為Grid-GCN。該方法主要引入覆蓋—感知網(wǎng)格查詢（coverage-aware grid query，CAGQ）和網(wǎng)格上下文聚合（grid context aggregation，GCA）的圖卷積模塊。其中，CAGQ降低了數(shù)據(jù)結(jié)構(gòu)的成本，并為點(diǎn)組提供了較為完整的點(diǎn)云覆蓋，從而實(shí)現(xiàn)高效的數(shù)據(jù)結(jié)構(gòu)和計(jì)算；GCA將上下文特征和覆蓋信息融合到計(jì)算中。實(shí)驗(yàn)表明，通過這兩個模塊，該方法在ModelNet［16］分類任務(wù)上的計(jì)算效率比其他模型平均快五倍。

2.2.4 分層數(shù)據(jù)結(jié)構(gòu)法

KD-樹是一種深層體系的結(jié)構(gòu)，Klokov等人［26］已經(jīng)證明了與其他層次體系結(jié)構(gòu)（如八叉樹）相比，KD-Net在訓(xùn)練和測試時都具備有效的競爭性能。受KD-Net的啟發(fā)，Zeng等人［63］設(shè)計(jì)出一種利用KD-樹所施加的局部和全局上下文線索進(jìn)行特征學(xué)習(xí)的方法3DContextNet，該方法是一種在KD-樹上逐步計(jì)算表示向量并以此進(jìn)行特征聚合的方法，實(shí)驗(yàn)結(jié)果也驗(yàn)證了該方法的優(yōu)越性。然而該方法并未考慮點(diǎn)云的非均勻點(diǎn)的采樣問題。

針對無序點(diǎn)云的特征提取問題，Li等人［64］開發(fā)出一種基于深度學(xué)習(xí)的置換不變的自組織網(wǎng)絡(luò)結(jié)構(gòu)（self-organizing network，SO-Net）。該網(wǎng)絡(luò)主要是通過構(gòu)建的自組織映射來模擬出點(diǎn)云的空間分布，而自組織映射又包括輸入層和輸出層兩層網(wǎng)絡(luò)結(jié)構(gòu)，其中輸入層能夠?qū)⑼饨绲男畔⑼ㄟ^權(quán)向量匯集到輸出層的各個神經(jīng)元，而輸出層中的每個神經(jīng)元與其周圍其他神經(jīng)元進(jìn)行側(cè)向連接，排列成一種棋盤狀的平面。由于該結(jié)構(gòu)的并行性和簡單性，所以訓(xùn)練速度非常快。Xie等人［65］在設(shè)計(jì)網(wǎng)絡(luò)時采用了形狀上下文的概念作為網(wǎng)絡(luò)的構(gòu)建塊，由此設(shè)計(jì)出一種新的端到端的模型結(jié)構(gòu)（shape context network，SCN）。該模型是由分層結(jié)構(gòu)所組成，網(wǎng)絡(luò)模塊不依賴固定的網(wǎng)格，并且具有捕獲和傳播對象部件信息的作用，因此該模型具有一定的有效性。

直接基于點(diǎn)云的方法盡管有許多優(yōu)勢，例如可以將三維模型的原始幾何信息完整地保留在三維空間上，使得空間信息損失最小化，并且基于點(diǎn)云的方法也是未來研究趨勢。但由于基于點(diǎn)云的網(wǎng)絡(luò)模型一般較為復(fù)雜，所以會導(dǎo)致計(jì)算效率低下。此外，模型的優(yōu)化（如平衡分類精度、計(jì)算效率以及模型的復(fù)雜度等）也是該類方法的難點(diǎn)。

Chen等人［66］指出對稱性組的等變特征（equivariant features，EF）更具有區(qū)分性，然而高階的等變特征通常會伴隨指數(shù)增長的計(jì)算量，并且常規(guī)的池化操作會不可避免地?fù)p失有用的特征，并破壞特征的等變結(jié)構(gòu)。針對該問題，Chen等人［66］開發(fā)了一種新穎的適用于點(diǎn)云分析的SE（3）等變網(wǎng)絡(luò)，大大地降低了計(jì)算成本，并在此基礎(chǔ)上引入一種群注意力（group attentive，GA）層結(jié)構(gòu)，該結(jié)構(gòu)可以自適應(yīng)地將旋轉(zhuǎn)—等變特征融合到不變特征中。當(dāng)與網(wǎng)絡(luò)聯(lián)合訓(xùn)練時，能夠有效地利用等變特征的表現(xiàn)力進(jìn)而導(dǎo)出特征空間中的內(nèi)在局部框架，并生成能夠集成到不同任務(wù)注意力的權(quán)重。該方法是等變特征的初步嘗試，因此還需要進(jìn)一步找出更有效的方法去適應(yīng)廣泛的應(yīng)用范圍。

為了降低學(xué)習(xí)過程的復(fù)雜性，Xu等人［67］提出了一種位置自適應(yīng)卷積方法（position adaptive convolution，PAConv）。與SRN［45］相似，PAConv也是一種即插即用的方法。不同的是，該方法主要是通過動態(tài)組合存儲在權(quán)重庫（weight bank）中的基本權(quán)重矩陣來構(gòu)造卷積核。其中，權(quán)重矩陣的系數(shù)是通過ScoreNet［68］從點(diǎn)位置自適應(yīng)學(xué)習(xí)得到的，以便更好地處理無序的不規(guī)則點(diǎn)云。實(shí)驗(yàn)結(jié)果證明，PAConv的方法在分類任務(wù)上顯著提高了基線性能，并且極其高效。

3 不同點(diǎn)云分類方法的比較以及實(shí)驗(yàn)結(jié)果對比

基于第2章現(xiàn)階段的點(diǎn)云分類方法，本文總結(jié)出間接和直接基于點(diǎn)云分類方法的核心思想、優(yōu)點(diǎn)、缺點(diǎn)、適用范圍和應(yīng)用場景，目的是為了更直觀地對比間接基于點(diǎn)云的分類方法以及直接基于點(diǎn)云的分類方法，具體比較內(nèi)容如表3所示。

此外，本文還展示出各個點(diǎn)云分類方法在主要數(shù)據(jù)集上的表現(xiàn)性能，目的是為了讓研究者對各個方法的性能一目了然，也為日后算法的創(chuàng)新和改進(jìn)，提供了一個實(shí)驗(yàn)數(shù)據(jù)對比。具體展示的內(nèi)容如表3～5所示，其中表4展示的是一些典型的間接基于點(diǎn)云的分類方法實(shí)驗(yàn)結(jié)果對比，表5展示的是一些具有代表性的直接基于點(diǎn)云的分類方法實(shí)驗(yàn)結(jié)果對比。

4 研究展望

近些年，基于深度學(xué)習(xí)的點(diǎn)云分類技術(shù)取得了巨大的進(jìn)步，這是由于現(xiàn)有計(jì)算能力的提高以及傳感器和計(jì)算技術(shù)成本的降低，使得點(diǎn)云分類的技術(shù)準(zhǔn)備水平達(dá)到了成熟。預(yù)計(jì)點(diǎn)云分類技術(shù)在未來的計(jì)算機(jī)視覺中會發(fā)揮至關(guān)重要的作用，因?yàn)辄c(diǎn)云數(shù)據(jù)提供了原始物體三維空間上的幾何、形狀和尺度等信息，以及對環(huán)境產(chǎn)生積極影響的潛力。但是基于深度學(xué)習(xí)的點(diǎn)云分類方法還面臨著幾個挑戰(zhàn)，例如點(diǎn)云數(shù)據(jù)的稀疏性、數(shù)據(jù)的表示形式，以及遮擋和截?cái)鄦栴}等。現(xiàn)有的大多數(shù)方法都是為了改善某種方法存在的缺陷，并在一些特定的數(shù)據(jù)集上取得了理想的分類效果，但在實(shí)際應(yīng)用中缺乏一定的普適性和靈活性。本章基于點(diǎn)云分類現(xiàn)有的研究方法，對點(diǎn)云的分類方法進(jìn)行了如下研究展望。

4.1 點(diǎn)云數(shù)據(jù)的稀疏性

點(diǎn)云數(shù)據(jù)本質(zhì)上是稀疏的。雖然點(diǎn)云分類技術(shù)致力于快速精準(zhǔn)的性能，但使用標(biāo)準(zhǔn)的卷積方法來處理點(diǎn)云稀疏性已經(jīng)被證明計(jì)算效率是低下的，因此衍生出一系列的間接基于點(diǎn)云的方法。

其中，基于體素的方法是先將點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為固定大小的體素形式，并采用2D或者3D的卷積神經(jīng)網(wǎng)絡(luò)（CNN）對其進(jìn)行分類，雖然解決了點(diǎn)云非結(jié)構(gòu)化的劣勢，能夠使分類任務(wù)得到較好的性能，但是由于體素化后的網(wǎng)格大小限制了分類性能，過低的分辨率可能會導(dǎo)致丟失一些有用的幾何信息，過高的分辨率又會導(dǎo)致計(jì)算量增加并且伴隨著會發(fā)生嚴(yán)重的內(nèi)存占用情況，所以尋找一個適中分辨率的體素是未來的研究方向之一。

基于多視圖的方法主要利用二維圖像中成熟的網(wǎng)絡(luò)架構(gòu)，將非結(jié)構(gòu)化的三維點(diǎn)云從不同角度投影轉(zhuǎn)換為二維圖像，然后融合二維圖像的特征，使得三維點(diǎn)云的分類問題成為二維圖像分類問題。然而在三維模型轉(zhuǎn)二維圖像時會引起不必要的信息損失，并且基于多視圖的方法無法捕獲到三維模型的內(nèi)部空間信息也是一個很大的問題所在，因此在未來的研究中尋找最佳視圖位置以及最佳角度是一項(xiàng)重要的工作，同時聯(lián)合點(diǎn)云方法去尋找模型的內(nèi)部信息也是一個有趣的研究方向。

4.2 數(shù)據(jù)的表示形式

目前，數(shù)據(jù)表示是為加速整個分類過程而對數(shù)據(jù)進(jìn)行預(yù)處理的方式，可以考慮更粗糙的表示（如體素），也可以將其壓縮為2D（如多視圖）。加上點(diǎn)云數(shù)據(jù)的稀疏性，數(shù)據(jù)表示尚未得到充分的探索，因此在未來的研究中，需要對點(diǎn)云數(shù)據(jù)實(shí)施更充分的探索，以便為實(shí)時應(yīng)用程序所需的高效時間方法開辟道路。

4.3 遮擋和截?cái)鄦栴}

遮擋和截?cái)嗍欠诸惥鹊拖碌闹饕蛩刂唬涮攸c(diǎn)在于同一個物體的部件可能擋住其他部件的視野，或者是不同物體之間存在相互遮擋問題，造成物體的部分或者完全不可見。因此，需要對這個問題進(jìn)行詳細(xì)研究，以便解決實(shí)際場景中可能存在高度遮擋或截?cái)喑潭容^高的對象識別分類。

4.4 數(shù)據(jù)融合方法

相比于間接基于點(diǎn)云的方法，直接基于點(diǎn)云的方法無須任何轉(zhuǎn)換，直接將點(diǎn)云輸入到神經(jīng)網(wǎng)絡(luò)中完成分類，在近些年是最常被研究者所研究的方法。然而大多數(shù)方法都需要依賴于昂貴的鄰近搜索，所以會限制點(diǎn)云分類任務(wù)的效率，并且點(diǎn)云的無序性、不規(guī)則性仍然是基于點(diǎn)云方法的一個瓶頸問題，因此在未來的研究中可以聯(lián)合體素等方法去提高分類任務(wù)具有重要的意義。此外，原始的點(diǎn)云數(shù)據(jù)具有很強(qiáng)的3D幾何特征，但不具有2D圖像的紋理信息，所以僅依靠直接基于點(diǎn)云的方法進(jìn)行分類在一些場景下是比較困難的。在未來的研究中，利用多視圖等其他數(shù)據(jù)的融合特征也是一個很有價(jià)值的方向。

綜上所述，不同數(shù)據(jù)的特征對最終分類的性能會產(chǎn)生很大的影響。因此，將間接和直接點(diǎn)云的方法進(jìn)行2D-3D特征融合，優(yōu)勢互補(bǔ)，是未來的發(fā)展趨勢。相信不久的將來，這種聯(lián)合的方法會在點(diǎn)云分類任務(wù)上大放異彩，為智能分級等領(lǐng)域的研究與應(yīng)用提供重要的識別技術(shù)。

5 結(jié)束語

本文詳細(xì)地綜述了基于深度學(xué)習(xí)的點(diǎn)云分類方法。首先，本文梳理了點(diǎn)云分類的背景知識，其中包括點(diǎn)云分類的相關(guān)數(shù)據(jù)集以及分類性能的評判標(biāo)準(zhǔn)；接著按照點(diǎn)云數(shù)據(jù)處理方式的不同，將其歸納為兩類方法；然后對這兩類方法展開詳細(xì)的介紹，重點(diǎn)是對近幾年的方法進(jìn)行細(xì)致的介紹、歸納總結(jié)，以及分析各類方法的優(yōu)缺點(diǎn)；最后展望了相關(guān)方法的未來研究方向，并進(jìn)行了分析。盡管當(dāng)前點(diǎn)云的分類方法日益更新，但是仍會出現(xiàn)不同程度的局限性，希望相關(guān)研究者通過對本文的閱讀能夠?qū)ふ页鲆粋€更佳的分類組合方法，促進(jìn)識別技術(shù)的發(fā)展，為智能分級等領(lǐng)域的研究與應(yīng)用提供一個重要的輔助手段。筆者也會在后續(xù)的工作中，將點(diǎn)云分類技術(shù)具體應(yīng)用到智能船舶分類任務(wù)和螃蟹的性別分類任務(wù)中。

參考文獻(xiàn)：

［1］任永梅，楊杰，郭志強(qiáng)，等.基于三維卷積神經(jīng)網(wǎng)絡(luò)的點(diǎn)云圖像船舶分類方法［J］.激光與光電子學(xué)進(jìn)展，2020，57（16）：230-238. （Ren Yongmei，Yang Jie，Guo Zhiqiang，et al.Ship classification method for point cloud images based on three-dimensional convolutional neural network［J］.Laser amp; Optoelectronics Progress，2020，57（16）：230-238.）

［2］Ten P A，Platt R.Using geometry to detect grasp poses in 3D point clouds［M］//Robotics Research.Cham：Springer，2018：307-324.

［3］王濤，王文舉，蔡宇.基于深度學(xué)習(xí)的三維點(diǎn)云語義分割方法研究［J］.計(jì)算機(jī)工程與應(yīng)用，2021，57（23）：18-26. （Wang Tao，Wang Wenju，Cai Yu.A research of deep learning-based semantic segmentation for 3D point cloud［J］.Computer Engineering and Applications，2021，57（23）：18-26.）

［4］Chiang C H，Kuo C H，Lin C C，et al.3D point cloud classification for autonomous driving via dense-residual fusion network［J］.IEEE Access，2020，8：163775-163783.

［5］Yang Lei，Liu Yanhong，Peng Jinzhu，et al.A novel system for off-line 3D seam extraction and path planning based on point cloud segmentation for arc welding robot［J］.Robotics and Computer-Integrated Manufacturing，2020，64：101929.

［6］Bolkas D，Chiampi J，Chapman J，et al.Creating a virtual reality environment with a fusion of UAS and TLS point-clouds［J］.International Journal of Image and Data Fusion，2020，11（2）：1-26.

［7］Bassier M，Yousefzadeh M，Vergauwen M.Comparison of 2D and 3D wall reconstruction algorithms from point cloud data for as-built BIM［J］.Journal of Information Technology in Construction，2020，25（11）：173-192.

［8］Liu Jin.An adaptive process of reverse engineering from point clouds to CAD models［J］.International Journal of Computer Integrated Manufacturing，2020，33（9）：1-19.

［9］Lalonde J F，Unnikrishnan R，Vandapel N，et al.Scale selection for classification of point-sampled 3D surfaces［C］//Proc of the 5th International Conference on 3-D Digital Imaging and Modeling.Pisca-taway，NJ：IEEE Press，2005：285-292.

［10］Gao Zhihong，Liu Xingwan.Support vector machine and object-oriented classification for urban impervious surface extraction from satellite imagery［C］//Proc of the 3rd International Conference on Agro-Geoinformatics.Piscataway，NJ：IEEE Press，2014：1-5.

［11］Gan Zheng，Zhong Liang，Li Yunfan，et al.A random forest based method for urban object classification using lidar data and aerial imagery［C］//Proc of the 23rd International Conference on Geoinformatics.Piscataway，NJ：IEEE Press，2015：1-4.

［12］Munoz D，Bagnell J A，Vandapel N，et al.Contextual classification with functional max-margin Markov networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2009：975-982.

［13］Niemeyer J，Rottensteiner F，Soergel U.Contextual classification of LiDAR data and building object detection in urban areas［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2014，87：152-165.

［14］LeCun Y，Bengio Y，Hinton G.Deep learning［J］.Nature，2015，521（7553）：436-444.

［15］錢婷，王蕾，李寶山.三維激光掃描點(diǎn)云分類方法研究進(jìn)展綜述［J］.電腦與信息技術(shù)，2019，27（1）：22-25. （Qian Ting，Wang Lei，Li Baoshan.A review of research progress on 3D laser scanning point cloud classification methods［J］.Computer and Information Technology，2019，27（1）：22-25.）

［16］Wu Zhirong，Song Shuran，Khosla A，et al.3D ShapeNets：a deep representation for volumetric shapes［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2015：1912-1920.

［17］Chang A X，F(xiàn)unkhouser T，Guibas L，et al.ShapeNet：an information-rich 3D model repository［EB/OL］.（2015-12-09）.https：//arxiv.org/abs/1512.03012.

［18］Dai A，Chang A X，Savva M，et al.ScanNet：richly-annotated 3D reconstructions of indoor scenes［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：2432-2443.

［19］Uy M A，Pham Q H，Hua B S，et al.Revisiting point cloud classification：a new benchmark dataset and classification model on real-world data［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：1588-1597.

［20］Wang Wenju，Wang Tao，Cai Yu.Multi-view attention-convolution pooling network for 3D point cloud classification［J/OL］.Applied Intelligence.（2021-10-30）.https：//doi.org/10.1007/s10489-021-02840-2.

［21］Zhai Ruifeng，Li Xueyan，Wang Zhenxin，et al.Point cloud classification model based on a dual-input deep network framework［J］.IEEE Access，2020，8：55991-55999.

［22］Maturana D，Scherer S.VoxNet：a 3D convolutional neural network for real-time object recognition［C］//Proc of IEEE/RSJ International Conference on Intelligent Robots and Systems.Piscataway，NJ：IEEE Press，2015：922-928.

［23］Riegler G，Osman Ulusoy A，Geiger A.OctNet：learning deep 3D representations at high resolutions［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：6620-6629.

［24］Wang Pengshuai，Liu Yang，Guo Yuxiao，et al.O-CNN：octree-based convolutional neural networks for 3D shape analysis［J］.ACM Trans on Graphics，2017，36（4）：1-11.

［25］Le T，Duan Ye.PointGrid：a deep network for 3D shape understanding［C］//Proc of IEEE /CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：9204-9214.

［26］Klokov R，Lempitsky V.Escape from cells：deep KD-networks for the recognition of 3D point cloud models［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：863-872.

［27］Li Yangyuan，Pirk S，Su Hao，et al.FPNN：field probing neural networks for 3D data［J］.Advances in Neural Information Processing Systems，2016，29：307-315.

［28］Su Hang，Maji S，Kalogerakis E，et al.Multi-view convolutional neural networks for 3D shape recognition［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2015：945-953.

［29］Qi C R，Su Hao，Niener M，et al.Volumetric and multi-view CNNs for object classification on 3D data［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：5648-5656.

［30］Wang Chu，Pelillo M，Siddiqi K.Dominant set clustering and pooling for multi-view 3D object recognition［EB/OL］.（2019-06-04）.https：//arxiv.org/abs/1906.01592.

［31］Yu Tan，Meng Jingjing，Yuan Junsong.Multi-view harmonized bilinear network for 3D object recognition［C］//Proc of IEEE /CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：186-194.

［32］Feng Yifan，Zhang Zizhao，Zhao Xibin，et al.GVCNN：group-view convolutional neural networks for 3D shape recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2018：264-272.

［33］Ma Chao，Guo Yulan，Yang Jungong，et al.Learning multi-view representation with LSTM for 3-D shape recognition and retrieval［J］.IEEE Trans on Multimedia，2018，21（5）：1169-1182.

［34］Yang Ze，Wang Liwei.Learning relationships for multi-view 3D object recognition［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：7505-7513.

［35］Biasutti P，Lepetit V，Aujol J F，et al.LU-Net：an efficient network for 3D LiDAR point cloud semantic segmentation based on end-to-end-learned 3D features and U-Net［C］//Proc of IEEE/CVF International Conference on Computer Vision Workshops.Piscataway，NJ：IEEE Press，2019：942-950.

［36］Wei Xin，Yu Ruixuan，Sun Jian.View-GCN：view-based graph convolutional network for 3D shape analysis［C］//Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：1847-1856.

［37］Alonso I，Riazuelo L，Montesano L，et al.3D-MiniNet：learning a 2D representation from point clouds for fast and efficient 3D LiDAR semantic segmentation［J］.IEEE Robotics and Automation Letters，2020，5（4）：5432-5439.

［38］Wang Wenju，Cai Yu，Wang Tao.Multi-view dual attention network for 3D object recognition［J］.Neural Computing and Applications，2021，34：3201-3212.

［39］Guo Yulan，Wang Hanyun，Hu Qingyong，et al.Deep learning for 3D point clouds：a survey［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2021，43（12）：4338-4364.

［40］Qi C R，Su Hao，Mo Kaichun，et al.PointNet：deep learning on point sets for 3D classification and segmentation［C］//Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：77-85.

［41］Qi C R，Yi Li，Su Hao，et al.PointNet+：deep hierarchical feature learning on point sets in a metric space［EB/OL］.（2017-06-07）.https：//arxiv.org/abs/1706.02413.

［42］Joseph-Rivlin M，Zvirin A，Kimmel R.MomeNet：flavor the moments in learning to classify shapes［C］//Proc of IEEE/CVF International Conference on Computer Vision Workshops.Piscataway，NJ：IEEE Press，2019：4085-4094.

［43］Yang Jiancheng，Zhang Qiang，Ni Bingbing，et al.Modeling point clouds with self-attention and Gumbel subset sampling［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：3318-3327.

［44］Zhao Henghuang，Jiang Li，F(xiàn)u Chiwing，et al.PointWeb：enhancing local neighborhood features for point cloud processing［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：5560-5568.

［45］Duan Yueqi，Zheng Yu，Lu Jiwen，et al.Structural relational reasoning of point clouds［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：949-958.

［46］Lin Hongxin，Xiao Zelin，Tan Yang，et al.JustLookup：one millisecond deep feature extraction for point clouds by lookup tables［C］//Proc of IEEE International Conference on Multimedia and Expo.Piscataway，NJ：IEEE Press，2019：326-331.

［47］Sun Xiao，Lian Zhouhui，Xiao Jianguo.SRINet：learning strictly rotation-invariant representations for point cloud classification and segmentation［C］//Proc of the 27th ACM International Conference on Multimedia.New York：ACM Press，2019：980-988.

［48］Yan Xu，Zheng Chaoda，Li Zhen，et al.PointASNL：robust point clouds processing using nonlocal neural networks with adaptive sampling［C］//Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：5588-5597.

［49］Hua B S，Tran M K，Yeung S K.Pointwise convolutional neural networks［C］//Proc of IEEE /CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：984-993.

［50］Li Yangyan，Bu Rui，Sun Mingchao，et al.PointCNN：convolution on x-transformed points［J］.Advances in Neural Information Proces-sing Systems，2018，31：820-830.

［51］Lei Huan，Akhtar N，Mian A.Octree guided CNN with spherical kernels for 3D point clouds［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：9623-9632.

［52］Lan Shiyi，Yu Ruichi，Yu Gang，et al.Modeling local geometric structure of 3D point clouds using Geo-CNN［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：998-1008.

［53］Komarichev A，Zhong Zichun，Hua Jing.A-CNN：annularly convolutional neural networks on point clouds［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：7413-7422.

［54］Kumawat S，Raman S.LP-3DCNN：unveiling local phase in 3D convolutional neural networks［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：4898-4907.

［55］Rao Yongming，Lu Jiwen，Zhou Jie.Spherical fractal convolutional neural networks for point cloud recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：452-460.

［56］Wu Wenxuan，Qi Zhongang，Li Fuxin.PointConv：deep convolutional networks on 3D point clouds［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：9613-9622.

［57］Liu Yongcheng，F(xiàn)an Bin，Xiang Shiming，et al.Relation-shape convolutional neural network for point cloud analysis［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2019：8887-8896.

［58］Te Gusi，Hu Wei，Guo Zongming，et al.RGCNN：regularized graph CNN for point cloud segmentation［C］//Proc of the 26th ACM International Conference on Multimedia.New York：ACM Press，2018：746-754.

［59］Zhang Yingxue，Rabbat M.A graph-CNN for 3D point cloud classification［C］//Proc of IEEE International Conference on Acoustics，Speech and Signal Processing.Piscataway，NJ：IEEE Press，2018：6279-6283.

［60］Wang Yue，Sun Yongbin，Liu Ziwei，et al.Dynamic graph CNN for learning on point clouds［J］.ACM Trans on Graphics，2019，38（5）：1-12.

［61］Zhang Kuangen，Hao Ming，Wang Jing，et al.Linked dynamic graph CNN：learning on point cloud via linking hierarchical features［EB/OL］.（2019）［2021-12-17］.https：//arxiv.org/pdf/1904.10014.pdf.

［62］Xu Qiangeng，Sun Xudong，Wu Choying，et al.Grid-GCN for fast and scalable point cloud learning［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：5660-5669.

［63］Zeng Wei，Gevers T.3DContextNet：kd-tree guided hierarchical lear-ning of point clouds using local and global contextual cues［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2018：314-330.

［64］Li Jiaxin，Chen B M，Lee G H.SO-Net：self-organizing network for point cloud analysis［C］//Proc of IEEE/CVF Conference on Compu-ter Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：9397-9406.

［65］Xie Saining，Liu Sainan，Chen Zeyu，et al.Attentional ShapeContextNet for point cloud recognition［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：4606-4615.

［66］Chen Haiwei，Liu Shichen，Chen Weikai，et al.Equivariant point network for 3D point cloud analysis［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：14514-14523.

［67］Xu Mutian，Ding Runyu，Zhao Henghuang，et al.PAConv：position adaptive convolution with dynamic kernel assembling on point clouds［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：3173-3182.

［68］Kacar U，Kirci M.ScoreNet：deep cascade score level fusion for unconstrained ear recognition［J］.IET Biometrics，2019，8（2）：109-120.