基于歐氏距離匹配的三維點云混合算法設計與實現

黃奕程 李光平

摘要：隨著三維掃描設備和深度學習的快速發展，三維點云數據的處理成了熱門趨勢。目前，點云分類網絡大都基于特征提取層面的算法改進提升點云分類網絡分類準確率。相比于傳統的數據增強方法，文章提出了一種基于數據預處理階段的點云混合算法。在不改變分類網絡結構的前提下，對數據進行混合處理。通過點云的相似度匹配，選取相似度小的點云進行混合，進而提升模型的泛化性能。實驗結果表明：所提出的基于歐氏距離匹配的三維點云混合算法應用在點云分類任務上能顯著提高點云分類的準確率。

關鍵詞：點云；混合；深度學習

中圖分類號：TP391 ? ? ?文獻標識碼：A

文章編號：1009-3044（2022）29-0001-03

1 概述

點云（Point Cloud）是在同一空間參考系下表達目標空間分布和目標表面特性的海量點集合。通過不同設備可以獲取帶有不同信息的點云，激光雷達得到的點云包括三維坐標和激光反射強度，通過RGBD相機得到的點云有三維坐標和顏色信息，結合兩種設備得到的點云可同時攜帶兩種設備特有的信息。點云目前被廣泛應用于測繪、汽車、建筑等領域。隨著自動駕駛的發展，利用深度學習方法對點云數據進行目標物體分類和語義分割的研究將成為熱門趨勢。

點云分類指將相同或相似屬性的點劃分到同一點集合的過程。隨著深度學習的發展，點云的分類技術日漸成熟，分類準確率也日益提高。在以往的點云分類中，研究學者H.Su[1]等提出了借鑒卷積神經網絡在二維圖像應用的先驗知識，把原始的三維點云從多個視角投影成二維圖像，使用卷積神經網絡分別處理二維圖像，最后把處理后的每張圖的信息聚合生成分類結果。但基于投影的點云分類策略計算復雜度高、高維信息在轉換到低維信息時會有信息丟失的缺點，為了解決上述弊端，Qi[2]等人開創性地提出了PointNet網絡，將深度學習模型首次直接應用于原始輸入點云，該網絡在點云分類和語義分割的準確率上有很大的提高。相比于傳統的點云分類算法，利用深度學習的方法對點云數據進行處理的優勢在于分類網絡可以自動學習點云特征，通過給網絡輸入大量的數據，讓點云分類網絡有更好的魯棒性和更高的分類準確率。數據增強是提升點云分類準確率的一個熱門策略，優秀的數據增強方法可以提升模型的泛化性能，有效地避免數據過擬合。傳統的數據增強方法是在原有數據的基礎上，利用幾何變換創造新的數據。三維點云混合和二維圖像類似，通過對輸入數據加入旋轉、翻轉、比例縮放、移位等方式對數據擴充。隨著計算機視覺的發展，數據增強的手段越來越多，Li[3]等人在2020年提出了基于點云分類的自適應增強框架，可以自動優化和增強點云樣本。通過聯合訓練分類器和增強器來豐富訓練樣本提高分類準確率。

目前用于訓練點云分類網絡的數據集較少，常用的點云數據集ModelNet[4]所包含的ModelNet10和ModelNet40分別只有10個類和40個類，ScanNet[5]是RGB-D室內場景數據集，有21個類，ISPRS[6]公共數據集總共有9個子類別。相比于圖像的數據集，用于點云訓練的數據集還是很少，需要進一步擴充點云訓練數據和豐富樣本。為了提高分類模型的泛化性能，防止模型過擬合，本文提出了一種點云混合網絡。相比于通過改進神經網絡特征提取結構或者優化分類損失函數的方法來提升分類準確率，本文的方法更具有廣泛的適用性和兼容性。它可以在不改變現有分類網絡結構的基礎上，插入本文的混合網絡就能使分類網絡的性能得到顯著提高。

1 相關工作

1.1基于深度學習的點云分類網絡

由于點云的無序性，在處理點云數據時很難保證每次輸入網絡的點的順序是相同的，很可能導致同一物體的點云多次輸入網絡，被網絡提取到不同的特征。因此，早期學者往往通過把三維物體投影到二維，再利用二維的深度學習方法處理投影得到的信息。

相比于之前的模型需要額外的結構提取，Pointnet網絡模型可以直接使用無序點集作為輸入的深度學習框架，可以很大程度保留點云的空間特征。開創性地使用了對稱函數來解決輸入點云的無序性問題。同時，提出了T-Net網絡，通過對輸入點云學習得到一個3×3矩陣，解決點云的旋轉問題。此網絡直接把所有點通過最大池化的方式得到的全局特征進行分類，但是忽略了局部特征在點云數據的處理中也有一定的重要性。因為局部特征包含了臨近點的幾何結構等信息，因此作者后來提出了PointNet++[7]進行優化改進。2018年，Wang[8]等人提出了一個新的網絡DGCNN，該網絡提出了新的模塊EdgeConv，獲取足夠的點云局部鄰域信息的同時，也可以通過堆疊EdgeConv模塊提取到全局形狀信息。DGCNN在數據集ModelNet40和S3DIS把點云分類準確率和語義分割的準確率推到了新的高度。

1.2混合數據在深度學習中的應用

Zhang[9]等人在2018年提出了基于經驗風險最小化的混合網絡，該網絡在幾乎無額外計算開銷的情況下，穩定地提升了1個百分點的圖像分類進度。在圖像混合樣本數據增強方面做出了巨大的貢獻。它通過隨機數生成器生成一個概率隨機數，利用隨機數確定兩張圖片的混合比例后，混合兩張圖片，再放入網絡進行訓練，提高了神經網絡的泛化性能增加了網絡的魯棒性。但混合網絡在點云方面的應用較少，Chen[10]等人提出了基于點云的混合網絡，因為點云不像圖像一樣有一一對應的關系，因此作者通過對現有的訓練點云進行插值來增加點云數據，以此達到數據增強的目的，該方法在提升點云分類準確率方面也有很大的進步。

2總覽

2.1方法

圖1展示了本文的基本混合框架。

本文的網絡會自動選擇最優的樣本進行混合，輸入的數據集[{Pi}Mi=1]共有M個樣本，每個樣本中含有N個點和N個特征。其中前三個特征分別為X、Y、Z三個軸的坐標。本文處理批次的樣本時，兩兩計算每個樣本的相似度。具體操作如下，分別截取兩個點云的前20個點坐標，生成張量[t1]、[t2]：

[t1=x1y1z1………x20y20z20，t2=x*1y*1z*1………x*20y*20z*20] ? ? ? ?（1）

根據距離公式：

[d=（x1-x2）2+（y1-y2）2+（z1-z2）2] ? ? ? （2）

計算張量[t1]和[t2]之間每兩個點之間的歐式距離：

[d=dp1，p*1…dp1，p*1………dp20，p*1…dp20，p*20] ? ? ? ? ? ? ? ? ? ? ? （3）

然后得到每兩點之間的歐式距離[dpi，p*j]進行求和得到S：

[S=i=120j=120dpi，p*j] ? ? ? ? ? ? ? ? ? ? ? ?（4）

把S進行排序，然后根據設定的混合數，選取S值最小的點云進行混合。

混合的具體過程如下，通過隨機數生成器生成一個數Lam：

[Lam～Beta（α，β）] ? ? ? ? ? ? ? ? ? ? ? ?（5）

Lam服從Beta分布，為了使產生的隨機數服從均勻分布，令α和β都取值為1。

按照相似度S排序后的樣本，通過Lam和（1-Lam）加權得到混合后的新樣本：

[Xmix=Lam×Xi+（1-Lam）×Xj] ? ? ? ? ?（6）

混合后的可視化圖如圖3所示。

以隨機產生的Lam值賦予新樣本標簽。Lam大于0.5意味著樣本[Xi]占的比重大，因此新樣本賦予和[Xi]一樣的標簽。同理，當Lam小于0.5時，意味著[Xj]所占的比重大，為新樣本賦予[Xj]的標簽。至此，混合點云樣本制作完成。

2.2損失函數

根據混合后樣本的變化，原有的分類損失函數和增強損失函數也需要改進，為此提出了新的增強損失和分類損失，把混合的思想加入損失函數中，增強損失[LAug]：

[LAug=Lam×LAug_i+（1-Lam）×LAug_j] ? ? （7）

其中，[LAug_i]為混合樣本和原始樣本標簽的交叉熵損失函數。[LAug_j]為混合樣本與混合樣本標簽的交叉熵損失函數。

分類損失函數[LCls]；

[LCls=Lam×LCls_i+（1-Lam）×LCLS_j] ? ? ? （8）

其中，[LCls_i]為混合樣本和原始樣本標簽的交叉熵損失函數。[LCls_j]為混合樣本與混合樣本標簽的交叉熵損失函數。

3實驗與結果分析

加入基于歐氏距離的點云數據混合模塊并修改了損失函數后，經過多次實驗調試，得出訓練結果，訓練結果準確率如表1所示。

PointNet分類網絡模型下的ModelNet10數據集本文采取了輸入數據為24batch，混合batch為1，訓練曲線如圖[4]，ModelNet40數據集，本文采取了輸入數據為48batch，混合batch為1，訓練曲線如圖[5]。

4 結束語

本文提出了一種基于歐氏距離相似度的三維點云混合方法，通過截取部分點組成張量并計算歐氏距離相似度，通過這種匹配方法確定混合樣本，并重新修改了損失函數，使得點云分類準確率有了進一步提升。該混合網絡不需修改分類網絡結構，僅加入了混合模塊，有著非常低的耦合性，可廣泛應用于各種分類網絡。在下一步的工作中，筆者將繼續尋找更好的混合規則，以進一步提升分類準確率。

參考文獻：

[1] Su H，Maji S，Kalogerakis E，et al.Multi-view convolutional neural networks for 3D shape recognition[C]//2015 IEEE International Conference on Computer Vision.Santiago，Chile.IEEE，2015：945-953.

[2] Charles R Q，Hao S，Mo K C，et al.PointNet：deep learning on point sets for 3D classification and segmentation[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，HI，USA.IEEE，2017：77-85.

[3] Li R H，Li X Z，Heng P A，et al.PointAugment：an auto-augmentation framework for point cloud classification[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle，WA，USA.IEEE，2020：6377-6386.

[4] Wu Z R，Song S R，Khosla A，et al.3D ShapeNets：a deep representation for volumetric shapes[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston，MA，USA.IEEE，2015：1912-1920.

[5] Dai A，Chang A X，Savva M，et al.ScanNet：richly-annotated 3D reconstructions of indoor scenes[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu，HI，USA.IEEE，2017：2432-2443.

[6] Rottensteiner F，Sohn G，Jung J，et al.The isprs benchmark on urban object classification and 3d building reconstruction[J].ISPRS Annals of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2012，I（1）：293-298.

[7] Qi C R，Yi L，Su H，et al.PointNet++：deep hierarchical feature learning on point sets in a metric space[EB/OL].2017：arXiv：1706.02413.https：//arxiv.org/abs/1706.02413

[8] Wang Y，Sun Y B，Liu Z W，et al.Dynamic graph CNN for learning on point clouds[J].ACM Transactions on Graphics，2019，38（5）：146.

[9] Zhang H Y，Cisse M，Dauphin Y N，et al.Mixup：beyond empirical risk minimization[EB/OL].2017：arXiv：1710.09412.https：//arxiv.org/abs/1710.09412

[10] Chen Y L，Hu V T，Gavves E，et al.PointMixup：augmentation for point clouds[M]//Computer Vision - ECCV 2020.Cham：Springer International Publishing，2020：330-345.

【通聯編輯：唐一東】