三維點云關鍵點局部坐標系重構(gòu)方法研究

許振瑛， 何 寧， 晁建剛?， 胡帥星

（1.中國航天員科研訓練中心， 北京 100094； 2.中國航天員科研訓練中心人因工程重點實驗室， 北京 100094）

1 引言

航天員利用混合現(xiàn)實系統(tǒng)進行在軌空間操作及地面訓練，獲取場景重構(gòu)模型與數(shù)字模型的準確匹配關系是混合現(xiàn)實場景實現(xiàn)虛實融合的關鍵。為獲取場景重構(gòu)模型，可采用點云匹配的方式融合混合現(xiàn)實系統(tǒng)深度傳感器各視角下的點云數(shù)據(jù)。點云匹配的本質(zhì)是估計傳感器的位姿變換，采用基于優(yōu)化的方法或基于特征點匹配的方法，其中基于特征點匹配的方法需要在關鍵點處計算特征描述符，由于傳感器姿態(tài)未知，關鍵點處的特征描述符易受角度影響，導致匹配失敗。

為提高特征點匹配成功率，文獻［6－8］采用在關鍵點處構(gòu)建局部坐標系（Local Reference Frame，LRF）以克服傳感器姿態(tài)的不確定性，描述子的旋轉(zhuǎn)不變性優(yōu)于不構(gòu)建LRF 的方法。 受制于點云噪聲、遮擋、分辨率等因素，目前并不存在同時滿足健壯性和可重復性的LRF 構(gòu)建方法。

構(gòu)造LRF 最直觀的方法為主成分分析法，但由于獲取各點云片段的視角不同，對應同一關鍵點處的鄰域點云分布不一致，導致該方法計算LRF 的可重復性僅約30%。 文獻［7－10］分別就LRF 構(gòu)建中的軸和軸計算提出了不同的改進方法，其中Novatnack 等首次以關鍵點處法向量為LRF 的軸，軸則通過對鄰域點云協(xié)方差矩陣特征值分解的方法獲得，該方法計算快捷，但計算軸的點云范圍過小，對噪聲敏感；Yang等仍然使用關鍵點法向量為軸，將計算法向量的鄰域范圍擴大了到鄰域點云半徑的13， 并且用鄰域點云投影向量的加權(quán)和計算軸，由于計算軸依賴于點云均勻采樣，不規(guī)則分布的點云嚴重影響該方法的可重復性；Petrelli 等提出了在關鍵點鄰域半徑為5 mr（Mean Resolution，點云平均分辨率）的范圍內(nèi)擬合平面的方法計算軸，軸則與鄰域內(nèi)法向量與軸夾角最大的點有關，并且針對點云遮擋問題提出了解決辦法，該方法對離群點敏感；Ao 等計算軸的方法與Yang 等一致，但通過對點云進行變換創(chuàng)新了軸的計算方法，軸的可重復性限制了該方法的性能。 鑒于上述方法，為提升LRF 的可重復性，本文提出了基于法向量 DBSCAN聚類（Density?Based Spatial Clustering of Applications with Noise，DBSCAN）的關鍵點鄰域點云LRF 重構(gòu)方法，實現(xiàn)穩(wěn)定可靠的LRF 估計，進而為后續(xù)計算具有旋轉(zhuǎn)不變特性的特征描述子提供前提，實現(xiàn)特征的準確匹配。

2 局部坐標系重構(gòu)

2.1 重構(gòu)方法概述

本文提出如下方法重構(gòu)關鍵點處局部坐{p∈R‖p－p‖，＝1，…，n；標系：

1） 在含有n個點的點云片段內(nèi)隨機取一點為關鍵點，其中＝｛p∈R＝1，…，n｝ ；

2） 利用KDTree方法提取點處半徑為的球形鄰域點云P，共n個點，其中P ＝

3） 計算P中各點p的法向量n，并記P的法向量集為N；

4） 利用DBSCAN 方法對法向量集N聚類，元素最多的非噪聲類其均值即為軸；

5） 結(jié)合軸對P進行變換后求得的第一主成分即為軸。

通過上述步驟，可以獲得關鍵點處的局部坐標系L ＝［，×，］，選擇鄰域點并構(gòu)建局部坐標系的過程如圖1 所示。

圖1 選擇鄰域點云并構(gòu)建LRFFig.1 Selection of neighborhood point and LRF con?struction

2.2 基于KDTree 方法的鄰域點云提取

本文采用KDTree 方法選擇關鍵點的球形鄰域點云。 點云數(shù)據(jù)構(gòu)建KDTree 的步驟為：

1） 分別對點云的，，軸數(shù)據(jù)計算方差，并獲取最大方差對應的坐標軸，記為axis；

2） 以axis軸數(shù)據(jù)為參考對點云數(shù)據(jù)排序，且令中位數(shù)為父節(jié)點，以垂直于axis軸且過父節(jié)點的平面為超平面平分點云數(shù)據(jù)，將小于父節(jié)點的點云列為左子節(jié)點，其他為右子節(jié)點；

3） 對左右子節(jié)點遞歸執(zhí)行步驟1）和2），直至所有數(shù)據(jù)被劃分完畢。

KDTree 能夠加快搜索速度，記KDTree 根節(jié)點，關鍵點，查找范圍，則查找KDTree 的步驟為：

1） 計算關鍵點到根節(jié)點分割超平面的距離；

2） 若，則步驟3），否則步驟4）；

3） 計算關鍵點到根節(jié)點的距離d，若d ＜r，則符合查找要求；否則4）；

4） 查找的左（右）子節(jié)點，若左（右）子節(jié)點存在，則以左（右）子節(jié)點為， 遞歸執(zhí)行步驟1）～3），直至不存子節(jié)點。

通過上述方法，可以查找出關鍵點處范圍為的所有鄰近點p。

2.3 法向量估計

計算cov 的特征值并排序，其最小特征值為，對應的特征向量v，公式（2）計算了點p處的單位法向量：

圖2 法向量估計Fig.2 Normal vector estimation

2.4 基于法向量DBSCAN 聚類的Z 軸估計方法

圖3（a）、圖3（b）和圖3（c）分別列舉了平面、折角和散亂點云和法向量及其在單位球面上的分布，平面和折角點云存在大量方向基本一致的法向量，其法向量在單位球上的分布相對集中；散亂點云法向量分布相對廣泛，其核心較為模糊。因此可以通過法向量的集中程度推測某方向的重要性。

圖3 點云的法向量估計及其分布Fig.3 Normal vector estimation of point cloud and its distribution

DBSCAN 是一種基于密度的聚類方法，簇的數(shù)量只與點云密度分布相關，由于單位法向量在單位球面上的分布可看做點云，故步驟描述如下：

1） 任選一個未經(jīng)處理的法向量n，若其鄰域r內(nèi)點的個數(shù)小于min，則被標記為噪聲，否則被標記為核心樣本，并分配一個新的簇標簽C，將其所有鄰域法向量加入候選集C；

2） 對于候選集C中所有未處理的法向量n，若其鄰域r內(nèi)的法向量數(shù)小于min，則標記為噪聲，否則將其鄰域加入候選集C且將法向量n加入簇C；

3） 重復步驟2），直至候選集C為空；

4） 重復步驟1 ～3，直至處理完畢所有法向量。

將上述過程標記為DBSCAN，如公式（3）所示，

DBSCAN 聚類方法存在缺陷，即：若法向量分布過于散亂而不滿足聚類條件，則方法失效。 此時采用協(xié)方差矩陣特征值分解計算軸。

2.5 局部坐標系x 軸估計

由于噪聲、遮擋等原因，軸的確定較軸復雜許多。 本文采用對球形鄰域點云進行變換后求第一主成分的方法確定軸，解決局部點云有效信息不足導致的軸估計一致性差的問題

為降低數(shù)據(jù)的復雜度，首先將球形鄰域點云P投影到軸的切平面， 記為′， 如圖4所示。

圖4 鄰域點云在z 軸切平面上的投影Fig.4 Project points on orthogonal plane of z－axis

其中，p為鄰域中某點，′為p在上的投影，〈·〉 為向量內(nèi)積，假定球形鄰域點云中心為原點，則：

投影后失去了立體特征，本文提出3 種權(quán)重因子將點′進行變換，分別表示為、和′。代表了p到中心點的距離（此處為避免‖′‖ 為0 的情況設定‖′‖ 最小為0.001），即距離越遠的點越能為軸的方向做出貢獻：

為點的法向與軸的內(nèi)積，即軸越大的點越能為軸的方向做出貢獻：

′是′的集合，′是點的法向在軸切平面上的投影，加強與軸方向不相同的點對軸方向估計的權(quán)重為式（10）：

p轉(zhuǎn)換后的點為式（11）：

局部坐標系可表示為式（12）：

3 實驗驗證

3.1 實驗目標、比判準則與數(shù)據(jù)選擇

1）實驗目標。 評估上述方法在局部坐標系構(gòu)建中的重復性。

為實現(xiàn)上述目標，本文在與點云片段有重疊區(qū)域的點云片段＝{q∈R|＝1，…n} 中獲取關鍵點的對應點并分別構(gòu)建局部坐標系L和L，已知和間的轉(zhuǎn)換為，即＝·，則L＝·L ＋，其中為殘差。 本文采用公式（13）計算軸和公式（14）計算局部坐標系間的絕對誤差。

其中，ε為軸間的旋轉(zhuǎn)誤差角度，為局部坐標系間的旋轉(zhuǎn)誤差角度，誤差角度越小則匹配精度越高。

2）比判準則。 本文以10°為標準統(tǒng)計匹配正確率，誤差角度小于該標準即認為匹配正確。

3） 數(shù)據(jù)選擇。 本文選用 3DMatch、SpaceTime 和Registration 數(shù)據(jù)集評估軸和局部坐標系重構(gòu)的重復性。

針對空間站艙內(nèi)三維重建場景匹配問題，上述所選數(shù)據(jù)集包含了色彩和深度信息，符合重建匹配應用場景需求；其中3DMatch 數(shù)據(jù)集為室內(nèi)場景，保證驗證數(shù)據(jù)與應用背景具有相似性；SpaceTime 數(shù)據(jù)集采用SpaceTime Stereo 技術(shù)獲取，為雙目立體視覺，Registration 數(shù)據(jù)集由Kinect設備獲取，為ToF 深度，保證驗證數(shù)據(jù)適用不同數(shù)據(jù)來源。

3.2 關鍵參數(shù)設置

分別對各數(shù)據(jù)集隨機取1000 對重合點測試并統(tǒng)計正確率，每次測試的參數(shù)保持一致：鄰域點云半徑取15 mr；估計法向量鄰域范圍＝10，即附近10 個點； DBSCAN 聚類掃描半徑r ＝sin (5·π180) ， 最小包含點數(shù) min ＝max（［n］100，5） 。

3.3 z 軸重復性測試與對比

以圖5 為例，左右側(cè)分別為空間內(nèi)同一點處不同視角下的球形鄰域點云，圖5（a）為點云原始數(shù)據(jù)，可見不同視角下的點云存在差異；圖5（b）估計了點云所有點的法向量；圖5（c）對法向量進行了聚類，其中屬同簇的法向量顏色相同，黑色為離群點；圖5（d）將點云中心移至原點并添加了軸（向上軸為軸，其余軸未約束，僅用于表征軸切平面）。

圖5 基于聚類的z 軸計算Fig.5 Calculation of z?axis based on DBSCAN Clus?tering

為評估本文軸計算方法的性能，本文與文獻［7－10］方法進行了對比，結(jié)果如表1 所示。

表1 z 軸估計重復率對比Table 1 Comparation of repetitive rate of z－axis Estimation

可見，本文突出連續(xù)光滑曲面上點云的法向量有利于提高軸估計的重復性。

3.4 LRF 重復性測試與對比

圖6 以某一鄰域點云為例，對確定軸后的點云應用本文方法進行轉(zhuǎn)換，其中圖6（a）為原始點云，原始點云存在較大差異，圖6（b）為轉(zhuǎn)換后點云，可見原始圖像中的差異性被弱化，法線平行于軸方向的點云被集中，同時保持了法線垂直于軸方向點云的離散度，本例LRF 構(gòu)建誤差為4.6°。

圖6 點云轉(zhuǎn)換Fig.6 Point cloud transformation

為對比本文LRF 估計方法的性能，本文與文獻［7－10］方法進行了比較，結(jié)果如表2 所示，本文方法在所選數(shù)據(jù)集上達到了最高重復率，平均為0.44。

表2 LRF 估計重復率對比Table 2 Comparation of repetitive rate of LRF estima?tion

本文方法在不同數(shù)據(jù)集上測試了不同權(quán)重因子組合，其重復率如表3 所示，組合因子的重復率優(yōu)于單個因子。

表3 不同權(quán)重因子組合對比Table 3 Comparation of different weight factor combinations

4 結(jié)論

本文提出了一種在關鍵點球形鄰域點云計算LRF 的方法，通過法向量聚類求得軸，對鄰域點云變換后求第一主成分獲得軸。 利用公開數(shù)據(jù)集替代航天員混合現(xiàn)實訓練真實環(huán)境點云并對比測試，試驗結(jié)果表明本文所提方法在單軸和坐標系的正確率指標均優(yōu)于其他方法。

由于本文所提方法計算量較大，相比其他方法需要更多計算資源，后續(xù)工作可考慮如何提高計算效率；本文所提方法可以用于計算三維點云的旋轉(zhuǎn)不變特征描述子。