多特征像素級融合的遮擋物體6DoF姿態估計研究*

梁達勇，陳俊洪，朱展模，黃可思，劉文印

廣東工業大學計算機學院，廣州510006

1 引言

近年來，隨著機器人的快速發展，機器人在各行業的部署應用也快速增多，例如家庭服務、工業制造等，然而這些應用絕大多只能處理特定操作環境下的場景，對于背景凌亂、物體遮擋和光線不足等環境場景，機器人難以實現精準抓取。要更好地解決該問題，機器人必須對物體的6DoF姿態進行估計，通過三維點云信息有效地掌握物體的形狀大小等信息，從而調整自身機械手抓取的角度實現準確抓取，可以說6DoF姿態估計是機器人在真實環境中實現精準抓取的必要工作。

雖然現有的物體抓取研究在RGB數據集上已經取得了很大進展，但是在實際機器人抓取應用場景中，由于缺少深度信息，機器人在與周圍環境進行交互操作時無法對物體進行穩定的抓取。對此，人們提出了將RGB圖和深度圖像進行融合的基于RGBD的姿態估計方法。Xiang等人[1]提出了一種端到端的6D姿態估計網絡PoseCNN，通過利用迭代最近點（iterative closest point，ICP）算法來增強深度信息在姿態估計中的作用。Li等人[2]使用深度迭代匹配（deep iterative matching，DeepIM）算法迭代優化6D姿態，但是此類需要點云進行復雜后期優化操作的算法非常耗時，并不適用于現階段的機器人應用。Jafari等人[3]提出了一個包含了mask感知模塊的框架，該模塊在定位所有已知對象后將像素密集地映射到三維物體表面的位置，并使用幾何優化算法預測6D姿勢，取得了不錯的效果。Wang等人[4]設計了一個可以單獨處理并融合RGB圖和深度數據的融合網絡，將融合的特征進行姿態回歸，然而這個過程需要用到PointNet[5]來處理點云信息，計算量非常龐大。Xu等人[6]在PointNet基礎上處理圖片和對應的點云，并做回歸，輸出3D Box。

為了更好地精簡網絡框架并提高計算效率，本文提出了一個基于像素級融合網絡的遮擋物體6DoF姿態估計框架，該框架主要包含三個模塊，分別為：RGB特征提取網絡、像素融合結構和6D姿態回歸網絡。其中第一個模塊主要利用目標檢測從RGB圖片中識別出目標物體，并利用編碼器與解碼器提取RGB像素特征；第二個模塊用于提取物體模型特征并與RGB像素特征進行融合；最后一個模塊用于計算物體6D姿態。與其他多階段姿態估計結構的方法相比，本文所提出來的框架在損失較少的精度情況下效率提高了上百倍，并且對于物體被遮擋或部分點云丟失的情況下也具有良好的魯棒性。

2 相關研究

2.1 基于RGB圖片的6D姿態估計

基于RGB圖片的6D姿態估計是常見的做法之一，Do等人[7]提出通過改變Mask R-CNN預測分支的方法對物體6D姿態進行估計，但是該方法在物體被遮擋時魯棒性較差。為了解決該問題，近年來大量方法利用分段網絡的方法來預測6D姿態。Kehl等人[8]通過預先估計物體的2D位置和四元數quaternion來計算物體可能的6D姿勢池，再通過優化每個池中的估計選擇最佳的6D姿態；Xiang等人[1]提出先建立分割網絡對物體的具體位置進行估計，再利用物體的位置計算出平移矩陣，并結合圖片特征預測四元數。雖然這些方法都可以有效地計算出物體的6D姿態，但是都需要高度復雜的網絡結構以及后期的深度信息優化步驟才可以得到準確的6D姿態。

在基于RGB的姿態估計方法中，由于基于特征點匹配的網絡框架可以取得較高的精度，因此此類方法受到人們廣泛的關注。Peng等人[9]對每個像素點都回歸一個關鍵點后，利用隨機抽樣一致方法（random sample consensus，RANSAC）投票系統對關鍵點進行投票，從而選出更適合的關鍵點；Hu等人[10]提出一個分割驅動型網絡框架，該框架先將物體進行分割，再利用物體預測局部的候選6D姿態，最后通過投票計算出最佳的6D姿態，該方法在物體被遮擋的情況下取得了較好的效果。雖然基于RGB的姿態估計方法比較高效，但在缺少深度信息的情況下使得該方法過度依賴RGB信息的完整性，當數據信息缺失嚴重時，模型估計精度便會大幅度下降，因而結合了深度信息等多特征的方法框架在現實環境中將更具實用性。

2.2 基于RGB-D圖片的6D姿態估計

隨著硬件的快速發展，近年來利用深度信息對物體的6D姿態進行估計逐漸成為熱門方向。文獻[11-12]提出利用隨機森林從RGB-D圖像中抽取局部特征，再通過投票建立3D到2D的對應關系，進而對物體6D姿態進行估計；文獻[13-14]利用回歸網絡將局部采樣的RGB-D信息方塊應用于6D姿態投票，然而塊到塊的RGB-D信息提取框架無法有效地將RGB信息和深度信息進行融合。為了解決該問題，最近人們提出基于點云特征融合的方法，該方法通過密集型特征融合的方式將兩種信息進行了融合。Xu等人[6]描述了一種像素級融合方法，他們使用密集型融合機制將RGB信息和點云信息進行了融合，并通過網絡回歸出3D框，最后使用兩種投票機制選擇出最佳的6D姿態。為了進一步優化融合網絡，Wang等人[4,15-16]在原有方法上進行了改進，通過將像素級的2D信息嵌入三維空間點云信息來增強每個點云的作用。雖然以上方法都有較好的效果，但是這些方法過度依賴于PointNet[5]的特征提取分支結構，這導致了系統計算量大。為了解決該缺陷，本文提出使用單個像素級信息源進行密集融合，簡化了點云特征的提取網絡的結構，從而提高了計算效率。

3 基于像素融合網絡的物體姿態估計

本文的目標是從RGB-D圖像中預測出一個物體在三維空間下的6D姿態，其中6D姿態表示從物體坐標系到攝像機坐標系下的剛性變換，用[R|T]表示，R表示旋轉矩陣，T表示平移矩陣。本文不直接預測[R|T]，而是先預測四元數q以及未經過深度信息微調的平移矩陣t，最后進行四元數到旋轉矩陣的轉換和平移矩陣的微調。總體的框架流程圖如圖1所示，整個結構分成三個模塊：RGB特征提取網絡（圖1（1））、像素融合結構（圖1（2））以及6D姿態回歸網絡（圖1（3）），接下來將具體介紹框架的細節。

3.1 RGB特征提取與融合

為了縮小目標對象范圍，使用在圖片數據集MSCOCO[17]上預訓練過的Mask R-CNN[18]對目標對象進行分割，即預訓練模型的參數使用的是Mask R-CNN上提供的基礎模型MS-COCO的訓練參數。Mask RCNN在Faster R-CNN的基礎上加入了Mask分支，可以大幅度提高物體定位精度。然而在分割過程中，由于存在多物體遮擋的情況，導致語義分割得到的感興趣區域（region of interest，ROI）裁剪圖通常會包含其他物體以及無關的背景信息，因此將ROI裁剪圖按照相對于指定攝影機坐標系變換而來的點云圖進行橫向關聯，通過這樣的方式來對物體的局部像素特征進行選擇。經過Mask R-CNN進行分割后，得到了一組ROI識別框B={b1,b2,…,bn}和物體掩碼M={m1,m2,…,mn}，利用得到的ROI框bn和物體掩碼mn，可以為像素融合網絡提供對應物體的ROI裁剪圖和對應的稀疏點云圖，其中ROI裁剪圖主要用于RGB特征的提取，而稀疏點云圖用于6D姿態回歸。

Fig.1 Overview of pixel-level fusion network圖1 像素融合網絡框架圖

對于ROI裁剪圖，由于存在物體被遮擋的情況，因此在ROI裁剪圖上隨機抽取了Np個像素輸入到特征提取結構（embedding）中進行特征的提取，具體結構如圖2所示。從圖中可以看到，整個特征提取結構主要由Resnet-18[19]特征編碼器和基于PPM（pyramid pooling module）[20]設計的解碼器組成。其中，PPM解碼器是一種較好的充分利用了全局信息的方式，里面的多尺度pooling能在不同尺度下保留全局上下文信息。PPM解碼器處理從Resnet-18提取到的特征的方式跟Pyramid Scene Parsing Network[20]里的處理方式一致。并且，為了進一步得到有效的特征，還基于PPM解碼器增加了一個卷積神經網絡（convolutional neural networks，CNN）進行高層次的特征提取，其中CNN網絡包括兩層卷積操作，第一層卷積核大小為1×32，輸出維度為64×Np，第二層卷積核大小為1×64，輸出維度為128×Np。增添的CNN網絡的參數設置參考了Pyramid Scene Parsing Network[20]最后的CNN分類網絡參數設置，能結合Resnet-18提取的特征獲得更完整的特征信息。為了完全提取到深層次的特征，將兩層卷積的特征都保留下來，以供后續的像素融合操作。

其中，兩層卷積都使用ReLU作為激活函數，步長設置為1，padding設定為0。最后輸出128×Np維特征，其中Np為選取的RGB像素個數。為了獲取更多特征信息，將經過第一層卷積的特征也保存下來，特征維度為64×Np，最后將兩層卷積中分別得到的特征進行融合。

3.2 像素融合結構

RGB信息能為物體姿態估計提供顏色形狀特征，但在RGB信息嚴重缺失時將會失去對物體形狀的判斷，采用物體模型視圖特征融合的方式來增強物體外觀信息的特征表示。基于文獻[21]中的模型特征提取方法，將物體三維模型從12個角度進行截取，并將這12個物體視圖作為像素融合網絡的附加嵌入特征，其中對于每一個物體模型截取大小為12×120×120的物體視圖，截取角度為0°到300°的方位角以及-30°和30°的仰角，這樣即使物體的視覺外觀發生了變化，這些物體模型視圖仍能夠捕獲不同方向的真實物體的形狀和輪廓[22]。通過獲取不同方向上的物體形狀和外觀信息，可以有效彌補物體像素融合特征的不足，以及降低物體被遮擋情況下的不利影響，從后續的驗證結果可知物體視圖特征在非對稱物體姿態估計上起到了輔助作用。

在獲取到不同物體視圖后，將其特征與RGB特征進行融合，并進行全局特征的提取，具體的提取和融合過程如圖3所示。首先將12張物體視圖輸入到2.1節所提到的embedding結構進行特征的抽取，相應地得到一個64×Np特征矩陣和一個128×Np特征矩陣，并把128×Np特征矩陣與128×NpRGB特征進行拼接融合。緊接著受PointFusion方法[6]啟發，將融合后的特征輸入到多層感知機中進行全局特征的抽取，并且在多層感知機最后兩層卷積層后分別增加了一層平均池化層進行特征的降維，最終得到一個1×1 024的全局特征矩陣。緊接著把全局特征矩陣拓展Np份嵌入到原來融合所得到的局部特征當中，輸出一個維度為1×1 048×Np的特征矩陣，并把該矩陣作為下一步6D姿態回歸網絡的輸入。

Fig.2 Embedding feature extraction structure圖2 Embedding特征提取結構

Fig.3 Object viewpoints optimization architecture圖3 物體視圖優化結構

3.3 6D姿態回歸網絡

6D姿態回歸網絡的目標是將輸入的每一個像素特征進行回歸計算，預測出該像素所對應的四元數矩陣、平移矩陣以及對應的矩陣評分，最后根據這些矩陣評分選出最優的矩陣。具體網絡結構及參數如圖4所示。

從圖4中可以看出該網絡一共包含4層卷積網絡，其中第一個卷積層卷積核大小為1 408×1，輸出特征維度為640×Np，第二個卷積層卷積核大小為640×1，輸出特征維度為256×Np，第三個卷積層卷積核大小為256×1，輸出特征維度為128×Np，第四個卷積層卷積核大小為128×1，輸出特征維度Np×j根據預測參數的維度而定。每一層卷積的步長和padding都設定為1，并使用ReLU作為激活函數。

除此之外，還在點云融合層面進行了優化改進，簡化了點云特征的提取結構，并把點云信息作為微調信息融入到姿態回歸網絡中。具體來說，利用Mask R-CNN中所得到的掩碼和深度圖，經過裁剪得到僅包含目標物體信息的物體深度裁剪圖，并且為了降低物體被遮擋時所造成誤判的影響，隨機選取i個點代表整張裁剪圖進行訓練，并將這i個點通過相機坐標系的內參轉換轉化成物體的點云集合P，其中P包含i個點云像素p，這些點云像素可以為RGB圖像在像素融合過程中提供足夠的空間信息。

定義第i個像素點的預測姿態為，第i個點云pi平移矩陣定義為：

其中，GT(j)代表真實姿態下的物體模型上采樣的N個點云中點x(j)的所在位置：

Fig.4 6D pose estimation network圖4 6D姿態回歸網絡

但是由于對稱對象可能有無數的6D姿態表示形式，這導致了式（2）并不適用于對稱物體的姿態預測。因此針對對稱物體，引入了另一損失函數對物體模型上的點云與真實姿態下物體模型最近的點云之間的平均偏移量進行最優化估計，該損失函數如下：

并且，為了從每個像素特征預測的轉換矩陣中選出最優的轉換矩陣，本文根據PointFusion的評分方法，并結合上文定義的式（2）和式（5）以及網絡回歸得到的對應矩陣評分Ci，重新設計了一個非監督log損失函數：

其中，Ci表示從M個隨機挑選的像素特征中預測出來的矩陣評分，w是個超參數，表示矩陣評分的權重。由最終的非監督損失函數可知，當評分Ci越低時，wlnCi越高，最后整體的評分Lscore就越低。

4 實驗結果與分析

4.1 數據集

YCB-Video數據集[23]：該數據集由92個RGB-D視頻序列組成，擁有130 000幀真實場景的圖像數據以及80 000幀合成模型渲染圖像數據，一共涵蓋了21個不規則物體，并且每個物體都存在不同程度的物體遮擋或者不良照明等外部影響因素。

YCB-Occlusion數據集：為了測試像素融合網絡框架在極端環境下物體姿態估計的魯棒性，本文根據YCB-Video數據集中的2 949張關鍵測試幀，添加新的物體掩碼制作成新的數據集。具體來說，利用Mask R-CNN中得到的2D掩碼對RGB圖以及對應的深度圖進行隨機裁剪，裁剪后每個物體都只保留了大概10%到30%的RGB圖像可視區域，剩余區域根據遮擋范圍填充零值，表示RGB信息丟失；相應地，在深度圖像上也只保留了跟RGB圖像相同位置的可視區域，其他區域用零值填充，以表示深度信息丟失，處理后的數據集如圖5所示，其中上列為處理過后的RGB圖像，下列為相對應的深度圖像。

Fig.5 YCB-Occlusion dataset圖5 YCB-Occlusion數據集

LINEMOD數據集[24]:該數據集擁有12個未被遮擋的物體，本文主要將其用于測試物體表面特征不明顯、背景場景混亂等情況。

4.2 評價指標

對于6D姿態估計，使用最近點云平均距離ADDS[24]對模型進行評判，并且將評價指標分為以下兩類：

ADD-S AUC：當預測的點云與實際的點云差值小于10 cm時，認為估計的轉換矩陣是正確的。

ADD-S 0.1d：當預測的點云與實際的點云差值小于物體直徑的10%，認為估計的轉換矩陣是正確的。

4.3 實驗設置

在物體定位分割階段，使用在MS-COCO[16]預訓練的Mask R-CNN參數，并在實驗中分別使用YCBVideo和LINEMOD數據集進行了參數微調，將Mask R-CNN基礎模型的參數作為本文模型的超參數。

在物體姿態估計階段，把模型學習率設為1×10-4，batch size設為1，并且對于不同的數據集，采取不同的參數設置，對于YCB-Video和YCB-Occlusion數據集，將更新迭代次數設置為30次，像素個數Np設置為1 009個。除此之外，還為每個物體增加1 000張合成模型圖以防止過擬合；對于LINEMOD數據集，把更新迭代次數設置為40次，像素個數Np設置為500個，不提供額外的物體合成模型圖。

在物體姿態模型測試階段，為了與PoseCNN進行效果對比，在YCB-Video數據集上使用與PoseCNN相同的物體2D分割掩碼，而在LINEMOD數據集上則使用Mask R-CNN預測的分割掩碼。

4.4 測試結果與分析

模型實時性分析：經過模型復雜度檢測，PFNet+Model模型的參數總數量為29.85 MB，模型計算量FLOPs為22.13 GB，在一張TITAN X顯卡上進行實驗測試時，PFNet模型在YCB-Video數據集上能實現19 FPS，PFNet+Model模型也能實現14 FPS，測試結果如表1所示，已能滿足在現實環境中機器人進行物體實時抓取與操控的姿態估計需求。

Mask R-CNN微調性能分析：在進行6D姿態估計前，利用Mask R-CNN進行物體分割來獲取物體特征，在經過YCB-Video以及LINEMOD數據集的數據微調后，物體分割得到較高的平均精度。在YCBVideo數據集測試中，被遮擋的物體分割IoU（intersection over union）超過85%的精度AP85達到49.4%，mAP達到46.5%，以達到Mask R-CNN在遮擋物體上的測試標準。在LINEMOD數據集測試中AP85為82.7%，mAP為72.9%，具體的測試精度如表2所示。

YCB-Video數據集測試結果與分析：將結果與PoseCNN[1]進行了比較，并且為了進一步驗證本文所提出的多視角像素融合結構的有效性，將該結構進行了單獨的比較，對比結果如表1所示。從表中可以看出，本文所提出的方法精度分別為88.7%和89.3%，精度上比PoseCNN方法稍差，但是在計算效率上，本文方法比前者提高了155倍，這得益于在數據輸入時僅將點云作為原始信息來進行輸入，而無需進行費時的迭代優化，而PoseCNN需要經過耗時的ICP深度優化之后才能取得不錯的效果。除此之外，根據表中可以看到，使用多視角像素融合結構可以在物體少量遮擋的情況下稍微提高實驗精度。部分實驗結果的可視化效果如圖6所示。

YCB-Occlusion測試集測試結果與分析：為了進一步驗證本文所提出的多視角像素級融合結構的有效性，對該結構進行了測試，測試結果如表3所示。從表中可以看出，使用該結構的模型在物體RGB信息和深度信息大面積缺失的情況下，仍然可以取得74.9%和77.2%的精確度，比未使用物體模型視圖的網絡模型要分別高出10.6個百分點和9.7個百分點。其中，對于表面紋路不清晰的木頭和碗，以及深度信息容易丟失的黑色記號筆和夾子，精度下降幅度尤為明顯。相較于PoseCNN+ICP模型中的ICP優化，PFNet模型中的深度信息能直接對應地進行點云微調，使得深度信息能更好地融合RGB像素特征，從而避免了特征嚴重缺失帶來的點云不匹配問題。而且本文還利用可視化技術對測試結果做了進一步分析，可視化效果如圖7所示，可知當物體丟失的信息為該物體的關鍵特征時，例如物體表面紋路和深度信息時，6D姿態估計的誤差就會相對較大；而丟失非關鍵特征時，例如紋路較淺的顏色特征，則6D姿態估計的誤差就會相對較小。

Table 1 Performance comparison of different models on YCB-Video dataset表1 在YCB-Video數據集上的不同模型效果對比

Table 2 Test accuracy of Mask R-CNN表2 Mask R-CNN測試精度%

Table 3 Comparison of model performance on YCB-Occlusion dataset表3 在YCB-Occlusion數據集上的模型效果對比

Fig.7 Visualization of results on YCB-Occlusion dataset圖7 YCB-Occlusion數據集結果可視化

由于物體RGB信息丟失以及深度信息丟失兩者對像素級融合網絡有著不同程度的影響，因此選擇四種表面紋理較為明顯且不容易丟失深度信息的物體進行測試，分別為：廚師罐頭、魚罐頭、湯罐頭和杯子。對這四個物體分別設計了三組實驗進行對比，分別是：只丟失RGB信息、只丟失深度信息、同時丟失RGB和深度信息的，其中丟失信息的位置相同。對比結果如圖8所示，由圖可知，只丟失RGB信息的以及同時丟失兩種信息的效果都要優于只丟失深度信息的效果，這種驗證結果表明：（1）當RGB像素丟失時，深度信息也能對姿態估計進行校準優化，但精度有所下滑；（2）在姿態估計階段，深度信息的微調起到了關鍵作用；（3）如果微調過程每個RGB像素特征能在相應位置獲得準確的深度信息，那么姿態估計結果較為準確，反之則誤差較大。以上對比實驗將進一步驗證本文所提出的多視角像素級融合結構的有效性。

LINEMOD數據集測試結果與對比：本文還將所提出的模型在LINEMOD數據集上進行測試，測試結果如表4所示。由于LINEMOD數據集的物體并未被遮擋，而且一張圖片中只估計一個物體姿態，在MaskRCNN精度較高的情況下，深度信息與RGB信息的融合更加精確，因而姿態估計的精度相較于其他ICP優化的方法有顯著提高。從表中可以看到，與經過ICP優化的方法（Implicit 3D[25]以及SSD-6D[8]）相比較，本文方法精度提升了18個百分點；由于LINEMOD數據集并未考慮到遮擋問題，也未提供物體三維合成模型，因此本文并未使用物體視圖特征進行優化，但本文框架的效果仍要遠優于其他ICP優化框架。

Fig.8 Importance comparison of RGB and depth information圖8 RGB以及深度信息的重要性對比

Table 4 Comparison of model performance on LINEMOD dataset表4 在LINEMOD數據集上的模型效果對比

5 結束語

本文提出了一種像素級融合網絡框架，該框架能在遮擋環境中結合RGB像素特征和物體視圖的局部特征，更有效地預測物體6D姿態，即可利用多模塊特征來解決復雜環境下的物體姿態估計。并且通過大量的實驗表明，本文方法在物體被嚴重遮擋以及光線不足情況所導致的物體像素丟失時都能展示魯棒性。

在以后的工作中，將在以下幾個方面進行擴展：（1）將觸覺傳感器和本文的框架結合起來以獲得準確的抓取操作；（2）逐漸削弱融合網絡中的RGB像素，使得機器人在黑暗中根據深度信息也能執行抓取等操作。