基于李代數表征的三維物體空間姿態檢測

(山東科技大學 機器人研究中心 山東 青島 266590)

隨著社會的不斷發展，人口老齡化問題越來越嚴重，世界各國對人口老齡化問題越來越重視。針對老人和殘疾人設計的助老助殘機器人，在日常生活中為老人和殘疾人提供基礎的服務，提高他們的生活質量，能夠在一定程度上緩解老齡化問題帶來的社會壓力。對于助老助殘機器人而言，感知是十分重要的部分，通過傳感器準確獲取物體真實位姿，是實現自動化抓取實物等操作的關鍵。但目前機器人搭載的傳感器一般采用激光雷達或者深度相機作為傳感器，成本高且計算量大。面對真實環境中復雜的場景，如果能僅依靠RGB相機從二維圖像中準確檢測三維物體的位姿信息，將有效降低硬件成本和計算量。

傳統的物體姿態估計方法大都基于人工的局部特征匹配等(例如SIFT[1])，但這些方法僅適用于紋理豐富的對象。對于紋理簡單的對象，通常使用基于模板的匹配[2]或密集特征學習方法[3]，但該類方法通常對照明和遮擋很敏感，檢測結果易受環境干擾。特征學習方法[4]比基于模板的方法具有更強的泛化能力，但也具有許多不足之處，例如前期需要耗時進行多階段預處理來學習密集特征，要在產生粗略物體姿態位置之后，再進行姿態信息的精確優化等。

圖1 三維空間物體坐標系列變換Fig.1 Three dimensional space objectscoordinate transformation

隨著深度學習的發展，尤其是卷積神經網絡(CNN)的興起，二維圖像中二維物體分類、檢測以及語義分割等[5]方面都取得了顯著的進步，但CNN對二維圖像中三維物體姿態估計問題的應用卻仍然有限。最近，有一些研究[6-8]應用深度學習從二維圖像中進行三維物體姿態估計，但這些方法均不是端對端的訓練方式。如其中文獻[7]先估計粗略的物體姿態，再通過后期改進提高精度，大大增加運行時間。本研究將一種基于李代數的三維物體姿態表征方式與深度學習算法結合，運用李代數方程將旋轉矩陣轉化為向量，并利用卷積神經網絡回歸三維物體的旋轉向量和平移向量，直接通過端到端的方式高效、準確地從二維圖像中預測三維物體姿態信息，同時也大大降低了三維物體姿態檢測的運行時間。

1 姿態描述方程

在三維空間中，一個剛體的運動可由旋轉和平移組成。

旋轉一般通過旋轉矩陣、四元數和歐拉角來表征[9-10]。此時矩陣R由兩組基之間的內積組成，刻畫了旋轉前后同一個向量的坐標變換關系，即矩陣R為旋轉矩陣。旋轉矩陣是行列式為1的正交矩陣，旋轉矩陣的集合定義為：

SO(n)={R∈Rn×n|RRT=I,det(R)=1}，

(1)

其中，SO(n)是特殊正交群，這個集合由n維空間的旋轉矩陣組成。SO(3)是三維空間的旋轉，通過旋轉矩陣可以準確描述相機的旋轉。

平移也是歐式坐標變換中的一種。考慮世界坐標系中的向量a，經過一次旋轉(用R描述)和一次平移t之后，得到a′，則：

a′=Ra+t。

(2)

其中，t為平移向量，相比于旋轉，平移部分只需要把這個平移量加到旋轉之后的坐標上，通過上式，可以用一個旋轉矩陣R和一個平移向量t完整描述歐式空間的坐標變換關系[11]。

1.1 旋轉矩陣和李代數

旋轉矩陣描述了一個6自由度的三維剛體運動，其中矩陣R中有9個變量但每次旋轉只能調整3個自由度，這種描述方式是冗余的；同時旋轉矩陣必須是正交矩陣(即行列式為1)，這些約束會使得將旋轉矩陣作為卷積神經網絡的真實值進行梯度求導反向傳播求最優解變得困難。

對于任意一個旋轉都可以用一個旋轉軸和一個旋轉角來刻畫，使用一個向量，其方向與旋轉軸一致，長度等于旋轉角，稱為旋轉向量，這種表示方法只需要一個三維向量即可描述旋轉。旋轉向量和旋轉矩陣之間是可以轉換的。設有一個旋轉軸n、角度為θ的旋轉，對應的旋轉向量為θn，從旋轉向量到旋轉矩陣的轉換過程由羅德里格斯公式完成，有：

R=cosθI+(1-cosθ)nnT+sinθn∧。

(3)

符號∧表示向量到反對稱矩陣的轉換符。

對于三維旋轉矩陣構成的特殊正交群SO(3)，其對加法是不封閉的，而對乘法是封閉的(封閉即變換后仍是旋轉矩陣)。對于任意旋轉矩陣R，通過對矩陣的求導和在R(0)=I處進行一階泰勒展開，可知其在SO(3)原點附近的正切空間上，同時在t0附近，設φ保持為常數即φ(t0)=φ0，將初始值R(0)=I代入，得：

(4)

so(3)表示SO(3)對應的李代數向量。至此，SO(3)和so(3)由指數映射給定：

(5)

由此可知，旋轉矩陣和旋轉向量可由指數映射和對數映射互相轉換。其中，每個SO(3)中的元素，都可以找到一個so(3)元素與之對應；但很可能存在多個so(3)對應同一個SO(3)，因為旋轉角存在周期性的問題，在此處將其固定在正負180°之間，則李群和李代數是一一對應的，也就是其三維物體旋轉矩陣和旋轉向量的對應關系。

1.2 回歸姿態向量與三維物體姿態向量轉化

在僅利用二維圖像來預測其中三維物體的姿態信息時，需要將數據集中給定的旋轉矩陣與旋轉、平移向量互相轉化，此時利用李代數表征旋轉和平移向量，將原來的學習矩陣簡化為學習向量，大大降低了卷積神經網絡的訓練難度。

給定預測的旋轉矩陣，即來自姿態網絡預測的四維向量的前三維，使用指數羅德里格斯映射來映射它到相應的旋轉向量[12-14]。為了準確計算平移向量，依賴于預測的z分量(tz-四維預測向量中最后一個元素)和預測的邊界框坐標來計算兩個缺失分量tx和ty。假設邊界盒中心(在輸入二維圖片中)是三維檢測物體重心(對象坐標系的原點)的投影點。在此假設下，使用三維-二維投影公式，按如下方式計算tx和ty:

(6)

其中u0，v0是二維圖像中的邊界框中心，矩陣[fx，cx，fy，cy]是已知的內部相位校準矩陣。

2 利用卷積神經網絡優化三維姿態預測

為了實現整個卷積神經網絡系統的端到端訓練，本研究提出了新的訓練方式，將二維圖像作為輸入，輸出檢測物體的三維姿態。這需要一種有效的方式來表征三維物體姿態，同時也要設計合理的損失函數來衡量預測結果的準確性。采用四維向量表征姿態，其中前三維向量表示姿態的旋轉矩陣對應的x和y軸向量，最后一個元素表示姿態的平移向量的z軸分量。給定預測的z分量和來自三維邊框回歸分支的預測邊界框坐標，使用三維物體投影屬性來恢復完整的平移和旋轉向量。三維物體姿態識別的結構如圖2所示。

2.1 三維姿態表征

將三維物體投影到二維圖像中時，對于平移向量，具有相同z軸分量和不同x軸y軸分量的兩個平移向量可以產生兩個在二維圖像中具有非常相似的外觀和比例的對象(在圖像中的不同位置處)，且在平行投影的極端情況下，很難有效區分。這導致網絡難以通過僅使用外觀信息作為輸入來預測平移向量的x和y軸分量。

設計姿態回歸網絡的關鍵之處是通過學習歐幾里得空間的映射關系，輸出三維物體姿態的平移向量，此過程不需要預測完整的映射向量，而是訓練網絡模型僅對平移向量z軸分量進行回歸預測。

但表征姿態的旋轉向量比平移向量要復雜得多。歐拉角因參數的明確含義易于理解，但歐拉角是以2π弧度環繞，即對于相同的旋轉角會對應多個數值，這導致對單個標量進行回歸訓練是困難的，同時，基于歐拉角的表示方法還受到了萬向節鎖定問題的困擾；另一種思路是使用3×3正交矩陣進行冗余表征，但在通過反向傳播訓練網絡時會產生強制正交性約束的問題，這種約束容易導致優化算法陷入局部極小值；而常用的一種表征方式是使用單位長度的四維四元數，但四元數表征的缺點是運算復雜且在某些情況下解不穩定。

圖2 三維物體姿態識別模型結構Fig. 2 Structure of 3D object pose recognition model

本研究使用李代數與李群(三維旋轉矩陣的空間)相關聯作為旋轉表示方法。李代數so(3)被稱為李群so(3)的恒等元素處的切空間。之所以選擇李代數so(3)來表示旋轉，是因為so(3)的任意元素允許由R3中的矢量參數化的斜對稱矩陣表示，表示的元素是連續且平滑的，便于卷積神經網絡訓練時進行反向傳播，這意味著網絡只需要回歸三個標量，無需任何約束即可表示三維物體的旋轉矩陣。在訓練過程中，通過羅德里格斯公式對數映射將旋轉矩陣的三維信息映射到對應向量中。在學習預測旋轉矩陣時，映射的值用作回歸目標值。所以，訓練姿態網絡目的是回歸四維向量，其中前三個元素表示旋轉部分，最后一個元素表示姿態的平移部分的z軸分量。

2.2 損失函數定義

為了訓練網絡，定義一個新的損失函數來訓練三維物體的姿態坐標：

Loss=Lpose。

(7)

姿態網絡中每個特征輸出4個向量，表示旋轉的李代數和平移的z分量。姿態回歸損失Lpose的定義如下:

(8)

2.3 網絡架構

采用網絡模型Inception-Resnet,其中的Inception-resnet模塊在Inception子網絡的最后加入了一個1×1擴展卷積操作用于使其輸出寬度(channels數目)與子網絡的輸入寬度相同，既降低了輸出維度，也加入了非線性激勵，提升了網絡的表達能力。同時該模型在Inception的基礎上增加了殘差網絡的思想，在網絡搭建中加入了殘差模塊，能讓網絡設計更加深，具體模型架構如圖3所示。

圖3 Inception-Resnet網絡結構(不同形狀表示不同模塊)Fig. 3 Structure of Inception-Resnet network (different shapes represent different modules)

在圖3的模型結構圖中，將網絡劃分為主干和分支網絡兩個部分。主干網絡用于在整個圖像上提取特征作為分支網絡的輸入。主干網絡使用Inception-Resnet提取RGB圖像特征，并輸出4 096維的特征層，此特征層用作分支網絡的輸入。使用類不可知思想設計，即該分支輸出單個預測結果，而不管類是什么。根據實驗發現，這種設計降低了模型的復雜性和推理時間，有效提高了輸出結果的準確性。

姿態預測分支網絡由4個全連接網絡組成，其中輸出的數量為4 096→4 096→384→4。除了最后一層外，在每個完全層之后使用ReLU激活層，強化有效特征的輸出結果。其中對于回歸預測網絡的全連接網絡部分，本方法未做更多復雜的設計。

2.4 網絡訓練

使用Pytorch深度學習庫實施整個模型架構[15]。卷積神經網絡的輸入是尺寸為299×299×3的RGB圖像。因在訓練調參過程中發現，相比于旋轉向量，平移向量的學習誤差更大，適當增大平移向量損失函數的比例可提高預測結果準確性，故姿態損失函數(13)中β值設定為1.5。姿態損失函數(13)的一個重要選擇是回歸范數p。通常，深度學習模型使用p=1或p=2，即利用L1范數或者L2范數來衡量預測值與真實值的誤差，使用本文中用到的數據集，p= 1會得到更好的結果。端到端訓練時使用隨機梯度下降算法優化，其中動量參數為0.9，衰減系數為0.000 5。該網絡模型在Titan X GPU上進行了50 000次迭代訓練，每個訓練批次輸入4張圖片(因其網絡模型較復雜，占顯存較大)。對于第一輪迭代過程，學習速率設置為0.001，然后對于剩余的迭代，學習速率減少為原來的十分之一。

2.5 結果測試

輸入圖像進行正向傳播計算，選擇RPN生成的前1 000個RoI(感興趣區域)并將其輸入分支網絡進行框回歸，然后進行非極大值抑制。基于分支網絡的輸出結果，選擇具有高于特定閾值(0.9)的輸出框作為預測結果，然后將姿態分支網絡結果應用于檢測三維物體姿態，其輸出向量轉化為三維物體姿態坐標。

3 實驗結果與分析

3.1 實驗結果

本研究在單個物體姿態數據集LINEMOD[6]上進行了模型預測結果評估，并與二維圖像進行三維物體姿態估計的相關方法[6-8]進行結果比較。

度量標準：使用文獻[7-8]中的標準指標。為了測量二維中的姿態誤差，將三維對象模型投影到圖像中預測估計姿態坐標并與真實坐標的區域進行交并比計算。如果兩個檢測框之間的交并比高于0.5(或者常用閾值如0.9)，則接受估計的坐標，該指標稱為二維姿態評價指標。

對于測量三維物體中的姿態誤差，使用5cm5°和ADD指標進行評價。在5cm5°度量中，如果在5cm的平移誤差和5°的真實姿態角度誤差范圍內，則接受估計的姿態(越小越好)。在ADD度量中，如果由真實姿態構造的變換模型點云與估計姿態之間的平均距離小于檢測物體直徑的10%，則接受估計姿態(越小越好)。對于IoU的閾值一般使用0.5和0.9兩個值作為評價標準來評價預測結果的準確度。

在文獻[6]的數據集中包含雜亂場景中紋理復雜的物體，本研究僅使用RGB圖像來評估。數據集包含12個對象序列，為了與文獻[6-8]進行同等情況下比較，在可獲得的12個三維物體序列上進行評估。每個對象序列中的圖像包含多個物體，但是，只有一個物體使用真實值類標簽和三維姿態，同時攝像機內在矩陣參數也隨數據集一起提供。按照文獻[7-8]中的評價標準，使用相同的數據集進行訓練和測試：對于每個對象序列，隨機選擇30%的圖像進行訓練和驗證，剩下的圖像用作測試集，測試部分結果如圖4所示。

3.2 結果分析

表1列出了本研究方法與Brachmann、BB8和SSD-6D在LINEMODE數據集[6]上進行二維和三維姿態檢測的結果，共分為三個部分。其中第一部分是圖像的二維誤差矩陣比較，可見三種方法在二維檢測的性能上并無較大差別；第二部分給出了本文與Brachmann[6]等對三維物體姿態估計精度的結果比較，其中方法Brachmann[6]、BB8[7]、SSD-6D[8]均使用二維圖像作為輸入來預測姿態。在5cm5°度量下，本文略低于BB8方法，而顯著優于文獻[6]，超過約39%。ADD指標方面，本方法的表現優于BB8方法，誤差指標低于7.8%，且結果也比BB8更穩定。

圖4 模型預測結果(深色框為預測坐標，淺色框為真實坐標)Fig. 4 Model prediction results (deep box is the predicted result; light box is the GT result)

從表1中對比可知，本文方法和BB8在5cm5°和ADD誤差指標方面都比SSD-6D差。原因在于兩個方面：一是SSD-6D不單使用來自數據集序列圖像進行訓練，更是在整個旋轉空間上執行離散采樣，并使用已知的三維對象模型生成圖像用于訓練。通過這種方式，SSD-6D的訓練數據能夠覆蓋比Brachmann、BB8和本文方法更多的旋轉空間，大大擴充了訓練數據集的廣度；二是SSD-6D還使用了基于ICP算法的改進方式來提高精度。而與SSD-6D相比，雖然本方法在評價指標上稍差，但本方法是端到端的訓練方式，直接輸出姿態而無需任何后處理，在保證一定準確率的前提下，提高了計算效率，達到了準確率和效率的平衡。圖4展示了本方法在LINEMOD數據集上進行單個對象姿態估計的結果，可以看出，本方法能較好地預測三維物體的姿態。

表1 不同方法測試結果Tab.1 Test results of different methods

表2比較了本研究方法和其他方法的運行時間，其中Brachmann給出每張圖像的運行時間約為0.45 s。本方法的端到端架構允許在Titan X GPU上每張圖像的測試運行時間大約為0.08 s。SSD-6D和BB8相應的運行時間約分別為0.1 s和0.3 s。本方法和SSD-6D的測試速度相當，比BB8方法快4倍左右。其中，由于使用了后期優化方法，當輸入圖像包含多個對象時，SSD-6D和BB8的測試時間可能會隨之線性增加。

表2 不同方法運行時間比較Tab.2 Results of operating time compared with different methods

4 結論

針對助老助殘機器人識別和檢測三維物體姿態坐標問題，提出一種基于李代數的三維物體姿態檢測方法，用于從單張二維圖像中預測三維物體的姿態信息。由于本研究方法采用端到端的訓練方式，可以直接輸出估計的三維物體姿態信息而無需任何后期優化。其中的創新之處在于使用李代數來表示旋轉和平移向量，通過李群和李代數之間的轉換來獲取三維物體的姿態信息。本方法與目前主流的基于二維RGB圖像的三維物體姿態估計方法相比在準確性和速度方面具有優勢。但網絡參數未針對速度進行優化，可通過精心選擇參數來實現速度和準確度間的更好平衡，需在下一步工作中解決。