基于關(guān)鍵點(diǎn)的類別級(jí)三維可形變目標(biāo)姿態(tài)估計(jì)

摘 要： "為了解決類別級(jí)三維可形變目標(biāo)姿態(tài)估計(jì)問題，基于目標(biāo)的關(guān)鍵點(diǎn)，提出了一種面向類別的三維可形變目標(biāo)姿態(tài)估計(jì)方法。該方法設(shè)計(jì)了一種基于關(guān)鍵點(diǎn)的端到端深度學(xué)習(xí)框架，框架以PointNet++為后端網(wǎng)絡(luò)，通過特征提取、部位分割、關(guān)鍵點(diǎn)提取和基于關(guān)鍵點(diǎn)的姿態(tài)估計(jì)部分實(shí)現(xiàn)可形變目標(biāo)的姿態(tài)估計(jì)，具有計(jì)算精度高、魯棒性強(qiáng)等優(yōu)勢(shì)。同時(shí)，基于ANCSH方法設(shè)計(jì)了適用于K-AOPE網(wǎng)絡(luò)的關(guān)鍵點(diǎn)標(biāo)準(zhǔn)化分層表示方法，該方法僅需提取目標(biāo)少量的關(guān)鍵點(diǎn)即可表示類別物體。為了驗(yàn)證方法的有效性，在公共數(shù)據(jù)集shape2motion上進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果顯示，提出的姿態(tài)估計(jì)方法（以眼鏡類別為例）在旋轉(zhuǎn)角上的誤差分別為2.3°、3.1°、3.7°，平移誤差分別為0.034、0.030、0.046，連接狀態(tài)誤差為2.4°、2.5°，連接參數(shù)誤差為1.2°、0.9°，0.008、0.010。與ANCSH方法相比，所提方法具有較高的準(zhǔn)確性和魯棒性。

關(guān)鍵詞： "關(guān)鍵點(diǎn)； 類別姿態(tài)估計(jì)； 可形變目標(biāo)； 分層標(biāo)準(zhǔn)空間

中圖分類號(hào)： "TP391 """文獻(xiàn)標(biāo)志碼： A

文章編號(hào)： "1001-3695（2022）02-046-0587-06

doi：10.19734/j.issn.1001-3695.2021.06.0260

Category-oriented 3D articulated objects pose estimation based on key points

Zeng Yifang， Qian Weizhong， Wang Xupeng， Yang Xi

（College of Information amp; Software Engineering， University of Electronic Science amp; Technology of China， Chengdu 610051， China）

Abstract： "To solve the problem of category-oriented 3D articulated objects pose estimation，this paper proposed a

category-oriented 3D object pose estimation method based on key points .It designed a network based on key points，which used PointNet+ + as base network and estimated the pose of the object through feature extraction，key points extraction，and pose prediction with high accuracy and robust.At the same time，based on ANCSH，it proposed a hierarchical standardized category representation "method of key points for K-AOPE，which only required a few points to describe the object category.To evaluate the method， it did some experiments on the public motion dataset shape2motion.The results show that the rotation angle errors of the proposed method are 2.3°，3.1°，3.7°，the translation errors are 0.034，0.030，0.046，the joint state error are 2.4°，2.5°，and the joint parameter error are 1.2°，0.9°，0.008，0.010.Compared with other similar methods，the proposed method has lower computational complexity and higher robust.

Key words： "key points； category-oriented pose estimation； articulated objects； standard hierarchical coordinate space

0 引言

三維目標(biāo)的姿態(tài)估計(jì)能夠獲得物體在三維空間中精確的姿態(tài)，是支撐后續(xù)對(duì)物體進(jìn)行的精細(xì)操作和動(dòng)作識(shí)別的基礎(chǔ)，在機(jī)器人的抓握與操控、自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域都有著重要的應(yīng)用。隨著技術(shù)的成熟，機(jī)器人、自動(dòng)駕駛汽車等已經(jīng)能夠在空間中進(jìn)行很好的定位，但如果想要和環(huán)境中的物體目標(biāo)進(jìn)行交互，目標(biāo)的姿態(tài)估計(jì)是必需的技術(shù)。

根據(jù)目標(biāo)是否為不可再分的剛體，可以將姿態(tài)估計(jì)分為剛性目標(biāo)姿態(tài)估計(jì)和可形變目標(biāo)姿態(tài)估計(jì)兩大類。剛性目標(biāo)姿態(tài)估計(jì)指的是通過模型計(jì)算出目標(biāo)在六個(gè)自由度上的姿態(tài)，包括三個(gè)自由度的平移和三個(gè)自由度的旋轉(zhuǎn)。現(xiàn)在已有一些較為成熟的6D姿態(tài)估計(jì)的方法，如PoseCNN［1］、DenseFusion［2］、PVN3D［3］和NOCS［4］等。而可形變目標(biāo)的姿態(tài)估計(jì)與剛性目標(biāo)姿態(tài)估計(jì)相比具有更高的挑戰(zhàn)，其估計(jì)的參數(shù)空間更大，這使得剛性目標(biāo)姿態(tài)估計(jì)方法并不能直接應(yīng)用于可形變物體。可形變目標(biāo)姿態(tài)估計(jì)問題通常看做剛性目標(biāo)姿態(tài)估計(jì)的延伸，將可形變目標(biāo)視為剛性部件通過關(guān)節(jié)部位連接而成。因此，對(duì)可形變目標(biāo)進(jìn)行部位分割，在剛體部位姿態(tài)估計(jì)的基礎(chǔ)上，繼續(xù)對(duì)目標(biāo)關(guān)節(jié)的連接狀態(tài)和連接參數(shù)進(jìn)行估計(jì)，以實(shí)現(xiàn)對(duì)可形變目標(biāo)的估計(jì)。目前，有一些專門針對(duì)可形變目標(biāo)設(shè)計(jì)的姿態(tài)估計(jì)算法［5，6］被提出，但需要目標(biāo)精確的實(shí)時(shí)CAD模型輔助，使得這種算法的應(yīng)用范圍只能被限制為特定的目標(biāo)實(shí)例，同時(shí)算法的計(jì)算復(fù)雜度比較高。若要處理類別級(jí)目標(biāo)，由于沒有精確的實(shí)時(shí)CAD模型可用，需要對(duì)類別目標(biāo)進(jìn)行抽象表示。這種抽象的表示方式能夠適應(yīng)目標(biāo)類別較大的幾何尺寸變化，連接軸位置、方向變化等，并且能夠?qū)ν活悇e的目標(biāo)進(jìn)行標(biāo)準(zhǔn)化的類間表示。

目標(biāo)的關(guān)鍵點(diǎn)指的是蘊(yùn)涵目標(biāo)豐富幾何信息的點(diǎn)，能夠以有限的關(guān)鍵點(diǎn)來描述目標(biāo)的幾何特征。在使用點(diǎn)云作為算法輸入時(shí)，只有少部分關(guān)鍵的點(diǎn)能夠幫助網(wǎng)絡(luò)的學(xué)習(xí)，其他的點(diǎn)對(duì)網(wǎng)絡(luò)學(xué)習(xí)的助益不大，甚至有些點(diǎn)是網(wǎng)絡(luò)學(xué)習(xí)中的噪點(diǎn)。因此，基于關(guān)鍵點(diǎn)的方法不僅能夠使網(wǎng)絡(luò)的計(jì)算復(fù)雜度大幅下降，甚至能夠使網(wǎng)絡(luò)免受噪點(diǎn)的影響，從而具有更好的魯棒性和精確度。基于關(guān)鍵點(diǎn)的方法在姿態(tài)估計(jì)領(lǐng)域已經(jīng)取得了一定的研究成果，如在三維剛性目標(biāo)姿態(tài)估計(jì)中基于關(guān)鍵點(diǎn)的方法PVN3D取得了更好的性能。本文主要采用基于關(guān)鍵點(diǎn)的思想，將其從剛性目標(biāo)姿態(tài)估計(jì)擴(kuò)展到可形變目標(biāo)姿態(tài)估計(jì)問題，充分利用可形變目標(biāo)的幾何約束信息，提高可形變目標(biāo)姿態(tài)估計(jì)算法的準(zhǔn)確性和穩(wěn)定性。同時(shí)采用基于關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)分層坐標(biāo)空間解決面向類別的姿態(tài)估計(jì)問題。

具體而言，本文的貢獻(xiàn)如下：

a）提出了一種面向類別的三維可形變目標(biāo)姿態(tài)估計(jì)方法，與ANCSH［7］不同的是，該方法預(yù)測(cè)基于關(guān)鍵點(diǎn)，并且通過設(shè)計(jì)端到端的深度學(xué)習(xí)網(wǎng)絡(luò)K-AOPE實(shí)現(xiàn)了精確的可形變目標(biāo)姿態(tài)估計(jì)，能夠有效地處理類內(nèi)目標(biāo)變化，實(shí)現(xiàn)面向類別的姿態(tài)估計(jì)。

b）在ANCSH基礎(chǔ)上 設(shè)計(jì)了一種適用于關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)化分層表示方法K-ANCSH，通過三維可形變目標(biāo)每個(gè)剛性部位和目標(biāo)整體的少量幾何信息豐富的點(diǎn)標(biāo)準(zhǔn)歸一地表示在葉級(jí)標(biāo)準(zhǔn)坐標(biāo)空間和根級(jí)標(biāo)準(zhǔn)坐標(biāo)空間，形成分層的類別目標(biāo)表示方法。此方法充分利用了關(guān)鍵點(diǎn)所蘊(yùn)涵的幾何信息，能夠以最少的點(diǎn)來完整表達(dá)目標(biāo)類別的結(jié)構(gòu)，實(shí)現(xiàn)類別級(jí)目標(biāo)的抽象表示。

c）基于PointNet++設(shè)計(jì)了一種面向類別的三維可形變目標(biāo)姿態(tài)估計(jì)的深度學(xué)習(xí)網(wǎng)絡(luò)K-AOPE，該網(wǎng)絡(luò)通過學(xué)習(xí)目標(biāo)的關(guān)鍵點(diǎn)，并通過關(guān)鍵點(diǎn)預(yù)測(cè)每個(gè)剛性部位的姿態(tài)、連接部位的參數(shù)和狀態(tài)。同時(shí)通過關(guān)鍵點(diǎn)預(yù)測(cè)整體目標(biāo)的姿態(tài)，從而協(xié)同優(yōu)化剛性部位姿態(tài)預(yù)測(cè)和連接參數(shù)預(yù)測(cè)的結(jié)果，防止網(wǎng)絡(luò)預(yù)測(cè)過程中出現(xiàn)物理上不可能的結(jié)果。這樣的網(wǎng)絡(luò)不僅簡單穩(wěn)定，具有更快的速度和更高的魯棒性，而且能夠?qū)崿F(xiàn)部位姿態(tài)、目標(biāo)整體姿態(tài)與連接參數(shù)預(yù)測(cè)的協(xié)同優(yōu)化，提高姿態(tài)估計(jì)的準(zhǔn)確性。

d）本文姿態(tài)估計(jì)方法在公共數(shù)據(jù)集shape2motion上的實(shí)驗(yàn)結(jié)果顯示，在旋轉(zhuǎn)角、平移、連接狀態(tài)以及連接參數(shù)等各項(xiàng)評(píng)價(jià)指標(biāo)均優(yōu)于現(xiàn)有方法。

1 相關(guān)研究進(jìn)展

1.1 面向類別的目標(biāo)表示

類別級(jí)目標(biāo)的姿態(tài)估計(jì)任務(wù)，首先需要解決問題就是目標(biāo)的類別級(jí)表示。在類別級(jí)姿態(tài)估計(jì)任務(wù)中，目標(biāo)沒有精確的CAD模型，也沒有可以連續(xù)操控類別級(jí)目標(biāo)的方法。因此，之前姿態(tài)研究方法中對(duì)于目標(biāo)的表示方式就不再適用。文獻(xiàn)［4］提出了一種剛性目標(biāo)的類別表示方式，即標(biāo)準(zhǔn)目標(biāo)坐標(biāo)空間（normalized object coordinate space， NOCS），通過定義一個(gè)三維單位立方體的標(biāo)準(zhǔn)空間，將給定類別的目標(biāo)在標(biāo)準(zhǔn)空間中標(biāo)準(zhǔn)化。但是，NOCS僅針對(duì)剛性目標(biāo)的6D姿態(tài)估計(jì)和尺度變換估計(jì)，并且對(duì)于每個(gè)部位的姿態(tài)和關(guān)節(jié)的連接關(guān)系沒有單獨(dú)表示。于是在NOCS的基礎(chǔ)上，文獻(xiàn)［7］提出了面向類別的可形變目標(biāo)表示方式，即面向類別的標(biāo)準(zhǔn)分層坐標(biāo)空間（articulation-aware normalized coordinate space hierarchy，ANCSH）。該方法通過將可形變目標(biāo)分成不同的剛性部位，將剛性部位采用標(biāo)準(zhǔn)部位坐標(biāo)空間（normalized part coordinate space，NPCS）表示，其表示方式類似于NOCS；同時(shí)將目標(biāo)整體定義為一個(gè)初始狀態(tài)后采用標(biāo)準(zhǔn)可形變目標(biāo)坐標(biāo)空間（normalized articulated object coordinate space，NAOCS）表示。

1.2 可形變目標(biāo)姿態(tài)估計(jì)

在目前的研究中，對(duì)于可形變目標(biāo)的姿態(tài)估計(jì)主要集中在面向?qū)嵗念I(lǐng)域。其主要處理方式是通過可形變目標(biāo)的精確CAD模型，從CAD模型中得到目標(biāo)的實(shí)例級(jí)信息。例如，文獻(xiàn)［5］使用隨機(jī)森林對(duì)深度圖像中每個(gè)點(diǎn)的姿勢(shì)參數(shù)進(jìn)行投票。文獻(xiàn)［6］將可形變物體的姿態(tài)估計(jì)問題表示為馬爾可夫隨機(jī)場(chǎng)來解決。這些方法都受到了需要目標(biāo)精確模型的限制，而難以擴(kuò)展到類別級(jí)目標(biāo)姿態(tài)估計(jì)問題上。

此外，還有一些可形變目標(biāo)姿態(tài)估計(jì)的方法通過對(duì)目標(biāo)進(jìn)行操控和交互，然后對(duì)目標(biāo)進(jìn)行姿態(tài)估計(jì)［8～11］。這些方法可以對(duì)未知的目標(biāo)進(jìn)行姿態(tài)估計(jì)，但是需要花費(fèi)大量的時(shí)間對(duì)目標(biāo)進(jìn)行操控和交互，并且只能應(yīng)用于簡單的可形變目標(biāo)。例如，文獻(xiàn)［12，13］通過概率推斷來跟蹤可形變目標(biāo)，這種方法需要定義規(guī)范的幾何結(jié)構(gòu)；文獻(xiàn)［14］結(jié)合自然運(yùn)動(dòng)語言信息和計(jì)算機(jī)視覺對(duì)可形變目標(biāo)進(jìn)行姿態(tài)估計(jì)，但是這種方法需要自然的運(yùn)動(dòng)語言描述作為附加模式。

1.3 特殊可形變目標(biāo)姿態(tài)估計(jì)

由于應(yīng)用的廣泛性，手部和人體這兩類特殊可形變目標(biāo)受到了研究者的很大關(guān)注。對(duì)于手部姿態(tài)估計(jì)，目前的手部姿態(tài)估計(jì)方法主要分為生成方法、判別方法和混合方法。生成方法主要通過使用優(yōu)化算法，如粒子群優(yōu)化（PSO）或者迭代最近點(diǎn)優(yōu)化（ICP）將預(yù)定義的手部姿態(tài)模型擬合到給定圖像中［15，16］。判別方法通過學(xué)習(xí)從輸入數(shù)據(jù)到手部關(guān)鍵點(diǎn)參數(shù)（如坐標(biāo)或關(guān)節(jié)角度等）的映射關(guān)系來進(jìn)行手部姿態(tài)估計(jì)［17～20］。例如，文獻(xiàn)［17］根據(jù)已經(jīng)提出的區(qū)域集成網(wǎng)絡(luò)（REN）迭代出適用于手部的精細(xì)網(wǎng)絡(luò)；文獻(xiàn)［18］將輸入的手部點(diǎn)云定義在規(guī)定的邊框坐標(biāo)系中，并運(yùn)用PointNet+ +［21］網(wǎng)絡(luò)對(duì)其進(jìn)行處理。混合方法通常使用生成方法中的優(yōu)化模型來優(yōu)化判別方法的估計(jì)結(jié)果［22］。對(duì)于人體姿態(tài)估計(jì)主要有自下而上和自上而下兩種研究方法。自下而上的方法主要通過預(yù)測(cè)不同的關(guān)節(jié)點(diǎn)熱圖，然后再輸入圖像中檢測(cè)人體關(guān)節(jié)，并分組為人體實(shí)例［23～25］。例如，OpenPose［23］建立了一個(gè)包含兩個(gè)分支的模型以預(yù)測(cè)關(guān)節(jié)點(diǎn)；MultiPoseNet［25］同時(shí)實(shí)現(xiàn)了人體的檢測(cè)和姿態(tài)估計(jì)，并提出了PRN對(duì)每個(gè)人體邊界框中的關(guān)節(jié)點(diǎn)進(jìn)行分組。自下而上的方法通過先檢測(cè)人體邊界框并預(yù)測(cè)邊界框中的關(guān)節(jié)點(diǎn)位置來實(shí)現(xiàn)人體姿態(tài)估計(jì)［26～28］。CPN［27］和MSPN［28］是應(yīng)對(duì)關(guān)節(jié)點(diǎn)挑戰(zhàn)的主要方法，其主要采用級(jí)聯(lián)網(wǎng)絡(luò)來改進(jìn)關(guān)節(jié)點(diǎn)的預(yù)測(cè)。除此之外，頭部姿態(tài)估計(jì)也是一種特殊的可形變目標(biāo)姿態(tài)估計(jì)［29］。這些特殊可形變目標(biāo)的姿態(tài)估計(jì)方法僅適用于特殊的目標(biāo)，其很難擴(kuò)展到其他可形變目標(biāo)上；同時(shí)這些方法僅適用于旋轉(zhuǎn)關(guān)節(jié)，對(duì)于平移關(guān)節(jié)（如抽屜）則無法適用。

2 基于關(guān)鍵點(diǎn)的可形變目標(biāo)姿態(tài)估計(jì)

2.1 問題描述

給定一個(gè)由深度圖生成的可形變目標(biāo)3D點(diǎn)集 P={p i，i=1，…，N} ，其中 p i∈"Euclid Math TwoRAp

3，N表示點(diǎn)集P中點(diǎn)的數(shù)量。P k={p ki，i=1，2，…，N′} 表示目標(biāo)的關(guān)鍵點(diǎn)，其中 N′ 表示目標(biāo)關(guān)鍵點(diǎn)的數(shù)量。假設(shè)可形變物體由 K 個(gè)剛體部位和 M 個(gè)連接關(guān)節(jié)組成，則對(duì)于一個(gè)可形變物體，剛體部位可表示為 {G（k）|k=1，2，…，K} ，連接關(guān)節(jié)可表示為 {J（m）|m=1，2，…，M} ，本文只研究旋轉(zhuǎn)關(guān)節(jié)和平移關(guān)節(jié)。姿態(tài)是一組相對(duì)變化的量，為了表示一類目標(biāo)的姿態(tài)變化， 需定義該類目標(biāo)的某個(gè)狀態(tài)為初始姿態(tài) Θ 0，且Θ 0={φ 10，φ 20，…，φ M0} 。

三維可形變目標(biāo)的姿態(tài)估計(jì)即將原始點(diǎn)云分割為剛體部位 G（k） 并通過關(guān)鍵點(diǎn)求各個(gè)剛體部件的姿態(tài)和連接參數(shù)。參考ANCSH［7］對(duì)可形變目標(biāo)姿態(tài)估計(jì)參數(shù)的定義，可形變目標(biāo)姿態(tài)估計(jì)參數(shù)包括剛體部位姿態(tài)估計(jì)參數(shù)和連接部位參數(shù)。其中，每個(gè)剛體部件的姿態(tài)包括旋轉(zhuǎn)矩陣 R （k）、平移矩陣 T （k）和尺度變換矩陣 S （k） 。連接參數(shù)包括每個(gè)關(guān)節(jié) J（m） 的參數(shù) τ（m） 和狀態(tài) θ（m） 。對(duì)于旋轉(zhuǎn)關(guān)節(jié)，關(guān)節(jié)參數(shù)包括旋轉(zhuǎn)軸的方向 u（m） r 和軸點(diǎn)的位置 q（m） r ，關(guān)節(jié)狀態(tài)定義為相對(duì)于初始狀態(tài) φ m0 關(guān)節(jié)旋轉(zhuǎn)的角度。對(duì)于平移關(guān)節(jié)，關(guān)節(jié)參數(shù)包括平移軸的方向 u（m） t ，關(guān)節(jié)狀態(tài)定義為相對(duì)于初始狀態(tài) φ m0 關(guān)節(jié)平移的距離。

2.2 基于關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)分層坐標(biāo)空間K-ANCSH

面向類別的三維姿態(tài)估計(jì)問題的難點(diǎn)之一就在于類別的抽象表示。在進(jìn)行姿態(tài)估計(jì)任務(wù)之前，需要找到一種能夠表示面向類別的可形變目標(biāo)的幾何特征方法，以處理類別級(jí)姿態(tài)估計(jì)任務(wù)。NOCS［4］在標(biāo)準(zhǔn)化過程中使目標(biāo)方向保持一致、均以原點(diǎn)為中心、大小以立方體框?yàn)檫吔纾繕?biāo)姿態(tài)通過NOCS到相機(jī)空間的相似度轉(zhuǎn)換得到的方法表示類別級(jí)的剛性目標(biāo)。ANCSH通過將可形變目標(biāo)表示分層的方式，在NPCS層中按照類似于NOCS的標(biāo)準(zhǔn)化方式對(duì)目標(biāo)剛性部位進(jìn)行標(biāo)準(zhǔn)化，在NAOCS層中對(duì)整個(gè)目標(biāo)進(jìn)行標(biāo)準(zhǔn)化，即對(duì)整個(gè)目標(biāo)的方向、尺寸、位置進(jìn)行標(biāo)準(zhǔn)化處理的方法表示類別級(jí)可形變目標(biāo)。本文提出的基于關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)分層坐標(biāo)空間參照ANCSH中分層的思想將可形變目標(biāo)分層表示（圖1）。但為了充分利用關(guān)鍵點(diǎn)所包含的幾何信息，以最少的點(diǎn)來完整表達(dá)目標(biāo)的結(jié)構(gòu)，在后續(xù)的計(jì)算過程中降低網(wǎng)絡(luò)計(jì)算的復(fù)雜度，本文方法在ANCSH的基礎(chǔ)上采用基于關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)分層坐標(biāo)空間表示方法，將可形變目標(biāo)的表示分為基于關(guān)鍵點(diǎn)的根級(jí)表示和基于關(guān)鍵點(diǎn)的葉級(jí)表示。

為了構(gòu)造基于關(guān)鍵點(diǎn)標(biāo)準(zhǔn)分層坐標(biāo)空間，需要定義目標(biāo)的一組初始標(biāo)準(zhǔn)狀態(tài)，對(duì)于每個(gè)關(guān)節(jié) J（m） ，手動(dòng)設(shè)置其初始狀態(tài)為 φ m0 。

在葉級(jí)標(biāo)準(zhǔn)空間表示中，通過將處于初始狀態(tài)的目標(biāo)分為 K 個(gè)剛性部件，并且分別對(duì)每個(gè)剛性部件在保持方向不變的情況下進(jìn)行尺寸縮放和中心位置置零。

如圖2所示，在根級(jí)標(biāo)準(zhǔn)空間表示中，將目標(biāo)的關(guān)節(jié)置于初始狀態(tài)，對(duì)其方向、尺寸進(jìn)行標(biāo)準(zhǔn)化，并將其中心坐標(biāo)置零。葉級(jí)標(biāo)準(zhǔn)空間表示中可形變目標(biāo)的每個(gè)部位的方向、中心位置與根級(jí)標(biāo)準(zhǔn)空間表示一致，根級(jí)標(biāo)準(zhǔn)空間表示可由葉級(jí)標(biāo)準(zhǔn)空間表示中的部件經(jīng)過平移和尺度變換得到。

為了得到目標(biāo)的關(guān)鍵點(diǎn)，一些三維目標(biāo)檢測(cè)算法采用三維目標(biāo)包圍盒的八個(gè)頂點(diǎn)作為目標(biāo)的關(guān)鍵點(diǎn)［30～32］，由于三維目標(biāo)包圍盒的頂點(diǎn)是虛擬的點(diǎn)，并不在目標(biāo)的表面上，這會(huì)使得網(wǎng)絡(luò)難以學(xué)習(xí)。因此采取目標(biāo)表面的點(diǎn)作為關(guān)鍵點(diǎn)是一種更好的關(guān)鍵點(diǎn)提取方法。本文參考文獻(xiàn)［33］的工作采用最遠(yuǎn)點(diǎn)采樣的方法在目標(biāo)表面進(jìn)行關(guān)鍵點(diǎn)提取，這樣提取的關(guān)鍵點(diǎn)能夠均勻地分布在目標(biāo)的表面，解決了以虛擬點(diǎn)作為關(guān)鍵點(diǎn)所帶來的網(wǎng)絡(luò)難以學(xué)習(xí)的問題。

具體而言，為了得到關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)分層坐標(biāo)空間表示，隨機(jī)選取一個(gè)相機(jī)空間中目標(biāo)上的點(diǎn)作為第一個(gè)關(guān)鍵點(diǎn)，然后通過尋找與現(xiàn)有關(guān)鍵點(diǎn)集最遠(yuǎn)的點(diǎn)作為下一個(gè)關(guān)鍵點(diǎn)，以此類推，直到選取足夠的關(guān)鍵點(diǎn)。同時(shí)，要得到基于關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)分層坐標(biāo)空間中的點(diǎn) P* k （以“*”區(qū)分基于關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)分層坐標(biāo)空間中的參數(shù)和相機(jī)空間中的參數(shù)），需要將空間進(jìn)行分層標(biāo)準(zhǔn)化處理，即將相機(jī)空間中的關(guān)鍵點(diǎn)集 P k 進(jìn)行標(biāo)準(zhǔn)變換，假設(shè)原始點(diǎn)集 P=（P x，P y，P z） ，則有

norm factor=［（ max "P x- min "P x）2+（ max "P y- "min "P y）2+（ max "P z- min "P z）2］ 1 2 """（1）

center p= "extre "p- base "p 2norm factor """（2）

P* k=（P k-base p）×norm factor+0.5-center p ""（3）

其中： base "p=［ min "P x， min "P y， min "P z］表示由原始點(diǎn)集P中最小的x、y、z 組成的向量； extre "p=［ max "P x， max "P y， max "P z］表示由原始點(diǎn)集P中最大的x、y、z 組成的向量。

通過式（1）～（3）生成的標(biāo)準(zhǔn)分層坐標(biāo)空間中的關(guān)鍵點(diǎn) P* k ，即為部位姿態(tài)預(yù)測(cè)中的模板點(diǎn)。通過 P k與P* k 之間的對(duì)應(yīng)關(guān)系，即可計(jì)算出每個(gè)部位的姿態(tài)。

2.3 整體結(jié)構(gòu)說明

如圖3所示，姿態(tài)估計(jì)網(wǎng)絡(luò)K-AOPE的整體結(jié)構(gòu)由特征提取、關(guān)鍵點(diǎn)檢測(cè)、連接參數(shù)預(yù)測(cè)和姿態(tài)估計(jì)部分組成。特征提取部分對(duì)目標(biāo)關(guān)鍵點(diǎn)的整體特征進(jìn)行提取。關(guān)鍵點(diǎn)檢測(cè)部分由 Ω seg 預(yù)測(cè)部位分割、 Ω N 預(yù)測(cè)關(guān)鍵點(diǎn)葉級(jí)空間坐標(biāo)K-NPCS和 {Ω N，Ω T，Ω S} 預(yù)測(cè)關(guān)鍵點(diǎn)根級(jí)空間坐標(biāo)K-NAOCS組成。每個(gè)預(yù)測(cè)子網(wǎng)絡(luò)都是由共享參數(shù)的多層感知機(jī)組成。

由于根級(jí)標(biāo)準(zhǔn)空間中關(guān)鍵點(diǎn)的坐標(biāo)可由葉級(jí)標(biāo)準(zhǔn)空間中關(guān)鍵點(diǎn)的坐標(biāo)通過平移和尺度變換得到，為了保證兩次預(yù)測(cè)都是目標(biāo)相同的關(guān)鍵點(diǎn)，故采用 Ω T 預(yù)測(cè)關(guān)鍵點(diǎn)的平移、 Ω S 預(yù)測(cè)關(guān)鍵點(diǎn)的尺度變換以及 Ω N 預(yù)測(cè)的K-NPCS計(jì)算得到根級(jí)標(biāo)準(zhǔn)空間中關(guān)鍵點(diǎn)的坐標(biāo)K-NAOCS。

同時(shí)，由于可形變目標(biāo)姿態(tài)估計(jì)中的關(guān)鍵點(diǎn)提取的維度更高，相對(duì)于ANCSH方法中直接預(yù)測(cè)點(diǎn)到關(guān)節(jié)點(diǎn)偏移的方法，將直接預(yù)測(cè)偏移細(xì)化為分別預(yù)測(cè)位置偏移和方向偏移具有更高的準(zhǔn)確性。故網(wǎng)絡(luò)分別預(yù)測(cè)每個(gè)點(diǎn)到關(guān)鍵點(diǎn)的位置偏移 Ω H 和到軸方向的方向偏移 Ω U ，將對(duì)整個(gè)偏移的預(yù)測(cè)細(xì)化為位置偏移和方向偏移分別進(jìn)行預(yù)測(cè)，提高預(yù)測(cè)的準(zhǔn)確性。

姿態(tài)預(yù)測(cè)部分由6D姿態(tài)預(yù)測(cè)、連接參數(shù)預(yù)測(cè)和協(xié)同優(yōu)化組成。通過預(yù)測(cè)的各參數(shù)值，類似于ANCSH［7］和NOCS［4］分別使用基于能量函數(shù)的隨機(jī)抽樣一致性算法（RANSAC）［34］和Umeyama算法［35］計(jì)算目標(biāo)的各部位6D姿態(tài)和目標(biāo)的整體姿態(tài)。同時(shí)，使用最小二乘法計(jì)算目標(biāo)的連接參數(shù)。

2.4 姿態(tài)估計(jì)網(wǎng)絡(luò)

如圖3所示，姿態(tài)估計(jì)網(wǎng)絡(luò)以深度圖轉(zhuǎn)換的點(diǎn)云作為輸入，其維度為 B×N×C 。其中， B 為batch的大小， "C 為點(diǎn)云的通道數(shù)， N 為點(diǎn)云的點(diǎn)數(shù)。本文只采用點(diǎn)云的三維空間坐標(biāo)作為輸入，所以 C=3 。姿態(tài)估計(jì)網(wǎng)絡(luò)由特征提取、可形變目標(biāo)關(guān)鍵點(diǎn)檢測(cè)、連接參數(shù)預(yù)測(cè)和姿態(tài)預(yù)測(cè)部分組成。

2.4.1 特征提取

特征提取主要實(shí)現(xiàn)對(duì)輸入的點(diǎn)云進(jìn)行特征提取，其通過PointNet+ +網(wǎng)絡(luò)分別對(duì)輸入點(diǎn)云提取1 024維特征。為了防止出現(xiàn)過擬合現(xiàn)象，在特征提取部分加入了dropout操作。后續(xù)所有的子網(wǎng)絡(luò)共享相同的PointNet+ +后端網(wǎng)絡(luò)，僅在最后的全連接層中拆分。

2.4.2 可形變目標(biāo)關(guān)鍵點(diǎn)檢測(cè)部分

可形變目標(biāo)關(guān)鍵點(diǎn)檢測(cè)部分輸出的是預(yù)測(cè)關(guān)鍵點(diǎn)葉級(jí)標(biāo)準(zhǔn)坐標(biāo)K-NPCS和預(yù)測(cè)的關(guān)鍵點(diǎn)根級(jí)標(biāo)準(zhǔn)坐標(biāo)K-NAOCS，其主要由葉級(jí)標(biāo)準(zhǔn)坐標(biāo)預(yù)測(cè) Ω N 、部位分割預(yù)測(cè) Ω seg 、關(guān)鍵點(diǎn)的平移預(yù)測(cè) Ω T 和關(guān)鍵點(diǎn)的尺度變換預(yù)測(cè) Ω S 四個(gè)部分組成。關(guān)鍵點(diǎn)葉級(jí)標(biāo)準(zhǔn)坐標(biāo)K-NPCS預(yù)測(cè)的是每個(gè)部位在標(biāo)準(zhǔn)空間中的坐標(biāo)， 通過預(yù)測(cè)每個(gè)點(diǎn)屬于對(duì)應(yīng)部位的概率對(duì)可形變目標(biāo)進(jìn)行部位分割，然后將部位分割信息和每個(gè)點(diǎn)在標(biāo)準(zhǔn)級(jí)空間中與關(guān)鍵點(diǎn)的偏移信息結(jié)合，得到每個(gè)剛性部位中關(guān)鍵點(diǎn)的坐標(biāo)。這樣的網(wǎng)絡(luò)設(shè)計(jì)將每個(gè)剛性部件的幾何信息送入網(wǎng)絡(luò)中進(jìn)行學(xué)習(xí)，從而能夠使網(wǎng)絡(luò)針對(duì)可形變目標(biāo)的剛性部件進(jìn)行特定的預(yù)測(cè)。

關(guān)鍵點(diǎn)根級(jí)標(biāo)準(zhǔn)坐標(biāo)K-NAOCS預(yù)測(cè)的是從葉級(jí)標(biāo)準(zhǔn)空間表示到根級(jí)標(biāo)準(zhǔn)空間表示的變換量 Trans ，并通過預(yù)測(cè)的變換量 Trans 計(jì)算每個(gè)關(guān)鍵點(diǎn)在根級(jí)標(biāo)準(zhǔn)空間表示中的坐標(biāo)。因?yàn)閺娜~級(jí)標(biāo)準(zhǔn)空間表示變換到根級(jí)標(biāo)準(zhǔn)空間表示，只需要將目標(biāo)的剛性部位進(jìn)行平移和尺度變換。假設(shè)剛性部位姿態(tài)預(yù)測(cè)部分中目標(biāo)剛性部位的關(guān)鍵點(diǎn)在葉級(jí)標(biāo)準(zhǔn)空間中的坐標(biāo)為 leaf* i ，目標(biāo)在根級(jí)標(biāo)準(zhǔn)空間中的坐標(biāo)為 root* i ，預(yù)測(cè)的平移和尺度變換為 t* i 、 s* i ，則 root* i=leaf* i·t* i+s* i 。

在可形變目標(biāo)關(guān)鍵點(diǎn)檢測(cè)中，葉級(jí)標(biāo)準(zhǔn)坐標(biāo)預(yù)測(cè) Ω N 輸出的是每個(gè)點(diǎn)相對(duì)于關(guān)鍵點(diǎn)在每個(gè)葉級(jí)標(biāo)準(zhǔn)空間中的坐標(biāo)偏移量，其維度為 B×N×3N′ ；部位分割預(yù)測(cè) Ω seg 輸出的是每個(gè)點(diǎn)屬于對(duì)應(yīng)剛性部位的概率，其維度為 B×N×3 ；關(guān)鍵點(diǎn)的平移預(yù)測(cè) Ω T 和關(guān)鍵點(diǎn)的尺度變換預(yù)測(cè) Ω S 輸出的是每個(gè)點(diǎn)相對(duì)于關(guān)鍵點(diǎn)在根級(jí)標(biāo)準(zhǔn)空間中坐標(biāo)的平移和尺度變換量，其維度均為 B×N×3N′ 。對(duì)于部位分割預(yù)測(cè) Ω seg ，采用松弛IoU函數(shù)［36］計(jì)算分類損失。對(duì)于葉級(jí)標(biāo)準(zhǔn)坐標(biāo)預(yù)測(cè) Ω N ，可以看做是一個(gè)多元回歸問題，采用均方誤差作為損失函數(shù)，則關(guān)鍵點(diǎn)葉級(jí)標(biāo)準(zhǔn)坐標(biāo)K-NPCS預(yù)測(cè)的損失函數(shù) L 1 為

L 1=L seg+ 1 N′ ∑ N i=1 ∑ N′ j=1 （off ⌒ "j* i-off ⌒ "j* i）2 ""（4）

其中： off ⌒ "j* i "表示預(yù)測(cè)的葉級(jí)標(biāo)準(zhǔn)空間中第 i 個(gè)點(diǎn)與第 j 個(gè)關(guān)鍵點(diǎn)的偏移。對(duì)于關(guān)鍵點(diǎn)平移變換 Ω T 和尺度變換 Ω S 的訓(xùn)練，本文采用均方誤差作為損失函數(shù)，即連接參數(shù)預(yù)測(cè)的損失函數(shù) L 2 為

L 2= 1 N′ ∑ N′ i=1 （t* ki-t ⌒ * ki）2+ 1 N′ ∑ N′ i=1 （s* ki-s ⌒ * ki）2 ""（5）

其中： t* ki 表示第 i 個(gè)關(guān)鍵點(diǎn)由葉級(jí)標(biāo)準(zhǔn)空間變換到根級(jí)標(biāo)準(zhǔn)空間所進(jìn)行的平移變換； t ⌒ * ki 表示第 i 個(gè)關(guān)鍵點(diǎn)由葉級(jí)標(biāo)準(zhǔn)空間變換到根級(jí)標(biāo)準(zhǔn)空間所進(jìn)行的平移變換的預(yù)測(cè)值； s* ki 表示第 i 個(gè)關(guān)鍵點(diǎn)由葉級(jí)標(biāo)準(zhǔn)空間變換到根級(jí)標(biāo)準(zhǔn)空間所進(jìn)行的尺度變換； s ⌒ * ki 表示第 i 個(gè)關(guān)鍵點(diǎn)由葉級(jí)標(biāo)準(zhǔn)空間變換到根級(jí)標(biāo)準(zhǔn)空間所進(jìn)行的平移變換的預(yù)測(cè)值。

2.4.3 連接參數(shù)預(yù)測(cè)部分

連接參數(shù)預(yù)測(cè)部分主要預(yù)測(cè)旋轉(zhuǎn)關(guān)節(jié)和平移關(guān)節(jié)在根級(jí)標(biāo)準(zhǔn)空間表示中的參數(shù)，其中旋轉(zhuǎn)關(guān)節(jié)的參數(shù)包括旋轉(zhuǎn)軸的方向 u（m）* r 和軸點(diǎn)的位置q（m）* r，平移關(guān)節(jié)參數(shù)包括平移軸的方向u（m）* t 。為了準(zhǔn)確預(yù)測(cè)關(guān)節(jié)參數(shù)，本節(jié)在ANCSH方法的基礎(chǔ)上采用將偏移細(xì)化為位置偏移和方向偏移的方法。首先將每個(gè)關(guān)節(jié)與附近距離為 α 的點(diǎn)相關(guān)聯(lián)，計(jì)算每個(gè)附近點(diǎn)與關(guān)節(jié)的位置偏移量和方向偏移量。ANCSH中采取直接計(jì)算偏移的方法，為了得到更加準(zhǔn)確的連接參數(shù)預(yù)測(cè)結(jié)果，本文將每個(gè)附近點(diǎn)與關(guān)節(jié)的偏移細(xì)化為每個(gè)附近點(diǎn)與軸的方向偏移和附近點(diǎn)與關(guān)節(jié)點(diǎn)的位置偏移。定義 U 為在標(biāo)準(zhǔn)坐標(biāo)空間中每個(gè)附近點(diǎn) p* i與關(guān)節(jié)點(diǎn)q（m）* r的方向偏差，定義H為在根級(jí)標(biāo)準(zhǔn)坐標(biāo)空間中每個(gè)附近點(diǎn)p* i與關(guān)節(jié)點(diǎn)q（m） r* 的距離偏差，即有

U（p* i，q（m）* r）= q（m）* r-p* i ‖q（m）* r-p* i‖ "p* i∈P* ""（6）

H（p* i，q（m）* r）=‖q（m）* r-p* i‖ p* i∈P* ""（7）

每個(gè)點(diǎn)與關(guān)節(jié)點(diǎn)的距離偏差和方向偏差反映了每個(gè)區(qū)域內(nèi)的點(diǎn)與關(guān)節(jié)點(diǎn)的接近程度與方向位置。通過網(wǎng)絡(luò)分別預(yù)測(cè)每個(gè)范圍內(nèi)的點(diǎn)與關(guān)節(jié)點(diǎn)的距離偏差和方向偏差可以計(jì)算出關(guān)節(jié)點(diǎn)的位置。所以連接參數(shù)預(yù)測(cè)部分包括位置偏移 Ω H 和方向偏移預(yù)測(cè) Ω U ，位置偏移和方向偏移預(yù)測(cè)是每個(gè)附近點(diǎn)到關(guān)節(jié)點(diǎn)的距離和方向偏移，其維度均為 B×N×3M 。連接參數(shù)預(yù)測(cè)層分別通過全連接層，預(yù)測(cè)關(guān)節(jié)所在軸的位置以及關(guān)節(jié)周圍點(diǎn)與關(guān)節(jié)點(diǎn)的位置偏移和方向偏移，由此預(yù)測(cè)出關(guān)節(jié)參數(shù)。

為了監(jiān)督位置偏移 Ω H 和方向偏移預(yù)測(cè) Ω U 兩個(gè)子網(wǎng)絡(luò)的訓(xùn)練，本文采用絕對(duì)平均誤差作為損失函數(shù)，即連接參數(shù)預(yù)測(cè)的損失函數(shù) L 3 為

L 3= 1 N n ∑ N n i=1 ∑ M j=1 |h* ij-h ⌒ * ij|+ 1 N n ∑ N n i=1 ∑ M j=1 |u* ij-u ⌒ * ij| ""（8）

其中： N n 表示與關(guān)節(jié)點(diǎn)相距為 α 附近點(diǎn)的數(shù)量； h* ij 表示第 i 個(gè)附近點(diǎn)與第 j 個(gè)關(guān)節(jié)點(diǎn)的位置偏移的真實(shí)值； h ⌒ * ij表示其預(yù)測(cè)值；u* ij表示第i個(gè)附近點(diǎn)與第j個(gè)關(guān)節(jié)點(diǎn)的方向偏移的真實(shí)值；u ⌒ * ij 表示其預(yù)測(cè)值。

2.4.4 姿態(tài)預(yù)測(cè)部分

姿態(tài)預(yù)測(cè)部分由6D姿態(tài)預(yù)測(cè)、連接參數(shù)預(yù)測(cè)和協(xié)同優(yōu)化組成。在預(yù)測(cè)的關(guān)鍵點(diǎn)葉級(jí)空間坐標(biāo)（K-NPCS）和部位分割情況的基礎(chǔ)之上，采用基于能量函數(shù)的隨機(jī)抽樣一致性算法（RANSAC）［34］和Umeyama算法［35］計(jì)算目標(biāo)的每個(gè)剛性部位的6D姿態(tài)。在連接參數(shù)預(yù)測(cè)部分，采用最小二乘的方法計(jì)算目標(biāo)的連接參數(shù)值。

同時(shí)，在預(yù)測(cè)的根級(jí)標(biāo)準(zhǔn)空間中關(guān)鍵點(diǎn)的坐標(biāo)基礎(chǔ)上，采用隨機(jī)抽樣一致性算法（RANSAC）［34］和Umeyama算法［35］計(jì)算目標(biāo)的每個(gè)可形變目標(biāo)整體的姿態(tài)，以此來約束單獨(dú)預(yù)測(cè)每個(gè)剛性部位6D姿態(tài)以及其連接參數(shù)時(shí)出現(xiàn)的一些物理不可能的結(jié)果，形成協(xié)同優(yōu)化。

3 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文基于關(guān)鍵點(diǎn)的類別級(jí)姿態(tài)估計(jì)方法的有效性，進(jìn)行了一系列實(shí)驗(yàn)。首先介紹了實(shí)驗(yàn)的評(píng)估結(jié)果表示方式（見3.1節(jié)）和用于實(shí)驗(yàn)的公共數(shù)據(jù)集shape2motion（見3.2節(jié)）。然后測(cè)試了基于關(guān)鍵點(diǎn)的姿態(tài)估計(jì)網(wǎng)絡(luò)在可形變目標(biāo)上的準(zhǔn)確性，驗(yàn)證了不同密度關(guān)鍵點(diǎn)對(duì)姿態(tài)估計(jì)網(wǎng)絡(luò)的影響，同時(shí)還驗(yàn)證了基于關(guān)鍵點(diǎn)的分層標(biāo)準(zhǔn)空間方法的有效性。

在實(shí)驗(yàn)中，學(xué)習(xí)率為0.001，衰減率為0.7，衰減步長為20 000，batch的大小為16。實(shí)驗(yàn)硬件環(huán)境：CPU為Intel Core-i7（3.40 GHz），內(nèi)存為16 GB，顯卡為NVIDIA RTX2080s 16 GB。實(shí)驗(yàn)軟件環(huán)境為Ubuntu 18.04操作系統(tǒng)、TensorFlow-GPU 1.15、CUDA 10.2、cuDNN 7.4.5。

3.1 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)結(jié)果采用以下指標(biāo)對(duì)可形變目標(biāo)的姿態(tài)進(jìn)行評(píng)估：

a）部位姿態(tài)。對(duì)于目標(biāo)的每一個(gè)剛體部位，采用旋轉(zhuǎn)誤差、平移誤差來評(píng)估目標(biāo)部位的姿態(tài)。

b）連接狀態(tài)。對(duì)于旋轉(zhuǎn)關(guān)節(jié)，實(shí)驗(yàn)采用角度誤差來評(píng)估目標(biāo)關(guān)節(jié)的連接狀態(tài)；對(duì)于平移關(guān)節(jié)，實(shí)驗(yàn)采用相關(guān)的平移誤差來評(píng)估目標(biāo)的狀態(tài)。

c）連接參數(shù)。對(duì)于旋轉(zhuǎn)關(guān)節(jié)，旋轉(zhuǎn)軸誤差為計(jì)算預(yù)測(cè)方向與真實(shí)方向之間的角度差異；軸點(diǎn)誤差為計(jì)算預(yù)測(cè)點(diǎn)與真實(shí)點(diǎn)之間的最小直線距離。對(duì)于平移關(guān)節(jié)，連接參數(shù)誤差為計(jì)算連接軸的方向誤差。

對(duì)于魯棒性研究，采用ADD矩陣［1］作為剛性目標(biāo)姿態(tài)準(zhǔn)確率的評(píng)估標(biāo)準(zhǔn)。ADD矩陣通過評(píng)估每個(gè)點(diǎn)在預(yù)測(cè)的6D姿態(tài) （R，T） 矩陣中與真實(shí)的6D姿態(tài) （R g，T g） 矩陣中的平均距離來衡量剛性目標(biāo)姿態(tài)預(yù)測(cè)的準(zhǔn)確性。

ADD= 1 m ∑ x∈Ω ‖（Rx+T）-（R gx+T g）‖ ""（9）

其中： m 表示目標(biāo)中參與預(yù)測(cè)的所有點(diǎn) Ω 的數(shù)量； x 表示 m 中的某一點(diǎn)。

3.2 數(shù)據(jù)集

本文主要在公共數(shù)據(jù)集shape2motion上驗(yàn)證方法的有效性。數(shù)據(jù)集shape2motion中包含了可形變目標(biāo)的3D模型，并標(biāo)注了每個(gè)模型的部位分割情況和關(guān)節(jié)連接情況。為了得到帶有姿態(tài)的深度圖，本文將數(shù)據(jù)集中的模型通過PyBullet隨機(jī)攝像機(jī)視角的方式對(duì)每個(gè)類別目標(biāo)進(jìn)行渲染，生成約40 000張圖像，并將得到的深度圖轉(zhuǎn)換為點(diǎn)云。其中90%的數(shù)據(jù)為訓(xùn)練集數(shù)據(jù)，剩下10%的不與訓(xùn)練集中類別實(shí)例重合的數(shù)據(jù)為測(cè)試集。

3.3 結(jié)果分析

3.3.1 算法準(zhǔn)確性驗(yàn)證

為了驗(yàn)證基于關(guān)鍵點(diǎn)的方法在類別級(jí)可形變目標(biāo)姿態(tài)估計(jì)中的有效性，本文在shape2motion上用ANCSH、NOCS和基于關(guān)鍵點(diǎn)的方法分別進(jìn)行驗(yàn)證，結(jié)果如表1、2所示。與基于類別的目標(biāo)姿態(tài)估計(jì)方法NOCS相比，考慮過連接參數(shù)優(yōu)化的方法，如ANCSH方法和基于關(guān)鍵點(diǎn)的可形變目標(biāo)姿態(tài)估計(jì)方法（K-AOPE）均使預(yù)測(cè)結(jié)果準(zhǔn)確性得到了大幅提升。同時(shí)，與ANCSH方法相比，基于關(guān)鍵點(diǎn)的可形變目標(biāo)姿態(tài)估計(jì)方法（K-AOPE）能夠有效地降低部位姿態(tài)估計(jì)的誤差，并且在連接參數(shù)和連接狀態(tài)的預(yù)測(cè)上也取得了更好的效果。

同時(shí)，為了驗(yàn)證基于關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)分層坐標(biāo)空間在姿態(tài)估計(jì)中所起的協(xié)同優(yōu)化的作用，本文將葉級(jí)標(biāo)準(zhǔn)坐標(biāo)空間方法（K-AOPE-leaf）單獨(dú)進(jìn)行實(shí)驗(yàn)，結(jié)果如表1所示。結(jié)果顯示，基于關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)分層坐標(biāo)空間方法在姿態(tài)估計(jì)問題中提高了對(duì)姿態(tài)估計(jì)的準(zhǔn)確性，對(duì)可形變目標(biāo)姿態(tài)估計(jì)起到了協(xié)同優(yōu)化作用。

在表2所示結(jié)果中，K-AOPE方法的連接參數(shù)預(yù)測(cè)結(jié)果明顯優(yōu)于ANCSH方法，證明直接預(yù)測(cè)偏移細(xì)化為分別預(yù)測(cè)位置偏移和方向偏移具有更高的準(zhǔn)確性。

3.3.2 算法魯棒性驗(yàn)證

關(guān)鍵點(diǎn)是目標(biāo)中幾何信息豐富的少數(shù)點(diǎn)，基于關(guān)鍵點(diǎn)的類別級(jí)可形變目標(biāo)姿態(tài)估計(jì)方法能夠?yàn)轭悇e級(jí)可形變目標(biāo)姿態(tài)估計(jì)算法提供更好的魯棒性。為了驗(yàn)證本文方法的魯棒性，參考densefusion對(duì)目標(biāo)姿態(tài)估計(jì)算法魯棒性評(píng)估的方法，分別對(duì)輸入數(shù)據(jù)進(jìn)行隨機(jī)丟點(diǎn)，計(jì)算 ADDlt;0.5 時(shí)每個(gè)剛性部位的姿態(tài)估計(jì)準(zhǔn)確率，所得預(yù)測(cè)結(jié)果如圖4、5所示。結(jié)果顯示在50%～80%丟點(diǎn)比例范圍內(nèi)，隨著丟點(diǎn)比例的增加，ANCSH方法的準(zhǔn)確率下降得比K-AOPE方法更快。K-AOPE方法準(zhǔn)確率顯著下降是在丟點(diǎn)超過80%以后，此時(shí)ANCSH方法準(zhǔn)確率低于K-AOPE方法。

4 結(jié)束語

為了解決面向類別的三維可形變目標(biāo)姿態(tài)估計(jì)問題，本文提出了一種面向類別的三維可形變目標(biāo)姿態(tài)估計(jì)算法K-AOPE，主要包括 關(guān)鍵點(diǎn)的標(biāo)準(zhǔn)分層坐標(biāo)表示空間方法和基于關(guān)鍵點(diǎn)的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)。相對(duì)于目前的可形變目標(biāo)姿態(tài)估計(jì)方法ANCSH，本文方法具有更好效果，并且由于深度學(xué)習(xí)網(wǎng)絡(luò)基于目標(biāo)的關(guān)鍵點(diǎn)進(jìn)行設(shè)計(jì)，能夠有效提高方法的魯棒性，解決由于丟點(diǎn)造成的預(yù)測(cè)精度下降的問題。

可形變目標(biāo)姿態(tài)估計(jì)的關(guān)鍵點(diǎn)之一在于對(duì)關(guān)節(jié)部位的估計(jì)，本文雖然采用了基于關(guān)鍵點(diǎn)的方法對(duì)關(guān)節(jié)部位的姿態(tài)進(jìn)行了有效的估計(jì)，同時(shí)根據(jù)分層標(biāo)準(zhǔn)坐標(biāo)空間對(duì)其進(jìn)行約束，但對(duì)關(guān)節(jié)部位的姿態(tài)估計(jì)仍有優(yōu)化的空間。此外，本文采用最遠(yuǎn)點(diǎn)采樣的方法能夠提取出涵蓋目標(biāo)關(guān)鍵幾何信息的點(diǎn)，但類別級(jí)目標(biāo)關(guān)鍵點(diǎn)的提取算法仍然具有很大的研究價(jià)值。

參考文獻(xiàn)：

［1］ "Xiang Y，Schmidt T，Narayanan V， et al .PoseCNN：a convolutional neural network for 6D object pose estimation in cluttered scenes［EB/OL］.（2017-11-01）.https：//arxiv.org/abs/1711.00199.

［2］ Wang Chen，Xu Danfei，Zhu Yuke， et al .DenseFusion：6D object pose estimation by iterative dense fusion［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：3338-3347.

［3］ He Yisheng，Sun Wei，Huang Haibin， et al .PVN3D：a deep point-wise 3D keypoints voting network for 6D of pose estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：11629-11638.

［4］ Wang He，Sridhar S，Huang Jingwei， et al .Normalized object coordinate space for category-level 6D object pose and size estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：2637-2646.

［5］ Pavlasek J，Lewis S，Desingh K， et al .Parts-based articulated object localization in clutter using belief propagation［C］//Proc of IEEE/RSJ International Conference on Intelligent Robots and Systems.Piscataway，NJ：IEEE Press，2020：10595-10602.

［6］ "Li Xiaolong，Wang He，Yi Li， et al .Category-level articulated object pose estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：3703-3712.

［7］ Michel F，Krull A，Brachmann E， et al .Pose estimation of kinematic chain instances via object coordinate regression［C］//Proc of British Machine Vision Conference.2015.

［8］ Desingh K，Lu Shiyang，Opipari A， et al .Factored pose estimation of articulated objects using efficient nonparametric belief propagation［C］//Proc of International Conference on Robotics and Automation.Piscataway，NJ：IEEE Press，2019：7221-7227.

［9］ Ye Mao，Yang Ruigang.Real-time simultaneous pose and shape estimation for articulated objects using a single depth camera［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2014：2353-2360.

［10］ Martín-Martín R，Hfer S，Brock O.An integrated approach to visual perception of articulated objects［C］//Proc of IEEE International Conference on Robotics and Automation.Piscataway，NJ：IEEE Press，2016：5091-5097.

［11］ Kumar S，Dhiman V，Ganesh M R， et al .Spatiotemporal articulated models for dynamic SLAM［EB/OL］.（2016-04-12）.https：//arxiv.org/abs/1604.03526.

［12］ Schmidt T，Hertkorn K，Newcombe R， et al .Depth-based tracking with physical constraints for robot manipulation［C］//Proc of IEEE International Conference on Robotics and Automation.Piscataway，NJ：IEEE Press，2015：119-126.

［13］ "Schmidt T，Newcombe R，F(xiàn)ox D.DART：dense articulated real-time tracking with consumer depth cameras［J］. Autonomous Robots ，2015， 39 （3）：239-258.

［14］ Daniele A F，Howard T M，Walter M R.A multiview approach to learning articulated motion models［M］//Amato N，Hager G，Thomas S， et al .Robotics Research.Cham：Springer，2020：371-386.

［15］ Romero J，Tzionas D，Black M J.Embodied hands：modeling and capturing hands and bodies together［J］. ACM Trans on Graphics ，2017， 36 （6）：DOI：10.1145/3130800.3130883.

［16］ "Tkach A，Tagliasacchi A，Remelli E， et al .Online generative model personalization for hand tracking［J］. ACM Trans on Graphics， 2017， 36 （6）：article No.243.

［17］ Chen Xinghao，Wang Guijin，Guo Hengkai， et al .Pose guided structured region ensemble network for cascaded hand pose estimation［J］. Neurocomputing ，2020， 395 ：138-149.

［18］ Ge Liuhao，Ren Zhou，Yuan Junsong.Point-to-point regression PointNet for 3D hand pose estimation［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2018：489-505.

［19］ "Chang J Y，Moon G，Lee K M.V2V-PoseNet：voxel-to-voxel prediction network for accurate 3D hand and human pose estimation from a single depth map［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：5079-5088.

［20］ "Wan Chengde，Probst T，Gool L V， et al .Dense 3D regression for hand pose estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：5147-5156.

［21］ Qi C R，Yi Li，Su Hao， et al .PointNet+ +：deep hierarchical feature learning on point sets in a metric space［EB/OL］. （2017-06-07）.https：//arxiv.org/abs/1706.02413.

［22］ 李偉強(qiáng)，雷航，張靜玉，等.基于標(biāo)簽分布學(xué)習(xí)的三維手部姿態(tài)估計(jì)［J］.計(jì)算機(jī)應(yīng)用，2021， 41 （2）：550-555. （Li Weiqiang，Lei Hang，Zhang Jingyu， et al .3D hand pose estimation based on label distribution learning［J］. Journal of Computers Applications， 2021， 41 （2）：550-555.）

［23］ Cao Zhe，Hidalgo G，Simon T， et al .OpenPose：realtime multi-person 2D pose estimation using part affinity fields［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2021， 43 （1）：172-186.

［24］ Newell A，Huang Zhiao，Deng Jia.Associative embedding：end-to-end learning for joint detection and grouping［C］//Advances in Neural Information Processing Systems.2017：2277-2287.

［25］ Kocabas M，Karagoz S，Akbas E.MultiPoseNet：fast multi-person pose estimation using pose residual network［C］//Proc of European Confe-rence on Computer Vision.Berlin：Springer，2018：437-453.

［26］ Chen Yilun，Wang Zhicheng，Peng Yuxiang， et al .Cascaded pyramid network for multi-person pose estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：7103-7112.

［27］ Xiao Bin，Wu Haiping，Wei Yichen.Simple baselines for human pose estimation and tracking［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2018：472-487.

［28］ Sun Ke，Xiao Bin，Liu Dong， et al .Deep high-resolution representation learning for human pose estimation［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：5686-5696.

［29］ 肖仕華，桑楠，王旭鵬.基于深度學(xué)習(xí)的三維點(diǎn)云頭部姿態(tài)估計(jì)［J］.計(jì)算機(jī)應(yīng)用，2020， 40 （4）：996-1001. （Xiao Shihua，Sang Nan，Wang Xupeng.Head pose estimation of 3D point cloud based on deep learning［J］. Journal of Computer Applications， 2020， 40 （4）：996-1001.）

［30］ "Qi C R，Litany O，He Kaiming， et al .Deep Hough voting for 3D object detection in point clouds［C］//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：9276-9285.

［31］ Qi C R，Liu Wei，Wu Chenxia， et al .Frustum pointnets for 3D object detection from RGB-D data［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：918-927.

［32］ Xu Danfei，Anguelov D，Jain A.PointFusion：deep sensor fusion for 3D bounding box estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：244-253.

［33］ Peng Sida，Liu Yuan，Huang Qixing， et al .PVNet：pixel-wise voting network for 6D of pose estimation［C］//Proc of IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：4556-4565.

［34］ Fischler M A，Bolles R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated carto-graphy［J］. Communications of the ACM ，1981， 24 （6）：381-395.

［35］ Umeyama S.Least-squares estimation of transformation parameters between two point patterns［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 1991， 13 （4）：376-380.

［36］ Yi Li，Huang Haibin，Liu Difan， et al .Deep part induction from articulated object pairs［J］. ACM Trans on Graphics， 2018， 37 （6）：article No.209.