無監(jiān)督孿生函數(shù)映射網(wǎng)絡(luò)的模型對應(yīng)關(guān)系計算

楊 軍，王幸幸，蘆有鵬

(1.蘭州交通大學(xué) 測繪與地理信息學(xué)院，甘肅 蘭州 730070；2.蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070；3.蘭州交通大學(xué) 交通運輸學(xué)院，甘肅 蘭州 730070)

在三維模型分析和處理過程中，尋找非剛性模型間準(zhǔn)確的對應(yīng)關(guān)系是計算機視覺、計算機圖形學(xué)及相關(guān)研究領(lǐng)域中的一個重點及難點問題。三維模型對應(yīng)關(guān)系計算被廣泛應(yīng)用于三維打印、醫(yī)學(xué)影像分析、自動駕駛和電影動畫等領(lǐng)域。因此，在兩個或多個三維模型間建立正確的對應(yīng)關(guān)系是一項非常重要的基礎(chǔ)性研究工作[1]。三維模型一般是由三角網(wǎng)格或點云表示，如果對源模型與目標(biāo)模型間所有的頂點逐個進行匹配，會增加時間與空間復(fù)雜度，因此采樣算法的選擇對提高模型間對應(yīng)關(guān)系的匹配率起著至關(guān)重要的作用。利用深度學(xué)習(xí)的優(yōu)勢可以將不規(guī)則三維點云轉(zhuǎn)換為規(guī)則的數(shù)據(jù)形式，便于特征學(xué)習(xí)[2]。

目前，對于剛性模型或等距模型間的對應(yīng)關(guān)系計算，相關(guān)研究算法已經(jīng)趨于成熟，并可以得到準(zhǔn)確的對應(yīng)關(guān)系。例如文獻[3]提出基于博弈論的對應(yīng)關(guān)系計算方法，通過選擇相互剛性約束的模型表面上的點進行最優(yōu)匹配，獲得剛性模型間準(zhǔn)確的對應(yīng)關(guān)系。而對于非剛性模型或非等距模型間對應(yīng)關(guān)系計算問題，OVSJANIKOV等[4]提出利用函數(shù)映射(Functional Maps，F(xiàn)M)方法將模型間對應(yīng)關(guān)系計算問題轉(zhuǎn)化為函數(shù)映射矩陣的優(yōu)化問題，即將源模型和目標(biāo)模型上的特征點與特征描述符聯(lián)系起來，通過構(gòu)建線性函數(shù)將復(fù)雜的點到點對應(yīng)關(guān)系轉(zhuǎn)化為模型描述符函數(shù)之間的映射關(guān)系。相比單純地計算復(fù)雜的、非線性的點到點映射，函數(shù)映射能獲得更準(zhǔn)確的對應(yīng)關(guān)系。但是基于該理論的計算方法過度依賴描述符的選擇，并且由于模型的自身對稱性導(dǎo)致錯誤匹配，可以通過改進點到點映射方法并添加一些正則化約束項來獲得最優(yōu)描述符。

近年來，研究者將深度學(xué)習(xí)方法應(yīng)用于對應(yīng)關(guān)系計算，然而基于深度學(xué)習(xí)的模型匹配方法面臨的挑戰(zhàn)主要是缺乏用于監(jiān)督學(xué)習(xí)的帶標(biāo)簽訓(xùn)練數(shù)據(jù)。近期的研究逐漸從最初的有監(jiān)督學(xué)習(xí)趨向于無監(jiān)督學(xué)習(xí)模式。例如文獻[5]提出一種頻譜無監(jiān)督函數(shù)映射網(wǎng)絡(luò)(Spectral Unsupe Rvised Functional Maps Network，SURFMNet)構(gòu)建模型對應(yīng)關(guān)系的方法。該方法首先通過FMNet體系結(jié)構(gòu)學(xué)習(xí)描述符，對描述符函數(shù)進行非線性變換，然后對描述符函數(shù)迭代優(yōu)化獲得最優(yōu)的函數(shù)映射對應(yīng)關(guān)系，最后再恢復(fù)到點到點映射。該方法適用于等距模型或發(fā)生較小尺度形變的模型，一旦模型發(fā)生較大形變或受拓?fù)湓肼曈绊?，將?dǎo)致模型間的基函數(shù)存在不一致的情況，使模型匹配率有所下降。GQOUEIX等[6]提出一種端到端的模型變形網(wǎng)絡(luò)對應(yīng)關(guān)系計算方法，通過使用共享的模板學(xué)習(xí)一致的網(wǎng)格參數(shù)來計算模型對應(yīng)關(guān)系。該深度學(xué)習(xí)網(wǎng)絡(luò)采用編碼器-解碼器架構(gòu)，編碼器模型變形網(wǎng)絡(luò)將目標(biāo)模型作為輸入并生成一個全局特征描述符，解碼器模型變形網(wǎng)絡(luò)以全局特征描述符作為輸入將模板上的點映射回原始幾何模型，通過從模板的重構(gòu)比對中讀取對應(yīng)信息來獲得模型間映射關(guān)系。雖然該方法直接從原始三維模型數(shù)據(jù)中學(xué)習(xí)對應(yīng)關(guān)系，但是其嚴(yán)重依賴中間模板的質(zhì)量，極大地降低了算法的可擴展性。

受上述啟發(fā)，筆者直接從原始三維模型中學(xué)習(xí)特征，結(jié)合函數(shù)映射理論構(gòu)建一種無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)(Unsupervised Siamese Deep Functional Maps Network，USDFMN)。主要創(chuàng)新點和貢獻有：① 在特征提取網(wǎng)絡(luò)中采用可微網(wǎng)格采樣算子(Differentiable Mesh Sampling Operator，DMSO)以減少將網(wǎng)格處理成點集時產(chǎn)生的誤差，通過孿生網(wǎng)絡(luò)學(xué)習(xí)共享參數(shù)獲得三維模型特征，而不是從預(yù)先計算的描述符中學(xué)習(xí)特征；② 在計算函數(shù)映射時提出一種新的正則化約束方法，利用正則化函數(shù)映射層計算最優(yōu)的函數(shù)映射矩陣，有效解決了模型出現(xiàn)錯誤匹配問題；③ 結(jié)合ZoomOut算法，將生成的函數(shù)映射矩陣高質(zhì)量地恢復(fù)到點到點映射，所提出的基于無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)(USDFMN)的對應(yīng)關(guān)系計算方法，即使在訓(xùn)練集有限的情況下也能獲得更準(zhǔn)確的對應(yīng)關(guān)系。

1 相關(guān)研究工作

三維模型對應(yīng)關(guān)系計算是通過提取源模型的特征信息，并與目標(biāo)模型進行特征信息比對，在兩模型間建立有意義的語義聯(lián)系。目前三維模型對應(yīng)關(guān)系計算方法主要分為：基于幾何特征的方法、基于函數(shù)映射的方法和基于深度學(xué)習(xí)的方法?；趲缀翁卣鞯姆椒ㄊ歉鶕?jù)三維模型表面的幾何性質(zhì)來構(gòu)建模型間對應(yīng)關(guān)系，例如法向量(Normal Orientation)[7]、曲率(Curvature)等局部幾何特征信息，測地距離(Geodesic Distance)、擴散距離(Diffusion Distance)[8]等全局幾何特征信息。后期研究者根據(jù)先驗知識人工設(shè)計特征描述符，如方向直方圖簽名(Signature of Histograms of OrienTations，SHOT)描述符[9]、熱核簽名(Heat Kernel Signatures，HKS)描述符[10]和波核簽名(Wave Kernel Signatures，WKS)描述符[11]，來構(gòu)建模型間準(zhǔn)確的對應(yīng)關(guān)系。文獻[12]提出一種融合波核簽名與熱核簽名的特征描述符來計算源模型與目標(biāo)模型間的對應(yīng)關(guān)系的方法，與只使用單一特征描述符方法相比，可以得到更準(zhǔn)確的對應(yīng)關(guān)系。雖然使用特征描述符的對應(yīng)關(guān)系計算方法比單純的計算點到點映射對應(yīng)關(guān)系準(zhǔn)確率有所提高，但受模型自身對稱性、噪聲干擾、部件缺失和大尺度形變等影響，都會導(dǎo)致計算出的對應(yīng)關(guān)系準(zhǔn)確率不高。

函數(shù)映射是近幾年提出的三維模型對應(yīng)關(guān)系計算方法，因其具有較高的映射準(zhǔn)確率和計算效率，受到許多研究者的關(guān)注。文獻[13]提出一種基于光滑性假設(shè)的去除映射模糊的方法，將目標(biāo)模型的拉普拉斯-貝爾特拉米算子的特征函數(shù)映射到源模型函數(shù)空間內(nèi)，獲得準(zhǔn)確的點到點映射關(guān)系。文獻[14]提出校準(zhǔn)三維模型間基矩陣的對應(yīng)關(guān)系計算方法，將模型間對應(yīng)關(guān)系的計算轉(zhuǎn)化為由模型特征函數(shù)構(gòu)建的基矩陣之間的校準(zhǔn)運算，并通過尖端點遍歷匹配方法獲取較優(yōu)的匹配結(jié)果。文獻[15]研究部分非剛性模型函數(shù)映射的對應(yīng)關(guān)系計算，采用拉普拉斯矩陣的擾動分析計算出較為準(zhǔn)確的部分模型與完整模型間的對應(yīng)關(guān)系。文獻[16]使用相似性函數(shù)分析從源模型表面到目標(biāo)模型表面最近鄰域的多樣性和相似性，獲得較為準(zhǔn)確的對應(yīng)關(guān)系。文獻[17]提出一種結(jié)合頻譜特征值對齊與ZoomOut算法的部分模型與完整模型對應(yīng)關(guān)系計算的方法。該方法在頻譜部分函數(shù)映射框架的基礎(chǔ)上，添加局部正則化項來提高局部優(yōu)化精度，利用迭代頻譜上采樣ZoomOut優(yōu)化算法獲得更為精準(zhǔn)的映射關(guān)系，在模型發(fā)生畸變或受到拓?fù)湓肼暩蓴_的情況下，能夠準(zhǔn)確地計算出殘缺對應(yīng)關(guān)系。而以上基于函數(shù)映射的方法對于發(fā)生較大尺度變形的模型無法有效獲得準(zhǔn)確的對應(yīng)關(guān)系。

隨著深度學(xué)習(xí)技術(shù)在計算機視覺、三維模型分析和處理等領(lǐng)域的應(yīng)用，研究者提出結(jié)合深度學(xué)習(xí)計算三維模型對應(yīng)關(guān)系的方法。深度函數(shù)映射(Deep Functional Maps，DFM)[18]利用殘差網(wǎng)絡(luò)訓(xùn)練源模型與目標(biāo)模型表面的拉普拉斯特征描述符，得到更為準(zhǔn)確、涵蓋信息更全面的模型特征描述符。算法運用函數(shù)映射方法計算出函數(shù)映射矩陣，結(jié)合拉普拉斯特征基和函數(shù)映射矩陣計算獲得模型的模糊映射(Soft-Correspondence)矩陣，將模型間的對應(yīng)關(guān)系計算作為深度函數(shù)映射網(wǎng)絡(luò)架構(gòu)的一部分，通過對模糊映射矩陣與測地距離矩陣進行點積操作得到準(zhǔn)確的對應(yīng)關(guān)系。HALIMI等[19]在深度函數(shù)的基礎(chǔ)上，用模型的幾何約束代替模型間真實對應(yīng)關(guān)系，定義無監(jiān)督損失函數(shù)以此來評估對應(yīng)關(guān)系的準(zhǔn)確性。但由于模型固有的對稱特性，影響了模型對應(yīng)關(guān)系計算的準(zhǔn)確率。GAO等[20]通過引入卷積變分自動編碼器(Convolutional Variational AutoEncoder，CVAE)對源模型和目標(biāo)模型進行編碼，并加入循環(huán)一致性損失，用于構(gòu)建模型空間上準(zhǔn)確的映射關(guān)系。當(dāng)變形在視覺上相似時，表明算法的對應(yīng)關(guān)系計算效果良好，但對于語義相似但視覺效果上極大不同的模型，算法的模型匹配度在一定程度上不準(zhǔn)確。

綜上所述，已有的三維模型對應(yīng)關(guān)系計算方法主要包括以下4點不足：① 依賴人工設(shè)計的描述符，提取到的模型特征信息有限，無法有效表征表面整體結(jié)構(gòu)特性；② 函數(shù)映射理論結(jié)合一些匹配算法無法有效解決模型自身對稱性和描述符本身缺陷影響對應(yīng)關(guān)系計算問題；③ 基于深度學(xué)習(xí)的模型匹配方法通常需要大量的訓(xùn)練數(shù)據(jù)，導(dǎo)致時間開銷和計算開銷高；④ 部分算法依賴于固定的參數(shù)模板，不同數(shù)據(jù)集上的可擴展性在一定程度上會明顯降低。為此，在3D-CODED算法[6]的基礎(chǔ)上結(jié)合深度函數(shù)映射理論，筆者提出一種新的學(xué)習(xí)模型描述符的方法，通過構(gòu)建無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)(USDFMN)，直接利用原始的三維模型準(zhǔn)確地計算模型間對應(yīng)關(guān)系。

2 網(wǎng)絡(luò)采樣和深度函數(shù)

2.1 可微網(wǎng)格采樣算子

可微網(wǎng)格采樣算子(Differentiable Mesh Sampling Operator，DMSO)[21]的原理是在網(wǎng)絡(luò)訓(xùn)練過程中對不同網(wǎng)格密度的源模型與目標(biāo)模型進行采樣，通過對包圍采樣點的網(wǎng)格頂點進行逐頂點偏移，反向傳播計算每個頂點偏移的梯度，迭代使網(wǎng)絡(luò)模型參數(shù)達(dá)到最優(yōu)。該算子常應(yīng)用于模型重建、模型變形等研究領(lǐng)域。文中的深度學(xué)習(xí)網(wǎng)絡(luò)USDFMN在處理不同拓?fù)浣Y(jié)構(gòu)的網(wǎng)格模型過程中結(jié)合DMSO，對三維網(wǎng)格模型均勻采樣一組點，使該網(wǎng)絡(luò)能夠處理不同網(wǎng)格密度的源模型和目標(biāo)模型，減少了將網(wǎng)格處理成點集時產(chǎn)生的誤差。采樣過程如圖1所示。

步驟1給定由頂點v1、v2、v3圍成的面e=(v1，v2，v3)，在e上采樣一點I，則I的位置可以表示為

I=ω1v1+ω2v2+ω3v3，

(1)

其中，ω1+ω2+ω3=1是點I的重心坐標(biāo)。

步驟2對e的原始頂點進行逐頂點偏移，設(shè)頂點偏移量為ov1、ov2和ov3，則點I的偏移量位置為

oI+ω1ov1+ω2ov2+ω3ov3。

(2)

步驟3執(zhí)行反向傳播，通過govi=ωigovp計算出每個原始頂點逐點偏移的梯度，使得訓(xùn)練的網(wǎng)絡(luò)模型參數(shù)達(dá)到最優(yōu)，其中g(shù)表示梯度。

步驟4依次迭代采樣，直至均勻采樣到所需采樣點數(shù)目，得到原始三維模型的采樣點集。

圖1 DMSO采樣

2.2 深度函數(shù)映射(DFM)

(3)

(4)

如果基函數(shù)關(guān)于內(nèi)積空間正交，則映射TF可以表示為一個矩陣C，使得對于任何系數(shù)向量a表示的函數(shù)f，都有TF(a)=Ca，因此通過矩陣C構(gòu)建兩模型原始的映射關(guān)系T。

設(shè)源模型M和目標(biāo)模型N分別包含m和n個頂點，則利用函數(shù)映射計算模型間的映射關(guān)系，主要包括以下4個步驟：

步驟1對每個模型分別計算離散的拉普拉斯-貝爾特拉米算子(Laplace Beltrami Operator，LBO)的前k個特征函數(shù)，記為kM和kN。

步驟2計算每個模型上的一組描述符函數(shù)，將描述符函數(shù)在基函數(shù)上的系數(shù)作為矩陣的列存儲在矩陣A、B中。

步驟3通過求解以下優(yōu)化問題來獲得最優(yōu)函數(shù)映射矩陣Copt：

(5)

其中，Edesc(C)為描述符項，旨在計算出最優(yōu)的函數(shù)映射矩陣C；矩陣A、B是以源模型M和目標(biāo)模型N的基函數(shù)上的系數(shù)為列向量的基矩陣；為了確保Copt的準(zhǔn)確性，添加正則化項Ereg(C)對描述符項進行約束；ΛM和ΛN分別是M和N的Laplace算子特征值的對角矩陣；α是權(quán)重值。

步驟4將函數(shù)映射矩陣C恢復(fù)到點到點映射T，將映射從譜域轉(zhuǎn)換至空間域。

隨著數(shù)據(jù)驅(qū)動技術(shù)的發(fā)展，研究者開始嘗試在函數(shù)映射的基礎(chǔ)上從數(shù)據(jù)中學(xué)習(xí)特征描述符，將對應(yīng)關(guān)系的計算作為學(xué)習(xí)過程的一部分，使對應(yīng)關(guān)系在深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練過程中達(dá)到最優(yōu)。這類方法可以在有監(jiān)督學(xué)習(xí)的模式下學(xué)習(xí)，如文獻[13]提出的FMNet網(wǎng)絡(luò)框架，聚焦解決以下優(yōu)化問題：

(6)

與此同時，該方法也可以在無監(jiān)督學(xué)習(xí)模式下學(xué)習(xí)，文獻[5]中提出一種無監(jiān)督頻譜函數(shù)映射網(wǎng)絡(luò)框架(Spectral Unsupervised FMNet，SURFMNet)。該方法不計算映射關(guān)系與真實對應(yīng)關(guān)系間的誤差損失，而是評估函數(shù)映射矩陣的結(jié)構(gòu)性質(zhì)，用函數(shù)映射的雙射性、正交性和描述符保留性等幾何約束替代標(biāo)簽訓(xùn)練網(wǎng)絡(luò)，并構(gòu)建無監(jiān)督損失函數(shù)，通過優(yōu)化描述符的非線性變換獲得準(zhǔn)確的函數(shù)映射。

3 無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)

目前大部分三維模型對應(yīng)關(guān)系計算方法都是對人工設(shè)計的特征描述符進行變換或者采用有監(jiān)督學(xué)習(xí)模式訓(xùn)練網(wǎng)絡(luò)模型進而獲得特征描述符，僅有少數(shù)方法直接從原始模型中學(xué)習(xí)特征。因此，文中在文獻[6]的基礎(chǔ)上，旨在直接學(xué)習(xí)原始三維模型的特征，結(jié)合深度函數(shù)映射理論提出一種新的學(xué)習(xí)模型描述符的方法，通過無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)(USDFMN)來計算三維模型間對應(yīng)關(guān)系。

3.1 網(wǎng)絡(luò)框架

USDFMN網(wǎng)絡(luò)直接從原始模型中學(xué)習(xí)特征，然后通過函數(shù)映射框架來計算模型描述符的對應(yīng)關(guān)系?？傮w框架包括特征提取層和正則化函數(shù)映射層兩個主要部分，如圖2所示。其中特征提取層采用編碼器-解碼器作為基本網(wǎng)絡(luò)結(jié)構(gòu)。編碼器包括4次下采樣過程，對模型進行高維特征提取，每個卷積塊中均使用修正線性單元(Rectified Linear Unit，ReLU)作為激活函數(shù)，并利用批歸一化(Batch Normalization，BN)使數(shù)據(jù)服從正態(tài)分布。解碼器包括4次上采樣過程，對提取的特征進行上采樣操作，將編碼得到的高維特征恢復(fù)到原始特征。

特征提取層旨在學(xué)習(xí)共享參數(shù)Θ，使用孿生網(wǎng)絡(luò)從源模型和目標(biāo)模型的原始數(shù)據(jù)中逐點提取魯棒性更強和信息更加豐富的特征。為了使網(wǎng)絡(luò)結(jié)構(gòu)能夠適用不同網(wǎng)格密度的源模型和目標(biāo)模型，引入可微網(wǎng)格采樣算子(DMSO)對網(wǎng)格模型進行采樣操作，減少了將網(wǎng)格處理成點集時產(chǎn)生的誤差。

正則化函數(shù)映射層的目的是通過學(xué)習(xí)一種新的正則化方法，利用特征提取層學(xué)習(xí)到的特征計算出魯棒性更強的函數(shù)映射對應(yīng)關(guān)系。將學(xué)習(xí)到的特征投影到兩個模型各自的拉普拉斯特征基上，并輸入到正則化函數(shù)映射層中計算函數(shù)映射關(guān)系。由于從空間域轉(zhuǎn)到低維的譜域中操作，無需計算測地距離矩陣，因此不需要訓(xùn)練模型具有相同的點數(shù)或固定網(wǎng)格連通性。

無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)的具體實現(xiàn)步驟如下：

步驟1將源模型M和目標(biāo)模型N輸入到網(wǎng)絡(luò)中，通過孿生網(wǎng)絡(luò)學(xué)習(xí)共享參數(shù)Θ，并從原始的三維模型中學(xué)習(xí)特征描述符P、Q。

步驟3利用正則化函數(shù)映射層從源模型和目標(biāo)模型的譜描述符中計算出最優(yōu)函數(shù)映射矩陣C。

步驟4通過計算兩個模型的倒角距離(Chamfer Distance，CD)來構(gòu)建無監(jiān)督損失函數(shù)，對計算出的函數(shù)映射矩陣C進行評估。

步驟5使用基于迭代頻譜上采樣的ZoomOut算法[22]將最終的函數(shù)映射矩陣C恢復(fù)成點到點對應(yīng)關(guān)系T。

圖2 無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)框架

3.2 約束條件和損失函數(shù)

(7)

其中，ci為矩陣C的行向量，qi為矩陣Q的行向量。

使用ZoomOut算法可以直接將函數(shù)映射矩陣轉(zhuǎn)換為點到點映射對應(yīng)關(guān)系，該方法在譜域中通過迭代上采樣細(xì)化映射對應(yīng)關(guān)系獲得更準(zhǔn)確的對應(yīng)關(guān)系，達(dá)到進一步優(yōu)化的目的。使用距離度量dCD建立無監(jiān)督損失函數(shù)，計算模型間誤差來評估模型對應(yīng)關(guān)系的效果。若S1和S2分別表示采樣源模型和目標(biāo)模型的三維點集，則定義無監(jiān)督損失函數(shù)lusl如下：

(8)

4 實驗結(jié)果與分析

4.1 實驗環(huán)境

文中算法的實驗環(huán)境基于Linux Ubuntu 18.04操作系統(tǒng)，以i9-9900k CPU和NVIDIA GeForce RTX2080Ti GPU(11 GB顯存)處理器作為硬件支持，深度學(xué)習(xí)開發(fā)環(huán)境為CUDA-Toolkit 10.0版本，采用深度學(xué)習(xí)框架TensorFlow 1.13，編程語言為Python 3.7。

4.2 實驗數(shù)據(jù)集

采用SURREAL[23]數(shù)據(jù)集作為訓(xùn)練集訓(xùn)練神經(jīng)網(wǎng)絡(luò)，該數(shù)據(jù)集是一個大規(guī)模的合成人體模型，結(jié)合真實人體模型和姿態(tài)學(xué)習(xí)的SMPL模型(Skinned Multi-Person Linear Model)[24]來保證各種人體體型的自然姿態(tài)的真實度。選取SURREAL數(shù)據(jù)集中前5 000個三角網(wǎng)格模型進行數(shù)據(jù)預(yù)處理，重新網(wǎng)格化將包含頂點信息和面片信息的off模型轉(zhuǎn)換成對應(yīng)幾何特征信息的mat類型的數(shù)據(jù)用于訓(xùn)練。選取FAUST數(shù)據(jù)集中100個人體模型作為測試集，對訓(xùn)練好的網(wǎng)絡(luò)模型進行測試。同時在TOSCA數(shù)據(jù)集上進行實驗來驗證所提方法的有效性，該數(shù)據(jù)集中共包含80個對象，包括貓、狗、狼等8種不同類別的三維模型數(shù)據(jù)。

4.3 實驗參數(shù)設(shè)置

實驗根據(jù)數(shù)據(jù)集中模型的數(shù)量，設(shè)置訓(xùn)練批尺寸(Batch Size)為4，初始學(xué)習(xí)率為0.001，網(wǎng)絡(luò)訓(xùn)練過程迭代5 000次。為了減少網(wǎng)絡(luò)訓(xùn)練的損失和優(yōu)化參數(shù)，使用自適應(yīng)矩估計優(yōu)化器(Adaptive Moment Estimation，Adam)在每一個epoch中計算損失函數(shù)的梯度，進而自適應(yīng)更新學(xué)習(xí)率，將學(xué)習(xí)率逐漸降低至0.000 1，以此達(dá)到優(yōu)化神經(jīng)網(wǎng)絡(luò)模型的目的。為了防止訓(xùn)練網(wǎng)絡(luò)時出現(xiàn)梯度消失或爆炸問題，在網(wǎng)絡(luò)每一層輸入前添加一個批歸一化層(Batch Normalization)，批處理歸一化值設(shè)為0.98。

4.4 評估標(biāo)準(zhǔn)與結(jié)果分析

模型對應(yīng)關(guān)系的準(zhǔn)確率一般以測地誤差(Geodesic Error)來度量，即目標(biāo)模型上的點與真實標(biāo)記點(Ground-truth Correspondence)之間的測地距離與目標(biāo)模型表面積之比[25]。假定點x為源模型X上一點，目標(biāo)模型Y上存在與點x對應(yīng)的點y，(x，y*)為標(biāo)記的真實對應(yīng)關(guān)系，則定義測地誤差Ω(x)為

(9)

其中，dy(y，y*)為目標(biāo)模型上的點y與標(biāo)記的點y*之間的測地距離，area(Y)為目標(biāo)模型的表面積。測地誤差越小，表明對應(yīng)關(guān)系準(zhǔn)確率越高。

圖3是文中算法與3D-CODED算法[6]、SURFMNet算法[5]和DFMNet算法[18]在FAUST數(shù)據(jù)集上構(gòu)建的對應(yīng)關(guān)系結(jié)果對比。從圖3(a)的3D-CODED算法實驗結(jié)果可以看出，在人體模型的胳膊和腿部出現(xiàn)了錯誤對應(yīng)，這是由于該算法強烈依賴中間模板的質(zhì)量所造成的結(jié)果。從圖3(b)的SURFMNet算法實驗結(jié)果可以看出，在模型的手部和小腿部分出現(xiàn)錯誤匹配，主要是因為SHOT描述符對三角網(wǎng)格結(jié)構(gòu)敏感，當(dāng)存在噪聲干擾或者映射模糊情況時，模型拓?fù)浣Y(jié)構(gòu)信息發(fā)生較大變化。從圖3(c)的DFMNet算法實驗結(jié)果可以看出，模型的腹部以及左腿部分出現(xiàn)錯誤匹配情況，這是因為該算法依賴帶標(biāo)簽的數(shù)據(jù)訓(xùn)練描述符并未對函數(shù)映射添加正則化約束項，從而導(dǎo)致的結(jié)果。由于直接學(xué)習(xí)模型的原始特征，并使用新的正則化約束優(yōu)化函數(shù)映射的計算，所以文中算法在有限的訓(xùn)練集情況下構(gòu)建的全局映射關(guān)系一致性較好，對應(yīng)關(guān)系結(jié)果明顯優(yōu)于對比算法，如圖3(d)所示。3D-CODED算法利用SURREAL數(shù)據(jù)集中230 000個人體模型用于訓(xùn)練，而文中算法選取同樣數(shù)據(jù)集中的5 000個模型用于訓(xùn)練，由于添加了新的正則化約束，文中在相對較少的訓(xùn)練數(shù)據(jù)情況下獲得了更準(zhǔn)確的對應(yīng)關(guān)系。綜上所述，文中算法在有限的訓(xùn)練數(shù)據(jù)情況下仍能獲得準(zhǔn)確的對應(yīng)關(guān)系，網(wǎng)絡(luò)的魯棒性更強，在不同數(shù)據(jù)集上泛化能力更好。

(a) 3D-CODED算法

(b) SURFMNet算法

(c) DFMNet算法

(d) 文中算法

文中算法與3D-CODED算法[6]、SURFMNet算法[5]和DFMNet算法[18]分別對TOSCA模型庫中的貓模型和狗模型所構(gòu)建的對應(yīng)關(guān)系對比結(jié)果如圖4和圖5所示。圖4(a)和圖5(a)是3D-CODED算法的結(jié)果，由于受模型自身對稱性的影響，圖4(a)貓模型的腿部、背部等部件以及圖5(a)狗模型的后腿、頭部等部件都出現(xiàn)錯誤映射分布的情況。圖4(b)和圖5(b)是SURFMNet算法的結(jié)果，可以看出，圖4(b)貓模型的右后腿、頸部和圖5(b)狗模型的左后腿的爪部以及尾巴部件出現(xiàn)部分對應(yīng)錯誤。圖4(c)和圖5(c)是DFMNet算法的結(jié)果，由于對計算出的函數(shù)映射未添加正則化約束項，從而導(dǎo)致圖4(c)貓模型的左前腿部分以及圖5(c)狗模型的左后腿部分、腹部等部件出現(xiàn)對應(yīng)錯誤情況。而文中算法通過新的一種正則化約束方法，并利用正則化函數(shù)映射層有效區(qū)分模型對稱特性，解決了模型對稱性影響對應(yīng)關(guān)系計算問題，如圖4(d)貓模型和圖5(d)狗模型的映射分布情況，對應(yīng)關(guān)系準(zhǔn)確率較高。

(a) 3D-CODED算法

(b) SURFMNet算法

(c) DFMNet算法

(d) 文中算法

(a) 3D-CODED算法

(b) SURFMNet算法

(c) DFMNet算法

(d) 文中算法

圖6是不同算法構(gòu)建的狼模型對應(yīng)關(guān)系可視化結(jié)果。可以看出，圖6(a)、圖6(b)和圖6(c)的狼模型出現(xiàn)部分錯誤對應(yīng)的情況，而文中算法獲得的狼模型的映射分布均勻一致，視覺度量效果更好。

(a) 3D-CODED算法

(b) SURFMNet算法

(c) DFMNet算法

(d) 文中算法

表1是利用3D-CODED算法[6]、SURFMNet算法[5]、DFMNet算法[18]以及文中算法在不同數(shù)據(jù)集上計算三維模型對應(yīng)關(guān)系測地誤差的定量結(jié)果比較。實驗結(jié)果表明，相比于文獻[6]方法中依賴人工設(shè)計的模板，通過從模板的重構(gòu)比對中讀取對應(yīng)信息來獲得最終映射關(guān)系，文中算法采用無監(jiān)督孿生深度函數(shù)映射方法計算三維模型對應(yīng)關(guān)系，即使在有限的訓(xùn)練集情況下，構(gòu)建的人體模型對應(yīng)關(guān)系測地誤差相對減小了 0.018，構(gòu)建的貓模型、狗模型、狼模型的對應(yīng)關(guān)系測地誤差分別減小了0.031、0.287和0.054。由于文獻[5]中采用的SHOT描述符對三角網(wǎng)格結(jié)構(gòu)變化比較敏感，在不同數(shù)據(jù)集上泛化能力不強，文中算法相比該算法所構(gòu)建的人體模型對應(yīng)關(guān)系測地誤差減小了0.01，構(gòu)建的貓模型、狗模型、狼模型的對應(yīng)關(guān)系測地誤差分別減小了0.280、0.187和0.239。相比文獻[18]算法，文中算法由于利用正則化函數(shù)映射層對函數(shù)映射進行約束，計算出魯棒性更強的函數(shù)映射對應(yīng)關(guān)系，構(gòu)建的人體模型對應(yīng)關(guān)系測地誤差減小了0.008，構(gòu)建的貓模型、狗模型、狼模型的對應(yīng)關(guān)系測地誤差分別減小了0.017、0.152和0.033。

表1 不同方法的模型間對應(yīng)關(guān)系的測地誤差

表2 不同方法的測地誤差比較

不同方法對人體模型對應(yīng)關(guān)系計算的測地誤差定量結(jié)果對比如表2所示。與文獻[5]和文獻[6]相比，文中算法構(gòu)建的對應(yīng)關(guān)系測地誤差均有所減小。文獻[18]的有監(jiān)督學(xué)習(xí)方法依賴帶標(biāo)簽的數(shù)據(jù)訓(xùn)練模型描述符，且未對函數(shù)映射添加正則化約束項。文獻[26]采用傳統(tǒng)的函數(shù)映射方法無法解決由于模型自身對稱性影響對應(yīng)關(guān)系計算問題，計算過程復(fù)雜且時間開銷高。文獻[27]在函數(shù)映射的基礎(chǔ)上添加拉普拉斯交換性、雙射性、正交性等幾何約束對特征描述符進行約束以獲得較為準(zhǔn)確的結(jié)果，和文中算法接近。而文中算法采用無監(jiān)督孿生深度函數(shù)映射方法，通過添加正則化函數(shù)映射層優(yōu)化函數(shù)映射矩陣獲得更為準(zhǔn)確的匹配結(jié)果。與文獻[18]、文獻[26]和文獻[27]相比，文中算法構(gòu)建的對應(yīng)關(guān)系測地誤差分別減小了0.008、0.024和0.001。

為了表明算法的有效性，文中對比了不同算法的時間復(fù)雜度，結(jié)果如表3所示。預(yù)處理是算法實現(xiàn)之前對數(shù)據(jù)集進行的操作，可以看出文中算法的預(yù)處理時間為60 s，與文獻[5]相比相對較長，主要是由于在將數(shù)據(jù)集輸入網(wǎng)絡(luò)之前對模型進行重新網(wǎng)格化，以便獲得涵蓋信息更全面的特征描述符。文獻[18]涉及函數(shù)映射矩陣與模糊映射矩陣的轉(zhuǎn)換，僅在譜域中進行操作，而文中算法從空間域到譜域的轉(zhuǎn)換操作比較耗時，所以訓(xùn)練測試時間較長。文獻[5]在訓(xùn)練過程中，對測地距離矩陣不斷調(diào)優(yōu)導(dǎo)致訓(xùn)練時間較長。文獻[6]將源模型通過模板重構(gòu)出對應(yīng)的目標(biāo)模型比較費時，所以文中算法與文獻[5]和文獻[6]相比，時間在一定程度上有所減少。后處理(Post-processing)是將函數(shù)映射矩陣轉(zhuǎn)換成點到點映射的過程。文獻[5]、文獻[6]和文獻[18]采用傳統(tǒng)的迭代最近點算法 (Iterative Closest Points，ICP)解決模型的匹配問題，文獻[26]和文獻[27]在ICP算法的基礎(chǔ)上添加連續(xù)性和方向性來約束映射。雖然以上方法耗時短，但并不能獲得精確的對應(yīng)關(guān)系，而文中算法利用ZoomOut算法將函數(shù)映射矩陣C恢復(fù)到點到點映射對應(yīng)關(guān)系，通過在譜域中迭代上采樣來優(yōu)化映射來獲得高質(zhì)量的對應(yīng)關(guān)系。

表3 不同方法的運行時間比較

圖7 不同方法的測地誤差曲線

為進一步評價文中算法與SURFMNet[5]、3D-CODED[6]、DFMNet[18]、DirectOp[26]、SRFM[27]等算法的對應(yīng)關(guān)系計算結(jié)果，不同方法的測地誤差曲線圖如圖7所示。圖中橫坐標(biāo)為測地誤差，縱坐標(biāo)為對應(yīng)關(guān)系正確率的百分比。由此可知，文中算法有15.1%的對應(yīng)關(guān)系沒有測地誤差，有92.25%的對應(yīng)關(guān)系的測地誤差小于0.05，且對應(yīng)關(guān)系的準(zhǔn)確率均優(yōu)于其他對比方法。當(dāng)測地誤差大于0.1時，僅有SRFM算法的對應(yīng)關(guān)系率接近100%，主要因為對函數(shù)映射添加拉普拉斯交換性等幾何約束進行優(yōu)化，獲得較為準(zhǔn)確的對應(yīng)關(guān)系。此外，DFMNet算法的結(jié)果始終優(yōu)于DirectOp算法，原因在于DFMNet算法利用深度學(xué)習(xí)技術(shù)訓(xùn)練描述符，使得對應(yīng)關(guān)系準(zhǔn)確率逐漸提高。相比SURFMNet算法利用無監(jiān)督學(xué)習(xí)方法計算對應(yīng)關(guān)系，3D-CODED算法采用模板對源模型和目標(biāo)模型進行重構(gòu)，通過讀取對應(yīng)信息來獲得更為準(zhǔn)確的對應(yīng)關(guān)系。

5 結(jié)束語

利用算法直接學(xué)習(xí)原始三維模型的特征，結(jié)合深度函數(shù)映射理論，筆者提出一種新的學(xué)習(xí)模型對應(yīng)關(guān)系的方法，通過構(gòu)建無監(jiān)督孿生深度函數(shù)映射網(wǎng)絡(luò)(USDFMN)來計算三維模型間對應(yīng)關(guān)系。首先通過孿生網(wǎng)絡(luò)學(xué)習(xí)共享的參數(shù)從原始的三維模型中學(xué)習(xí)特征進而獲得相應(yīng)的譜描述符；然后利用正則化函數(shù)映射層從源模型和目標(biāo)模型的譜描述符中計算出最優(yōu)函數(shù)映射矩陣；最后通過計算倒角距離構(gòu)建無監(jiān)督損失函數(shù)，以此度量模型相似性，對計算出的對應(yīng)關(guān)系進行評估。文中算法選取SURREAL數(shù)據(jù)集進行訓(xùn)練，在數(shù)據(jù)有限的情況下仍能獲得準(zhǔn)確的對應(yīng)關(guān)系；同時在TOSCA數(shù)據(jù)集上也取得相對較好的匹配結(jié)果，表明文中算法提高了在不同數(shù)據(jù)集上的泛化能力。然而，文中算法也存在需要改進的地方，由于提取模型局部特征對模型對應(yīng)關(guān)系計算準(zhǔn)確率具有重要影響，故可利用更高效的特征提取網(wǎng)絡(luò)框架來提取特征進而提高模型匹配準(zhǔn)確率。