基于變形圖的譜姿態遷移

蘇 鵬，尹夢曉,2，王宇攀，韓艷茹，楊 鋒,2，李桂清

?

基于變形圖的譜姿態遷移

蘇 鵬1，尹夢曉1,2，王宇攀3，韓艷茹1，楊 鋒1,2，李桂清3

(1. 廣西大學計算機與電子信息學院，廣西 南寧 530004； 2.廣西多媒體通信與網絡技術重點實驗室，廣西 南寧 530004； 3. 華南理工大學計算機科學與工程學院，廣東 廣州 510006)

為減低譜姿態遷移結果受幾何代理Cage的影響程度，提出基于變形圖的譜姿態遷移方法。首先，利用優化二次誤差度量方法簡化源網格得到變形圖，將源網格頂點以測地距離為權重用變形圖頂點表示，強制源網格頂點與基于耦合準調和基的姿態遷移結果盡可能相同，同時保持變形圖的拉普拉斯坐標，獲得低頻姿態遷移結果，并利用嵌入變形算法對此結果進行優化；然后，通過觀察找到次級姿態學習不充分的局部網格，分割出局部子網格，對這些子網格使用低頻姿態遷移方法，可以學習到次級姿態。實驗結果表明，在一定程度上降低了幾何代理的影響，有效地提高了譜姿態遷移結果。

姿態遷移；網格簡化；嵌入變形；耦合準調和基

三維網格模型在3D打印、虛擬現實、娛樂游戲等方面有廣泛應用。利用傳統手工建模、掃描設備或建模軟件很難快速準確地對復雜的幾何形狀進行建模[1]。而對已有的網格模型進行編輯和重用，可以避免重新建模。其中基于樣例的網格建模(example-based mesh modeling)是一種常用的三維網格模型重用的方法。作為基于樣例的網格建模技術變形遷移[2-3]和姿態遷移[4-5]利用參考網格的已有姿態得到具有相似姿態的目標網格。變形遷移(deformation transfer)抽取參考網格的兩個不同姿態之間潛在運動的幾何變換，利用幾何變換驅動另一個模型(源網格)變形[2-3]，通常需要輸入參考網格的2個不同姿態來驅動源網格變形。與變形遷移相比，姿態遷移(posetransfer)僅需一個參考網格來指定源網格變形[4-5]。

文獻[4-5]提出的姿態遷移策略無法很好地保持源網格的幾何細節，且不能捕捉參考網格的次級姿態。文獻[6]提出的細節保持的多層譜姿態遷移方法解決了上述問題。由于文獻[6]使用Cage和均值坐標[7]來表示源網格，而均值坐標不滿足內部局部性[8]，因此姿態遷移結果受Cage的影響較大。

為此，本文利用嵌入變形圖編輯方法[9]代替廣義中心坐標的子空間技術，以變形圖作為幾何代理、測地距離[10]為權重表示源網格。嵌入變形能較好地保持網格的幾何細節，這在一定程度上降低幾何代理對遷移結果的影響，從而提高遷移結果的質量。

1 相關工作

BOSCAINI等[13]通過約束在泛函映射[14]下，網格模型的拉普拉斯算子盡可能相同來進行姿態遷移。從實驗結果來看，該方法所使用的模型相對光滑，沒有比較豐富的細節。

文獻[6]在文獻[5]的基礎上添加細節保持約束，以Cage作為幾何代理利用基于均值坐標[7]的子空間方法進行細節保持的姿態遷移，能量函數為

注意到三維模型姿態具有多尺度性，文獻[6]利用網格分割方法[15]將整體模型的中小尺度姿態(次級姿態)轉化為相對于局部區域網格(子網格)的大尺度姿態，再利用細節保持的低頻姿態遷移方法進行次級姿態遷移。重復執行此過程，最終獲得具有參考模型的姿態和源網格模型幾何細節的目標網格模型。

本文在文獻[6]的基礎進行改進，除了必要的符號和術語之外，其他相關工作請參考文獻[6]。

2 基于變形圖的姿態遷移

2.1 變形圖的構造

本文選取變形圖作為幾何代理表示源網格，首先構造變形圖。文獻[9]指出使用對網格模型的均勻采樣所產生的變形圖的嵌入變形效果最好。生成頂點分布均勻網格的方法很多，但多數方法均存在逼近誤差[16]，嵌入變形優化時本文利用源網格頂點更新變形圖的頂點，而逼近誤差會帶來更多誤差。本文采用文獻[17]提出的方法對源網格模型進行簡化得到變形圖。

圖1 QF代價圖例

實驗過程中根據實際情況選取權重。例如需要盡可能保持源網格的局部細節特征時，增大Q的權重的值。如需得到頂點分布均勻的變形圖時，增大Q的權重。以下實驗通常取=1.0，=1.0，=1–2，=10.0。與圖4(a)相比，利用優化后的QEM簡化算法生成的網格頂點分布均勻，如圖4(b)所示；變形圖頂點的數量決定了其可表達性(Expressibility)[9]。當源網格次級姿態較少時可以使用密度較小的變形圖。反之，使用頂點密度較大的變形圖。本文實驗一般選擇300~400個頂點的變形圖。

圖2 邊折疊方式示意圖

(a) 參考姿態(b) 源姿態(c) 低頻姿態遷移 后的變形圖

(a) 原始QEM(b) 優化后QEM

2.2 基于變形圖的姿態遷移能量函數

本文使用變形圖作為幾何代理，利用文獻[6]的姿態遷移方法進行保持細節的低頻姿態遷移。

其中，

因此式(2)為

其中，

因此，最終的姿態遷移能量函數為

2.3 嵌入變形優化姿態遷移

2.4 基于變形圖的姿態遷移步驟

步驟3.選取參考網格與源網格直接的特征對應點，計算參考網格與源網格之間的基于面積近似的-鄰域指示函數(indicator functions)作為模型之間的對應函數[6]；

步驟6.優化能量式(6)，得到變形圖頂點的旋轉變換和平移變換；

步驟8.利用目標模型的頂點位置，更新變形圖的頂點(為分層姿態遷移做準備)。

2.5 分層姿態遷移

為了充分學習參考模型的次級姿態，同文獻[6]一樣，在完成全局低頻姿態遷移后，通過觀察，找到姿態學習不充分的局部網格，分割得到局部子網格，將全局的次級姿態轉化為相對子網格的低頻姿態，進行分層姿態遷移。

(a) 子網格變 形圖偏移(b) 偏移拼接 后變形圖(c) 分層姿態 遷移結果

對于一組子網格的分層姿態遷移步驟如下，其他子網格重復此過程，得到最終姿態遷移結果。

步驟5. 利用2.4節基于變形圖的譜姿態遷移步驟6~步驟8得到姿態遷移結果。

因此，基于變形圖的譜姿態遷移整體流程如圖6所示，在全局低頻姿態遷移后，分別對左手臂、左腳、右腳、頭部、右手臂進行分層姿態遷移。

圖6 基于變形圖的譜姿態遷移流程

3 實驗結果

本文實驗在Visual studio 2010環境下實現。實驗平臺為intel Core i7-8700K 3.70 GHz，8 G內存，Windows 10操作系統。數據結構采用基于OpenMesh的半邊結構，利用Eigen提供的求解器求解優化函數，耦合準調和基是在C++程序中調用文獻[5]提供的MATLAB代碼進行計算。

實驗結果與文獻[6]進行比較；在算法效率方面，表1中列出關鍵步驟的運行時間。根據連接關系、對象的是否相同，本文給出具有相同連接關系的同一對象的不同姿態、具有相同連接關系的不同對象、具有不同連接關系的同一對象以及不同連接關系不同對象之間的實驗結果。

如圖7所示，變形圖7(d)的前左腿矩形區域比Cage圖7(c)的對應區域質量差，而由局部區域放大圖7(g)可看出姿態遷移和基于變形圖7(f)的保持細節結果比基于cage圖7(e)的保持細節更好，從而達到更好地保持幾何細節。

圖7 Cage與變形圖局部性比較

3.1 具有相同連接關系的同一對象的不同姿態

圖8中，該對象的參考姿態圖8(a)與源網格圖8(b)具有相同連接關系；圖8(c)為文獻[6]的姿態遷移結果，目標網格學習參考網格的姿態已經相當充分，但是馬的右后腳的彎曲程度不夠；圖8(d)是本文結果，可以看出馬的右后腳的彎曲程度與參考姿態一致。

(a) 參考姿態(b) 源姿態 (c) 文獻[6]結果(d) 本文結果

3.2 具有相同連接關系的不同對象

圖9為具有相同連接關系的貓模型，圖9(a)與獅子模型圖9(b)的姿態遷移結果；圖9(c)為文獻[6]的姿態遷移結果，雖然目標網格學習參考網格的姿態已經相當充分，但是尾巴與源網格比較有明顯變粗的跡象。相比之下，本文的結果圖9(d)對獅子的尾巴的細節保持更好。

(a) 參考姿態(b) 源姿態 (c) 文獻[6]結果(d) 本文結果

3.3 具有不同連接關系的同一個對象

對于具有不同連接關系的同一對象，圖10中，文獻[6]的遷移結果圖10(c)貓尾巴末端沒有學習到參考姿態圖10(a)的彎曲軌跡；圖10(d)為貓s的尾巴末端的彎曲軌跡更接近圖10(a)。

3.4 不同對象不同連接關系

對于不同對象不同連接關系一般情況，給出3個示例。

在圖11中，圖11(c)為文獻[6]的姿態遷移結果，兩腿的分開程度要比參考網格大，同時頭部扭轉程度甚于參考姿態圖11(a)。圖11(d)的結果中腿部分開程度和頭部扭轉程度與參考網格更接近。

(a) 參考姿態(b) 源姿態 (c) 文獻[6]結果(d) 本文結果

(a) 參考姿態(b) 源姿態 (c) 文獻[6]結果(d) 本文結果

在圖12中，犰狳模型圖12(b)學習人體模型圖12(a)的姿態。相比之下，圖12(d)所示的結果較圖12(c)看起來更自然。

對于連接關系不同的2個人體模型(圖13(a)、(b))，文獻[6]的結果圖13(c)中兩腿的姿態學習不太充分，且左手臂局部變粗，左腳有抬起動作。圖13(d)所示結果與參考姿態更相似，且左手臂相對保持了原本粗細。

(a) 參考姿態(b) 源姿態 (c) 文獻[6]結果(d) 本文結果

(a) 參考姿態(b) 源姿態 (c) 文獻[6]結果(d) 本文結果

3.5 時間性能

為了闡述本文方法的效率，表1中列出了所有例子的耦合準調和基計算、測地距離計算、姿態遷移、分層姿態遷移等關鍵步驟的時間以及參考網格、源網格及變形圖的規模。

從表1來看，與文獻[6]相比增加了嵌入變形編輯時間，測地距離計算耗時較多。但是嵌入變形編輯提高了目標網格的質量，減少姿態遷移次數。

表1 姿態遷移時間(s)

4 結束語

本文對文獻[6]提出的細節保持的譜姿態遷移算法和多層遷移框架進行了改進。利用變形圖作為幾何代理，嵌入變形圖編輯方法[9]表示源網格時具有較好的局部性，在一定程度上降低了幾何代理質量對結果的影響；調整后的優化式(5)在學習姿態的同時增加了細節保持能力；對子網格使用簡單偏移拼接，不必進行朝向調整。

本文方法中最耗時的是測地距離的計算，在后續工作中可以利用GPU并行加速求解測地距離，以提高效率。另外，對于權重的選擇方面，除了求解能量函數所用到的兩個權重外，本文又引入了嵌入變形圖編輯算法的3個權重，所以如何更高效的選取權重也待解決。

[1] 胡事民, 楊永亮, 來煜坤. 數字幾何處理研究進展[J]. 計算機學報, 2009, 32(8): 1451-1469.

[2] SUMNER R W, POPOVI? J. Deformation transfer for triangle meshes [J]. ACM Transactions on Graphics, 2004, 23(3): 399-405.

[3] BARAN I, VLASIC D, GRINSPUN E, et al. Semantic deformation transfer [J]. ACM Transactions on Graphics, 2009, 28(3): 36.

[4] LéVY B. Laplace-Beltrami eigenfunctions towards an algorithm that understands geometry [C]//2006 IEEE International Conference on Shape Modeling and Applications. New York: IEEE Press, 2006: 13.

[5] KOVNATSKY A, BRONSTEIN M M, BRONSTEIN A M, et al. Coupled quasi-harmonic bases [J]. Computer Graphics Forum, 2013, 32(2): 439-448.

[6] YIN M X, LI G Q, LU H N, et al. Spectral pose transfer [J]. Journal of Computer-Aidesd Design and Computer Graphics, 2015, 35-36(C): 82-94.

[7] JU T, SCHAEFER S, WARREN J. Mean value coordinates for closed triangular meshes [J]. ACM Transactions on Graphics, 2005, 24(3): 561-566.

[8] 李琳, 李桂清, 黃力慰. 等距cage生成[J]. 計算機輔助設計與圖形學學報, 2011, 23(6): 956-963.

[9] SUMNER R W, SCHMID J, PAULY M. Embedded deformation for shape manipulation [J]. ACM Transactions on Graphics, 2007, 26(3): 80.

[10] KIMMEL R, SETHIAN J A. Computing geodesic paths on manifolds [J]. Proceedings of the National Academy of Sciences, 1998, 95(15): 8431-8435.

[11] PINKALL U, POLTHIER K. Computing discrete minimal surfaces and their conjugates [J]. Experimental Mathematics, 1993, 2(1): 15-36.

[12] SORKINE O, COHEN-OR D, LIPMAN Y, et al. Laplacian surface editing [C]//2004 Eurographics/ACM SIGGRAPH Symposium on Geometry Processing. New York: ACM Press, 2004: 175-184.

[13] BOSCAINI D, EYNARD D, BRONSTEIN M M. Shape-from-operator: Recovering shapes from intrinsic operators [J]. Computer Graphics Forum, 2015, 34(2): 265-274.

[14] OVSJANIKOV M, BEN-CHEN M, SOLOMON J, et al. Functional maps: A flexible representation of maps between shapes [J]. ACM Transactions on Graphics, 2012, 31(4): 30.

[15] JI Z, LIU L, CHEN Z, et al. Easy mesh cutting [J]. Computer Graphic Forum, 2006, 25(3): 283-291.

[16] 嚴冬明, 胡楷模, 郭建偉, 等. 各向同性三角形重新網格化方法綜述[J]. 計算機科學, 2017, 44(8): 9-17.

[17] 陳愛芬, 李桂清, 王宇攀, 等. 誤差可控的細分曲面圖像矢量化[J]. 計算機輔助設計與圖形學學報, 2017, 29 (12): 2197-2203.

[18] GARLAND M. Surface simplification using quadric error metrics [C]//ACM SIGGRAPH Computer Graphics 1997. New York: ACM Press, 1997: 209-216.

[19] 李桂清, 馬維銀, 鮑虎軍. 帶尖銳特征的Loop細分曲面擬合系統[J]. 計算機輔助設計與圖形學學報, 2005, 17(6): 1179-1185.

[20] SEBASTIAN F G. Practical parameterization of rotations using the exponential map [J]. The Journal of Graphics Tools, 1998, 3(3): 29-48.

Spectral Pose Transfer Based on Deformation Graph

SU Peng1, YIN Meng-xiao1,2, WANG Yu-pan3, HAN Yan-ru1, YANG Feng1,2, LI Gui-qing3

(1. School of Computer Electronics and Information, Guangxi University, Nanning Guangxi 530004, China; 2. Guangxi Key Laboratory of Multimedia Communications Network Technology, Nanning Guangxi 530004, China; 3. School of Computer Science and Engineering, South China University of Technology, Guangzhou Guangdong 510006, China)

Spectral pose transfer based on deformation graph is proposed to reduce the influence of the geometry agent Cage. At the beginning, the deformation graph is obtained to optimize the quadric error metric algorithm so as to simplify the source mesh, and then the deformation graph vertices are used to represent the source mesh vertices through the geodesic distance. The source mesh vertices are forced to be identical as much as possible with the results of pose transfer based on the coupled quasi-harmonic basis, and the same time, the Laplacian coordinates of the deformation graph are kept and then the result of the low frequency pose transfer can be obtained on the basis of optimizing the related result by applying the embedded deformation algorithm. After that, the local meshes of insufficient secondary pose study are found by observation and then are divided into the sub-meshes. The secondary pose is transferred by using the low frequency pose transfer method on these sub-meshes. Experimental results show that it can reduce the influence of geometry agent to some extent, and can also effectively improve the pose transfer.

pose transfer; mesh simplification; embedded deformation; coupled quasi-harmonic bases

TP 391

10.11996/JG.j.2095-302X.2019020282

A

2095-302X(2019)02-0282-08

2018-08-31；

2018-11-04

國家自然科學基金項目(61762007)；廣西自然科學基金項目(2017GXNSFAA198269，2017GXNSFAA198267)；廣西教育廳項目(2017KY0026，KY2016YB026)；廣東省自然科學基金項目(2017A030313347)

蘇 鵬(1987-)，男，黑龍江牡丹江人，碩士研究生。主要研究方向為計算機圖形學。E-mail：thebigapple@163.com

尹夢曉(1978-)，女，河南南陽人，副教授，博士，碩士生導師。主要研究方向為計算機圖形學、數字幾何處理。E-mail：ymx@gxu.edu.cn