基于三維網格卷積的布料仿真模擬

靳雁霞，劉亞變，楊 晶，史志儒，張 翎，喬星宇

(中北大學 計算機科學與技術 大數據學院，山西 太原 030051)

0 引 言

布料模擬在動畫、虛擬游戲、電影3D角色設計等領域中發揮著重要作用。然而，物理模擬成本會隨著分辨率和對象數量的增加而增加，不管物體是否從屏幕中可見，都需要進行模擬。近年來，深度卷積神經網絡(CNNs)已經成為許多領域的寶貴工具，它在物理模擬中的應用顯著增加。但是，限制其使用的一個主要問題是，最常見的二維CNN在圖像領域成功的基礎是圖像固有的規則和層次結構，這允許CNN通過下采樣和上采樣探索不同大小的特征，而大多數布料和可變形物體組成是不規則的，并且缺乏圖像中像素的排列，這使得很難定義一個標準的二維卷積。因此，將布料三維網格轉換成二維圖像，再針對二維圖像運用深度學習進行超分辨率的方法被相繼提出，但這種方法在轉換過程中不僅會丟失網格細節而且有成本高、耗時長等缺陷。在本文中，我們考慮了使用網格表示的三維幾何學習進行布料模擬。與體素[1]相比，網格更有效的表示幾何上下文，因為它只表示對象的邊界而不表示對象內部的冗余元素；與點云[2]相比，網格具有拓撲信息，適合施加幾何約束。最近，基于網格的CNN已經開始在這一領域找到應用，但它被設計用于剛體分類、分割，而不是在可變形的流形三角形上工作。針對上述布料模擬成本高且耗時長的問題，提出了一種基于三角形網格的CNN，該網絡提供了一種有效的、不均勻的形狀表示。一方面，只需少量的三角形來捕獲大的、簡單的曲面，減少成本；另一方面，允許對幾何上復雜的突出形狀特征進行重建或描繪，保留細節。由于充分利用了網格間的拓撲信息，故能夠提高布料模擬的視覺效果。

1 相關工作

近年來，針對布料模擬的物理技術已日趨成熟，能夠生成逼真且具有豐富褶皺細節的布料模擬結果。但是，這些褶皺細節需要高分辨率表示出來，因此需要大量時間來計算求解復雜方程，需要巨大工作量來調整參數。后來，數據驅動的方法[3，4]通過預計算數據和數據驅動技術提供了快速生產，同時生產了與訓練數據高度相似的褶皺效果，高分辨率可以直接合成，也可以從物理模擬的低分辨率網格進行超分辨率。然而，現在的數據驅動方法要么依賴于人體姿態，要么缺乏對運動中布料產生一般褶皺行為的動態建模。因此，本文通過引入深度學習的方法來進行布料建模。

在布料仿真領域中，深度超分辨率網絡已被驗證是圖像細節增強的強大而快速的機器學習工具，Chen等[5]提出的多特征超分辨率(MFSR)方法將LR和HR編碼的位移、法線和速度等3個特征作為卷積輸入，學習其服裝形狀的共享表示和特定任務表示，最后生成動態褶皺和一致的網格序列；賈瑤等[6]將真實布料運動中的幀數據信息轉換成圖像做為卷積神經網絡的輸入，再結合縮小網格得到高分辨率圖像，將圖像轉化成高分辨率布料網格；Zhang等[7]將服裝參數化表述為相關法線貼圖，通過匹配基于Gram矩陣的風格損失來產生高分辨率細節，再通過法線貼圖引導變形生成褶皺豐富的布料模擬。以上方法都是對處理好的圖像進行操作，這種將三維網格轉換成二維圖像的方式會丟失掉很多網格細節，還會在轉換過程中耗費大量時間。因此，本文采用直接對三維網格卷積的方法實現布料模擬。

近幾年剛提出的將卷積直接運用在三維網格上的方法主要用在圖形分類、分割等領域。Rana等[8]提出的MeshCNN對三角形網格采用以一條邊為中心、相鄰四條邊或兩條邊為一環鄰域的無變量卷積，創建任務感知流程確定池化折疊邊的優先級，將上池化和卷積結合來恢復池化操作中丟失的原始分辨率，該方法較好保留了圖形的明顯特征，對圖形分類效果顯著；Hu等[9]提出的SubdivNet框架對三維網格預處理成相等的三角形面，以三角形面為中心，基于每個面都恰好相鄰于3個面的特性構建卷積算子，其卷積模式和二維像素卷積的內核、步長設定方式相似，池化和上采樣操作采用Loop細分和逆Loop細分算法，該方法對形狀對應關系和形狀檢索等各種應用程序提供了良好的結果；Milano等[10]將圖神經網絡中提出的原始-對偶框架擴展到三角形網格，以三維網格的邊和面特征作為輸入，并利用注意機制進行動態聚合，引入一個具有精確幾何解釋的池化操作折疊邊，在形狀分類和形狀分割任務中具有優越的性能。以上三維網格卷積方法都用在形狀分類、分割領域，對于布料模擬研究不能保留真實的褶皺細節。因此，本文提出針對布料模擬的三維卷積神經網絡。

2 三維卷積神經網絡構建及分析

本文針對當前布料仿真模擬方法中成本高且耗時長的問題，提出了直接對三維網格卷積的布料模擬方法(以下簡稱三維卷積神經網絡)，使得大的平面區域用少量大三角形表示，褶皺豐富的區域用大量小三角形表示，在低耗時情況下得到逼真的布料仿真效果。本文將三維卷積神經網絡分為卷積、池化和上采樣等模塊，具體流程如圖1所示。首先，對輸入布料的三角形頂點螺旋卷積，使用點填充方法對卷積序列增加采樣點減小誤差，存儲卷積序列作為局部域；其次，運用Gauss-Bonnet定理計算局部域的曲率K值作為頂點抽取的懲罰因子，抽取K值較小的局部域直至剩余頂點數低于初始頂點數的60%；最后，用布料模型訓練神經細分網絡，通過記錄4次迭代中初始化模塊I、頂點模塊v和邊模塊ε的L2損失函數優化權重幾何集，將池化后的網格輸入神經細分網絡進行上采樣，輸出布料模擬結果。

圖1 基于三維網格卷積的布料模擬流程

2.1 卷積層

雖然布料在外力作用下變形程度復雜，但每幀網格數量和序列還是保持不變的，對不規則三角形網格卷積的側重點在于如何構建一個可以與每個點相關聯的全局坐標系。本文采用螺旋卷積算子[11]強制對網格上每個頂點的鄰居進行顯式排序，允許在鄰居和可學習局部濾波器的參數之間進行“1-1”映射，對螺旋卷積算子點填充降低采樣誤差。

(1)

其中，r為卷積算子半徑，與經典CNN中核的大小相似。那么，螺旋卷積為

(2)

其中，f類似于圖像中的像素強度，g為濾波權值，L為卷積算子長度。

(3)

其中，dM是網格M上兩個頂點之間的測地線距離。為了允許固定大小的螺旋，選擇一個固定長度的L作為超參數，然后根據其大小截斷或零填充每個螺旋，結果如圖1所示。

雖然螺旋卷積算子能夠針對頂點顯示排序，但對于頂點數量少的非流形三角形布料依然存在較大誤差，會丟失大量褶皺細節，導致模擬布料結果失真。本文采用點填充方法增加螺旋采樣點，設螺旋中心頂點為p，其鄰居為p0p1…pn-1， 首先計算

(4)

然后沿著間隔為l/(L-1) 的分段線性曲線創建均勻采樣點，將采樣后的螺旋作為局部域存儲在表Rs中，采樣點示例如圖1空心圓圈所示。點填充方法只需在卷積層處理一次，并且不會給下一節討論的池化層和上采樣層增加很大成本。

2.2 池化層

運用二次誤差最小化技術[12]作為池化方法雖然能在均勻網格表面上產生非常好的結果，但它無法檢測網格中細節的存在，為了充分保留布料褶皺區域，本文對表Rs中每個局部域的中心頂點p增加懲罰因子來懲罰較小曲率絕對值的頂點。根據懲罰因子大小利用頂點抽取的網格簡化算法對三角形網格池化，用少量大三角形表示網格較稀疏區域，池化效果如圖2所示。

圖2 池化效果

在微分幾何中，Gauss-Bonnet定理是曲面微分幾何中最深刻的定理，它是關于曲面的圖形(由曲率表征)和拓撲(由歐拉示性數表征)間聯系的一項重要表述。對于平面上的三角形，其內角和為180°，那么對于推廣到任意一個光滑曲面上的內角和可用Gauss-Bonnet定理表示：在曲面S上給出一個由k條光滑曲線所圍成的曲線多邊形，它圍成了一個單連通曲面域G多邊形為曲面的邊緣，記為?G。設曲面S的高斯曲率和測地曲率分別為K和kg，曲面的微元和弧長微元分別記為dσ和ds。則曲線多邊形的Gauss-Bonnet定理可以表示為

(5)

圖3 局部域曲率計算

(6)

在多邊形情況下，Gauss-Bonnet定理(5)可以簡化為

(7)

由式(6)可知

(8)

(9)

假設K在局部鄰域內為常數，式(8)可以改寫為

(10)

由于考慮了曲面的高斯曲率，可以懲罰較小的高斯曲率絕對值的局部域，增加局部域的代價，從而使它們比更平坦和有更少細節區域的局部域處理的更晚。對于平坦局部域，K值接近0；對于褶皺豐富局部域，K值接近1，根據懲罰因子K值由小到大的順序對局部域頂點抽取，終止標準指定為局部域網格的中心頂點數量小于開始時中心頂點數量的60%。

對抽取后的不規則孔洞用累加和求重心坐標的方式得到新的中心頂點

(11)

如圖1所示，根據頂點位置構成新的三角形網格。整合表Rs中的局部域網格，形成對原始模型的新近似。

2.3 上采樣層

為了學習布料復雜的非線性細分，而非傳統技術中使用的簡單線性平均(如Loop細分法、蝶形細分法、√3細分法等)，本文希望使用機器學習的方法學習布料網格權重來細分池化后的網格，神經細分網絡[13]的出現很好的滿足了本文的上采樣需求。神經細分網絡是一種新穎的自我監督訓練框架，只需要一組高分辨率網格來學習網絡權重。對于任何訓練形狀，隨機生成不同低分辨率網格與其對應，同時保持雙射映射來規定細分過程中每個新頂點的精確目標位置(如圖1中層次1、層次2…層次m所示)，該方法對本文上采樣模塊具有重大意義。由于文獻[13]主要是訓練剛體進行分類、分割，本文將用布料模型訓練該網絡，通過記錄4次迭代中初始化模塊I、頂點模塊v和邊模塊ε的L2損失函數優化權重幾何集以達到本文上采樣目的，具體訓練流程如圖1所示，訓練數據等將在3.1.2中介紹。

在神經細分網絡訓練中，本文使用改進的蝶形細分算法[14]對三角形網格進行拓撲更新，與文獻[13]中的Loop細分算法相比，可以緩解數據量與平滑性之間的矛盾，能獲得更好的適應度，并能很好處理三維網格在網絡中的平穩細分。改進的蝶形細分算法生成新頂點具有以下情況：

(1)邊兩端頂點的相鄰點數為6時，具體表示如圖4(a)所示，不同位置頂點的權值如下

圖4 蝶形細分算法生成新頂點3種情況

(12)

(2)側邊的一端頂點為奇異點時，具體表示如圖4(b)所示，新頂點產生的位置奇異點與相鄰頂點的數量有關。不同位置的頂點權值設置如下(N表示相鄰點的數量)

(13)

邊兩端的頂點均為奇異點時，必須對每個奇異點執行方程(12)中的操作才能得到兩個頂點。新的頂點是根據在上一步中獲得的兩個頂點的平均值生成的。

(3)邊緣為邊界時，具體表示如圖4(c)所示，圖中的數字是不同位置的權重。

在神經細分網絡中使用改進的蝶形細分算法能夠產生高質量的擁有原模型特征的布料細分結果。下面對比了上采樣前后的布料模擬網格，模擬效果如圖5所示，可以看出改進的神經細分網絡能夠適應布料的變形趨勢，提高布料平滑度。

圖5 上采樣前后的布料網格

2.4 損失函數

為了提高視覺質量，本文使用L1、L2損失函數來訓練誤差網絡以回歸重構誤差、Ln損失函數來衡量生成的網格與地面真實值之間的法向一致性。

在本節中，N表示頂點個數，上標t表示地面真實值，上標o表示輸出值。設xi是第i個頂點的頂點位置，nj是第j個面的法線，第j面由頂點x0、x1、x2按逆時針順序組成，則

nj=normalize((x1-x0)×(x2-x0))

(14)

L1頂點位置誤差為

(15)

L2頂點位置誤差為

(16)

L1法向誤差Ln為

(17)

總損失函數為

Ltotal=aL1+bL2+cLn

(18)

其中，a、b、c為L1、L2、Ln損失函數的權重。

3 實驗設置與結果分析

針對提出的基于三維卷積神經網絡模擬真實布料褶皺的仿真框架，本文對影響仿真效果的各個因素進行了對比和探究。本實驗在Linux系統下使用python語言實現，硬件為2.4 GHz的Intel Core i7 9700CPU，8*2 GB雙通道內存，顯卡型號是NVIDIA GeForce RTX 2070 Super。

3.1 數據處理

3.1.1 數據集構建與參數設置

本文使用開源的ARCSim[15]系統完成物理模擬，對于ARCSim提供的網格，選擇風中的旗子、茶壺上不同位置的布以及懸掛的布等3種布料模型進行實驗。對于風中的旗子，固定旗桿一側并施加風力和重力使其在空中飄揚，通過改變風力大小，共形成了10個序列，每個序列600幀，每幀5972個頂點數；對于茶壺上的布，固定茶壺剛體不動，將只受重力的布料自由落下覆蓋茶壺，通過改變覆蓋位置(壺嘴、壺把和壺身等)及布料大小(頂點數不變)，共形成了16個序列，每個序列400幀，每幀3020個布料頂點數；對于懸掛的布，固定布料一點使其自由垂下，通過改變固定點數和布料大小，共形成了18個序列，每個序列1200幀，每幀6570個頂點數。對于3個數據集分別進行訓練，每個訓練集中70%作為訓練集，30%作為測試集，實驗中使用的網格邊界框長度均在0.6～1.5個單位之間，重力-9.8 N/Kg，UV彎曲單位各0.5，UV拉伸和壓縮變形單位均為50，密度為0.005，厚度為0。在螺旋卷積中，設定固定長度的L為100個頂點作為超參數，存儲表Rs大小設置為50 MB，其存儲形式為順序存儲。為了提高計算效率，在池化操作中，對每個局部域只進行一次K值計算。本文池化與CNN圖像的初始調整大小相似，幾何網格抽取有助于降低分辨率，并由此降低訓練所需的網絡容量，使用神經網絡上采樣時能減少大量運行時間，但是為了保留布料細節，只對最小K值局部域頂點抽取，直到頂點數小于原始頂點數的60%。對于大多數實驗來說，僅使用L1誤差就可以產生視覺上光滑的表面，但在某些情況下，表面可能會有輕微的凹凸不平，因此考慮法向誤差Ln提高表面平滑度，在極少數情況下，網絡在大多數頂點上產生較小誤差，但在少數頂點上產生較大的誤差，增加L2誤差可以消除這些影響因素，當a=1，b=1，c= 0.02時視覺效果最好。

3.1.2 神經細分網絡數據集構建

文獻[13]中的神經細分網絡訓練對象皆是剛體，主要用于分類分割，本文使用多種布料類型重新訓練雙射映射。雖然這種新穎的自我監督訓練只需要一組高分辨率網格來學習網絡權重，但是為了保證布料形態的準確性，本文使用3組模型進行訓練，布料網格來自ARCSim系統，布料分別覆蓋在球體、圓柱體和斷開的雙圓柱體上，通過改變覆蓋在幾何體上的布料大小分別生成10個序列，每個序列200幀，每幀2830個頂點數。損失函數設置a=0，b=1，c=0進行訓練，目的是最小化L2誤差。

3.2 定量實驗對比

數值實驗比較與其它方法的泛化能力差異，比較的方法包括文獻[16]、文獻[5]和文獻[12]等。

本文對比了文獻[16]的物理模擬方法、文獻[5]的MFSR方法和文獻[12]的三維網格卷積方法在模擬結果中的不同，其中包括用于度量模擬頂點與每幀初始頂點的豪斯多夫距離(本文用H代替)和平均每幀耗時(本文用T代替)，豪斯多夫距離用于描述兩組點集之間的相似程度，設點集X′={x′1，…，x′n}，Y′={y′1，…，y′n}， 則這兩個點集合之間的豪斯多夫距離定義為

H(X′，Y′)=max(h(X′，Y′)，h(X′，Y′))

(19)

其中

(20)

(21)

對比結果見表1，文獻[16]對截取的布料幀計算法向量夾角，根據曲率大小進行布料變形，在各種情況下都能精準的衡量曲面彎曲程度，具有較小的誤差距離和較強的魯棒性，但該方法本質上仍然使用物理模擬方法，耗時依舊很高。文獻[5]使用深度學習進行布料模擬，時間上比文獻[16]快12～14倍，但是該方法將一對高分辨率和低分辨率網格轉換成相對應的圖像再進行模擬，轉換過程中不僅會丟失大量網格細節，導致在幀運動時出現失真現象，而且預處理時間過長，仍然會增加耗時。文獻[12]雖然也使用基于三角形網格的卷積神經網絡，但是由于卷積和池化階段未考慮時間成本和模擬成本，其重建誤差和耗時仍高于本文方法。使用本文方法雖然在風中的旗子數據集中H略大于文獻[16]，但基本上是一個較好的模擬精度，其余數據表明本文方法均取得了最好結果。

表1 不同數據集上測試集重建誤差和耗時的對比

本文方法與文獻[12]方法的模擬頂點數進行對比。對比結果如圖6所示，兩種方法的模擬頂點個數均比初始頂點個數少，文獻[12]池化操作采用二次誤差對邊設定優先級進行邊折疊，能根據拓撲信息產生接近真實場景的結果，但剩余頂點個數依然很多，最后模擬成本仍然很高。本文使用Gauss-Bonnet定理計算K值，再對K值小的局部域頂點抽取的池化方法，不僅能極大地減少頂點數量，而且能產生良好的模擬效果(模擬效果見3.3節)，這對降低模擬成本具有重大意義。

圖6 模擬頂點個數對比

本文優越性還展現在上采樣過程使用基于布料的神經細分網絡，其拓撲細分方法為改進的蝶形細分法，這種細分網絡能夠遵循布料變形趨勢，提升布料平滑度。基于三維網格的卷積方法上采樣大多來自池化操作時(如最大值、平均值等)的歷史記錄，如MeshCNN方法[8]、SubdivNet方法[9]和PD-MeshNet方法[10]的池化層等。為了驗證神經細分網絡的優越性，本文方法與Loop細分法、蝶形細分法和√3細分法進行細分對比，采用歐幾里德距離作為測量標準，對比結果見表2。從表中可以看出，無論哪種布料模型，本文細分方法的歐幾里德距離均小于其它細分方法。

表2 不同網格細分方法的歐幾里德距離對比

3.3 仿真結果對比

3.3.1 二維布料模擬方法效果對比

本實驗對3種布料模型進行訓練，圖7(a)～圖7(c)分別展示了布料模型的物理模擬、MFSR方法和本文方法的仿真效果。第一行為風中的旗子模型，布料受風力和重力作用，吹動方向為右下，布料變形主要集中在中部；第二行為茶壺上的布模型，布料受重力落于壺身和壺嘴區域，布料變形主要集中在交界處及下垂區域；第三行為懸掛的布模型，布料受拉力和重力懸停在空中，布料變形主要集中在中部碰撞區域。可以觀察到：圖7(b)MFSR方法與圖7(a)物理模擬相比，布料均丟失了明顯的褶皺細節，尤其在壺身和壺嘴連接處布料較為平坦，不能展現良好的模擬效果；圖7(c)本文方法與圖7(a)物理模擬相比，能夠保留物理模擬的實際褶皺，對于拉力、風力和重力作用下產生的變形，具有逼真的效果，對于本文用大三角形網格表示的平坦區域(圖7(c)黑色圓圈標注的地方)也和物理模擬結果相似；圖7(c)本文方法與圖7(b)MFSR方法相比，在布料模型的各個變形部位均能展現細微褶皺。因此，本文方法在模擬過程中耗時比二者少的情況下，能大量減少網格頂點數量，并且能保留布料模擬細節，呈現良好的視覺效果。

圖7 布料模擬結果

3.3.2 三維布料模擬方法效果對比

本實驗對風中的旗子模型進行訓練，物理模擬、文獻[12]方法和本文方法的模擬效果和對應網格如圖7(d)、圖7(e)所示。可以觀察到，本文方法在旗子平坦區域用少量大三角形網格表示，褶皺細節區域用大量小三角形網格表示，能產生與文獻[12]相似的模擬結果，但頂點數量卻大大減少。本文使用Gauss-Bonnet定理計算懲罰因子K值再頂點抽取的池化方法比文獻[12]對整體采用二次誤差最小化的池化方法更能在保留網格細節的同時減少頂點個數，二次誤差池化方法需要設置大量全局參數來指導整個簡化過程，而不考慮模型不同位置存在的特征差異，因此文獻[12]在保留細節的同時也需大量網格填補平坦區域。由于神經細分網絡訓練過程中對所有局部網格相同權值集進行了優化，所以對池化后的網格進行神經細分也不會破環整體網格布局，能夠呈現逼真的視覺效果。

3.4 消融研究

3.4.1 池化網格數量

本文比較了風中旗子的布料模型中池化頂點數量在剩余初始頂點數量的50%、60%和70%時對神經細分網絡的影響，比較結果如表3和圖8所示，結果顯示網格剩余60%時能夠在滿足保留布料褶皺細節的情況下盡量減小網格參數量。更少的網格剩余量因不能捕捉足夠的褶皺信息而導致失真現象，更多的網格剩余量因過擬合的原因導致精度提升有限甚至下降，還會大大增加模擬成本和時間消耗。因此，保留初始頂點數量的60%是最佳選擇。

表3 不同剩余池化頂點數量的網格參數量和用時對比

圖8 池化頂點數量占初始頂點數量的50%、60%和70%時(從左至右)的布料模型

3.4.2 神經細分網絡迭代次數

本文設定神經細分網絡迭代次數為4，實驗結果表明，在一定范圍內，神經細分網絡迭代次數越多，頂點個數越多，誤差越小，耗費時間越長，頂點個數超過初始頂點個數140%以后，誤差值趨于平緩。以圖1長方體上的布料模型為例，頂點個數取到4000左右時誤差可以達到最小，此時迭代次數為4，具體數據結果如圖9所示。

圖9 迭代次數對誤差的影響

4 結束語

本文為平衡布料仿真中的模擬成本、逼真度和效率，提出一種直接對三維布料網格卷積的布料模擬方法。本文實現了在網格上進行布料模擬的深度學習算法，為提高布料模擬效率，提供了新思路。實驗結果表明，本文方法通過對布料網格螺旋卷積和點填充、采用Gauss-Bonnet定理計算K值進行頂點抽取和訓練神經細分網絡構建的三維卷積神經網絡，其模擬的布料不僅能夠產生逼真的效果，而且模擬效率比其它方法提升了15.6%～23.1%。

本文只針對簡單布料模型進行了模擬，并且在上采樣中神經細分網絡層次數較少，未來可以針對復雜布料(如服裝等)進行模擬，上采樣可采用更適合序列預測的架構(如遞歸神經網絡)以獲得更廣泛的鄰域信息并深入到更深的細分層次，提高該方法的靈活性和準確性。