融合擴(kuò)散模型技術(shù)的文物面部三維模型孔洞修補(bǔ)

摘要 在三維幾何建模領(lǐng)域，孔洞指三維模型表面的不完整性，通常產(chǎn)生在數(shù)據(jù)采集、處理或轉(zhuǎn)換過(guò)程中，這些孔洞的存在可能會(huì)對(duì)模型的幾何完整性和視覺質(zhì)量造成顯著影響。在文化遺產(chǎn)保護(hù)領(lǐng)域，傳統(tǒng)的孔洞修復(fù)技術(shù)側(cè)重于幾何表面的修復(fù)，而忽略了紋理信息的修復(fù)，紋理信息對(duì)于恢復(fù)文物的真實(shí)感和材質(zhì)特性至關(guān)重要。文中提出了一種結(jié)合幾何和紋理修復(fù)的擴(kuò)散模型方法，特別適用于文物面部模型的修復(fù)。由于缺乏文物面部模型的基準(zhǔn)真值，使用相似的殘缺黃種人面部模型進(jìn)行評(píng)估，鑒于公開可用的黃種人面部數(shù)據(jù)集較為稀缺，構(gòu)建了一個(gè)黃種人面部數(shù)據(jù)集，包含約20 000張黃種人面部圖像、對(duì)應(yīng)的三維模型及其紋理，以及渲染得到的高保真面部圖像。首先，在構(gòu)建的數(shù)據(jù)集上進(jìn)行測(cè)試，以驗(yàn)證所提方法的有效性。結(jié)果顯示，與現(xiàn)有基準(zhǔn)方法相比，該方法在面部圖像修復(fù)方面取得了顯著改進(jìn)，并且實(shí)現(xiàn)了對(duì)面部三維模型幾何表面和紋理信息的同步修復(fù)。其次，將所提出的修復(fù)技術(shù)應(yīng)用于文化遺產(chǎn)中的文物面部模型，通過(guò)實(shí)驗(yàn)驗(yàn)證該方法在文物面部模型的幾何和紋理修復(fù)方面均展現(xiàn)出了優(yōu)異的性能。研究結(jié)果為文物面部模型的數(shù)字化修復(fù)提供了一種有效的技術(shù)手段，有助于提高文物保護(hù)和數(shù)字化展示的質(zhì)量。

關(guān)鍵詞 三維模型孔洞修補(bǔ);文物面部修復(fù);擴(kuò)散模型;圖像修復(fù)

中圖分類號(hào)：TP391" DOI：10.16152/j.cnki.xdxbzr.2025-01-018

3D model hole filling in cultural relics’ facial reconstructionfusion diffusion model

WANG Zhengrong1，2， LIU Xinda1，2， ZHOU Mingquan1，2

（1.National and Local Joint Engineering Research Center for Cultural Heritage Digitization，Northwest University， Xi’an 710127， China;

2.Institute of Visualization Technology， Northwest University， Xi’an 710127， China）

Abstract In the field of 3D geometric modeling， a hole refers to the incompleteness on the surface of a 3D model， often arising during data acquisition， processing， or transformation. The presence of such holes can significantly impact the geometric integrity and visual quality of the model. In the domain of cultural heritage preservation， traditional hole-filling techniques focus on the repair of geometric surfaces， neglecting the restoration of texture information， which is crucial for recovering the authenticity and material characteristics of artifacts. This paper" proposes a diffusion model method that combines geometric and texture repair， particularly suitable for the restoration of facial models of cultural relics. Due to the absence of ground truth for facial models of cultural relics， this study uses similar incomplete Asian facial models for evaluation. Given the scarcity of publicly available Asian facial datasets， this paper constructs an Asian facial dataset comprising approximately 20 000 Asian facial images， corresponding 3D models and textures， as well as high-fidelity facial images rendered from the models. Experiments are first conducted on the constructed dataset to validate the effectiveness of the proposed method. The results show that compared to existing benchmark methods， our method achieves significant improvements in facial imageinpainting and simultaneously repairs the geometric surfaces and texture information of the facial 3D models. Subsequently， the proposed repair technique is applied to facial models of cultural relics， and experiments confirm its excellent performance in both geometric and texture repair of the relic facial models. These findings provide an effective technical means for the digital restoration of facial models of cultural relics， contributing to the enhancement of the quality of cultural heritage preservation and digital exhibition.

Keywords 3D model hole repair; facial models of cultural relics; diffusion model; image inpainting

在計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺的研究與應(yīng)用中，三維模型構(gòu)建技術(shù)扮演著重要角色，它通過(guò)使用多邊形（通常是三角形）來(lái)表示三維物體的表面。由于其易于理解、表達(dá)能力強(qiáng)，并且能夠通過(guò)紋理映射和材質(zhì)系統(tǒng)實(shí)現(xiàn)真實(shí)感渲染，三維模型被廣泛應(yīng)用于工業(yè)設(shè)計(jì)、游戲開發(fā)、文物保護(hù)等領(lǐng)域。對(duì)于文物而言，由于自然腐蝕、環(huán)境變化、物理?yè)p失等原因，它們通常并不完整，尤其是面部常常出現(xiàn)缺損。在對(duì)文物面部進(jìn)行建模時(shí)，由于其本身存在的缺失以及在掃描、建模、編輯和轉(zhuǎn)換過(guò)程中可能出現(xiàn)的問(wèn)題，可能導(dǎo)致得到的三維模型不完整。因此，文物面部模型的修復(fù)是文物保護(hù)領(lǐng)域的一個(gè)重要問(wèn)題，同時(shí)也是三維模型孔洞修補(bǔ)技術(shù)在文物保護(hù)領(lǐng)域的一個(gè)重要實(shí)踐。

傳統(tǒng)的三維模型孔洞修補(bǔ)主要分為3類，基于網(wǎng)格的三維模型孔洞修補(bǔ)、基于體素的三維模型孔洞修補(bǔ)和基于曲面定向的三維模型孔洞修補(bǔ)。基于網(wǎng)格的修補(bǔ)方法通常先識(shí)別出網(wǎng)格中的孔洞邊界，再通過(guò)三角剖分在邊界內(nèi)生成新的三角面片填補(bǔ)孔洞。例如，Liepa等人通過(guò)識(shí)別孔洞邊界、孔洞三角剖分填充孔洞、細(xì)化和平滑處理修復(fù)三維模型孔洞［1］。溫佩芝等人通過(guò)檢測(cè)缺失區(qū)域特征，將這些特征結(jié)合無(wú)約束的三角剖分填充孔洞［2］。謝倩茹等人在識(shí)別孔洞邊界后使用波前法和三角形頂點(diǎn)的夾角關(guān)系完成孔洞的初始填充，再結(jié)合曲率標(biāo)準(zhǔn)對(duì)孔洞網(wǎng)格進(jìn)行細(xì)化使填補(bǔ)區(qū)域過(guò)渡更自然［3］。基于網(wǎng)格的三維模型孔洞修補(bǔ)只考慮修補(bǔ)孔洞而不考慮孔洞區(qū)域的特征，導(dǎo)致修補(bǔ)區(qū)域過(guò)渡不自然，即使加入曲率信息但效果有限。基于體素的三維模型孔洞修補(bǔ)方法首先將網(wǎng)格體素化表示，而孔洞轉(zhuǎn)換后變現(xiàn)為體素中缺失或不連續(xù)的部分，通過(guò)識(shí)別并填補(bǔ)孔洞區(qū)域的體素以達(dá)到修復(fù)三維模型的目的。例如，Davis等人用體素定義了一個(gè)符號(hào)距離函數(shù)描述鄰近表面，后將其擴(kuò)散到整個(gè)體素網(wǎng)格以修復(fù)孔洞［4］。Bischoff 等人建立一個(gè)自適應(yīng)的八叉樹，利用體素網(wǎng)格的拓?fù)浜?jiǎn)單性，重建三維模型［5］。基于體的三維模型孔洞修補(bǔ)需要三維網(wǎng)格模型與體素模型相互轉(zhuǎn)換，轉(zhuǎn)換中必然會(huì)出現(xiàn)模型細(xì)節(jié)的損失，使得重建模型出現(xiàn)不自然的情況。基于曲面定向的三維模型孔洞修補(bǔ)方法在識(shí)別孔洞邊界后，根據(jù)邊界點(diǎn)的法向量信息來(lái)估計(jì)和構(gòu)建內(nèi)部面片的法向。例如，Wang等人提出一種保持CAD模型孔洞邊緣特征的方法［6］。劉震等人利用孔洞區(qū)域的特征線， 提出了一種能有效恢復(fù)孔洞區(qū)域細(xì)節(jié)的修補(bǔ)方法［7］。基于曲面定向的三維模型孔洞修補(bǔ)過(guò)于依賴孔洞區(qū)域的特征信息，如果孔洞區(qū)域特征不明顯或者拓?fù)浣Y(jié)構(gòu)過(guò)于復(fù)雜，會(huì)直接影響到模型修復(fù)效果。

上述3種傳統(tǒng)的三維模型孔洞修補(bǔ)方法各有優(yōu)劣，但它們都只注重于對(duì)三維模型孔洞區(qū)域的修復(fù)而忽略了對(duì)三維模型紋理圖像的修復(fù)。近期針對(duì)三維模型孔洞修復(fù)的研究雖然在孔洞修復(fù)的精確性上得到了提升，但并未脫胎出傳統(tǒng)方法的范疇，依然是對(duì)傳統(tǒng)方法的優(yōu)化，無(wú)法實(shí)現(xiàn)紋理信息的修復(fù)。如王鵬飛等人提出一種保持輸入網(wǎng)格特征的魯棒水密流形網(wǎng)格修復(fù)算法［8］：首先，使用Manifoldplus算法和卷繞數(shù)創(chuàng)建一個(gè)近似輸入網(wǎng)格的防水流形引導(dǎo)曲面，以區(qū)分網(wǎng)格內(nèi)外；其次，計(jì)算受限Voronoi圖（RVD）和受限三角剖分（RDT），將非流形問(wèn)題分解到RVD和RDT的計(jì)算中，確保得到的RDT是修復(fù)后的防水流形網(wǎng)格；最后，在原始網(wǎng)格邊添加輔助點(diǎn)，以保持原始網(wǎng)格特征。該方法依舊忽略了紋理信息的修復(fù)。文物模型的紋理圖像對(duì)于增加文物模型的歷史真實(shí)性，提升模型的觀賞價(jià)值有至關(guān)重要的作用，因此，在修復(fù)文物模型的同時(shí)，不能忽視對(duì)其紋理圖像的修復(fù)。針對(duì)前述問(wèn)題，本研究提出了一種文物面部三維模型孔洞修復(fù)的方法，融合了基于擴(kuò)散模型的（diffusion model，簡(jiǎn)稱DM）圖像修復(fù)技術(shù)與單目人臉重建技術(shù)，實(shí)現(xiàn)了在修復(fù)文物面部三維模型的同時(shí)，對(duì)紋理圖像進(jìn)行同步修復(fù)。

1 基于DM的文物面部模型修補(bǔ)

1.1 基于DM的圖像修復(fù)

擴(kuò)散模型是一種基于概率分布的生成模型，常被用來(lái)生成數(shù)據(jù)，尤其是生成圖像數(shù)據(jù)。其原理如圖1所示，首先，通過(guò)一個(gè)可控的過(guò)程逐步引入噪聲直至數(shù)據(jù)完全轉(zhuǎn)換為隨機(jī)噪聲；其次，再逆轉(zhuǎn)這個(gè)過(guò)程，從隨機(jī)噪聲狀態(tài)逐步去噪直至恢復(fù)數(shù)據(jù)。近些年的研究已經(jīng)證明，相較于生成對(duì)抗網(wǎng)絡(luò)GAN、變分自編碼器VAE、標(biāo)準(zhǔn)化流NF等生成模型，擴(kuò)散模型能夠生成的圖像，細(xì)節(jié)豐富，質(zhì)量更高［9-12］。

由于擴(kuò)散模型在生成高質(zhì)量圖像方面出色的表現(xiàn)，越來(lái)越多研究者將擴(kuò)散模型應(yīng)用于圖像修復(fù)，使用其逆向過(guò)程的預(yù)測(cè)與生成能力修復(fù)圖像指定部分。Lugmayr等人首先提出了一種利用去噪擴(kuò)散概率模型DDPM的圖像修復(fù)方法RePaint［13］，該方法利用深度神經(jīng)網(wǎng)絡(luò)在大量同類圖像的數(shù)據(jù)集訓(xùn)練以學(xué)習(xí)缺失位置像素與周圍像素的關(guān)聯(lián)，并以此為先驗(yàn)加入到圖像生成過(guò)程中，從而達(dá)到圖像修復(fù)的效果。Rout等人對(duì)RePaint進(jìn)行測(cè)試發(fā)現(xiàn)，通過(guò)RePaint恢復(fù)的圖像數(shù)據(jù)分布與真實(shí)圖像數(shù)據(jù)分布存在偏差［14］，在數(shù)據(jù)分布服從簡(jiǎn)單分布時(shí)尤為明顯，如線性均勻分布，為解決RePaint的偏差問(wèn)題，Rout等人提出了一種RePaint+方法，通過(guò)校正去噪過(guò)程中的漂移和分散對(duì)齊來(lái)消除偏差，使恢復(fù)圖像的數(shù)據(jù)分布更接近于真實(shí)圖像數(shù)據(jù)分布，并提出了使用訓(xùn)練好的擴(kuò)散模型就可以完成圖像修復(fù)任務(wù)。隨后，Zhang等研究者在文獻(xiàn)中通過(guò)實(shí)驗(yàn)觀察到RePaint及其改進(jìn)版RePaint+在圖像修復(fù)任務(wù)中［15］，修復(fù)區(qū)域與原有圖像的過(guò)渡往往顯得不夠自然。為了解決這一問(wèn)題，Zhang等人提出了一種基于貝葉斯理論的修復(fù)框架。在該框架中，去噪過(guò)程被設(shè)計(jì)為逐步調(diào)整圖像的已知區(qū)域與未知區(qū)域，同時(shí)引入了一個(gè)近似的后驗(yàn)概率分布。這種分布機(jī)制使得修復(fù)過(guò)程中的誤差能夠逐漸減少，從而有效緩解了修復(fù)區(qū)域與原有圖像區(qū)域之間的不協(xié)調(diào)問(wèn)題，該方法被命名為CoPaint。隨著學(xué)者對(duì)擴(kuò)散模型的不斷深入研究，圖像修復(fù)的速度與質(zhì)量在不斷提升，應(yīng)用的領(lǐng)域也不斷變廣，Yue等人提出了一種高效的擴(kuò)散模型［16］，通過(guò)殘差轉(zhuǎn)移和靈活的噪聲調(diào)度，在顯著減少推理步驟的同時(shí)，實(shí)現(xiàn)了更優(yōu)的圖像修復(fù)性能。Corneanu等人提出一種改進(jìn)方法，不需要領(lǐng)域特定的訓(xùn)練，同時(shí)通過(guò)在潛在空間而非圖像空間中進(jìn)行前向-后向融合步驟，提升了推理時(shí)的計(jì)算速度［17］，并引入一個(gè)新提出的傳播模塊來(lái)解決計(jì)算成本問(wèn)題。Durrer等人通過(guò)改進(jìn)去噪擴(kuò)散概率模型DDPM，實(shí)現(xiàn)了對(duì)含有病理組織的3D腦部磁共振圖像中健康組織的一致性修復(fù)［18］，并在下游的腦組織分割任務(wù)中超越了現(xiàn)有的FMRIB軟件庫(kù)（FSL）病變填充方法。由于擴(kuò)散模型在圖像修復(fù)上的強(qiáng)大能力，本文選用其承擔(dān)圖像修復(fù)任務(wù)。

為了在修復(fù)人臉三維模型的同時(shí)恢復(fù)其紋理，以確保渲染后的模型能夠呈現(xiàn)出逼真的人臉效果，本研究引入了擴(kuò)散模型，提出的修復(fù)人臉三維模型孔洞的方法如圖2所示，分為3個(gè)階段。首先，對(duì)殘缺的人臉三維模型進(jìn)行渲染得到殘缺人臉圖像;其次，利用擴(kuò)散模型的生成能力，對(duì)渲染得到的殘缺人臉圖像進(jìn)行修復(fù);最后，將修復(fù)后的人臉圖像通過(guò)單目人臉重建技術(shù)重建成完整的人臉三維模型，同時(shí)得到完整的紋理圖像。

1.2 基于DM的文物面部圖像修復(fù)

1.2.1 DM作為生成去噪器先驗(yàn)

去噪擴(kuò)散隱式模型DDIM［19］與圖像修復(fù)算法CoPaint證明了使用擴(kuò)散模型進(jìn)行圖像修復(fù)可以在去噪過(guò)程中直接使用預(yù)訓(xùn)練的去噪擴(kuò)散概率模型DDPM，而擴(kuò)散模型的強(qiáng)大的生成能力以及去噪能力也已被證實(shí)［20］。因此，本文使用OpenAI公開的Guided Diffusion預(yù)訓(xùn)練模型作為圖像修復(fù)過(guò)程中的生成去噪器。

在圖像修復(fù)中通常需要考慮優(yōu)化問(wèn)題，即在恢復(fù)過(guò)程中的去噪或重建問(wèn)題，目標(biāo)是恢復(fù)出一副高質(zhì)量的圖像，使其既要符合觀測(cè)到的噪聲以保證數(shù)據(jù)的一致性，又要符合擴(kuò)散模型提供的圖像先驗(yàn)知識(shí)，在數(shù)學(xué)上這個(gè)問(wèn)題可以表述為一個(gè)最大后驗(yàn)概率（MAP）問(wèn)題，其一般形式表示為

x[DD（-*2]∧[DD）]=argminx[JB（｛][SX（]1[]2σ2n [SX）]‖y-H（x）‖2+λP（x）[JB）｝]（1）

式中：x是要恢復(fù)的干凈圖像；y是給定的噪聲觀測(cè)數(shù)據(jù)；H（x）是退化操作，描述了如何從干凈圖像x生成觀測(cè)數(shù)據(jù)y；σ2n 是噪聲的方差；P（x）是圖像x的先驗(yàn)項(xiàng)，通常反映了對(duì)圖像特性的某些假設(shè)，例如平滑性或稀疏性；λ是正則化參數(shù)，用于平衡數(shù)據(jù)項(xiàng)和先驗(yàn)項(xiàng)之間的權(quán)重。

為了簡(jiǎn)化并解決優(yōu)化問(wèn)題，半二次分裂（HQS）算法作為一種迭代算法，常被引入圖像恢復(fù)相關(guān)的任務(wù)中解決最大后驗(yàn)概率（MAP）問(wèn)題［21］，HQS算法將優(yōu)化問(wèn)題分為處理數(shù)據(jù)一致性的數(shù)據(jù)子問(wèn)題和處理圖像先驗(yàn)的先驗(yàn)子問(wèn)題，并在圖像恢復(fù)中交替處理兩個(gè)問(wèn)題，其一般形式可以表示為式（2）和式（3）。

zk=argmin[DD（X]z[DD）][SX（]1[]2（[KF（]λ／μ[KF）]）2[SX）]‖z-xk‖2+P（z）（2）

xk-1=argmin[DD（X]x[DD）]‖y-H（x）‖2+μ2σ2n ‖x-zk‖2（3）

式中：zk是要在優(yōu)化中更新的輔助變量；xk是當(dāng)前迭代中對(duì)圖像的估計(jì)。

其次，有研究者對(duì)HQS算法在解決數(shù)據(jù)子問(wèn)題和先驗(yàn)子問(wèn)題的方法上進(jìn)行了改進(jìn)［22］，其一般形式可以表示為式（4）和式（5）。

x（t）0=argmin[DD（X]z[DD）][SX（]1[]2[AKσ-D]2t [SX）]‖z-xk‖2+P（z）（4）

x[DD（-*2]∧[DD）]（t）0=argmin[DD（X]x[DD）]‖y-H（x）‖2+ρt‖x-x（t）0‖2（5）

式中：x∧（t）0 是在時(shí)間步t下更新的圖像估計(jì)；t 是時(shí)間步t下的噪聲方差；ρt是與時(shí)間步相關(guān)的正則化參數(shù)，ρt=λ（σn／σt）2；x（t）0 是擴(kuò)散模型預(yù)測(cè)的當(dāng)前時(shí)間步的去噪圖像狀態(tài)。

原始HQS算法中的zk是通過(guò)解決式（2）的先驗(yàn)子問(wèn)題更新得到的，而改進(jìn)的HQS算法中引入輔助變量x（t）0，代替了原始的HQS算法中的輔助變量zk，如圖3所示。輔助變量x（t）0如式（4）所示，通過(guò)擴(kuò)散模型預(yù)測(cè)時(shí)間步t下的圖像去噪后的圖像狀態(tài)得到，這樣不僅將擴(kuò)散模型作為恢復(fù)圖片過(guò)程中的生成去噪器，還將其應(yīng)用于去噪過(guò)程中的相鄰時(shí)間步之間作為生成去噪器先驗(yàn)，優(yōu)化了解決先驗(yàn)子問(wèn)題的方法。隨后，又將x（t）0作為連接數(shù)據(jù)與先驗(yàn)的橋梁帶入數(shù)據(jù)子問(wèn)題中更新在時(shí)間步t下的圖像估計(jì)x∧（t）0。其中最小化數(shù)據(jù)擬合項(xiàng)確保恢復(fù)圖像x在退化后與觀測(cè)數(shù)據(jù)一致，正則化項(xiàng)ρt‖x-x（t）0‖2確保了圖像估計(jì)x∧（t）0與擴(kuò)散模型預(yù)測(cè)的去噪圖像x（t）0保持接近，以優(yōu)化解決數(shù)據(jù)子問(wèn)題的方法。本文便采用了改進(jìn)的HQS算法，將擴(kuò)散模型作為生成去噪器先驗(yàn)進(jìn)一步的應(yīng)用于去噪過(guò)程相鄰時(shí)間步之間，以更好地解決優(yōu)化問(wèn)題，提高恢復(fù)圖像的質(zhì)量和細(xì)節(jié)。

1.2.2 逆擴(kuò)散采樣循環(huán)

逆擴(kuò)散采樣循環(huán)就是擴(kuò)散模型結(jié)合其去噪能力和生成能力將噪聲數(shù)據(jù)逐步恢復(fù)成干凈圖像的過(guò)程，對(duì)于圖像修復(fù)問(wèn)題則是將擴(kuò)散模型作為生成去噪器填補(bǔ)圖像缺失部分。

如圖4所示，在這一過(guò)程的開始需要選擇一個(gè)噪聲水平較高的初始化圖像xT，T表示總時(shí)間步長(zhǎng)。為解決優(yōu)化問(wèn)題采用改進(jìn)的HQS算法，用當(dāng)前的噪聲圖像xt預(yù)測(cè)x（t）0解決先驗(yàn)子問(wèn)題。利用得到的x（t）0估計(jì)x[DD（-*2]∧[DD）]（t）0解決數(shù)據(jù)子問(wèn)題，在實(shí)際的圖像修復(fù)過(guò)程中為將修復(fù)位置指定在缺失部分，如式（6）和式（7）所示。

x0=M⊙y+ρtz0[]M+ρt（7）

式中：M是任何用戶定義的掩碼，是一個(gè)帶有布爾元素的矩陣；⊙表示元素級(jí)乘法。圖像的繪制任務(wù)是從已知的像素中恢復(fù)缺失的像素為y。

由x[DD（-*2]∧[DD）]（t）0即可生成下一個(gè)時(shí)間步t-1的噪聲圖像xt-1，其公式為

x（t-1）=[KF（][AKa-D]t-1[KF）]x[DD（-*2]∧[DD）]（t）0+" [KF（]1-[AKa-D]t-1[KF）]（[KF（]1-ζ[KF）]ε[DD（-*2]∧[DD）]+[KF（]ζ[KF）]εt）（8）

式中：[AKa-D]t-1是時(shí)間步t-1的權(quán)重參數(shù)；ζ是控制每一步中注入噪聲方差的超參數(shù)；εt是從標(biāo)準(zhǔn)正態(tài)分布中采樣的噪聲；ε[DD（-*2]∧[DD）]為結(jié)合當(dāng)前圖像xt以及數(shù)據(jù)子問(wèn)題的解x[DD（-*2]∧[DD）]（t）0 得到的預(yù)測(cè)噪聲，其公式為

ε[DD（-*2]∧[DD）]=[SX（]1[][KF（]1-[AKa-D]t[KF）][SX）]（xt-[KF（][AKa-D]t[KF）]x[DD（-*2]∧[DD）]（t）0）（9）

簡(jiǎn)單來(lái)說(shuō)，本文在相鄰時(shí)間步噪聲圖像間采用的生成去噪方法為從當(dāng)前時(shí)間步t的噪聲圖像解決先驗(yàn)子問(wèn)題得到，再通過(guò)解決數(shù)據(jù)子問(wèn)題得到，最后通過(guò)計(jì)算下一個(gè)時(shí)間步的噪聲圖像，循環(huán)這個(gè)過(guò)程直至算法收斂得到高質(zhì)量的圖像修復(fù)效果。

1.3 單目文物面部重建

高保真的單目人臉重建技術(shù)已經(jīng)取得了巨大的成功，有大量工作使用專門的硬件（如LightStage）［23-25］取得了出色的重建性能。基于三維可變形模型（3DMM）的人臉重建技術(shù)［8］的出現(xiàn)，推出了一種從一系列面部掃描中學(xué)習(xí)到的統(tǒng)計(jì)模型，并引起了一系列對(duì)單目人臉重建技術(shù)的研究［26-29］。本文直接采用了分層表示網(wǎng)絡(luò)（HRN）模型［30］中的單目人臉重建部分對(duì)經(jīng)過(guò)擴(kuò)散模型修復(fù)后的渲染圖像進(jìn)行人臉重建，該模型對(duì)3DMM在低維表示能力的局限性進(jìn)行了改進(jìn)，對(duì)單個(gè)圖像進(jìn)行更詳細(xì)和準(zhǔn)確的重建。

2 構(gòu)建數(shù)據(jù)集

由于文物面部模型缺乏基準(zhǔn)真值驗(yàn)證修復(fù)性能，本文選擇在與文物面部具有相似特征的黃種人人臉模型上進(jìn)行測(cè)試以評(píng)估本文方法的修復(fù)能力，但目前的公開數(shù)據(jù)集以白種人的人臉模型為主，缺乏黃種人人臉模型數(shù)據(jù)，因此，本文選擇自建黃種人人臉數(shù)據(jù)集。建立數(shù)據(jù)集需要使用黃種人的人臉圖像建立人臉模型，目前并沒(méi)有開源的高質(zhì)量黃種人人臉數(shù)據(jù)集可供使用，高質(zhì)量黃種人的人臉數(shù)據(jù)十分稀缺。但Nvidia公司團(tuán)隊(duì)于2019年提出的StyleGAN模型［31］，能夠生成高清并且逼真的人臉照片，為獲得大量的高質(zhì)量黃種人的人臉圖像建立數(shù)據(jù)集提供了條件。本文建立的黃種人人臉數(shù)據(jù)集如圖5所示，包含3個(gè)部分。

1）通過(guò)StyleGAN模型根據(jù)黃種人的特征生成20 271張高質(zhì)量黃種人人臉圖像。

2）通過(guò)HRN模型對(duì)黃種人人臉圖像進(jìn)行人臉重建得到20 271個(gè)人臉三維模型及其紋理圖像，對(duì)人臉三維模型渲染得到20 271張高保真人臉圖像。

3）對(duì)完整人臉三維模型隨機(jī)破壞得到20 271個(gè)殘缺人臉三維模型及其對(duì)應(yīng)的殘缺紋理圖像，對(duì)殘缺人臉三維模型渲染得到20 271張高保真人臉圖像。

本文中殘缺人臉三維模型及殘缺紋理圖像數(shù)據(jù)集用于渲染成為殘缺人臉圖像后，經(jīng)過(guò)圖像修復(fù)，重建成完整的人臉三維模型。完整人臉三維模型及紋理圖像數(shù)據(jù)集和其渲染得到的高保真人臉圖像，分別用于與重建得到的修復(fù)人臉三維模型、修復(fù)的紋理圖像、殘缺人臉圖像進(jìn)行比較以分析修復(fù)效果。

3 實(shí)驗(yàn)及結(jié)果分析

3.1 預(yù)訓(xùn)練模型及實(shí)驗(yàn)設(shè)置

由于已經(jīng)證明對(duì)于圖像修復(fù)任務(wù)可以直接使用預(yù)訓(xùn)練的擴(kuò)散模型作為生成去噪器， 因此 本文使用了OpenAI公開的預(yù)訓(xùn)練模型256×256 diffusion（not class conditional）。 該模型在斯坦福大學(xué)建立的ILSVRC 2012 ImageNet子集上訓(xùn)練得到， 該數(shù)據(jù)集是在2012年策劃的， 由大約一百萬(wàn)張圖像組成， 每張圖像屬于1 000個(gè)類別中的一個(gè)。 該模型已在大規(guī)模的、 多樣化的數(shù)據(jù)集上訓(xùn)練過(guò)， 能夠更好地泛化到新的、 未見過(guò)的數(shù)據(jù)。 使用該預(yù)訓(xùn)練的擴(kuò)散模型大大減少了所需的時(shí)間和計(jì)算資源， 有效地利用這些模型在圖像生成和去噪方面的強(qiáng)大能力， 從而提高圖像恢復(fù)任務(wù)的性能。

實(shí)驗(yàn)中σ被設(shè)置為大于0.001，該值取決于圖像中添加的高斯白噪聲的水平通常在0～1之間。為了探究參數(shù)ζ對(duì)噪聲控制以及參數(shù)λ對(duì)正則化項(xiàng)的影響，圖6展示了在不同ζ和λ組合下的圖像修復(fù)效果。實(shí)驗(yàn)結(jié)果表明，隨著ζ值的增加，圖像細(xì)節(jié)的修復(fù)質(zhì)量得到提升，這體現(xiàn)在牙齒的修復(fù)完整性以及修復(fù)位置遮罩的修復(fù)程度上（圖中面部的黑色區(qū)域表示遮罩未能完全修復(fù)）。在ζ值保持不變的情況下，當(dāng)λ設(shè)置為1.0和10時(shí)，峰值信噪比（PSNR）的數(shù)值略高于λ為0.1、100、1 000和10 000的情況。因此，本研究選擇將ζ設(shè)為1.0，λ設(shè)為1.0作為實(shí)驗(yàn)參數(shù)。逆擴(kuò)散采樣循環(huán)的迭代次數(shù)設(shè)置為20次，即生成去噪過(guò)程最多進(jìn)行20次。

3.2 實(shí)驗(yàn)結(jié)果分析

3.2.1 人臉圖像修復(fù)效果

本文實(shí)驗(yàn)以弗雷謝起始距離（FID）、峰值信噪比（PSNR）、感知損失（LPIPS）3種指標(biāo)作為評(píng)價(jià)指標(biāo)，比較本實(shí)驗(yàn)中使用的圖像修復(fù)方法與RePaint方法在修復(fù)渲染得到的殘缺人臉圖像效果。FID是一種衡量?jī)山M圖像分布差異的指標(biāo)，適用于生成圖像與真實(shí)圖像之間的差異，值越低表示生成圖像與真實(shí)圖像之間的視覺特征越相近;PSNR是一種衡量重建或去噪后的圖像與原始圖像相似性的指標(biāo)，值越高則相似性越高;LPIPS用于評(píng)估圖像之間的感知相似性，值越低則兩幅圖像在感知上越相似。圖像修復(fù)效果如圖7所示，評(píng)估結(jié)果如表1所示。

實(shí)驗(yàn)結(jié)果顯示，相較于作為基準(zhǔn)的RePaint方法，本文方法在FID指標(biāo)上從27.867 4下降到了23.294 0，表明本文方法修復(fù)的圖像與真實(shí)圖像的分布更加接近；PSNR指標(biāo)從33.315 6提升到了33.618 7，表明本文方法修復(fù)的圖像與原始圖像的相似度略高于RePaint方法修復(fù)的圖像；LPIPS指標(biāo)由0.021 3降到了0.020 1，表明本文方法修復(fù)的圖像與原始圖像在視覺上的相似度也略高于RePaint方法修復(fù)的圖像。總體而言，本文方法在圖像修復(fù)性能上優(yōu)于RePaint方法，尤其是在修復(fù)圖像與真實(shí)圖像分布的相似性上，F(xiàn)ID指標(biāo)上提升了約16.42％。

3.2.2 人臉三維模型修復(fù)效果

在本研究的實(shí)驗(yàn)部分，對(duì)修復(fù)后的人臉三維模型進(jìn)行了評(píng)估，并將其與現(xiàn)有技術(shù)進(jìn)行了比較。具體而言，將修復(fù)結(jié)果與Liepa提出的基于網(wǎng)格的修補(bǔ)方法［1］、Davis等人提出的基于體素的修補(bǔ)方法［4］，以及Wang等人提出的將修補(bǔ)對(duì)象轉(zhuǎn)換為網(wǎng)格的基于曲面定向的孔洞修補(bǔ)方法［6］所得的修復(fù)效果進(jìn)行了對(duì)比分析。評(píng)估指標(biāo)包括豪斯多夫距離（Hausdorff distance）、均方誤差（mean squared error， MSE）和曲面法線差異（surface normal difference， SND）。豪斯多夫距離用于衡量?jī)山M點(diǎn)集間的相似度，通過(guò)計(jì)算兩模型間最遠(yuǎn)點(diǎn)對(duì)的距離來(lái)評(píng)估幾何形狀的相似度，其值越低表示幾何形狀的最大偏差越小。MSE通過(guò)計(jì)算對(duì)應(yīng)點(diǎn)間距離的平方和平均值來(lái)評(píng)估模型表面細(xì)節(jié)的相似度，其值越低表示整體形狀上的平均位置誤差越小。SND則衡量?jī)赡Ｐ捅砻娣ň€間的角度差異，反映表面細(xì)節(jié)的一致性，其值越低表示表面方向的一致性越好。4種人臉三維模型的修復(fù)效果如圖8所示，相應(yīng)的評(píng)估結(jié)果匯總于表2。

實(shí)驗(yàn)結(jié)果揭示了基于體素的三維模型孔洞修復(fù)技術(shù)相較于其他4種修復(fù)技術(shù)在修復(fù)效果上的不足。具體而言，本研究提出的修復(fù)方法在Hausdorff距離指標(biāo)上為0.177 1，略高于基于網(wǎng)格和基于曲率的修復(fù)方法。結(jié)果表明，在修復(fù)模型與原始模型之間的最大偏差方面，本文方法修復(fù)的模型與其他兩種方法相比略有增加。該差異可能源于本文方法采用的是重建而非直接在原始模型上進(jìn)行修復(fù)的策略。此外，本文方法在MSE指標(biāo)上達(dá)到了0.013 0，在SND上達(dá)到了3.257 2，表明在修復(fù)模型與原始模型的整體一致性以及表面細(xì)節(jié)的保持上，本文方法明顯優(yōu)于基于網(wǎng)格和基于曲率的修復(fù)方法。與RePaint方法相比，本文方法在所有3項(xiàng)指標(biāo)上均展現(xiàn)出更優(yōu)的修復(fù)效果。在視覺質(zhì)量方面，本文方法修復(fù)的人臉模型在認(rèn)知上更為自然，而基于網(wǎng)格和基于曲率的修復(fù)方法雖然能夠填補(bǔ)孔洞，但在復(fù)雜面部特征的還原上存在不足。總體來(lái)看，盡管在Hausdorff距離指標(biāo)上略低于基于網(wǎng)格和基于曲率的修復(fù)方法，本文方法在MSE、SSIM指標(biāo)以及實(shí)際視覺效果上均優(yōu)于其他比較方法。因此，可以得出本研究提出的修復(fù)方法在面部三維模型的修復(fù)能力上，尤其是在處理復(fù)雜的面部細(xì)節(jié)和大面積缺失的面部模型方面，明顯優(yōu)于傳統(tǒng)的修復(fù)方法，并且也超越了RePaint方法。

本文提出三維模型孔洞修補(bǔ)方法，在通過(guò)單目人臉重建修復(fù)人臉三維模型的同時(shí)，也能修復(fù)對(duì)應(yīng)的紋理圖像，修復(fù)效果如圖9所示，并以弗雷謝起始距離（FID）、峰值信噪比（PSNR）、感知損失（LPIPS）3種指標(biāo)比較了完整紋理圖像與修復(fù)后的紋理圖像，結(jié)果如表3所示。

實(shí)驗(yàn)結(jié)果表明，本研究提出的方法在紋理圖像修復(fù)方面表現(xiàn)出色。該方法在FID指標(biāo)上為13.656 0，略低于RePaint方法，結(jié)果表明本文方法修復(fù)的紋理圖像在統(tǒng)計(jì)分布上與原始紋理圖像非常接近。此外，本文方法在PSNR指標(biāo)上為21.575 7，高于RePaint方法，進(jìn)一步證實(shí)了本文方法修復(fù)的紋理圖像與原始紋理圖像在像素級(jí)別的相似度較高。在LPIPS指標(biāo)上，本文方法與RePaint方法得分相同，均為0.070 3，表明在視覺感知層面，本文方法修復(fù)的紋理圖像與原始紋理圖像具有較高的相似性。

綜合考慮面部模型的修復(fù)效果以及紋理圖像的修復(fù)效果，可以得出本文提出的三維模型孔洞修補(bǔ)方法在修復(fù)三維模型的紋理圖像方面同樣取得了顯著的成效。這些結(jié)果不僅驗(yàn)證了本文方法在紋理圖像修復(fù)方面的有效性，也進(jìn)一步證明了其在三維模型修復(fù)領(lǐng)域的應(yīng)用潛力。

3.2.3 文物面部三維模型修復(fù)效果

實(shí)驗(yàn)證明，本文方法對(duì)于黃種人人臉模型的修復(fù)取得了較好的結(jié)果，并且實(shí)現(xiàn)了對(duì)三維模型紋理的修復(fù)，表明了基于擴(kuò)散模型的圖像修復(fù)可以應(yīng)用到對(duì)人臉三維模型及其紋理的修復(fù)上。對(duì)于文物面部來(lái)說(shuō)，由于文物長(zhǎng)時(shí)間的掩埋在地下，其表面通常會(huì)出現(xiàn)脫落、缺失或者黏結(jié)泥土等雜質(zhì)的現(xiàn)象，導(dǎo)致在掃描重建面部模型時(shí)出現(xiàn)缺損的情況，使用本文提出的基于擴(kuò)散模型的人臉模型修復(fù)方法對(duì)文物面部進(jìn)行修復(fù)，能夠在對(duì)文物模型孔洞修補(bǔ)的同時(shí)對(duì)斑駁的紋理圖像進(jìn)行修復(fù)，并且擴(kuò)散模型優(yōu)秀的預(yù)測(cè)能力與泛化特性能夠使修復(fù)圖像保持文物面部紋理的特征，同時(shí)應(yīng)用于不同朝代不同特征的文物面部模型修復(fù)上，并且取得了不錯(cuò)的效果，如圖10所示。

4 結(jié)語(yǔ)

1）建立了內(nèi)容豐富的黃種人人臉數(shù)據(jù)集，數(shù)據(jù)集中包含了高質(zhì)量的黃種人人臉圖像，人臉圖像對(duì)應(yīng)的人臉三維模型及其紋理圖像，人類三維模型渲染得到的高保真人臉圖像。

2）提出了一種基于擴(kuò)散模型的文物面部三維模型孔洞修補(bǔ)方法，由于缺乏文物面部三維模型的基準(zhǔn)真值，該方法以在黃種人人臉模型上的修復(fù)效果作為評(píng)估。首先，將殘缺的人臉三維模型渲染成為殘缺的人臉圖像；其次，通過(guò)擴(kuò)散模型修復(fù)殘缺人臉圖像得到修復(fù)完整的人臉圖像；最后，對(duì)該修復(fù)圖像進(jìn)行單目人臉重建得到修復(fù)后的人臉模型。在人臉圖像修復(fù)方面，相較于RePaint方法，本文采用的改進(jìn)的擴(kuò)散模型圖像修復(fù)方法在人臉圖像修復(fù)上取得了更好的結(jié)果。在三維模型修復(fù)方面，相較于基于網(wǎng)格的三維模型孔洞修補(bǔ)方法、基于體素的三維模型孔洞修補(bǔ)方法和基于曲面定向的三維模型孔洞修補(bǔ)方法3種傳統(tǒng)三維模型修復(fù)方法，本文的方法在面部三維模型修復(fù)效果上取得了更出色的結(jié)果，修復(fù)效果更加自然。同時(shí)解決了傳統(tǒng)修復(fù)方法只能修復(fù)三維模型本身而無(wú)法修復(fù)紋理圖像的缺陷，能夠在修復(fù)三維模型時(shí)兼顧修復(fù)紋理圖像，并將其應(yīng)用與文物面部模型的修復(fù)上，修復(fù)了文物的面部模型及其紋理，增加了文物面部模型的真實(shí)性以及表現(xiàn)能力。

參考文獻(xiàn)

［1］ LIEPA P. Filling holes in meshes［C］∥In Proceedings of the 2003 Eurographics／ACM SIGGRAPH Symposium on Geometry Processing. Aachen： ACM， 2003： 200-205.

［2］ 溫佩芝， 雷永慶， 孫夢(mèng)龍. 三維重建網(wǎng)格模型的缺陷孔洞識(shí)別與修復(fù)方法［J］.計(jì)算機(jī)應(yīng)用研究， 2020， 37（4）：1234-1238.

WEN P Z， LEI Y Q， SUN M L. Defect and hole identification and repair methods for 3D reconstructed mesh models［J］.Application Research of Computers， 2020， 37（4）：1234-1238.

［3］ 謝倩茹， 耿國(guó)華. 三維模型孔洞修補(bǔ)方法的研究［J］.計(jì)算機(jī)應(yīng)用研究， 2013， 30（10）： 3175-3177.

XIE Q R， GENG G H. Research on the method of repairing holes in 3D models［J］.Application Research of Computers， 2013， 30（10）： 3175-3177.

［4］ DAVIS J， MARSCHNER S R， GARR M， et al. Filling holes in complex surfaces using volumetric diffusion［C］∥In Proceedings of First International Symposium on 3D Data Processing Visualization and Transmission. Padua： IEEE， 2002： 428-441.

［5］ BISCHOFF S， KOBBELT L. Structure preserving CAD model repair［J］.Computer Graphics Forum， 2005， 24（3）： 527-536.

［6］ WANG X， LIU X， LU L， et al. Automatic hole-filling of CAD models with feature-preserving［J］.Computers ＆ Graphics， 2012， 36（2）： 101-110.

［7］ 劉震， 王艷賓，白麗麗， 等. 曲面細(xì)節(jié)特征保持的三維模型孔洞修復(fù)方法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2016， 28（12）： 2052-2059.

LIU Z， WANG Y B， BAI L L， et al. 3D model hole repair method for preserving surface detail features［J］.Journal of Computer Aided Design and Graphics， 2016， 28（12）： 2052-2059.

［8］ 王鵬飛， 徐敏峰， 辛士慶， 等. 魯棒的水密流形網(wǎng)格修復(fù)［J］. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)， 2024， 36（7）： 1047-1056.

WANG P F， XU M F， XIN S Q， et al. Robust watertight manifold mesh repair［J］.Journal of Computer-Aided Design and Computer Graphics， 2024， 36（7）： 1047-1056.

［9］ HO J， JAIN A， ABBEEL P. Denoising diffusion probabilistic models［J］.Advances in Neural Information Processing Systems， 2020， 33： 6840-6851.

［10］DHARIWAL P， NICHOL A. Diffusion models beat GANs on image synthesis［J］.Advances in Neural Information Processing Systems， 2021， 34： 8780-8794.

［11］RAMESH A， DHARIWAL P， NICHOL A， et al. Hierarchical text-conditional image generation with CLIP latents［EB／OL］.（2022-04-13）［2024-07-02］.https：∥arxiv.org／abs／2204.06125v1.

［12］彭進(jìn)業(yè)， 余喆， 屈書毅， 等. 基于深度學(xué)習(xí)的圖像修復(fù)方法研究綜述［J］. 西北大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2023，53（6）：943-963.

PENG J Y， YU Z， QU S Y， et al. A survey of image inpainting methods based on deep learning［J］. Journal of Northwest University （Natural Science Edition）， 2023，53（6）：943-963.

［13］LUGMAYR A， DANELLJAN M， ROMERO A， et al. RePaint： Inpainting using denoising diffusion probabilistic models［C］∥2022 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans： IEEE， 2022： 11451-11461.

［14］ROUT L， PARULEKAR A， CARAMANIS C， et al. A theoretical justification for image inpainting using denoising diffusion probabilistic models［EB／OL］.（2023-02-02）［2024-07-02］.https：∥arxiv.org／abs／2302.01217v1.

［15］ZHANG G H， JI J B， ZHANG Y， et al. Towards coherent image inpainting using denoising diffusion implicit models［C］∥Proceedings of the 40th International Conference on Machine Learning. Honolulu： ACM， 2023： 41164-41193.

［16］YUE Z S， WANG J Y， LOY C C. Efficient diffusion model for image restoration by residual shifting［EB／OL］.（2024-03-12）［2024-07-02］.https：∥arxiv.org／abs／2403.07319v3.

［17］CORNEANU C， GADDE R， MARTINEZ A M. LatentPaint： Image inpainting in latent space with diffusion models［C］∥2024 IEEE／CVF Winter Conference on Applications of Computer Vision （WACV）. Waikoloa： IEEE， 2024： 4322-4331.

［18］DURRER A， WOLLEB J， BIEDER F， et al. Denoising diffusion models for 3D healthy brain tissue inpainting［C］∥MICCAI Workshop on Deep Generative Models. Cham： Springer Nature Switzerland， 2024： 87-97.

［19］SONG J M， MENG C L， ERMON S. Denoising diffusion implicit models［EB／OL］.（2020-10-06）［2024-07-02］.https：∥arxiv.org／abs／2010.02502v4.

［20］DEJA K， KUZINA A， TRZCINSKI T， et al. On analyzing generative and denoising capabilities of diffusion-based deep generative models［EB／OL］.（2022-05-31）［2024-07-02］.https：∥arxiv.org／abs／2206.00070v1.

［21］ZHANG K， LI Y W， ZUO W M， et al. Plug-and-play image restoration with deep denoiser prior［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（10）： 6360-6376.

［22］ZHU Y Z， ZHANG K， LIANG J Y， et al. Denoising diffusion models for plug-and-play image restoration［C］∥2023 IEEE／CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Vancouver： IEEE， 2023： 1219-1229.

［23］ALEXANDER O， ROGERS M， LAMBETH W， et al. The digital emily project： Photoreal facial modeling and animation［C］∥ACM SIGGRAPH 2009 Courses. New Orleans： ACM， 2009： 1-15.

［24］CAO X， CHEN Z， CHEN A P， et al. Sparse photometric 3D face reconstruction guided by morphable models［C］∥2018 IEEE／CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE， 2018： 4635-4644.

［25］MA W C， HAWKINS T， PEERS P， et al. Rapid acquisition of specular and diffuse normal maps from polarized spherical gradient illumination［C］∥Proceedings of the 18th Eurographics Conference on Rendering Techniques. Grenoble： ACM， 2007： 183-194.

［26］DIB A， THBAULT C， AHN J， et al. Towards high fidelity monocular face reconstruction with rich reflectance using self-supervised learning and ray tracing［C］∥2021 IEEE／CVF International Conference on Computer Vision （ICCV）. Montreal： IEEE， 2021： 12799-12809.

［27］GECER B， PLOUMPIS S， KOTSIA I， et al. GANFIT： Generative adversarial network fitting for high fidelity 3D face reconstruction［C］∥2019 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach： IEEE， 2019： 1155-1164.

［28］GECER B， PLOUMPIS S， KOTSIA I， et al. Fast-GANFIT： Generative adversarial network for high fidelity 3D face reconstruction［EB／OL］.（2021-05-16）［2024-07-02］.https：∥arxiv.org／abs／2105.07474v1.

［29］LATTAS A， MOSCHOGLOU S， GECER B， et al. AvatarMe： Realistically renderable 3D facial reconstruction \"In-the-wild\"［C］∥2020 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle： IEEE， 2020： 760-769.

［30］LEI B W， REN J Q， FENG M Y， et al. A hierarchical representation network for accurate and detailed face reconstruction from in-the-wild images［C］∥2023 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Vancouver： IEEE， 2023： 394-403.

［31］KARRAS T， LAINE S， AILA T M. A style-based generator architecture for generative adversarial networks［C］∥2019 IEEE／CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach： IEEE， 2019： 4401-4410.

（編 輯 張 歡）

基金項(xiàng)目：國(guó)家自然科學(xué)基金（62271393）;文化和旅游部重點(diǎn)實(shí)驗(yàn)室項(xiàng)目（1222000812，cr2021K01）;西安市社會(huì)發(fā)展科技創(chuàng)新示范項(xiàng)目（2024JH-CXSF-0014）;虛擬現(xiàn)實(shí)技術(shù)與系統(tǒng)全國(guó)重點(diǎn)實(shí)驗(yàn)室（北京航空航天大學(xué)）開放基金（VRLAB2024C02）。

第一作者：王崢嶸，男，從事圖像處理研究，2018111136@stumail.nwu.edu.cn。

通信作者：周明全，男，教授，博士生導(dǎo)師，從事智能信息處理、虛擬現(xiàn)實(shí)與可視化研究，mqzhou@bnu.edu.cn。