基于語義先驗和紋理增強引導的壁畫修復算法

中圖分類號：TP391.41 文獻標志碼：A

Abstract：The existing deep learning methods don’tmake fulluse of the prior information such as semantic and texture informationinintactarea of muralrestoration，which results inpoorrestorationresults，soamuralrestoration algorithm based on semantic prior and texture enhancement guidance is proposed.Firstly，a semantic prior learning module is designed，which maps the original mural semantic features to a semantic prior learner through pixel folding operations.Theoriginal semantic features areused to guide the repair of incomplete features，gradually reducing the diference between damaged and original semantic features.Then，a texture enhancement moduleis designed，which enhances texture details by fusing contextual information modules and fusing them to complete the restorationof mural texture features.Finally，anaggregate bootstrap module is designed，which integrates the semantic prior repair and texture enhancement results，decodes them to theoriginal resolution，and completes the repair of damaged murals through adversarial games with Markovdiscriminators.The digital classfication restoration experiment of Dunhuang murals shows that the proposed method outperforms thecomparative algorithm in both subjective and objective evaluations，achieving better restoration results.

Key words：mural restoration； semantic prior；pixel folding；texture enhancement；aggregate bootstrap

敦煌莫高窟壁畫是中國佛教藝術的寶藏遺產，其風格獨特，繪畫技巧精湛，是中華佛教千余年歷史文化的重要載體，具有深厚的文化底蘊和考古學價值].但敦煌莫高窟地處氣候干旱的沙漠地區，受惡劣自然環境等不可抗力因素以及人為因素影響，多數古壁畫出現了霉變、起甲、裂紋、脫落等嚴重的病害問題，嚴重影響觀賞和研究價值.利用數字化圖像修復技術輔助人工修復能夠更好地保護古壁畫文化遺產，已經成為研究的熱點問題[2].

目前，圖像修復方法可以分為傳統方法和深度學習方法.其中，傳統圖像修復方法分為基于物理學傳播擴散修復方法[3-4]、基于塊匹配搜索填充修復方法[5]和稀疏表示修復方法[6].

其中，基于物理學傳播擴散修復方法原理是設置相應能量函數和演化方程，在待修復圖像的已知區域與破損區域邊界上，依據邊緣等照度線、梯度、曲率等衡量像素之間相關性的因子確定像素擴散方向，逐步將已知區域的信息擴散到未知區域以實現破損區域修復.如文獻[7]提出的改進曲率驅動模型的敦煌壁畫修復算法，通過引入自適應控制策略，解決CDD算法中梯度消失的問題.文獻[8]提出了用偏微分方程（partialdifferentialequation，PDE）擴散的方法對壁畫圖像進行降噪修復，提高了修復精度.但該類方法比較適用于小面積像素缺失修復，對于破損區域較大的情況，修復結果通常存在破損殘留的現象，無法徹底擴散至破損區域中心完成修復.

基于塊匹配搜索填充修復方法思想是通過在破損區域鄰域內依據匹配準則迭代式搜索相似樣本塊，從其鄰域中提取像素值的向量作為補丁，直至達到設置的迭代次數或破損區域填充完成.如文獻[9]針對Criminisi算法在對壁畫修復時存在結構傳播錯誤和塊效應問題，提出了一種基于邊緣缺失結構重構和改進優先權的壁畫圖像修復算法.文獻[10]提出了一種改進的塊匹配五臺山壁畫修復算法，通過引入相似度計算，減少塊匹配錯誤的問題，取得了較好的修復效果.但該類方法對于大面積破損補丁塊搜索匹配需要較多的計算資源，且無法獲取圖像整體語義信息，所以修復結果容易引人修復偽影、匹配重復等問題.

稀疏表示修復方法是在過完備字典上計算破損塊的稀疏編碼，從而將稠密樣本轉化為模型復雜度較低的稀疏表達形式，借助稀疏編碼和過完備字典對受損區域進行重構.如文獻[11]提出了一種結合全局一致性與局部連續性的壁畫修復方法，分別對壁畫全局信息和局部信息進行修復，較好地解決了在壁畫修復時出現的紋理錯誤填充、結構不連續等問題.文獻[12]針對稀疏表示在壁畫圖像修復時，未考慮壁畫結構信息與紋理信息的差異性，導致修復結果易出現紋理模糊和結構線條斷裂等問題，提出了一種基于多尺度輪廓波分解的群稀疏壁畫修復算法，根據壁畫圖像特征進行分解修復，然后融合，最后取得了較好的修復效果.但該類方法對于待修復區域比較大、色彩濃烈的壁畫圖像，容易出現結構塊效應、紋理模糊等問題.

深度學習類圖像修復借助于強大的特征學習能力，通過學習壁畫圖像語義特征完成修復[13].根據修復策略不同可將深度學習類修復模型分為：基于編解碼器的修復方法、基于卷積神經網絡（convolu-tionalneuralnetwork，CNN）的修復方法、基于生成對抗網絡（generativeadversarial networks，GAN）的修復方法.

其中，基于編解碼器的修復方法主要由編碼-解碼器構成，編碼器端負責將原始圖像信息壓縮變換為潛在空間中涵蓋關鍵特征的表征向量，然后解碼器將其作為輸人特征，通過逐層解碼逼近還原原始圖像的信息分布.如文獻[14]在編碼網絡基礎上提出一種添加局部判別器的雙判別模型，提高模型細節修復能力.文獻[15]提出了一種基于多級解碼網絡的圖像修復算法，通過注意力轉移匹配機制來提高模型修復性能，但該方法在并聯注意力傳遞匹配信息過程中未實現像素級修復.文獻[16]提出一種漸進式解碼器和梯度引導模塊，結合梯度傳遞模塊和多尺度特征生成聯合編碼來逐步填充并細化修復區域，但該方法未充分考慮語義先驗信息，易出現結構扭曲的問題.文獻[17]針對中國古畫圖像修復后結果圖像內容不一致、存在明顯人工痕跡、修復區域的細節信息丟失等問題，提出利用繪畫圖像的多級語義特征漸進式地修復中國古畫的算法，分別從宏觀、中觀、微觀角度對壁畫進行修復.文獻[18]提出了一種基于生成模型的古壁畫非規則破損部分修復方法，采用自編碼器結構對壁畫進行特征提取并通過基于反卷積的解碼器完成修復，但該方法未充分考慮壁畫的紋理細節信息，導致修復結果存在細節缺失的問題.

卷積神經網絡通常利用卷積、池化操作對輸入圖像進行特征提取、選擇和信息過濾，實現圖像特征映射，然后利用反饋傳播機制持續優化權重，以減小修復結果與原始像素的差異.如文獻[19]采用基于超圖卷積的雙階段圖像修復方法，在判別器中引入門控卷積增強修復結果的局部一致性，但該方法修復結果中存在紋理模糊的問題.文獻[20]提出全分辨率殘差修復模型，但該方法在顏色空間轉換時易造成細節丟失.文獻[21]設計周期特征推理模塊迭代填充修復，但該模塊在特征提取時通過級聯標準卷積層進行編解碼，缺乏對像素信息的有效預測和控制，易引入無效像素參與修復過程導致棋盤效應與紋理模糊的現象.文獻[22]提出一種多級交互的高保真圖像修復算法，采用多級交互式孿生濾波器和自適應損失函數在交互過程中實現對缺失部分的重建，但該算法修復結果語義一致性欠佳，存在不明色塊、像素暈染的現象.文獻23]針對壁畫修復時，未充分考慮破損區域與完好區域信息的一致性，提出了一種聯合特征推理和語義增強的漸進式壁畫修復算法，較好解決了邊界效應和紋理模糊的問題.文獻[24]提出一種融合動態特征選擇和像素級通道注意力的壁畫修復模型，采用有效可遷移卷積模塊提升對特征的捕獲能力，并設計像素級通道注意力模塊增強模型對特征的學習能力，取得了較好的修復效果，但該方法在修復過程中未考慮壁畫圖像的全局語義信息，導致修復結果存在語義錯誤的問題.

生成對抗類修復網絡是利用生成器和判別器之間的對抗性訓練，使生成器具備修復損壞圖像能力的網絡.如文獻[25]提出了雙生成對抗網絡聯合進行結構預測和圖像補全的分級修復算法，但其重構過程中易出現局部紋理模糊的問題.文獻[26]提出遞進重建視覺結構網絡，采用單生成器進行線條顏色雙階段修復，但該方法修復結果存在語義偏差的問題.文獻[27]提出不完整輪廓擬合引導缺失區域修復的方法，但其修復過程側重于邊緣結構而缺乏語義引導，導致修復結果易出現局部混亂的現象.文獻[28]引入兩階段修復模型，先通過粗略預測再進行精修復，但該方法會因缺乏有效信息引導導致修復結果出現結構扭曲的問題.文獻[29]提出預測卷積和深度特征生成網絡聯合修復的方法，通過預測卷積分支細化圖像，并結合深度特征生成網絡進行破損的內容修復，但該模型僅在輸出端優化融合，未考慮內部結構特征細化，導致修復結果提升不明顯.文獻[30]提出了一種基于邊緣生成引導修復的雙階段模型，但該方法未充分考慮語義一致性，結果存在局部模糊的現象.文獻[31提出一種圖像紋理結構特征相互約束的圖像修復算法，采用條件紋理生成器和條件結構生成器的雙重特征生成策略，根據圖像上下文和缺失區域的信息生成紋理和結構信息，但該算法修復結果仍存在像素模糊的問題，

綜上所述，針對現有深度學習方法修復壁畫過程中，未充分利用完好區域壁畫語義和紋理等先驗信息引導壁畫修復，導致修復結果欠佳的問題，提出了一種基于語義先驗和紋理增強引導的壁畫修復算法.主要工作如下：

1）設計語義先驗學習模塊，將原始壁畫的語義特征和破損壁畫特征映射到語義先驗學習器，并利用原始語義特征引導殘缺特征修復.2）構建紋理增強模塊，提取原始壁畫上下文信息并融合，得到增強后紋理特征.3）設計聚合引導模塊，將語義先驗修復結果和增強紋理特征進行融合并解碼后，通過與馬爾可夫判別器對抗博弈，完成破損壁畫修復.

1本文方法

1.1網絡整體架構

敦煌壁畫各類別間特征各異、線條結構復雜、紋理豐富.但現有大多數壁畫修復模型通常在修復過程中缺乏紋理像素、語義結構等有效先驗信息引導，致使修復結果易出現語義紊亂、紋理偽影等，導致修復效果不佳.因此，本文提出一種基于語義先驗和紋理增強引導的壁畫修復算法.該網絡基于生成對抗模型，其中，生成器主要包括像素折疊模塊、語義先驗學習模塊、紋理增強模塊、聚合引導模塊四部分，判別器采用譜歸一化馬爾可夫判別器.所提方法整體網絡模型如圖1所示.

Fig.1 Model framework of proposed method

模型工作時，首先，將待修復壁畫輸入語義先驗學習模塊，通過編碼器分別提取破損壁畫的壁畫語義特征，在提取過程中采用像素折疊操作[32]，將原始像素張量逐層折疊成小尺寸像素張量，保留折疊過程中像素的完整性，從而保證壁畫語義特征提取的完整性.其次，調整殘缺語義特征和完整語義特征尺寸，以適應語義學習器的輸入維度，并在語義先驗學習模塊中引入先驗損失，利用完整特征引導殘缺特征進行修復，并將修復后的特征在解碼變換過程中逐層展開，完成語義特征修復.然后，采用紋理增強模塊設定不同膨脹率提取原始壁畫的上下文信息并將其融合，形成壁畫增強紋理特征.最后，采用聚合引導模塊將語義特征和增強紋理特征進行融合并引入馬爾可夫判別器進行對抗訓練，最后輸出修復后的壁畫圖像.

1.2像素折疊

在圖1中，為解決現有深度學習修復模型特征提取降維過程中存在細節像素丟失問題，本文在提取過程中引入像素折疊操作，將原始像素張量逐層折疊成尺寸較小的像素張量，折疊過程中減小壁畫尺寸的同時保持折疊像素完整性，保留像素級先驗知識用于特征修復過程，最大限度地利用不同尺寸的先驗知識，以保證完整提取殘缺特征和完整語義特征.像素折疊過程由折疊、展開兩個操作組成，其中，折疊操作在空間上將像素張量分解為多個局部像素塊，并將每個塊折疊成尺寸較小但通道數增加的張量.在提取到壁畫語義特征后，對折疊后的低維張量進行展開操作，恢復原始通道數的像素塊，從而完成初步語義修復.像素折疊和展開過程如圖2所示.

圖2像素折疊過程圖

Fig.2Schematic diagram of the pixel folding process

圖2中像素折疊時，首先獲取破損壁畫張量的像素坐標 （x，y） 及其傅里葉特征，每個像素點的傅里葉特征基于像素坐標 （x，y） 計算得出，并通過可學習的權重矩陣和正弦激活函數進行變換，用于保存空間信息并捕獲像素之間的關系，通過結合傅里葉特征和坐標嵌人獲得像素張量的初始值，給定像素點（x，y） 處的傅里葉特征 e_fo（x，y） ，由式（1）可得：

e_fo（x，y）=sin[B_fo（x^′，y^′）^T]

式中： 為張量維度， B_fo∈R^2×d 為投影權重矩陣.坐標嵌入為參數化向量，記為 e_fo（x，y）∈R^d ，然后將二者連接起來并投影得到新像素張量，表示為 S_i∈R^H×W×d i=1，2 ，其中 S₁ 為初始化的殘缺像素張量， S₂ 為初始化后的完整像素張量.

接著將大尺寸像素張量投影到低維空間中，然后將維度為 2×2 的局部像素塊串聯起來，縮小尺寸形成分辨率較小的新張量，特征維度縮小至原始張量的一半，且特征數目增加為初始特征的4倍.通過執行像素折疊操作完成下采樣過程且沒有丟失原始壁畫輸入的細節信息，在減小張量分辨率的同時，保持折疊像素塊的完整性.將折疊后的特征張量記為 ，其中 k 為折疊尺度.通過從特征維度對輸入壁畫進行兩次像素折疊操作，將高維空間張量折疊為低維空間張量，形成壁畫語義結構特征.

1.3語義先驗學習模塊

在完成像素折疊操作后，為減小壁畫語義修復的誤差，本文設計語義先驗學習模塊，采用多分支編碼器分別學習破損壁畫的全局上下文語義特征和完好壁畫的完整先驗特征，同時引入先驗損失，在完好壁畫的完整語義先驗監督下引導破損壁畫進行語義結構修復，減小語義重構誤差，使生成結果逐步逼近原始壁畫特征.語義先驗學習過程如圖3所示.

圖3語義先驗學習模塊

Fig.3 Semantic prior learning process module

圖3中，首先對輸入破損壁畫獲取張量內的像素坐標，保存其空間內各像素點的完整信息，形成殘缺語義提取編碼器 E^s 的輸入 I_?m 和 M ，通過兩次像素折疊操作提取殘缺語義特征 ，其維度為 d ，并將其作為初步語義先驗信息，其提取過程如式（2）所示：

S_?m=E^s（I_?m，M）

同時在另一分支提供原始壁畫作為完整語義提取編碼器的輸入，同樣經過兩次張量折疊操作將完整壁畫語義特征映射為完整語義張量S，其維度與殘缺語義特征張量相同.接著采用 1×1 卷積操作調整殘缺語義特征 S_m 和完整語義張量 s 尺寸，使其滿足語義學習器的維度，其公式如式（3）和式（4）所示：

S_m^′=Conv_1×1（S_m）

S^′=Conv_1×1（S）

為使殘缺特征 逼近完整語義張量 S^′ ，本文在語義學習器中引人缺失區域約束的先驗重建損失函數 L_prior（S_m^′，S^′） 作為語義先驗的監督，逐步縮減殘缺語義特征 S_m^′ 的重構誤差，得到破損壁畫在完整先驗語義特征引導下修復的特征 F_rec ，重構特征 F_rec 的生

成過程如式（5）所示.

$F _ { _ ＼mathrm { r e c } } = | | ＼ r （ S ^ { ＼prime } - S _ { _ m } ^ { ＼prime } ） ＼odot ＼rrangle ＼rrangle ＼rrangle + ＼alpha M _ { s } ） | | _ { _ 1 }$

式中： ? 表示Hadamard乘積算子； α 表示缺失掩膜 M_s 的附加權重參數； M_s 為與 S^′ 具有相同空間大小的調整掩膜.

最后將語義重構特征 F_rec 輸入至聚合引導模塊中，初步完成破損壁畫的語義特征修復，等待紋理特征引導并將二者聚合，完成紋理增強修復.

1.4紋理增強模塊

在語義修復基礎上，為了減小紋理細節失真程度，本文提出了紋理增強模塊（textureenhancementmodule）來增強紋理特征，如圖4所示.紋理增強模塊首先通過編碼器進行特征提取，然后通過紋理增強模塊對壁畫有效區域進行多尺度特征密集提取，并將提取到的上下文信息融合形成紋理細節特征，通過利用先驗信息指導紋理語義修復結果的合成，引導完成紋理增強修復過程，減小修復過程中的細節誤差.

首先將輸人壁畫特征 X_i 轉換為 X₁ 和 X₂ 兩個分量，對于 X₁ 分量將膨脹率設置為1，采用卷積核維度為 3×3 的標準卷積和Sigmoid激活函數對其進行計算得出其映射輸出結果 X_o1 ，其過程可表述為：

圖4紋理增強模塊結構圖

X_o1=Sigmoid（Conv_3×3（X_i））

然后，將輸入部分劃分為四個子集作為 X₂ 分量的輸入，各子集記為 X_j. 由于較大膨脹率可使卷積核提取輸入壁畫圖像的較大范圍局部區域信息，較小膨脹率的卷積核則集中于感受域較小的局部區域，因此，為全面捕獲壁畫細節特征，本文對各子集設定不同膨脹率對其進行不同變換，將不同感受野提取到的上下文信息進行串聯整合，形成紋理增強特征，然后通過標準卷積進行特征融合以產生輸出特征 X_o2

最后，對輸出紋理特征分量 X_o1 和 X_o2 進行加權求和，得到最終的紋理增強特征 F_t

F_t=X_o1?X_o2+X_i?（1-X_o1）

1.5聚合引導模塊

得到增強紋理特征后，由于壁畫紋理特征 F_t 和語義結構特征 F_s 有不同的特征側重點，如果直接將二者拼接融合易導致壁畫生成修復偽影，為有效融合壁畫語義特征和紋理增強特征，最大化利用先驗紋理特征引導完成細節修復，本文設計聚合引導模塊（aggregate bootstrap module，ABM），保證壁畫破損區域的修復結果具有更合理的像素分布，該模塊由負責融合結構特征和多尺度紋理特征的Spade殘差塊[33]級聯構成.聚合引導模塊示意圖和Spade殘差塊結構細節圖如圖5所示.

Fig.4Texture enhancementmodule

圖5聚合引導模塊

Fig.5Aggregate bootstrap module

圖5中，首先通過紋理增強模塊和語義先驗學習模塊分別獲取壁畫紋理特征 F_t 和語義結構 F_s 特征，然后經過聚合引導模塊輸出融合后的壁畫特征，為自適應融合語義特征和紋理特征，將聚合引導模塊設計為平行分支，其中第一分支由兩級殘差塊級聯構成，殘差塊內部結構為Spade模塊、ReLU激活函數和卷積核為 3×3 的卷積層，另一分支則采用一級殘差塊進行特征融合.其中，Spade模塊結構圖如圖6所示.

圖6中，首先對輸人的語義結構特征 F_s 進行卷積操作，設置卷積核為 3×3 、步長為1、邊緣填充參數為1，分別采用兩層卷積層依次學習正則化層中的仿射參數一縮放因子 γ 和偏移量 β ，接著通過二維非參數實例歸一化對語義結構特征 F_s 進行歸一化，并使用縮放因子和偏移量參數對紋理特征 F_t 進行仿射變換，計算過程見式（9）和式（10）.

圖6Spade結構圖Fig.6 Spade structure diagram

[γ，β]=Spade[F_s]

F_t^′=γ?IN（F_t）+β

式中：仿射變換參數 γ，β 以及融合后壁畫特征 F_t^′ 均 （20

為維度為 的張量；IN為非參數實例歸一化

操作.

最后，將輸出特征 F_t^′ 輸人解碼器中，將紋理細化后的特征恢復到原始分辨率，得到修復后的壁畫圖像 I_out

1.6譜歸一化馬爾可夫判別器

判別器網絡用于判別輸入壁畫是否為原始壁畫圖像，通過二者對抗訓練改善修復結果中的偽影現象，以提升完好區域與破損區域的特征一致性.本文采用譜歸一化馬爾可夫判別器.判別器由4層標準卷積構成，將壁畫修復結果和原始壁畫作為判別器的輸入共同參與卷積過程，過程中特征圖空間大小逐層減半，最后輸出壁畫修復結果圖.修復結果可以表示為：

z=I_gt?（1-m）+G（I_gt?（1-m），m）?m

原始壁畫圖像記為 I_gt ，對應掩膜為 m，? 為像素級點乘，G表示判別器操作.

1.7損失函數

本文使用 L_prior 先驗損失 ?L_rec 重構損失和 L_adv 對抗損失來引導網絡優化，提高壁畫修復模型精度，增強壁畫修復結果中結構和紋理細節.

其中， L_prior 先驗損失是指壁畫修復結果和原始先驗像素間的差異總和 .L_prior 損失值越小，壁畫修復結

果和原始圖像之間的差異越小，說明修復結果更接 近原始壁畫，公式如式（12）所示.

L_prior=|（I_gt-I_out）?（1+αM）|₁

L_rec 重構損失通過計算修復圖像和真實壁畫特征的Gram矩陣之間的L1距離，衡量修復后壁畫圖像與原始壁畫圖像之間的特征差異，其公式如式（13）所示.

L_rec=|I_gt-G（x?（1-m），m|₁

L_adv 對抗損失通過模擬各種噪聲使模型在訓練過程中生成與真實樣本非常相似的“對抗樣本”，從而更好地處理未知數據.通過最小化對抗損失，生成更加真實的壁畫修復圖像，其計算公式如下：

E_{Iout～pcomp（Iout）}[log（1-D（I_out））]

式中： min_G 表示最小化生成器的結果； max_D 表示最大化判別器的結果； P_{data（Igt）} 表示真實壁畫圖像的分布；Pcomp表示修復壁畫圖像的分布.

2實驗結果與分析

2.1實驗環境與數據集

為驗證所提方法的有效性，下面進行對比實驗，對比實驗軟硬件環境相同.軟件環境為Windows10，Python3.6以及PyTorch1.1搭建，硬件環境為Inteli7-1070OKCPU，32.0GBRAM，NVIDIAGeForceRTX2060SUPER.采用評價準則峰值信噪比和結構相似性進行客觀評價，并與文獻[19]紋理結構約束修復方法、文獻[21]循環特征推理修復算法、文獻[22]多級交互修復算法和文獻[25]邊緣引導修復方法進行對比.本文采用自制敦煌壁畫數據集進行對比實驗，采用數據擴充技術形成15000張壁畫數據集，其中訓練數據集9000張，測試集3000張，驗證集3000張.

2.2人為添加隨機破損實驗

首先進行不規則隨機人為破損修復對比實驗，如圖7所示.其中圖7（a）為原始圖像，圖7（b）為掩膜圖像，圖7（c）～圖 7（g） 為不同方法修復結果.圖7（f）為文獻25邊緣連接修復結果，可以看出該方法對壁畫結構有一定的擬合能力，但在修復過程中缺乏語義特征引導，導致修復結果中易出現像素模糊的問題，存在明顯的修復印痕.如第1幅佛像菩薩手部、橫笛及手腕處均出現塊效應及結構缺失；第2幅壁畫佛像袈裟處出現像素暈染紋理模糊的問題.圖7（d）為文獻[21]循環特征推理算法修復結果，該方法具備推理重構破損信息的能力，但其采用普通卷積進行編解碼，編碼過程中易引人無效像素，導致其結果中存在結構紊亂、棋盤格效應等視覺偽影問題.如第3幅壁畫存在預測結構缺失及棋盤格偽影等問題；第4幅有細節紋理生成，但菱形輪廓存在錯位的現象；第5幅小面積破損結構預測較符合預期，但欠缺紋理細節信息.

圖7（c）為文獻[19]紋理結構約束修復結果，該算法對于小面積破損修復效果良好，但對于第4幅佛像臉部較大面積的破損情況存在結構未恢復完全和邊緣暈染現象.圖7（e）為文獻22多級交互修復算法修復結果，可以看出該方法在細節處易出現錯位偏移、暈染情況，易產生與先驗信息違和的不明色塊.如第1幅壁畫菩薩手部出現黃色印記；第2幅菩薩耳環出現紫色不明色塊的問題.圖7（g）為本文算法修復結果，相較于對比算法，本文算法修復結果視覺效果相對合理，達到了邊緣結構清晰合理的修復效果.如第1幅壁畫的線條擬合程度較高，較好地修復了手指輪廓及橫笛結構信息，第5幅壁畫發髻和飄帶線條擬合較為流暢自然，較對比算法修復結果視覺一致性更高.

圖7人為添加破損壁畫修復實驗結果對比圖

Fig.7Comparison of repair experiments results for artificial broken murals

下面采用客觀評價指標峰值信噪比PSNR和結構相似度SSIM對圖7壁畫修復結果進一步進行客觀定量評價，結果見表1.PSNR值和SSIM值均越大越好.從表1得出，本文算法在PSNR和SSIM上整體優于其他對比算法，表明本文方法修復質量更好.

2.3真實破損壁畫修復

為進一步驗證本文算法有效性，選取五組真實破損壁畫進行修復實驗，不同方法修復結果如圖8所示.其中，圖8（a為原始圖像，圖8（b為掩膜圖像，圖8（c）～圖8（g）分別為對比方法和本文算法的修復結果.對于第1幅壁畫“觀無量壽經變局部圖”中葉子邊緣存在的破損，文獻19修復后印痕明顯且修復不徹底，文獻[22]破損未妥善修復，而本文算法整體修復結果合理性相對較高.對于第2幅壁畫“彌勒經變之盥洗局部圖”，文獻[25]和文獻[21]的臉部線條均出現缺口斷裂的現象，本文算法修復結果的佛像脖頸處線條連續性較好.對于第3幅壁畫“榆林25窟·彌勒經變之三會說法局部圖”，文獻[21]循環特征推理算法出現修復印痕及棋盤效應，文獻[22]修復結果結構線條未妥善銜接，本文算法修復結果邊緣較平整.對于第4幅壁畫“榆林25窟·九品行生局部圖”，文獻[19]和文獻[22]方法修復后佛光處及袈裟破損殘留較多，本文算法的佛光結構流暢連貫.對于第5幅“藻井局部圖”，文獻[21]未能完全完成修復，文獻[25]修復后存在破損邊緣，出現鋸齒效應，較對比方法，所提算法色彩一致性和結構連續性更為合理，

表1不同算法隨機破損壁畫修復結果的PSNR和SSIM對比

Tab.1 Comparison of PSNRand SSIMforrepairing randomly damaged murals using different algorithms

圖8真實破損壁畫修復實驗對比圖

Fig.8Comparison of repair experiments for real broken murals

為進一步直觀觀察對比不同算法的修復效果，選取上述實驗中人為破損修復結果第1幅佛像圖和第3幅紋樣圖，以及真實破損修復結果第4幅圖進行局部放大比較，如圖9所示.由第1幅局部放大比較圖可以看出，文獻19]和文獻[21算法的修復結果中佛像手部均存在紋理模糊、結構紊亂的現象，文獻[22]算法修復結果的紅框中存在明顯印痕現象，而本文方法較好地重構了手部結構.對于第2幅壁畫放大圖像，文獻[25]算法的修復結果存在結構紊亂的問題.對于第3幅壁畫佛像圖像的佛光破損部分，文獻[19]和文獻[21]方法未能有效擬合破損佛光輪廓，存在不同程度的斷裂問題.相較于對比實驗，所提方法通過設計的語義先驗學習和紋理增強模塊，較好地完成了壁畫修復，更符合視覺一致性.

2.4不同壁畫修復算法隨機破損修復實驗

最后，在完成上述基本修復算法實驗對比后，為進一步驗證所提方法對古壁畫修復的有效性，選取文獻[11]全局一致性與局部連續性的壁畫修復方法、文獻[12]多尺度輪廓波分解的群稀疏壁畫修復算法和文獻23聯合特征推理和語義增強的漸進式壁畫修復三種同類壁畫修復算法進行對比，實驗比較結果如圖10所示.其中圖10（a）為原始圖像，圖10（b）為掩膜圖像，圖10（c）～圖10（f為不同方法修復結果.圖10（c）為文獻[11]全局一致性與局部連續性算法修復結果，從修改結果可以看出，該方法對于較大面積破損壁畫修復后存在明顯的模糊問題.這是因為該算法采用線描結構圖作為引導信息并通過加權結合全局與局部鄰域進行修復，但在較大面積破損壁畫區域時，該方法無法有效利用線描結構引導信息完成修復，易出現明顯紋理暈染模糊的問題，如第1幅壁畫存在大面積模糊痕跡，結構不清晰且視覺效果較差.圖10（d）為文獻[12]多尺度輪廓波分解的群稀疏壁畫算法修復結果，該算法將破損壁畫分為低頻與高頻子帶，分別進行針對性修復，能夠有效弱化群稀疏算法的塊模糊現象，但對于待修復區域較大、色彩濃烈的壁畫圖像，容易出現塊效應，如第1幅壁畫佛像右側存在結構塊效應現象.圖10（e）為文獻[23]聯合特征推理和語義增強的漸進式壁畫修復結果，該方法相比于前兩種方法，修復結果相對較好，但仍存在修復語義不合理的問題，如第1幅壁畫佛像右側眼晴未能完全恢復，第3幅藻井壁畫中穹頂圓形輪廓未能完成重構.這是因為該方法在古壁畫修復時，考慮

圖10不同壁畫修復算法隨機破損實驗結果對比圖

Fig.1O Comparison of experimental results of random damage using different mural repair algorithms

公N園oooooo（a）原始圖像 （b）掩膜圖像 （c）文獻[11] （d）文獻[12] （e）文獻[23] （f）本文算法了到破損區域與完好區域信息的一致性，采用部分卷積在特征編碼過程中屏蔽無效像素，在特征推理基礎上聯合語義增強進行語義推理和紋理細節遷移，該算法具備推理重構破損信息的能力，壁畫修復效果相關較好，但對于微小細節區域，該方法在漸進推理時采用余弦相似度計算的方法，易出現計算誤差，導致修復后結果會出現語義偏差的問題.圖10（f為本文算法修復結果，可以看出，所提方法修復后整體視覺效果相對合理，與原始語義契合誤差較小，如第1幅佛像壁畫語義恢復程度較高，第2幅飛天菩薩飄帶線條流暢，較好地修復結構輪廓.其原因為，本文所提方法利用原始語義特征引導殘缺特征修復，并設計紋理增強模塊提升紋理細節修復，能夠有效完成古壁畫破損區域修復.

下面繼續采用PSNR和SSIM對圖10壁畫修復結果進行客觀定量評價，結果見表2.從表2得出，本文算法在PSNR和SSIM上略高一些，表明本文方法修復的有效性.

表2不同壁畫修復算法隨機破損修復結果的PSNR和SSIM對比

'ab.2ComparisonofPSNR and SSIMforrandom damage repair results of diferent mural repair algorit

2.5消融實驗

為進一步分析本文算法各模塊的有效性，分別選取飛天類、紋樣類壁畫共2幅進行消融實驗，如圖11所示.其中，模型I僅增加語義先驗模塊，模型Ⅱ僅增加紋理增強模塊，模型Ⅲ則為本文算法.由圖11實驗結果可知：模型I保留語義先驗，通過原始語義監督引導修復，能夠基本恢復待修復壁畫的語義信息，如第1幅飛天類壁畫修復結果，菩薩面部輪廓、項鏈、祥云結構恢復效果相對較好，修復結果較符合壁畫的原始語義特征，但其結果中仍存在細節信息丟失的問題，如菩薩面部右側出現了紅色塊、佩戴項鏈出現了鈴鐺顏色細節錯誤的問題（綠色鈴鐺錯誤恢復為紅色）.模型Ⅱ僅增加紋理增強模塊，從修復結果可以看出，修復結果較好保留了壁畫的細節信息，如菩薩鈴鐺較好地完成了細節修復.但對于第2幅紋樣類壁畫修復結果，模型I邊框綠色和褐色色塊均成功恢復，但色塊銜接紋理細節紊亂，而模型Ⅱ未恢復出綠色色塊.模型Ⅲ同時加入語義先驗模塊和紋理增強模塊，兼顧語義引導修復和紋理細節修復，修復結果綜合性較高，更加符合視覺一致性.

下面繼續采用PSNR和SSIM對圖11各模型消融實驗修復結果進一步進行客觀定量評價，結果見表3.從表3數據得出，所提方法將語義先驗和紋理增強模塊共同結合后修復效果評價指標更優.

表3消融實驗修復結果的PSNR和SSIM對比

Tab.3ComparisonofPSNRand SSIMin the repair resultsof ablation experiments

3結論

針對現有深度學習方法修復壁畫過程中，缺少紋理信息與語義先驗信息的聯合引導，未充分利用完好區域壁畫紋理和語義等先驗信息引導壁畫修復，導致修復結果欠佳的問題，提出一種基于語義先驗和紋理增強引導的壁畫修復算法.首先，設計語義先驗學習模塊，通過像素折疊操作和語義先驗學習，縮減了殘缺特征與原始語義特征的差異.然后，設計紋理增強模塊，通過融合上下文信息模塊提取紋理細節并將其融合，實現破損區域的紋理增強修復，提升了壁畫修復的精細度.最后，設計聚合引導模塊，將語義特征和紋理增強后的特征融合并解碼至原始分辨率，采用譜歸一化馬爾可夫判別器進行對抗博弈完成壁畫修復.數字化修復實驗結果表明，所提方法取得了更好修復效果.

參考文獻

[1]付心儀，麻曉娟，孫志軍．破損壁畫的數字化復原研究：以敦 煌壁畫為例[J]．裝飾，2019（1）：21-27. FUXY，MAXJ，SUN ZJ.Digital restoration of damaged murals： based onDunhuangmurals[J].Artamp;Design，2019（1）：21-27. （in Chinese）

[2] 付心儀，李巖，孫志軍，等．敦煌莫高窟煙熏壁畫的數字化色 彩復原研究[J].敦煌研究，2021（1）：137-147. FUXY，LIY，SUNZJ，etal.Digitalcolorrestoration of soot covered murals in the Mogao Grottoes at Dunhuang[J].Dunhuang Research，2021（1）：137-147.（in Chinese）

[3] SHUMBHAMKW，SHREYARH，SNEHAST，etal.Image inpaintingusingtotal variationalgorithm[J].International Journal ofInnovativeResearchinEngineering，2022，3（3）：101-105.

[4] LIUHS，CAO ST，LINGYY，etal.Inpainting for saturation artifactsinoptical coherence tomographyusingdictionary-based sparserepresentation[J]．IEEE PhotonicsJournal，2021，13（2）： 3900110.

[5] YANG T，ZHAO JH. An improved method of CRIMINISI algorithm[C]//2O21 3rd International Conference on Advancesin Computer Technology，Information Science and Communication （CTISC）.Shanghai， China. IEEE，2021：367-371.

[6]WANG H，LI QQ，JIA S． A global and local feature weighted method for ancient murals inpainting[J]. International Journal of Machine Learning and Cybernetics，2020，11（6）：1197-1216.

[7］陳永，艾亞鵬，郭紅光．改進曲率驅動模型的敦煌壁畫修復算 法[J]．計算機輔助設計與圖形學學報，2020，32（5）：787-796. CHEN Y，AI Y P，GUO HG. Inpainting algorithm for Dunhuang mural based onimproved curvature-driven diffusion model[J]. Journal of Computer-Aided Designamp; Computer Graphics，2020， 32（5）：787-796.（in Chinese）

[8］李麗，高若婉，梅樹立，等.基于Shannon-Cosine小波精細積 分法的壁畫降噪修復方法[J].浙江大學學報（理學版），2019， 46（3）： 279-287. LIL，GAORW，MEI SL，etal.Mural image de-noisingbased on Shannon-Cosine wavelet precise integration method[J]. Journal of Zhejiang University（Science Edition），2019，46（3）： 279-287.（in Chinese）

[9］陳永，陳錦，艾亞鵬，等．基于邊緣缺失重構和改進優先權的壁 畫圖像修復[J]．激光與光電子學進展，2021，58（24）： 2410009. CHENY，CHEN J，AIYP，et al. Mural image inpainting based on edge missing reconstruction and improved priority[J].Laseramp; Optoelectronics Progress，2021，58（24）：2410009.（in Chinese）

[10］焦莉娟，王文劍，李秉婧，等.改進的塊匹配五臺山壁畫修復 算法[J]．計算機輔助設計與圖形學學報，2019，31（1）： 118-125. JIAOLJ，WANGWJ，LIBJ，et al.Wutai mountain mural inpainting based on improved block matching algorithm[J]. Journal of Computer-Aided Design amp; Computer Graphics，2019， 31（1）：118-125.（in Chinese）

[11］王歡，李利，李慶，等．一種結合全局一致性與局部連續性的壁 畫修復方法[J]．湖南大學學報（自然科學版），2022，49（6）： 135-145. WANGH，LIL，LIQ，et al.A global uniform and local continuity repair method for murals inpainting[J].Journal of Hunan University（Natural Sciences），2022，49（6）：135-145. （in Chinese）

[12］陳永，趙夢雪，陶美風．多尺度輪廓波分解的群稀疏壁畫修復 算法[J]．西安電子科技大學學報，2022，49（6）：120-128. CHENY，ZHAO M X，TAO MF. Mural inpainting algorithm for groupsparsebased on multi-scalecontourlet transform decomposition[J]. Journal of Xidian University，2O22，49（6）： 120-128.（in Chinese）

[13]QIN J，BAI H H，ZHAO Y.Multi-scale atention network for image inpainting[J]. Computer Vision and Image Understanding， 2021，204：103155.

[14］IZUKA S，SIMO-SERRA E，ISHIKAWA H. Globally and locallyconsistent image completion[J]．ACM Transactions on Graphics，2017，36（4）： 1-14.

[15］劉微容，米彥春，楊帆，等．基于多級解碼網絡的圖像修復 [J]．電子學報，2022，50（3）：625-636. LIU WR，MIYC，YANGF，et al.Generative image inpainting with multi-stage decoding network[J].Acta Electronica Sinica， 2022，50（3）：625-636.（in Chinese）

[16]HOU S，DONG X C，YANG C C，et al.Image inpainting via progressive decoder and gradient guidance[J]． Complexamp; Intelligent Systems，2024，10（1）： 289-303.

[17］趙磊，林思寰，林志潔，等.中國古畫漸進式多級特征修復算 法[J].計算機輔助設計與圖形學學報，2023，35（7）：1040- 1051. ZHAOL，LINSH，LINZJ，etal．Progressivemultilevel feature inpainting algorithm for Chinese ancient paintings[J].Journal of Computer-Aided Designamp; Computer Graphics，2023，35（7）： 1040-1051.（in Chinese）

[18］溫利龍，徐丹，張熹，等．基于生成模型的古壁畫非規則破損部 分修復方法[J]．圖學學報，2019，40（5）：925-931. WENLL，XUD，ZHANGX，etal.The inpainting of irregular damaged areas in ancient murals using generative model[J]. Journal of Graphics，2019，40（5）： 925-931.（in Chinese）

[19]WADHWAG，DHALLA，MURALAS，etal.Hyperrealistic imageinpainting withhypergraphs [C]//2021 IEEEWinter Conference on Applications of Computer Vision（WACV）. Waikoloa，HI，USA．IEEE，2021：3911-3920.

[20]GUO Z Y，CHEN Z B，YU T，et al. Progressve image inpainting with full-resolution residual network[C]//Proceedings of the 27th ACM International Conference on Multimedia.Nice，France. ACM，2019：85-100.

[21] LIJY，WANG N，ZHANG L F，et al. Recurrnt feature reasoning forimage inpainting [C]//2020 IEEE/CVF Conferenceon Computer Vision and Pattern Recognition（CVPR）. Seattle，WA， USA.IEEE，2020： 7757-7765.

[22]LI X G，GUO Q，LIN D，et al．MISF： multi-level interactive Siamese filtering for high-fidelityimage inpainting[C]//2022 IEEE/CVFConferenceon ComputerVisionandPattern Recognition（CVPR）.New Orleans，LA，USA．IEEE，2022： 1859-1868.

「23］陳永趙夢雪陶美風聯會特征推理和語V增強的漸進式辟 畫修復[J].湖南大學學報（自然科學版），2023，50（8）：1-12. CHENY，ZHAO M X，TAO MF. Progressive mural inpainting methodbasedonjoint featurereasoningandsemantic enhancement[J].Journal ofHunanUniversity（Natural Sciences），2023，50（8）：1-12.（in Chinese）

[24］劉仲民，嚴梁．融合動態特征與注意力的敦煌壁畫修復模型 [J].計算機工程，2024，50（5）：342-353. LIU ZM，YAN L. Inpainting model of Dunhuang mural fusing dynamic feature and attention[J].Computer Engineering，2024， 50（5）：342-353.（in Chinese）

[25]NAZERI K，NG E，JOSEPH T，et al. EdgeConnect：structure guided image inpainting using edge prediction[C]//2019 IEEE/ CVF International Conference on Computer Vision Workshop （ICCVW）.Seoul，Korea （South）.IEEE，2019：3265-3274.

[26]LIJY，HEFX，ZHANG LF，et al. Progressive reconstruction of visualstructure forimage inpainting [C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.Seoul， Korea（South）.IEEE，2019：5961-5970.

[27] XIONG W，YU JH，LIN Z，et al.Foreground-aware image inpainting[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Long Beach，CA，USA. IEEE， 2019：5833-5841.

[28]YU JH，LIN Z，YANG JM，etal. Generative image inpainting with contextual attention[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT， USA.IEEE，2018：5505-5514.

[29]GUO Q，LI X G，JUEFEI-XUF，et al. JPGNet： joint predictive filtering and generativenetwork for image inpainting [C]// Proceedings of the 29th ACM International Conference on Multimedia.Virtual Event China.ACM，2021：386-394.

[30］胡凱，趙健，劉昱，等.結構引導的圖像修復[J]．北京航空航 天大學學報，2022，48（7）：1269-1277. HU K，ZHAO J，LIU Y， et al.Images inpainting via structure guidance[J]．Journal of Beijing University of Aeronautics and Astronautics，2022，48（7）：1269-1277.（in Chinese）

[31]GUO X F，YANG H Y，HUANG D. Image inpainting via conditional texture and structure dual generation[C]//2O21 IEEE/ CVF International Conference on Computer Vision（ICCV）. Montreal，QC，Canada.IEEE，2021：14114-14123.

[32]HE J，ZHOUYY，ZHANGQ，et al. PixelFolder：an efficient progressive pixel synthesis network for image generation [M]// Computer Vision-ECCV 2022.Cham：Springer Nature Switzerland，2022：643-660.

[33]PARKT，LIU MY，WANG TC，et al. Semantic image synthesis withspatially-adaptivenormalization[C]//2O19IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. LongBeach，CA，USA.IEEE，2019：2332-2341.