基于邊緣重建的多尺度壁畫修復方法

張豪遠，徐 丹，羅海妮，楊 冰

(云南大學信息學院，云南 昆明 650500)

壁畫是在石窯、寺觀、殿堂和墓室上繪畫的圖像，也是最原始的繪畫形式之一。目前已發現最早的中國壁畫是漢代作品，其起源可以追溯到黃帝時代，記錄了古人的日常生活、內心愿望，以及對神話故事的描述。所以，古壁畫具有很高的藝術、歷史、文化和宗教價值。千百年來這些古壁畫不可避免地出現了裂縫、脫落和褪色等多種形式的病害，在對其進行研究和保護上均存在較大困難；同時壁畫作為不可再生資源，其文化遺產的重要性已經成為學術界的研究熱點。盡管國家做出很多努力，投入了大量的人力物力，但也只能在一定程度上延緩古壁畫的破損，尤其直接對其進行手工修復所帶來的保護性破壞，更加速了古壁畫的退化過程。相比之下，數字虛擬修復能根據修復效果進行多次調整以確定最終結果，不僅降低了修復難度和風險，而且為手工修復方案的制定提供了參考。因此，研究古壁畫的數字虛擬修復尤為重要。

1 相關工作

數字虛擬修復是根據圖像完好區域的已知信息來感知破損區域的內容，通過填補破損區域的結構和紋理以完成其修復過程。近年來，在圖像修復中深度學習的方法展示了巨大的潛力。2017 年，REN 和CHEN[1]使用廣義回歸神經網絡，對敦煌壁畫進行了數字化虛擬修復，取得了一定的修復效果；對于人臉圖像，文獻[2]使用生成對抗網絡對破損區域進行了修復，成功填補了缺失的紋理但無法修復結構復雜的圖像；文獻[3]使用卷積自編碼器，對不規則破損的壁畫進行修復，并在真實破損壁畫上取得較好的修復效果。上述應用于壁畫修復方法，難以發揮神經網絡在特征提取方面的優勢，這是因為壁畫破損程度復雜，信息丟失嚴重，且在數據分布上雜亂無序。

目前針對壁畫大面積脫落的研究還比較少，其中Criminisi 算法[4]可有效填補圖像缺失的紋理內容，此外文獻[5]提出一種改進的塊匹配圖像修復方法，根據像素點對應的梯度變化確定結構信息，并先修復包含較多結構信息的塊；文獻[6]采用不同的初始化條件生成5 個圖像并組建匹配塊搜索集，擴大了匹配塊的搜索范圍，使得修復結果具有更好的視覺一致性；文獻[7]提出置信度空間變化更新策略來估計塊的優先級，通過計算源和目標塊之間的離差平方和，以獲得更好和更快的匹配結果。以上基于塊的圖像修復算法，一定程度上改善了修復結果結構不連續的問題，但真實破損的壁畫同時存在多處紋理脫落和結構破壞的情況，直接采用上述方法會嚴重影響修復效果。圖像去噪的全變分模型(total variation，TV)[8]，可用于修復包含噪聲的圖像，但修復效果容易出現階梯效應，且運算量大、效率低。在提高算法效率上，文獻[9]根據受損像素與其連通區域之間的距離和方向來改進擴散系數，在提高算法效率的同時，使得修復結果質量更好；為避免修復結果中出現的階梯效應，文獻[10]利用高階HOTV模型修補二次采樣的二維圖像，使得修復結果更加平滑。為進一步提高TV模型的修復效果，文獻[11]利用改進的 CDD (curvature driven diffusions)修復模型，即在TV模型的基礎上加上像素點的梯度和等照度線的曲率項來平衡各參考點的權重；同樣為了提高CDD 的算法效率，文獻[12]加入了各向異性擴散，使得擴散方向可以沿著邊緣進行。但是CDD模型會模糊修復結果，尤其在較大破損區域上，于是文獻[13]提出了改進的BSCB (Bertalmio，Sapiro，Caselles，Bellester)模型，顯著降低了圖像噪聲，并取得較好的修復效果；文獻[14]提出基于非局部BSCB模型的圖像修復方法，使用等照度線將圖像信息延伸到破損區域，從而保持了清晰的圖像信息；但是等照度線的擴散過程仍會使得修復結果模糊，于是文獻[15]利用米字型各向異性擴散模型來改進BSCB模型，并對藏式古唐卡進行修復并取得了較好的修復效果。文獻[16]對西藏壁畫上進行了數字虛擬修復，其實驗結果表明CDD模型的修復效果優于經典的TV模型。文獻[17]采用改進的CDD模型完成了唐墓室壁畫破損區域的修復，使用了交叉擴散代替正交擴散的方式，使得缺失內容的填補策略更加合理。在TV 修復模型基礎上，文獻[18]在2017 年提出基于形態學成分分析分解的唐墓室壁畫修復方法，成功修復了其裂縫破損。上述TV 可以較好延伸圖像的邊緣信息，但無法填補圖像紋理，使得修復結果過于平滑，用于壁畫數字虛擬修復難以取得令人滿意的效果。

研究表明[19]，圖像塊在圖像內部會重復出現，無論是在同一尺度內，還是在不同尺度上，充分利用這些多尺度信息可以提高圖像復原性能，并在非均勻盲去模糊的問題上取得了良好的性能。于是，文獻[20]嘗試對不同放大倍數的模糊圖像進行多尺度特征提取，并進行圖像超分辨率的恢復，證明了多尺度空間在圖像重建上的可用性。文獻[21]以山西古墓葬壁畫為例，提出多尺度變換的圖像修復方法，在視覺連續性上取得較好的修復效果。本文對于破損壁畫的修復研究也是在多尺度特征提取的基礎上展開的。與傳統修復模型相比，該方法在填補缺失紋理內容的同時保持了其邊緣結構；與深度學習方法相比，更能在數據分布雜亂的情況下提取有效特征。由于真實壁畫破損程度復雜，存在紋理脫落帶來的結構破壞，進而本文提出基于邊緣重建的多尺度壁畫修復方法。該方法通過結構濾波保持圖像邊緣，結合圖像分割算法和聚類算法自動識別分割壁畫的破損并生成待修復掩膜；采用Split Bregman 迭代函數求解TV模型來進行邊緣重建，與多尺度空間提取的紋理特征相融合，完成整個壁畫的修復過程，并取得了很好的修復效果。

2 方 法

本文提出的基于邊緣重建的壁畫修復方法，主要分為壁畫預處理、修復掩膜和修復模型3 個模塊。壁畫預處理模塊根據用戶的修復需求來自由裁剪壁畫，并對裁剪結果進行平滑圖像紋理而保持其邊緣結構，為接下來破損區域的分割提供良好的初始化條件；修復掩膜模塊首先對壁畫的破損區域進行局部分割，通過提取該分割結果的特征，以完成整個壁畫的破損分割并生成修復掩膜；修復模型模塊結合修復掩膜對破損壁畫進行邊緣重建，然后在多尺度空間中提取相關紋理來填補破損區域。為了更加清楚地描述整個古壁畫的修復過程，方法框架流程如圖1 所示。

圖1 壁畫修復流程圖 Fig.1 Mural restoration flowchart

2.1 壁畫預處理

現存壁畫的數量較少，但種類較多。本文通過網絡收集并整理了以寺觀為題材的晉寧觀音洞壁畫、宗教佛像壁畫、藏傳佛教壁畫；以宮廷為題材的麗江白沙大寶積宮壁畫、太子游苑圖壁畫；以墓 室為題材的昭通東晉墓室壁畫；以及新疆地域的古龜茲克孜爾石窟壁畫和森木塞姆石窟壁畫、敦煌莫高窟壁畫，總計54 張高清圖像，分辨率在640×650到3130×2835 之間不等。所有收集得到的圖像尺寸較大，且壁畫各個區域的破損程度不同，同時也真實反應出了壁畫破損的特點，因此在修復過程中，需根據用戶選擇的不同修復區域來自由裁剪壁畫，以取得更好、更直觀的修復效果。

由于壁畫圖像本身存在豐富的紋理細節，反映在圖像分布上則錯亂無序，使得不能很好地識別和分割破損區域，繼而需要通過平滑圖像紋理并保持其邊緣結構的壁畫預處理。但是壁畫存在許多層次的邊緣和結構，其重要程度也不同，為此本文引入滾動引導濾波器(rolling guidance filter，RGF)對圖像進行濾波[22]以保持壁畫重要的邊緣結構，平滑不必要的紋理細節。RGF 圖像濾波在邊緣結構保持和平滑紋理細節上的性能突出，被廣泛用于圖像細節增強、色調映射、去噪、邊緣提取、去半色調、JPEG偽像去除、多尺度結構分解、分割、顯著性檢測、光流和立體匹配等任務。該濾波處理分為小結構去除和迭代邊緣恢復2 個步驟，即

其中，Kp=H(p)為圖像歸一化；Iq為輸入圖像；N(p)為p的鄰域像素；σs和σr為2 個標準差項分別控制空間和距離上的權重(即去除小于σs和σr的圖像成分)，是每次迭代的圖像輸出。以胎藏界五部佛眾壁畫為例(圖2(a))，其中紅色標記框為部分濾波前后的對比(圖2(b)和(c))。

圖2 RGF 圖像濾波((a)原始壁畫；(b)紅色標記；(c) RGF 濾波) Fig.2 RGF image filtering ((a) Original mural; (b) Red mark;(c) RGF filtering)

2.2 修復掩膜

壁畫經過預處理后，為接下來破損區域的識別和分割提供了良好的初始條件。由于收集的壁畫是彩色圖像，不同于二值分割任務，本文引入GrabCut模型[23]來局部分割壁畫的破損區域。該模型根據整幅圖像當前像素點與前景、背景的相似程度，以及相鄰像素間的顏色差異來進行分割。即建立2 個高斯混合模型(gaussian mixture model，GMM)分別描述圖像的前景和背景區域，分別計算節點到前景或背景的距離和相鄰節點之間的距離以獲得能量函數，即

其中，α={0,1}為背景或前景；z為采集的壁畫數據，用2 個GMM 分別表示圖像的前景和背景，即m=(k1,…,kn)其中kn由K個GMM 的混合特征表示kn∈{1,2,…,K}；π，μ和∑分別為前景和背景2K個高斯分量的權重、均值和協方差。

式(2)中V項用來緩和高對比區域的平滑趨勢，即

其中，dis(m,n)為相鄰像素的歐氏距離；C為鄰域像素的集合，對于C中的像素[αn≠αm]的取值為1，[αn=αm]取值為0；γ為一個常量值；β=0 時平滑程度由γ決定，而β＞0 時可在高對比度區域調整平滑程度。通過多次迭代不斷更新k，θ和α，使得分割能量E收斂于最小值，最終實現圖像分割。

經過壁畫預處理模塊已經獲得了良好的圖像分割初始化條件，但以圖2(a)紅色標記處為例以此進行局部分割并不能取得很好的分割效果如圖3(c)所示，其原因在于前景和背景差異不夠明顯。所以，本文選取圖3(a)藍色標記框來進行破損區域的局部分割，其結果如圖3(b)所示，為了直觀地展示破損的分割效果，以藍色作為掩膜疊加到原圖上顯示。說明用戶選取局部區域的面積大小并不會影響分割結果，而應盡量選取前后背景差異較明顯的破損區域以達到良好的局部分割效果。

圖3 局部分割效果圖((a)原始壁畫；(b)局部分割1；(c)局部分割2) Fig.3 Local segmentation result ((a) Original mural; (b) Local 1;(c) Local 2)

上述分割模型只是在局部作了分割，為了自動計算全幅壁畫的破損，本文在整個圖像域運行一種標記算法。這樣做是要保證破損區域分割的準確性，而不是在全幅壁畫上進行大致分割。流程如下：首先，構建一個多維特征向量，其對像素x在不同色彩空間的通道進行非線性變換，即計算HSV 色彩空間的Hue，Saturation 和Value 通道，CIELAB色彩空間的亮度通道L*、從綠色到紅色的顏色通道a*和從藍色到黃色的顏色通道b*，以及RGB 色彩空間的Red，Green 和Blue 通道，即

使用式(6)建立的特征向量，對圖3 局部分割的破損，即藍色掩膜標記處為初始化條件進行特征提取。最后，為了獲得完整的修復掩膜，采用k-means進行圖像聚類并擴展到整個圖像域的分割。經過該步驟后，檢查哪些標簽被分配給特征區域，然后在已分類的圖像中檢索并且標識這些具有相同標簽的區域，整個圖像域的分割結果如圖4(b)所示，圖4(a)是無RGF 濾波的分割效果。

圖4 全幅分割效果圖((a)無RGF 濾波；(b) RGF 濾波后) Fig.4 Full-frame split result ((a) Before;(b) After)

2.3 修復方法

經過上述2 個模塊的處理，在保持壁畫已有邊緣結構的同時，得到了破損區域精確分割的修復掩膜。對于壁畫破損區域本文不希望因為平滑而帶來邊緣的丟失，再進行邊緣重建。于是，通過基于Split Bregman 的TV 修復[24]步驟搜索圖像上已知的可用信息，并對壁畫破損區域的邊緣進行重建。用Ω表示整個圖像域，D表示破損區域，并確定能量函數y為

其中，?(vx)編碼了圖像的梯度信息，參數λ用于平衡置信度；z為待修復的給定圖像；||…||2為歐幾里得范數，對于每個像素x∈Ω

式(8)表示對于破損區域D中的點沒有可用信息，而完整區域Ω/D中的可用信息非常重要。式(7)的?(vx)可通過Split Bregman 迭代算法來求解，即

其中，b為與Bregman 迭代算法相關的變量，在每次迭代中使d最小，極限解應滿足約束d=?v。

通過上述步驟較好地重建了破損壁畫的邊緣和結構，但未很好填補破損區域缺失的紋理。為解決此問題，采用圖像金字塔進行多尺度空間變換，降采樣因子是1/2，圖5 為采樣前后圖像。

圖5 圖像金字塔((a)一次降采樣；(b)兩次降采樣；(c)三次降采樣) Fig.5 Image pyramid ((a) Primary downsampling; (b) Secondary downsampling;(c) Three-step downsampling)

統計像素值方差可以很好識別圖像的紋理區域，經過上述圖像金字塔空間變換后其紋理特征更加明顯，并結合基于塊[25]的填補缺失內容來完成整個修復過程。由于存在多個在顏色和紋理上與破損區域相似的匹配塊，為了確定最佳匹配塊，使用距離度量d，即

其中，Nx為受損像素x的匹配塊；Px+?(x)＝{N(x1),N(x2),…,N(xn)}為其鄰域塊的集合；λ為一個加權標量；T(u)為像素值方差用于計算紋理特征

其中，Ix和Iy為圖像在x和y方向上的導數，通過該計算很好地區分了具有相同平均顏色的紋理區域和非紋理區域，且提取了重要的紋理特征，使得修復結果的紋理更加清晰。

3 實驗結果分析

以現存真實的破損壁畫為實驗對象，進行數字虛擬修復，取得了較好的效果。針對一些壁畫在結構上的破損，本文方法取得較好的修復效果，尤其在邊緣重建上，如圖6 所示。為進一步驗證本文方法在邊緣重建上的有效性，采用文獻[26]提出的加權平均曲率(weighted mean curvature，WMC)模型，該模型整合具有8 個方向的卷積核來有效提取圖像邊緣并保持其結構，在圖像平滑和去噪、超分辨率圖像和圖像重建方面有著廣泛地應用。鑒于其強大的邊緣提取性能，提取圖6(a)和(d)的邊緣，并將二者結果作差，如圖6(e)所示；為進一步說明本文的邊緣重建效果，與目前先進的邊緣重建模型[24]進行比較如圖6(c)所示，提取圖6(c)和(d)的邊緣，其作差結果如圖6(f)所示，可見該方法在邊緣上確實重建了許多重要的結構信息。

圖6 結構破損((a)原圖；(b)掩膜+原圖；(c)對照結果；(d)本文結果；(e)作差結果(1)；(f)作差結果(2)) Fig.6 Structural damage ((a) Original image;(b) Mask+original image;(c) Control results;(d) Results of this article; (e) As a result the difference (1);(f) As a result the difference (2))

圖7 為不同種類的壁畫存在裂縫、較小面積破損時，使用該方法較好地完成了修復任務，尤其在邊緣結構和紋理細節上，得到與原圖已知信息相匹配的結果。

圖7 裂縫破損((a)熾盛金輪佛；(b)晉寧破損壁畫；(c)圣友以乳施辟支佛；(d)鹿野苑初轉法輪；(e)聞法天人(1)) Fig.7 Crack damage ((a) Flaming Golden Wheel Buddha;(b) Jinning Damaged Mural;(c) Sacred friends; (d) Sarnath first sermon;(e) Hearing the Fa Tianren (1))

為了修復存在大面積破損的壁畫，本文在真實破損的不同種類壁畫上進行實驗，并取得較好的修復效果，如圖8 所示。

對于真實壁畫中存在破損程度復雜，嚴重破壞原有面貌的情況，本文對現存以人物和建筑為主題的壁畫進行修復實驗，成功復原了其應有的內容，修復效果如圖9 所示。

本文成功修復了破損程度復雜的真實壁畫，但對于破損嚴重的壁畫，尤其是大面積脫落造成的結構缺失，其修復結果影響視覺連續性，在語義修復上仍有不足，如圖10(c)紅色標記框所示。

圖10 嚴重破損((a)原圖；(b)掩膜+原圖；(c)本文結果) Fig.10 Serious damage ((a) Original image; (b) Mask+original image;(c) Results of this article)

本文還對東晉墓室破損壁畫進行修復實驗，發現使用不同層數金字塔對該壁畫進行多尺度紋理特征提取時，會影響其修復效果，結果對比如圖11(c)和(d)所示，當多尺度空間的金字塔層數為5 時紅色標記框處填補的紋理明顯錯亂。

圖11 昭通東晉墓室壁畫((a)原圖；(b)掩膜+原圖；(c)金字塔層數2；(d)金字塔層數5) Fig.11 Tomb mural ((a) Original image;(b) Mask+original image;(c) Pyramid level 2;(d) Pyramid level 5)

通過實驗可看出本文修復方法對于不同種類的壁畫均取到了較好的修復效果，這些實驗充分證實了該方法的通用性和有效性。為了進一步體現本文方法對真實破損壁畫較好地修復效果，以獼猴奉蜜破損壁畫為例，與目前先進的文獻[24]和[25]模型進行比較，結果如圖12 所示。

圖12 實驗對比((a)原圖；(b)掩膜+原圖；(c)文獻[24]；(d)文獻[25]；(e)本文結果) Fig.12 Experimental comparison ((a) Original image;(b) Mask+original image;(c) Control results [24]; (d) Control results [25];(e) Results of this article)

通過實驗結果對比，在使用相同破損壁畫和修復掩膜的情況下，本文修復方法充分挖掘了壁畫已知的可用信息，并產生了更好地修復效果，而對比方法中填充的紋理粗糙，在細節上也較為模糊。

4 結 論

本文提出基于邊緣重建的多尺度壁畫修復方法，對于不同種類的真實破損壁畫進行數字虛擬修復。先對壁畫進行平滑圖像紋理而保持邊緣結構的預處理，以此為破損區域的分割提供良好的初始化條件；提取局部分割區域的特征，通過聚類算法進行全局破損的分割，使得分割結果更加準確；修復時通過邊緣重建步驟來重建破損壁畫的結構，然后在多尺度空間中提取紋理特征并確定最佳匹配塊，并完成整個修復過程。實驗結果表明，該方法不受特定種類壁畫的限制，整個重建過程更加通用且有效。對于真實破損壁畫中存在的紋理脫落和結構破壞，通過邊緣重建和多尺度紋理特征提取更好地完成了修復任務。此外，與文獻[24]和[25]修復模型相比，該方法能在破損程度復雜的壁畫上取得更好的修復效果。但對于大面積脫落帶來的嚴重結構缺失，本文方法難以很好地修復其破損，尤其是語義上的信息。所以在后續工作中要改進修復方法，使古壁畫的修復更加有效且呈現效果更加真實。