敦煌壁畫數字化修復方法綜述

陳 永，陶美風

（1.蘭州交通大學電子與信息工程學院；2.甘肅省人工智能與圖形圖像處理工程研究中心，甘肅蘭州 730070）

0 引言

敦煌莫高窟是我國乃至世界藝術殿堂的瑰寶，是融建筑、雕塑、壁畫為一體的綜合性藝術，其內容豐富，被譽為“世界上最大的美術史畫廊”。其中，敦煌壁畫更是世界古代文明的縮影。但經千年歷史洗滌，許多壁畫存在脫落、起甲、褪色、裂痕等病害［1］。為使敦煌壁畫文化走向世界，更好地保護壁畫對文化發展與傳播起著決定性作用。傳統壁畫保護手段存在不可逆的缺點，且保護人員較缺乏，嚴重制約了敦煌壁畫保護事業發展、阻礙了甘肅文化戰略落地。因此，如何利用數字化修復技術實現對敦煌壁畫藝術的保護具有深遠意義，這也是目前計算機視覺和圖像處理熱點問題之一［2］。

圖像修復（Image Inpainting）指借助于破損圖像中的已知先驗信息，通過建立破損圖像修復模型，對破損區域進行匹配、復制、擴散等操作，從而完成重構修復。常用的圖像修復方法分為4 種：基于偏微分方程的圖像修復方法、基于紋理合成的圖像修復方法、基于稀疏表示的圖像修復方法與基于深度學習的圖像修復方法。

1 基于偏微分方程的圖像修復方法

基于偏微分方程的圖像修復方法基于Bertalmio 等［3］提出的BSCB 模型，該模型將待修復區域邊緣像素沿等照度線方向擴散完成修復。文獻［4］提出了全變分（Total Varia?tion，TV）圖像修復模型，該方法通過對歐拉-拉格朗日偏微分方程求解，迭代傳播信息，完成圖像修復。BSCB 模型與TV 模型在修復破損區域邊緣曲率變化較大的圖像時，修復結果中易出現視覺連通性較差的問題。為了解決該問題，文獻［5］提出曲率驅動擴散（Curvature-Driven Diffusion，CDD）模型，通過引入曲率控制信息擴散強度，克服了TV 修復視覺不連通的缺點；文獻［6］針對敦煌壁畫裂紋形狀多樣及不規則的特性，通過改進CDD 算法擴散項，并引入自適應控制策略，最后利用光滑函數進行角點擴散以實現修復；文獻［7］在CDD 模型的基礎上，采用不同的曲率選擇適應系數以控制修復模型的選擇，修復結果和速率均優于CDD 模型；文獻［8］提出一種基于可變Laplace 算子的非標準高階偏微分方程進行圖像去噪和修復。基于偏微分方程的圖像修復方法在較小破損壁畫圖像修復時，能夠降低圖像噪聲和銳化邊緣信息，但是對于圖像缺失面積較大的情況，修復效果比較模糊，圖像邊緣特征較差。

1.1 CDD 算法原理

TV 模型通過對偏微分方程求解，不斷循環像素傳播過程以完成修復，但TV 模型修復結果存在不滿足視覺連通性的問題，如圖1 所示。當待修復區域尺寸大于圖像先驗信息尺寸時，如圖1（a）中的l>w時，TV 模型修復結果如圖1（b）所示，可發現未能完成擴散修復，不能滿足人類視覺連通性要求，而符合視覺連通性修復結果如圖1（c）所示。CDD 曲率驅動擴散模型在TV 模型基礎上進行了改進，當圖像擴散達到圖1（b）時，CDD 模型通過引入曲率進一步增強擴散強度，直至保持連通性原則。

Fig.1 Connectivity principle圖1 連通性原則

CDD 曲率驅動擴散算法定義為：

其中，C為破損區域，E為C的邊緣已知信息，?為梯度計算符，λ為拉格朗日算子。??為擴散項，將擴散系數記為w=，|?v|為梯度模值，可表示為：|?v|=，b為正提升參數。g(|h|)為曲率，v為破損圖像像素值，v0為修復后的像素值。g(|h|)=|h|，h的計算方法為：

1.2 CDD 算法實驗結果及分析

以敦煌壁畫第322 窟“樹下說法圖”截取的局部壁畫為例，采用不同粗細的劃痕破損壁畫圖像進行實驗，如圖2 所示。圖2（a）為掩膜圖像，圖2（b）為修復結果，從圖2 可以發現，對于較細的劃痕，CDD 算法通過像素擴散，得到了較好的結果，如第一列圖像的修復結果；隨著劃痕的不斷加粗，破損區域的完好信息大部分缺失，CDD 算法無法完成擴散，修復后會存在修復不徹底的問題，如第三列圖像修復結果的矩形框中存在明顯的修復痕跡。

Fig.2 Repair results of CDD algorithm圖2 CDD 算法修復結果

2 基于紋理合成的圖像修復算法

基于紋理合成的圖像修復方法指通過在圖像完好的區域中，根據樣本相似度匹配準則，在圖像完好區域選擇破損圖像塊的最佳匹配塊，經過復制填充完成破損圖像塊修復。該類圖像修復方法中代表算法為Criminisi 算法［9］。后續多位學者對其進行了改進。文獻［10］采用D-S 證據理論數據融合方法對敦煌壁畫色變和人為污染破損進行了修復研究；文獻［11］利用圖像紋理特征和邊緣特征引入差別因子以改進優先權函數，并對不良匹配區域進行定位分解修復；文獻［12］提出了一種新的置信度函數，并將Census變換匹配準則與SSD 變換準則相結合，增強了圖像修復魯棒性；文獻［13］針對Criminisi 算法置信度項會迅速衰減至0 和填充次序不穩定等問題，提出一種結合梯度特征與色彩不一致的圖像修復算法，使修復后的圖像滿足人眼視覺要求；文獻［14］在優先權計算時，引入分散度項，改進了圖像塊修復順序，并將協方差因子引入相似度計算，減少了圖像塊誤匹配率；文獻［15］提出了一種將局部特征與邊緣紋理分辨相結合的分段修復算法，采用樣本和信息熵相似度結合的方式確定最佳匹配塊集合，并通過基于信息熵自適應修復模板克服了Criminisi 算法錯誤填充問題；文獻［16］通過引入結構張量，利用其特征值定義數據項，改進圖像填充順序，同時利用結構張量平均相關性自適應選擇樣本塊大小，對開化寺壁畫進行了修復實驗；文獻［17］引入信息熵度量圖像塊復雜度，改進優先權函數，并利用顏色特征和塊間協方差結合的方式確定匹配塊集合，抑制了Criminisi 算法錯誤填充問題；文獻［18］采用P-Laplace 算子重新定義數據項，引入動態閾值序冠相似性檢測算法進行匹配塊搜索，并利用布谷鳥尋優算法確定最佳匹配塊，克服了Criminisi 算法在壁畫修復時易出現錯誤填充和修復效率較低的問題。基于紋理合成的圖像修復算法對較大面積的破損壁畫圖像及延伸紋理方面有較好的修復效果，但很難獲取圖像全局結構與圖像語義信息。

2.1 Criminisi 算法原理

Criminisi 算法是通過計算優先權，選擇優先權最大的圖像塊作為待修復塊，依據平方差和（Sum of Squared Dif?ference，SSD）相似度函數從圖像的完好區域中選取最佳匹配塊，并復制填充，不斷迭代完成圖像修復。該算法具體實現如下：

如圖3 所示，在破損區域Ω的邊界δΩ上尋找一點p，選取以p為中心、大小為n×n的圖像塊ψp，通過優先權函數式（3）計算所有ψp的優先權確定圖像塊修復順序。

其中，C(p)為置信度項，表示破損區域中完好信息占總體信息百分比。D(p) 為數據項，表示有效信息可信度。C(p)與D(p)定義分別為：

式（4）中，ψp是以p點為中心的破損塊，φ為完好區域，C(q)表示含有效信息像素數，|Ψp|為選取的圖像塊中的像素總數。式（5）中，為p點的等照度矢量，np為邊緣δΩ上點p的單位法向量，α為歸一化因子，一般取α=255。

Fig.3 Principle of Criminisi algorithm圖3 Criminisi 算法原理

在確定優先待修補塊ψp后，通過SSD 相似度函數在完好區域中尋找與待修復塊ψp最相似的塊ψq，用ψq代替ψp完成一次填充。SSD 相似度計算函數定義為：

其中，d(ψp,ψq) 表示塊ψp與塊ψq對應像素點間RGB 三通道歐氏距離平方和。

在找到最佳匹配塊后，將匹配塊復制填充到待修復塊，更新置信度項，迭代以上步驟，直至修復完成。

2.2 實驗結果與分析

選取敦煌壁畫第201 窟“觀無量壽經變之大勢至”局部壁畫和第158 窟“天請問經變之菩薩二身”局部壁畫進行Criminisi 算法修復實驗，如圖4 所示，圖4（a）為原始壁畫圖像，圖4（b）為掩膜圖像，圖4（c）為修復結果。從圖中可以發現，Criminisi 算法通過塊匹配可完成對較大破損區域的修復，修復結果符合人眼視覺感受，如第一行圖像修復結果；但因為Criminisi 算法對圖像結構信息考慮不足，會出現塊匹配錯誤問題，如第二行圖像矩形框中的修復結果出現了結構傳播錯誤問題。

Fig.4 Repair results of Criminisi algorithm圖4 Criminisi 算法修復結果

3 基于稀疏表示的圖像修復算法

稀疏表示是將信號通過字典中極少量的原子進行重構。Olshausen 等［19］將稀疏表示引入到圖像處理領域，指出自然圖像在某種變換域下具有稀疏性。基于稀疏表示的圖像修復方法是在眾多不定解中，尋求滿足稀疏度要求的特殊解的最優線性組合。稀疏表示可分為兩個關鍵步驟：稀疏系數求解和字典學習與更新［20］。稀疏系數求解有MP（Matching Pursuit，匹配追蹤）算法［21］、OMP（Orthogonal Matching Pursuit，正交匹配追蹤）算法［22］等。字典學習按照字典構成和訓練方式分為固定基字典和學習型字典。其中，固定基字典主要有DCT 字典［23］、曲線波［24］等；學習型字典主要算法有MOD 算法［25］、K-SVD 算法［26］等。

眾多學者對稀疏表示圖像修復進行了改進，文獻［27］針對圖像字典自適應性差的問題，提出一種基于特征分類學習的結構稀疏傳播圖像修復方法；文獻［28］提出將圖像塊與組稀疏聯合稀疏表示的修復方法；文獻［29］利用顏色與方向信息結合衡量樣本塊間相似度，并利用多個匹配塊在構造顏色和方向空間內的鄰域一致性約束下重構了目標塊；文獻［30］提出一種基于多尺度金字塔圖像修復方法，將局部圖像塊統計信息與幾何特征采用稀疏表示的方法完成圖像修復；文獻［31］通過線描的方式補全缺失的結構信息，并通過先紋理后結構的修復策略完成圖像重構；文獻［32］通過建立兩個輪廓之間的相似變換模型估計待修復物體輪廓信息，并利用修復優先級和搜索區域劃分進行紋理區域的修復；文獻［33］引入組稀疏表示概念，提出以歐式距離作為分組準則，取得了較好的修復效果；文獻［34］提出自適應圖像組的稀疏正則化圖像復原方法，通過自適應調整迭代次數，完成圖像修復。基于稀疏表示的圖像修復算法，通過不斷更新字典和稀疏系數對缺失信息進行修復，對于壁畫裂紋、劃痕等有較好的修復效果，但是無法完成大面積破損壁畫圖像修復，存在修復模糊、平滑等問題。

3.1 組稀疏表示基本原理

相似組構造過程如圖5 所示，首先將原始圖像H劃分為k個n ×n大小的圖像塊Hk∈，并將劃分后的圖像塊按先行后列的順序排列，記錄各圖像塊索引；接著在提取樣本塊的M×M鄰域中，計算樣本塊與匹配塊歐式距離，并選取距離最小的a個匹配塊組成集合，將排成矩陣形式，得到相似組。圖像塊p和q的歐式距離計算如式（7）所示。

其中，W、W′分別表示圖像塊p、q中對應位置的像素點。

Fig.5 Similar group construction process圖5 相似組構造流程

經過上述過程，每個相似組由相同數量且具有相似特性的圖像塊構成。為了使相似組可以通過字典得到更好的表示，先采用雙線性插值對相似結構組進行估計，得到一個初始值，之后進行SVD 奇異值分解，如式（8）所示。

組內字典學習對于每一個組都是自適應的，且只需進行一次奇異值分解，收斂速度加快。相似結構組相對應的自適應字典為：

其中，β為常數，采用分裂伯格曼迭代優化算法對式（11）進行求解，得到稀疏系數。最后將每個相似組字典和系數代入式（12）中，即可得重構修復后的圖像H。

3.2 組稀疏表示實驗結果與分析

選取敦煌壁畫第158 窟“天請問經變之菩薩一身”局部壁畫、第25 窟“觀無量壽經變之九品行生”局部壁畫、第159窟“普賢變之普賢菩薩”局部壁畫進行組稀疏表示修復實驗，實驗結果如圖6 所示，圖6（a）為原始壁畫，圖6（b）為掩膜圖像，圖6（c）為修復結果。從修復結果可以看出，組稀疏對于較細劃痕破損具有較魯棒的修復效果，如第一行圖像修復結果所示；但由于修復時利用字典原子與系數線性組合，因此，當較大區域破損時，修復結果中會出現局部模糊現象，如第二、三行圖像矩形框中修復結果所示。

Fig.6 Group sparse representation repair results圖6 組稀疏表示修復結果

4 基于深度學習的圖像修復算法

傳統圖像修復方法大多基于圖像先驗信息進行缺失像素恢復，然而在大面積圖像破損時，由于圖像先驗信息不足，傳統圖像修復算法無法正確完成修復。文獻［35］根據博弈論中的零和博弈理論提出一種新型神經網絡模型，稱為生成對抗網絡（Generative Adversarial Networks，GAN）；文獻［36］生成器采用由粗到精的級聯式模型，判別器采用局部與全局特征相融合的雙重判別式模型，損失函數采用最小化重構損失與對抗網絡損失相結合的方式，對人臉進行修復實驗。深度學習壁畫圖像修復在圖像全局結構和語義方面具有優勢，但在學習模型泛化能力及收斂性方面還存在一定問題。

4.1 生成對抗網絡GAN 基本原理

生成對抗網絡GAN 由生成器模型G與判別器模型D兩個部分組成，網絡結構如圖7 所示。生成器G學習訓練集數據概率分布，然后生成新數據，判別器D判斷生成數據真實性。其中，z表示噪聲，X表示真實數據，G(z)表示生成數據，GAN_loss為損失函數。

Fig.7 The basic model structure of GAN圖7 GAN 基本模型結構

GAN 目標函數可描述為：

其中，D代表判別器，G代表生成器，x為在真實數據分布Pdata（x）的采樣，E［.］為計算的期望值，Pz（z）為原始噪聲分布，z為噪聲輸入數據，GAN 的訓練目標是讓判別器能夠更準確地判別真實數據和生成器生成數據，并讓生成器生成的數據與真實數據更為接近。判別器D和生成器G采用交替訓練的方式，直至網絡收斂。

4.2 生成對抗網絡GAN 實驗結果與分析

選取敦煌壁畫第25 窟“北壁彌勒經變中·彌勒二會”局部壁畫和第25 窟“文殊變”局部壁畫進行深度學習修復實驗，實驗結果如圖8 所示，圖8（a）為原始壁畫，圖8（b）為掩膜圖像，圖8（c）為修復結果。從修復結果可以看出，深度學習通過對數據集的不斷訓練，可以完成較大區域的破損修復，但對復雜結構的圖像修復還需進一步優化。

Fig.8 Deep learning repair results圖8 深度學習修復結果

5 結語

敦煌壁畫作為世界文化遺產，具有較高的歷史和藝術價值，但長期面臨著自然和人為的嚴重損毀，如何有效地保護和傳承敦煌文化遺產備受關注。數字化修復技術為古代壁畫修復提供了全新的方法和視角，同時數字化修復技術使現代科學與古代文化交融碰撞，促進信息科學與文物科學交叉研究，形成新的學科研究方向。傳統壁畫圖像修復方法利用破損壁畫圖像的完好區域信息，完成破損區域估計，各類修復算法均有應用局限性，僅適用于特定的修復對象，如在面對前后景難于區分、模糊以及大面積脫落的敦煌壁畫圖像修復時效果不佳。為了更好地對敦煌壁畫進行數字化修復保護，未來可從壁畫紋理、結構、顏色等特征出發，充分利用壁畫多維知識屬性進行數字化修復。此外，采用深度學習結合壁畫圖像語義、歷史、文化、宗教等因素，廣泛吸納物理、化學、計算機、人工智能、認知心理學等領域相關技術進行修復，是未來研究主要方向。