多尺度特征和注意力融合的生成對抗壁畫修復

陳永，陳錦，陶美風

(1.蘭州交通大學電子與信息工程學院，蘭州 730070；2.甘肅省人工智能與圖形圖像處理工程研究中心，蘭州 730070)

敦煌莫高窟是世界上現存規模最宏大、內容最豐富的佛教石窟壁畫寶庫，其內所存的壁畫、經卷等具有珍貴的研究價值。然而，由于自然風化的破壞及人為因素的影響，窟內壁畫出現了地仗脫落、劃痕、褪色、裂紋等嚴重的災害，亟待保護。因此，研究病害敦煌壁畫的修復極其重要。但是，人工修復存在風險大、不可逆等問題，將數字化虛擬修復應用于古代壁畫的保護是目前的研究熱點問題[1]。

數字化圖像修復(image inpainting)是一種根據圖像已知內容去推測并修復出破損或缺失區域內容，使修復后的圖像盡可能滿足人類視覺感知需求的技術手段[2]。圖像修復算法主要分為傳統圖像修復算法和基于深度學習的圖像修復算法。傳統的圖像修復算法主要包括基于擴散的圖像修復方法[3-4]和基于樣本塊的圖像修復方法[5]，傳統圖像修復算法利用紋理和結構等先驗信息，可以完成小面積的圖像修復。Li 等[6]提出一種基于壓縮全變分(compressive total variation)的模型來描述圖像的稀疏性和低秩先驗知識，以實現對圖像的重構。Fan[7]在Criminisi 算法的基礎上引入鄰域和結構信息對優先權和匹配策略進行改進，避免了錯誤匹配的問題。陳永等[8]提出了一種改進曲率驅動擴散的敦煌壁畫修復算法，提高了對壁畫裂紋的修復效果。Yang 等[9]在偏微分方程修復算法的基礎上通過對結構張量進行改進，提高了對小尺度細粒紋理的處理能力。

上述傳統圖像修復算法對小面積破損具有一定的修復能力，當破損面積過大時，修復效果較差。基于深度學習的圖像修復算法相較于傳統圖像修復算法能夠學習得到更高層的圖像特征[10]。國內外學者相繼開展了基于深度學習方法的圖像修復研究。例如，Qin 等[11]提出了基于多尺度注意力網絡的修復模型，通過引入多尺度注意組來提高修復后圖像的真實性。Zeng 等[12]提出了基于上下文編碼(contextencoder)修復網絡，通過對全分辨率輸入的上下文語義進行編碼完成破損圖像的修復。Iizuka等[13]通過引入全局判別器和局部判別器提高了修復后圖像的局部清晰度。Yan 等[14]在U-net 模型的基礎上增加了Shift 連接層，并在解碼器特征上引入引導損失，提高了修復后圖像的精度。Zeng 等[15]利用深度卷積神經網絡對破損圖像產生粗略修復圖，利用最鄰近像素匹配進行可控制修復，使得修復的圖像更具高頻真實感。曹建芳等[16]針對古代壁畫起甲、脫落等問題提出一種增強一致性生成對抗網絡的圖像修復算法，提高了修復后壁畫全局與修補區域的一致性。Liu 等[17]提出了一種聯合互編解碼器和卷積神經網絡(convolutional neural networks，CNN)的修復模型，將編碼器的深層和淺層特征作為卷積神經網絡的輸入，使得修復后的圖像結構和紋理更加一致。

然而，敦煌壁畫的破損呈現的形狀是多種多樣的，破損的壁畫往往存在細節丟失、特征不足等問題[8]。綜上所述，現有的基于深度學習方法雖然能夠修復較大面積破損的普通圖像，但是對于特征多變、紋理密集壁畫圖像的修復仍存在較多缺陷，如存在特征提取不足及細節重構丟失等問題[11,16]。針對上述問題，本文提出了一種多尺度特征和注意力融合的生成對抗壁畫修復算法。首先，設計多尺度特征金字塔網絡提取壁畫中不同尺度的特征信息，充分利用壁畫特征多樣性，增強了壁畫圖像之間的特征關聯性，克服了現有深度修復模型特征提取單一的問題。然后，采用自注意力機制及特征融合編碼器構建多尺度特征生成器，以獲取豐富的上下文信息，提升網絡的修復能力，克服了修復后細節重構丟失的問題。最后，引入最小化對抗損失與均方誤差促進判別器的殘差反饋，從而結合不同尺度的特征信息完成壁畫修復。通過對敦煌壁畫的修復實驗結果表明，本文算法較對比算法獲得了較好的主客觀評價效果。

1 相關理論

生成對抗網絡(generative adversarial networks，GAN)主要由生成器和判別器組成，生成器一般由編碼器和解碼器組成，其基本構成如圖1 所示[18]。其中，生成器主要是將輸入的隨機噪聲或樣本圖像利用已學習到的概率分布重新生成新的圖像，而判別器用來判別輸入數據的真假，其輸出為一個概率值。

圖1 生成對抗網絡基本結構框架[18]Fig.1 Basic structural framework of GAN[18]

如果x為真實數據，則判別器D(x;?)輸出表示為

若x為生成數據，則判別器輸出表示為

模型通過最大化 log2(D(x))和 log2(1?D(G(z)))訓練判別器，通過最小化 log2(1?D(G(z)))訓練生成器，如下：

式中：z為隨機噪聲；V(G,D)為估值函數；Pdata(x)為數據分布函數；P z(z)為噪聲分布函數。

GAN 將圖像修復問題轉化為生成器與判別器相互博弈的問題，利用生成器和判別器的對抗學習達到圖像修復的目的。

2 本文算法

2.1 網絡總體框架

壁畫圖像通常含有復雜的紋理結構等特征信息，并且特征之間具有較強的關聯性。而現有GAN等深度學習圖像修復算法在修復壁畫圖像時僅利用一系列卷積核提取壁畫單一層特征，忽略了壁畫特征信息的多樣性，導致修復后的壁畫存在特征提取不足及細節重構丟失等問題。基于此，本文提出了一種多尺度特征融合的生成對抗網絡(multi-scale feature fusion generative adversarial network， MS-FFGAN)模型對破損敦煌壁畫進行修復。

本文MS-FFGAN 網絡整體結構如圖2 所示，主要由多尺度特征提取和自注意力機制融合的生成器和判別器構成。首先，對于輸入破損壁畫圖像，利用本文MS-FFGAN 網絡生成器中的多尺度融合特征編碼器和解碼器，結合注意力機制將學習到的特征分布生成所需的壁畫圖像；然后，將生成的壁畫圖像及真實樣本圖像作為判別器的輸入進行判別，并將反饋信息反饋到生成器更新網絡參數，通過兩者對抗訓練達到壁畫修復的目的。

圖2 本文總體模型框架Fig.2 Overall framework of the proposed model

2.2 多尺度特征融合生成器

在MS-FFGAN 網絡模型中，生成器由多尺度特征金字塔、特征融合編碼器和解碼器3 部分組成，如圖3 所示。本文算法設計了多尺度特征金字塔網絡作為生成器的特征提取網絡，用以提取壁畫的不同尺度特征，再利用特征融合編碼器對提取到的特征進行融合，把低分辨率、高語義信息的壁畫高層特征和高分辨率、低語義信息的壁畫低層特征進行自上而下的側邊連接，使得所有尺度下的壁畫特征都有豐富的語義信息，使網絡可以學習到更加全面的壁畫圖像特征。

圖3 多尺度特征融合的生成器結構Fig.3 Structure of generator based on multi-scale feature fusion

在MS-FFGAN 網絡的生成器中，多尺度特征金字塔網絡利用卷積等操作提取圖像不同尺度的特征圖。首先采用7×7 卷積核對原圖像進行特征提取得到首層特征圖，然后通過最大池化得到次層特征圖，最后分別通過4 次下采樣操作后得到不同尺度的特征圖，計算如下：

式中：si,j為 特征圖的第i行j列的元素；xi,j為原圖中第i行j列的元素；wm,n為權重；wb為偏置；f為ReLU激活函數；w0和h0分別為池化后特征圖的寬度和高度；t為濾波器卷積核尺寸大小；s為 步長；n為輸入特征圖大小；p為邊補充大小；l為卷積核大小；m為下采樣后的特征圖大小。

特征融合編碼器主要包括縱向和橫向2 個網絡分支。縱向路徑通過對空間上低分辨率、高語義信息的壁畫高層特征圖進行上采樣，來獲取高分辨率的特征；橫向路徑通過將多尺度特征金字塔網絡特征圖與相應的低層特征進行融合，得到所需的多尺度融合特征圖，如圖4 所示。

圖4 特征融合過程示意圖Fig.4 Schematic diagram of feature fusion process

特征融合編碼器采用上采樣及加和操作將圖像中不同尺度的特征進行融合。以特征圖C3 與P4融合為例，首先通過1×1 卷積對特征圖C3 通道數降維得到C3′，然后為使特征圖P4 大小與C3′保持一致，對P4 進行2 倍上采樣，最后將C3′與上采樣后的P4 進行加和得到融合后的特征圖P3。為減少計算量且保持加和后特征圖通道數不變，利用式(7)對特征圖進行加和，之后再進行卷積。

式中：xi和yi分 別表示進行加和操作的雙方的通道；ki為 第i個通道卷積核；“ ?”表示卷積。

在圖4 中，網絡特征融合時，對于輸入原始壁畫圖像，通過卷積及最大池化得到特征圖C0～C5，在C2～C5 的基礎上，通過1×1 卷積在特征圖尺寸大小不變且通道數保持一致的情況下得到待融合特征圖C2′～C4′，通過加和操作分別與最鄰近上采樣后的P5～P3 進行融合，最終得到特征圖P2。圖5為融合部分結構原理。

圖5 融合結構原理Fig.5 Schematic of fusion structure

此外，為了消除上采樣產生的混疊效應[11]，對融合后的特征圖P4～P2 采用3×3 卷積進行處理，得到最終的特征圖F4～F2，計算公式如下：

式中：F i為 最終生成的特征圖；為卷積核尺寸3×3、步長1 的卷積層；S2×up為 2 倍上采樣操作；“ ⊕”表示融合操作；Pi+1、Ci+1分別為待融合的兩路輸入。

在深度學習模型中，采用跳躍連接結構可以較好地解決訓練過程中梯度爆炸和梯度消失的問題，提升網絡的表征能力[19]。借鑒這一思想，在特征融合編碼器和解碼器之間采用跳躍連接結構，將最終的特征圖作為解碼器的輸入，通過跳躍連接和解碼功能將潛在的特征解碼回圖像，達到生成圖像的目的。特征融合編碼器與解碼器工作原理如圖6 所示。

在圖6 中，特征融合編碼器通過式(9)中轉換函數f對輸入圖像x進行編碼，將其轉換為中間語義C。解碼器通過式(10)中的函數g及 中間語義C、歷史生成信息y1,y2,···,yi?1生 成所需圖像yi。

圖6 編碼器與解碼器示意圖Fig.6 Diagram of encoder and decoder

2.3 自注意力機制

在MS-FFGAN 特征融合網絡中，通過多尺度特征融合的方法增強了壁畫圖像局部特征與全局特征的關聯性，克服了單一尺度壁畫圖像修復算法特征提取不足的問題。但由于卷積操作是卷積核對局部感受野鄰域內的信息進行處理的過程，無法對關聯全局信息建立長距離的依賴關系，而注意力機制能夠捕獲全局的依賴關系[20]。自注意力機制通過捕捉全局的信息來獲得更大的感受野和上下文信息，因此，本文提出將自注意力機制結合到壁畫修復GAN 網絡結構中，克服了特征提取不足及信息利用率低等問題，使MS-FFGAN 網絡能夠學到更加精細的壁畫特征，從而克服細節重構丟失等問題。在特征融合時引入自注意力機制，其結構如圖7 所示。

圖7 自注意力模型結構Fig.7 Structure of self-attention model

在圖7 中，輸入為壁畫多尺度金字塔相應層的特征圖X∈RC×H×W，通過大小為1×1、通道數為L的卷積層 C1、 C2、 C3得 到特征f、q、h， 其中，{f,q,h}∈RC×H×W；將f、q重構為 RC×N，其中，N=H×W表示像素點的個數。為了保證自注意力特征圖與輸入特征圖大小一致，需要將fT與q矩 陣相乘得到N×N大小的特征圖，經過Softmax 層得到注意力映射圖P∈RN×N，公式如下：

將注意力映射圖P與 特征h、 權重因子 α相乘后并與特征X相加，從而得到大小為C×N的自注意力特征圖Y，公式如下：

2.4 損失函數

采用MS-FFGAN 網絡對壁畫進行修復訓練時，通過壁畫不同尺度的特征及自注意力機制，并結合對抗損失對生成器和判別器進行優化，從而完成壁畫的修復。其中，損失函數采用對抗損失函數與均方誤差(mean square error，MSE)來優化網絡模型。

首先，對生成器的最終預測進行定義：

式中：x為像素真實值；“ ?”為逐元素相乘；m代表掩碼；1 為破損區域。

判別器的損失表示為

式中：D(x)和D(z)為判別器輸出的歸一化概率。

生成器的損失表示為

采用均方誤差MSE 作為本文算法的損失函數，公式如下：

式中：m為訓練數據集數量。

通過最小化對抗損失和MSE 的殘差反饋實現本文模型的優化，MS-FFGAN 損失函數定義如下：

3 實驗結果與分析

為了驗證本文算法的有效性，通過對敦煌壁畫人為添加破損和真實破損壁畫分別進行修復實驗，并與Crim inisi 算法[5]及文獻[14,17]的修復結果進行對比。評價指標采用峰值信噪比(peak signal-tonoise ra t io，PSNR)及結構相似性(s t r uc t u r a l sim ilarity，SSIM)2 種客觀評價指標和人眼主觀視覺對修復結果進行分析。實驗在W indows10 下進行，使用Python3.6及Tensorflow1.14 搭建深度學習環境。硬件環境為Intel(R)Core i7-10700K CPU @3.80 GHz，32.0 GB RAM，NVIDIA GeFo r ceRTX2060SUPER，對比實驗均在相同配置環境下進行。

3.1 數 據 集

選取以唐代壁畫為主的2 915 張不同敦煌壁畫圖像作為數據集來源，并對其進行數據集擴展，形成15 000 張壁畫數據集進行實驗，其中訓練數據集壁畫圖像120 0 0 張，測試集壁畫圖像3 000 張。為了更好地對模型進行有效訓練，對掩膜數據集進行制作，掩膜數據集分為2 種，即中心掩膜和隨機掩膜。中心掩膜為模型自動生成，占比為壁畫的30%，隨機掩膜由人為制作，數量為1000 張。模型通過將掩膜圖像與壁畫圖像合成得到人為破損壁畫圖像，對其進行修復以達到訓練模型的目的。

3.2 人為添加中心掩膜修復

為了驗證本文算法對于破損區域較大壁畫的修復效果，首先選取7 幅敦煌壁畫對其添加中心掩膜進行修復實驗，修復結果如圖8 所示。從修復結果可以看出，Crim inisi 算法對于大區域破損的壁畫圖像修復效果較差，出現了結構紊亂、錯誤填充等問題，這是因為Crim inisi 算法采用全局搜索復制匹配塊的方法進行修復，對于較大面積破損無法完成有效塊匹配操作。文獻[14]在U-net 模型的基礎上增加了Shift 連接層，提高了修復的魯棒性，但在修復中心掩膜破損壁畫時，存在修復不徹底的問題，導致修復后的壁畫出現了掩膜塊狀陰影殘留。文獻[17]采用聯合互編解碼器和卷積神經網絡的修復模型來提高修復精度，但由于缺乏考慮特征之間的關聯性，使得修復后的壁畫出現色彩失真、特征缺失等情況。圖8(f)為本文算法修復結果，可以看出，本文算法相對于其他3 種算法具有更好的修復效果，對于前4 幅壁畫不僅可以修復出其細微特征，并且對于人臉輪廓、眉眼等結構可以有效地進行修復。圖8 中第6、7 行為整幅壁畫修復比較實驗，可以看出，對于大面積人為添加中心掩膜破損，本文算法修復雖有一定的誤差，但整體修復結果相對于其他3 種算法更加合理且主觀視覺也比較流暢，對于整體結構的重構效果更好。

為了進一步對圖8 的修復結果做出定量評價，采用PSNR 和SSIM 進行比較，如表1 所示。PSNR和SSIM 是衡量圖像質量的重要定量評價指標。其中，PSNR 值越大，代表失真越少，即修復效果越好；SSIM 是一種衡量2 幅圖像相似度的指標，該值越大，表明修復后圖像的失真程度越小[8]。從表1 中可以發現，本文算法在PSNR 和SSIM 上均優于其他對比算法，表明其修復質量更好，從而驗證了本文算法對于人為破損壁畫修復的有效性。

表1 不同算法修復結果PSNR 和SSIM 對比Table 1 Comparison of PSNR and SSIM repair results of different algorithm s

圖8 不同算法對人為添加中心掩膜破損壁畫的修復結果對比Fig.8 Comparison of different algorithms in inpainting of murals with artificially added central damage

3.3 人為添加隨機破損修復

為了進一步分析本文算法對于隨機破損修復的有效性，選取6 幅敦煌壁畫對其隨機添加掩膜進行修復實驗，修復結果如圖9 所示。從實驗結果可以看出，Crim inisi 算法修復后的壁畫中第1 幅壁畫因為錯誤填充導致眼角出現了黑色空洞的情況，第2 幅壁畫眼部則出現了線條結構紊亂及模糊的問題，第3 幅壁畫鼻翼區域及第4 幅壁畫眼部上下區域均出現了修復不當、殘留等問題，第5、6 幅壁畫同樣出現了錯誤填充、像素擴散的問題，導致修復后的壁畫主觀視覺效果突兀。文獻[14]算法修復結果中，前4 幅壁畫均出現了色彩失真、錯誤修復的問題，第5、6 幅壁畫則存在模糊、殘影等問題。文獻[17]算法修復后的壁畫中，前2 幅壁畫眼部均出現偽影、修復不徹底的問題，其余壁畫修復后均出現了像素錯誤擴散和殘影的問題。與對比算法相比，本文算法修復后的壁畫在主觀視覺效果均有所提高，并且修復后的壁畫視覺效果更加合理。圖10為不同算法修復后的壁畫PSNR 和SSIM 對比。可以較為直觀地看出，本文算法修復后的結果在PSNR及SSIM 2 個評價指標上均高于對比算法。

圖9 不同算法對人為添加隨機掩膜破損壁畫的修復結果對比Fig.9 Comparison of different algorithms in inpainting of murals with artificially added random damage

圖10 不同算法人為添加破損修復結果PSNR和SSIM對比Fig.10 Comparison of PSNR and SSIM repair results of different algorithms with artificially added random damage

3.4 真實破損壁畫修復

為了進一步驗證本文算法對于真實破損壁畫修復的有效性，選取6 幅真實破損敦煌壁畫進行修復實驗，修復結果如圖11 所示。從第1 幅修復結果可以看出，Crim inisi 算法修復后的結果出現了結構紊亂及線條丟失等問題，文獻[14,17]算法修復后出現修復不徹底、痕跡殘留等問題，而本文算法修復后的結果線條流暢，比較符合主客觀視覺效果。對于第2 幅壁畫，Crim inisi 算法修復后結果臉部出現殘留及塊效應，文獻[14]算法修復后結果出現區域模糊的問題，文獻[17]算法則出現錯誤修復及失真等問題，而本文算法對于額頭區域的修復相對于其他算法效果較好，并且對于臉頰區域修復也較為徹底，未出現結構錯誤、紋理缺失等問題。同樣，對于第3 幅和第4 幅壁畫，Criminisi 算法、文獻[14,17]算法均出現修復不徹底、結構斷裂的問題，修復效果較差。對于第5 幅壁畫，除了文獻[17]存在色彩失真及錯誤填充的問題，其他算法修復效果較符合主觀視覺效果和客觀邏輯性。第6 幅壁畫修復結果可以看出，Crim inisi算法修復后出現了誤匹配的問題，文獻[14,17]算法均出現了修復區域模糊及色彩丟失的問題，相較于其他算法，本文算法修復視覺效果更好。

圖11 不同算法對真實破損壁畫的修復效果對比Fig.11 Comparison of different algorithms in inpainting of murals with real damage

4 結 論

本文針對現有深度學習圖像修復算法在修復壁畫時，存在細節重構丟失、修復效果欠佳等問題展開了相關研究，得到如下結論：

1）提出的多尺度壁畫特征提取方法，增強了壁畫圖像局部特征與全局特征的關聯性，克服了單一尺度壁畫圖像修復算法特征提取不足的問題。

2）提出的自注意力機制及特征融合模塊，通過捕捉壁畫全局信息來獲得更大的感受野和上下文信息，提升了壁畫修復網絡的細節重構能力。

3）通過對破損敦煌壁畫的修復實驗表明，本文算法對破損壁畫的細節特征能夠進行有效修復，其修復視覺效果更好，且PSNR 和SSIM 等定量評價指標均優于比較算法。