結構門控與紋理聯合引導的生成對抗壁畫修復

陳永 ，陶美風趙夢雪

（1.蘭州交通大學 電子與信息工程學院，甘肅 蘭州 730070；2.甘肅省人工智能與圖形圖像處理工程研究中心，甘肅 蘭州 730070）

敦煌莫高窟是世界文化藝術的璀璨瑰寶，其壁畫舉世聞名，具有極高的研究價值.然而，由于惡劣的自然環境、人為破壞等因素，出現了不同程度的脫落、裂縫等病害，亟待保護.將數字化修復技術應用于古壁畫的保護，已成為當前的研究熱點［1］.

圖像數字化修復是利用已有完好區域的先驗信息對破損區域進行估計完成填充，使修復結果滿足人眼視覺感受的計算機技術.圖像修復方法主要分為：傳統圖像修復方法和深度學習圖像修復方法.其中，傳統圖像修復方法主要利用像素擴散、樣本匹配和稀疏表示等方法完成修復，如Sridevi 等［2］提出了一種基于差分曲率驅動的分數階非線性擴散的圖像修復模型，減少了修復結果的階梯效應和修復偽影.Chen 等［3］提出了一種改進的全變分最小化的圖像修復方法，對修復結果中線條斷裂問題有一定的改善.陳永等［4］通過塊核范數的RPCA 將圖像分解為結構層和紋理層，并利用提出的熵權類稀疏方法完成壁畫修復，對壁畫圖像中小范圍邊緣和紋理破損修復有較好的效果.周李洪等［5］提出了基于稀疏表示的車用帶鋼表面圖像信息修復方法，利用稀疏修復模型對分割后的不同圖像區域進行修復，修復效果有所改善.但是上述傳統的圖像修復方法主要針對破損區域較小范圍的修復，不能充分利用圖像的上下文高級語義信息，無法完成大面積破損區域的修復.

為了克服傳統圖像修復算法的不足，隨著深度學習技術的快速發展，基于深度學習的圖像修復算法逐漸成為目前的主流方法.Xie 等［6］提出了一個雙向可學習的注意力圖模塊，以端到端的方式學習圖像和掩膜的特征，但該網絡在特征提取時，忽略了結構和紋理先驗信息對于修復結果的引導性，導致破損空洞過大時會出現結構紊亂的問題.Liu 等［7］提出了基于連貫語義注意的圖像修復模型，利用樣本塊匹配的思想對破損區域進行預測完成修復，但修復結果存在塊效應問題.Yuan 等［8］提出了基于條件生成對抗網絡的多視角場景圖像修復，結合多視角圖像對破損區域進行修復，但多視角圖像之間的視角偏差會導致修復結果出現紋理紊亂的問題.Wadhwa等［9］提出了一種基于超圖卷積的圖像修復方法，以加強對圖像空間特征的關注，但該方法對結構紋理等先驗信息考慮不足，導致修復結果存在語義不合理和紋理模糊等現象.總之，上述深度學習算法由于缺乏對結構紋理信息的關注，往往會出現結構不連貫和紋理紊亂等問題.因此，增強結構和紋理特征的感知表達能力對圖像修復結果具有重要意義，如Xiong等［10］提出了一種前景感知的圖像修復模型，首先對圖像進行前景輪廓預測，然后利用得到的輪廓完成缺失區域的修復，但前景分離不徹底對修復結果有較大影響.Liu 等［11］提出了互編碼器-解碼器的圖像修復模型，結合多尺度和注意力特征融合解碼器生成圖像，但修復過程未考慮圖像的方向特征信息，修復結果易出現紋理不一致的現象.Nazeri 等［12］提出了雙階段EdgeConnect 圖像修復模型，通過邊緣生成器生成圖像的邊緣信息，然后利用邊緣圖像引導修復，取得了較好的修復效果，但該方法忽略了紋理信息的重要性，修復結果會出現一定的偽影現象.Ren 等［13］提出了結構粗修復和紋理精修復的級聯修復模型，但該方法缺少對結構和紋理特征的聯合約束，導致修復結果存在信息丟失和修復不徹底的問題.Li 等［14］提出了一種漸進式視覺結構引導的生成對抗修復模型，該方法利用視覺結構引導圖像編碼，但編碼器中采用部分卷積難以區分有效像素與無效像素，修復后的圖像易出現偽影現象.Wang 等［15］提出了一種基于邊緣和結構先驗的圖像修復模型，采用權值共享的方式使用多尺度卷積和殘差塊從原圖、結構圖等多源圖像中提取特征，但該方法未對結構和紋理信息的差異性進行考慮，修復結果存在紋理細節模糊現象.

綜上所述，現有深度學習圖像修復方法在修復壁畫時，缺少結構和紋理先驗信息對修復過程的聯合約束性引導，導致壁畫修復結果易出現結構紊亂和紋理模糊等問題.針對上述問題，本文提出了一種結構門控融合與紋理聯合引導的生成對抗壁畫修復深度學習模型.主要工作有：1）構建修復生成網絡，由結構引導編碼子網絡和紋理引導解碼子網絡組成，利用結構信息引導編碼，通過設計門控特征融合（Gated Feature Fusion，GFF）機制將壁畫特征和結構特征進行層間融合，以獲得豐富的邊緣輪廓信息.2）通過紋理引導解碼子網絡對編碼后特征圖解碼，利用提出的方向注意力模塊（Orientation Attention Module，OAM）得到紋理方向特征，將紋理方向特征作為解碼器的引導信息，指導壁畫圖像生成，以提高修復結果的結構一致性和紋理合理性.3）采用跳躍連接促進編碼器和解碼器的特征融合共享，加強結構和紋理之間的特征互補，并通過譜歸一化馬爾科夫判別模型對抗完成破損壁畫的修復.通過真實破損敦煌壁畫的修復實驗表明，所提算法在清晰度和連貫性等主客觀評價方面均優于對比算法.

1 本文算法

1.1 整體網絡框架

壁畫圖像往往呈現出結構多樣、紋理復雜的特點［1］.在對壁畫進行修復時，為了更好地實現對破損壁畫的修復，模型建立時考慮到不僅需要學習壁畫的基本特征信息，更要利用其結構和紋理特征作為約束引導網絡進行學習，以便獲得視覺效果更加真實、自然的修復結果.因此，提出了一種結構門控融合與紋理聯合引導的生成對抗壁畫修復模型，其網絡整體框架如圖1 所示.該網絡模型以生成對抗網絡為基礎，由生成網絡和判別網絡構成.其中，生成網絡包括結構引導編碼子網絡和紋理引導解碼子網絡.判別網絡采用譜歸一化馬爾科夫判別模型.

圖1 整體網絡框架Fig.1 Architecture of the network

模型工作時，首先，將待修復壁畫圖像和結構圖輸入結構引導編碼子網絡中，通過編碼器和結構引導器分支分別提取壁畫特征和結構特征.在編碼的過程中利用結構特征作為引導信息，設計GFF 門控特征融合機制對提取到的壁畫特征和結構特征進行融合編碼，增強編碼特征圖的結構輪廓信息.然后，通過紋理引導解碼子網絡對編碼得到的特征圖解碼，利用提出的紋理引導器和方向注意力OAM 模塊得到分層紋理方向特征，將其作為解碼器重構的紋理引導信息，來提升破損壁畫圖像的細節重構修復精度；在此過程中采用跳躍連接形式，將結構引導編碼子網絡和紋理引導解碼子網絡的權值進行融合共享，以促進生成壁畫圖像結構紋理更加協調一致.最后，將生成壁畫和真實壁畫輸入譜歸一化馬爾科夫判別模型中進行真假博弈對抗，從而達到壁畫修復的目的.

1.2 結構引導編碼子網絡

破損壁畫由于結構先驗信息的缺乏，修復結果易出現邊界模糊或線條斷裂及紊亂等問題.利用結構先驗信息引導圖像修復能得到更好的修復效果［12，15］.因此，為了增強結構信息在圖像修復過程中的引導作用，本文提出在生成網絡內部采用結構引導編碼子網絡進行壁畫特征提取與編碼.結構引導編碼子網絡由編碼器、結構引導器和GFF 門控特征融合機制構成，通過GFF 門控特征融合機制將壁畫特征和結構特征融合編碼，得到結構引導編碼特征圖，引導編碼器進行特征編碼.下面對編碼器、結構引導器和GFF門控特征融合機制分別進行介紹.

1.2.1 編碼器和結構引導器

編碼器主要通過多層卷積操作提取壁畫圖像的基本特征信息，可表示為

在得到各層的壁畫特征和結構特征后，通過設計的GFF 門控特征融合機制，使壁畫特征和結構特征進行層間融合.通過該結構引導性操作，目的是增強結構特征在編碼過程中的約束性引導作用，學習通道之間的非線性相互關系，以便捕獲壁畫更高級別的結構特征信息.

1.2.2 GFF門控特征融合機制

GFF 門控特征融合機制將壁畫特征和結構特征有選擇性地進行逐層融合，一方面可以促進有用信息從當前層向下一層傳遞，另一方面能夠同時抑制無效信息的干擾，以提高編碼器的結構輪廓感知能力.門控特征融合GFF機制的示意圖如圖2所示.

圖2 門控特征融合機制Fig.2 Gated feature fusion mechanism

圖2中，GFF機制首先將每一層對應的壁畫特征圖和結構特征圖進行通道連接，在通道級上擴增特征圖信息，如式（3）：

式中：為通道連接后的特征圖，Concat(?)為通道連接操作.

然后，利用卷積操作對進行通道降維，并通過Sigmoid 軟門控機制進行特征重要性衡量.一般情況下，特征在圖像中越重要，被選取的概率往往越大，即采用門控機制可以提取到更豐富、更關鍵的語義特征信息［16］.因此，通過門控機制計算得到門控特征值，其大小可以反映該局部區域的重要程度，可表示為

最后，將門控特征值和結構特征圖進行元素相乘，賦予結構特征圖相應的權重，并與壁畫特征圖進行元素相加，得到結構引導編碼特征圖，提高對關鍵結構特征的關注度，增加每一維特征的信息量.

1.3 紋理引導解碼子網絡

在結構引導編碼子網絡完成編碼后，緊接著將編碼后的特征圖輸入解碼子網絡中.解碼子網絡設計時，考慮到圖像的結構和紋理信息相互關聯，共同形成圖像的內容，如果未對圖像的結構輪廓和紋理背景信息聯合約束性引導進行考慮，修復結果易出現內容模糊和結構扭曲等問題［11］.鑒于以上原因，為了提高修復結果精度和修復后整體協調性，設計紋理引導解碼子網絡，其由解碼器、紋理引導器和方向注意力模塊構成.解碼生成修復后壁畫圖像時，利用紋理引導器和方向注意力模塊得到紋理方向特征，引導解碼器重構生成.下面將分別闡述解碼器、紋理引導器和方向注意力模塊.

1.3.1 解碼器和紋理引導器

解碼器工作時，首先，將結構引導編碼子網絡產生的編碼特征圖輸入解碼器中進行解碼重構，通過2倍上采樣操作得到解碼特征，計算如式（6）：

然后，將紋理圖通過卷積提取紋理細節信息，得到紋理特征圖

接著，為了對紋理的方向性進行考慮，通過OAM 方向注意力模塊對紋理特征圖進行方向特征信息增強，得到各層的紋理方向特征圖

最后，在紋理方向特征的先驗信息和引導作用下，將紋理方向特征和解碼特征進行逐層融合，使紋理特征在層間傳遞，利用不同層次下壁畫特征和紋理特征之間的關聯性，提高解碼器生成紋理細節信息的能力.紋理引導解碼示意圖如圖3所示.

圖3 紋理引導解碼Fig.3 Texture guided decoding

式中：σ(?)表示ReLU 激活函數，[，]表示級聯，和分別為權重和偏置.

同樣，對于紋理引導解碼的第i層也采用相同的融合方式，將第i-1 層引導融合特征與第i層紋理方向特征以及解碼特征進行融合，并通過2倍的上采樣生成第i層的引導解碼特征

通過層間紋理方向特征和壁畫特征的引導融合，解碼器具有更強的方向感知能力，提高生成壁畫紋理細節信息的一致性和真實性.

此外，在生成網絡內部，將編碼器和解碼器之間通過跳躍連接的方式進行特征增強，編碼器中的特征信息與對應的解碼器中的特征信息以通道相加的方式進行融合［17］.使用跳躍連接后，減少了編解碼器網絡層之間的信息丟失，并利用結構和紋理的互補特性，以促進生成壁畫圖像結構紋理更加協調一致，得到更真實合理的修復結果.

1.3.2 方向注意力模塊

在紋理特征提取過程中，若未對紋理的方向進行考慮，僅通過引入輪廓約束難以得到有效紋理特征［18］.為了更好地對壁畫的方向特征進行提取，提出方向注意力模塊，其由方向特征提取層、通道連接層、通道注意力層和通道降維層構成，如圖4所示.

圖4 方向注意力模塊Fig.4 Orientation attention module

式中：FVH為水平和垂直方向特征圖，FO為標準卷積特征圖，FD為對角方向特征圖，?為卷積操作.

上式中，WO為Conv 標準卷積核，利用卷積核的局部感受野對圖像進行特征提取，用來保留特征圖的基本信息；WVH為垂直和水平方向稀疏卷積核，WD為對角方向稀疏卷積核，其通過設計二維濾波器卷積核，利用卷積核感受野的結構稀疏性，提取不同方向的圖像特征信息，圖5所示為5×5大小的方向稀疏卷積核示意圖，圖5（a）為垂直和水平方向的SConv_VH 卷積核，圖5（b）為對角方向的SConv_D 卷積核，卷積核劃分為25 個網格區域Ω={(-2，-2)，(-2，-1)，}…，(2，2)，每個卷積核有9 個非零權重，即圖中的灰色區域部分，其余16 個權重為0.輸入特征圖x經過方向稀疏卷積核，x的每個位置q的輸出G(q)可計算為：

圖5 方向稀疏卷積核Fig.5 Directional sparse convolution kernel

式中：w(pn)為卷積權重，pn為方向稀疏卷積核的位置.

然后，將得到的多方向特征圖輸入通道連接層進行連接，通道連接后的特征為

接著，利用通道注意力層學習不同通道特征之間的依賴關系，實現特征的跨通道交互，選擇性地融合不同壁畫紋理方向特征，其采用壓縮和激勵（Squeeze-and-Excitation，SE）模塊，增強壁畫的全局特征，關注更加重要的通道信息［19］.壓縮和激勵模塊示意圖如圖6 所示，主要包括壓縮、激勵和特征重標定三個步驟.

圖6 壓縮和激勵模塊Fig.6 Squeeze-and-excitation module

其中，壓縮操作是為了克服卷積在紋理引導解碼子網絡中僅在局部感受野上作用，不能利用特征的全局信息等問題，通過全局平均池化（Global Aver?age Pooling，GAP）將通道連接特征FG壓縮成一個通道描述符z∈R3C，獲取通道特征圖的全局信息，z的第c個元素可表示為

式中：Fsq(?)表示壓縮操作，FG，c(i，j)為FG中第c個通道中位于(i，j)的元素值.

在壓縮操作后，將得到的特征向量z進行激勵操作，對每個通道的重要性進行預測，得到不同通道的重要性，以更好地擬合通道間復雜的相關性［20］.激勵操作就是利用兩個全連接層（Fully Connected，FC）、ReLU 激活函數和非線性Sigmoid 函數交叉生成0～1之間的歸一化權重，可表示為

式中：Fex(?)表示激勵操作，VU和VD為全連接層，σ(?)為ReLU激活函數，Sig(?)為Sigmoid函數.

緊接著進行特征重定向操作，將歸一化的權重加權到每個通道特征圖上，即將第c個注意力權重αc與其對應的通道圖相乘，得到重標定的特征圖

式中：Fscale(?)為重標定操作，為重標定特征圖.

1.4 損失函數

本文采用聯合損失進行模型訓練，包括重構損失、總變分損失和對抗損失，以生成具有結構連貫、語義合理的壁畫圖像.

重構損失Lrec是指生成壁畫Iout和真實壁畫Igt之間的像素差異，利用l1范數進行計算

總變分損失Ltv是為了降低訓練過程中噪聲對修復結果的影響，使得修復結果更為平滑，定義為

式中：m和n表示生成壁畫Iout中的像素坐標.

對抗損失Ladv則是為了確保重建圖像的視覺真實性以及紋理和結構的一致性，其表示為

式中：Dsn為頻譜歸一化判別網絡，Iin為生成網絡的輸入圖像，σ(?)為ReLU激活函數.

因此，本文的聯合損失可表示為

式中：λrec、λtv、λadv分別為重構損失、總變分損失和對抗損失的對應權重.

2 實驗結果與分析

2.1 數據集及參數設置

本文實驗使用自制敦煌壁畫數據集，以唐代壁畫為主的高清壁畫圖像作為數據集來源，并通過數據增強的方式對數據集進行擴充，形成21 000 張壁畫數據集進行實驗.其中包括：訓練集12 600張壁畫圖像，測試集4 200張壁畫圖像，驗證集4 200張壁畫圖像.

本文實驗運行環境為Windows 10 操作系統，硬件配置為Intel（R）Core i7-10700K CPU @3.80 GHz，32.0GB RAM，NVIDIA GeForce RTX 2060 SUPER，對比實驗均在相同配置下進行.本修復模型基于Py?Torch 深度學習框架編程實現，在訓練過程中，用Adam優化器進行優化，批大小為4，學習率為2×10-4.

為了驗證本文方法的有效性，采用人為添加隨機破損、人為添加大區域中心破損和真實破損敦 煌壁畫進行修復實驗，并與文獻［6］、文獻［9］、文 獻［11］和文獻［12］的修復結果進行對比分析.采用主觀效果和客觀定量分析對修復結果進行評價，客觀評價使用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似性（Structural Similarity Index Mea?surement，SSIM）.

2.2 人為添加隨機破損修復實驗

首先進行人為添加隨機破損修復實驗，選取五幅敦煌壁畫，實驗結果如圖7 所示.其中，圖7（a）為原始壁畫，圖7（b）為掩膜圖像.圖7（c）為文獻［6］的修復結果，可以看出文獻［6］修復結果中出現了塊效應及修復不徹底的問題，如第一幅壁畫的頭飾部分出現塊效應；第二幅壁畫的頭光部分存在結構斷裂和紋理模糊問題；第三幅壁畫的關鍵語義信息丟失，未完成眼睛、鼻子等面部特征的修復；第四幅壁畫的排簫紋理不合理，出現過度平滑現象，且手指存在錯誤修復；第五幅壁畫修復結果的塊效應嚴重，且缺失較多邊緣結構信息，上述問題是由于文獻［6］通過引入雙向的可學習注意力模型指導修復，但該方法未考慮結構和紋理先驗信息對于修復結果的引導性，從而導致修復結果出現了局部梯度塊效應和結構紊亂問題.圖7（d）為文獻［9］的修復結果，可以發現修復結果出現語義不合理和內容模糊現象，如第一幅壁畫的頭飾部分出現平滑現象；第二幅壁畫的頭光部分存在線條扭曲問題以及脖頸以下部分的內容出現模糊問題；第三幅壁畫的面部語義信息未完成修復；第四幅壁畫的排簫部分出現偽影問題；第五幅壁畫的修復結果存在結構紋理模糊現象，上述問題主要是因為文獻［9］對壁畫結構紋理等先驗信息的考慮不足，這導致壁畫修復結果出現內容模糊和語義不合理問題.圖7（e）為文獻［11］的修復結果，其修復結果出現了紋理紊亂和修復錯誤等問題，如第一幅壁畫的頭光部分線條未擬合，出現斷裂現象；第二幅壁畫和第三幅壁畫均出現了錯誤修復問題，導致修復痕跡明顯；第四幅壁畫的手指和排簫部分出現紋理紊亂問題；第五幅壁畫同樣存在紋理修復不合理現象，這是因為文獻［11］未對壁畫圖像的紋理方向特征信息進行考慮.圖7（f）為文獻［12］的修復結果，發現修復結果出現了輪廓扭曲和紋理模糊偽影現象，如第一幅壁畫頭光上方部分結構細節信息丟失，存在像素模糊平滑問題；第二幅壁畫的頭冠部分未徹底修復，頭光部分存在邊緣輪廓扭曲問題；第三幅壁畫未能對壁畫整體色彩協調，線條清晰度也有所提高.

為了進一步對圖7 的修復結果進行客觀定量評價，PSNR 和SSIM 比較結果如表1 所示.其中，PSNR值越大，表明修復后圖像的失真程度越?。籗SIM 值越大，表明修復結果與原始圖像結構更加吻合.從表1中可以發現，本文算法的PSNR和SSIM均高于對比算法，從而說明在主客觀評價方面所提方法均優于比較方法.

表1 不同算法對人為添加隨機破損修復結果PSNR和SSIM對比Tab.1 Comparison of repair results PSNR and SSIM of different algorithms for artificially added random damage

2.3 人為添加大區域中心破損修復實驗

為了進一步驗證本文算法對于大面積破損壁畫的修復效果，選取五幅壁畫進行人為添加大區域中心破損修復實驗，修復結果如圖8 所示.其中，圖 8（a）為原始壁畫圖像，圖8（b）為中心破損掩膜圖像.圖8（c）為文獻［6］的修復結果，從第一幅壁畫可發現，壁畫的頭冠部分出現了結構紊亂、色彩差異的現象；第二幅壁畫雖然對眼部特征有所修復，但是出現了整體結構扭曲現象；剩余三幅壁畫均未完成修復，整體存在線條扭曲及未能有效完成修復的問題.圖8（d）為文獻［9］的修復結果，可以發現該方法對大面積破損壁畫的修復有所效果，但仍存在內容模糊和語義不合理現象，如第一幅和第五幅壁畫未完成面部信息的修復，第二幅、第三幅和第四幅壁畫存在內容模糊問題.圖8（e）為文獻［11］的修復結果，可以看出該方法無法完成對大面積破損壁畫的修復，均出現了修復偽影的現象.圖8（f）為文獻［12］的修復結果，可以看出該方法無法完成對大面積破損壁畫的修復，這是由于中心掩膜破損區域過大且關鍵特征未知時，文獻［12］模型采用雙階段修復思想，但在粗修復階段無法得到合理的邊緣輪廓信息，導致無法僅依靠結構引導完成關鍵部位的修復.圖8（g）為本文算法修復結果，從第一幅壁畫可以看出，本文對缺失區域實現了基本有效修復，雖然右眼未能徹底完成修復，但相比比較方法，修復結果基本符合人類視覺感受；第二幅和第三幅壁畫結構簡單，所提方法均取得了較好的修復效果；第四幅壁畫背景較復雜，本文修復結果雖然存在一定的平滑模糊問題，但采用結構和紋理聯合引導后，加強了對于結構和紋理的引導修復作用，修復后彩帶線條更加連貫自然，紋理一致.第五幅壁畫也基本修復完成，眼睛、鼻子等與原圖雖存在差異，但整體視覺效果更加協調和自然.

圖8 不同算法對人為添加大區域中心破損壁畫的修復結果對比Fig.8 Comparison of repair results of artificially added damaged murals in the center of large areas by different algorithms

同樣對圖8 的修復結果進行客觀定量評價，如表2 所示，從表中可以發現，本文算法的PSNR 和SSIM 均高于對比算法.通過對上述人為添加破損修復實驗進行主客觀評價可以發現，本文算法能完成大區域破損壁畫的有效修復，且取得了較好的修復結果.

表2 不同算法對人為添加大區域中心破損修復結果PSNR和SSIM對比Tab.2 Comparison of repair results PSNR and SSIM of artificially added large area center damage by different algorithms

2.4 真實破損壁畫修復實驗

為了進一步說明本文算法的有效性，下面采 用五幅真實破損壁畫進行修復實驗，修復結果如 圖9 所示.其中，圖9（a）為真實破損壁畫圖像，圖 9（b）為破損區域相應的掩膜圖像，圖9（c）、圖9（d）、圖9（e）、9（f）和9（g）分別為文獻［6］、文獻［9］、文 獻［11］、文獻［12］和本文算法的修復結果.從第一幅“莫高窟第158 窟?金光明經變之梵天”局部壁畫的修復結果可以看出，所有比較算法均出現修復不徹底和錯誤修復等問題，而本文算法左側矩形框中修復結果紋理一致、線條連續，右側矩形框中修復結果雖然存在一定的模糊現象，但整體色彩協調自然，視覺感受較好.對于第二幅“莫高窟第144 窟?金翅鳥王”局部壁畫和第三幅“莫高窟第155 窟?涅槃經變之菩薩和弟子”局部壁畫的修復結果，文獻［6］和文獻［11］均出現修復不徹底問題，存在殘留痕跡；文 獻［9］的邊緣輪廓部分未完成修復；文獻［12］出現局部色彩失真問題；本文算法的修復結果較完整，線條連續性較好.從第四幅“莫高窟第144 窟?舞伎”局部壁畫的修復結果可以看出，文獻［6］和文獻［9］無法完成大面積破損區域的修復，文獻［11］和文獻［12］出現邊界信息缺失和模糊等問題，而本文算法在結構連續性和色彩一致性方面均有所改善.第五幅“莫高窟第201 窟?觀無量壽經變之供養菩薩”局部壁畫的修復結果中，文獻［6］存在明顯的修復殘留，文 獻［9］出現邊緣殘留，文獻［11］和文獻［12］出現了修復偽影，本文算法則較好地擬合了面部和眼睛的輪廓，且修復完整度較高.

圖9 不同算法對真實破損壁畫的修復結果對比Fig.9 Comparison of repair results of real damaged murals by different algorithms

2.5 消融實驗

為了驗證本文方法所提出的各個模塊對修復結果的影響，采用消融實驗對測試集壁畫圖像的修復結果進行定量比較分析，如表3 所示.其中，模型Ⅰ是以編碼器解碼器為基本結構的網絡模型；模型Ⅱ是在模型Ⅰ的基礎上增加了門控特征融合機制的結構引導模型；模型Ⅲ是在模型Ⅰ的基礎上加入方向注意力的紋理引導網絡模型.從表3 可以看出，在模型Ⅰ的基礎上單獨加入結構引導或紋理引導后的PSNR 和SSIM 均有一定提升，而同時加入兩者后得到的PSNR 和SSIM 均優于結構引導和紋理引導的單獨使用，取得了更好的修復性能.

表3 消融實驗定量比較Tab.3 Quantitative comparison of ablation experiments

3 結論

本文提出了一種結構門控融合與紋理聯合引導的生成對抗壁畫修復模型.在結構引導編碼子網絡中，提出了門控特征融合機制將壁畫特征和結構特征進行引導編碼，增加編碼特征圖中的結構輪廓信息.然后設計紋理引導器和方向注意力模塊提取分層紋理方向特征，將提取到的紋理先驗信息引導解碼器更好地完成壁畫的生成重構，并采用跳躍連接加強結構和紋理信息的共享互補，促進生成壁畫圖像結構紋理更加協調一致.通過對敦煌壁畫的實驗結果表明，本文方法較好地完成了破損壁畫修復，在主客觀評價方面均優于比較算法.雖然所提方法具有較好的修復效果，但未對壁畫的佛經故事、文化內涵等深層語義信息進行考慮，后續將進一步加強研究.