基于深度風格遷移網絡的文物數字拓片生成技術

摘" 要：數字拓片是指在不接觸文物的前提下獲得文物對應的拓片圖像的方法，該方法不僅避免對文物本體的損害，而且能夠獲得真實精準的高質量拓片圖像，保證提取質量的有效性。為解決傳統數字拓片生成方法獲得拓片圖像中存在的細節損失問題，該文提出一種基于深度風格遷移網絡的數字拓片生成方法，該方法借助生成對抗網絡強大的特征提取能力和數據擬合能力，在保留文物本身紋理細節信息的同時，增強生成拓片圖像效果的真實性和自然性。實驗結果表明，該文提出的方法能夠生成質量更高、紋理細節信息更豐富的數字拓片圖像，對文物保護和文化傳承發揮著至關重要的作用。

關鍵詞：文物保護；生成對抗網絡；數字拓片；風格遷移；深度學習

中圖分類號：TP391" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2023）14-0036-05

Abstract： Digital rubbing refers to the method of obtaining rubbings corresponding to cultural relics without contact with cultural relics. This method can not only avoid damage to cultural relics， but also obtain real and accurate high-quality rubbings images to ensure the effectiveness of extraction quality. In order to solve the problem of detail loss in traditional digital rubbing generation methods， a digital rubbing generation method based on depth style migration network is proposed in this paper. With the help of the strong feature extraction ability and data fitting ability of generating antagonistic network， this method not only retains the texture detail information of cultural relics， but also enhances the authenticity and naturalness of generating rubbings image. The experimental results show that the method proposed in this paper can generate digital rubbings with higher quality and richer texture details， which plays a vital role in cultural relic protection and cultural heritage.

Keywords： cultural relic protection; generating confrontation network; digital rubbing; style transfer; deep learning

拓片是我國一項古老的優秀傳統技藝，是記錄中華民族文化的重要載體之一。一般是使用宣紙和墨汁，將碑文、器皿等文物上的文字或圖案清晰地復制下來，大量文化遺產信息都是通過拓片得以留傳下來的。特別是碑刻石刻、畫像石（磚）、甲骨文字、青銅器銘文和古代錢幣等文物拓片具有很高的歷史價值、藝術價值和文化價值。

1" 相關研究現狀

1.1" 傳統拓片工藝

在制作工藝上，傳統方法主要是在文物上覆蓋宣紙，以上墨捶打的方式獲取拓片，對操作流程，使用的工具、材料都有嚴格規定，操作不當，可能會對文物本體造成損傷。為保護文物，目前國家已經禁止商業售賣文物拓片。此外，傳統的拓片工藝對操作者專業性和技術性要求較高，受天氣條件、地理環境等客觀因素的制約，制作效率和制作質量不穩定。同時，傳統工藝制作的拓片不利于信息提取和資源共享，受限于紙張的材質問題，對保存的方法有較高的要求，不易長期保存。

1.2" 文物數字化

文物數字化即借助計算機、掃描儀等硬件設備，采取數字化的技術手段，對文物本體進行掃描和處理，進行數字化的存檔和展示。隨著硬件設備及軟件技術實力的不斷提升，數字化獲取和處理文物信息的科技手段在文物保護領域得到廣泛應用，以更優的現代化整理、收集和記錄方式對文化遺產信息進行最大限度的提取保存和傳承活化。通過這種方法一方面降低了文物保護的成本和隱患，另一方面打破了傳統方法有限的展示需要和保真效果，使文物信息能夠更加精準完整且安全長久地保存。并且，在文物的展示與活化中，通過數字化平臺的轉化，能夠讓更多的人走近文物，從中體會中華文化的博大精深，更方便地接觸到珍貴文物，而不受到時間、地點和財力的限制[1]。

1.3" 數字拓片技術

當代的計算機技術在諸如水粉、水彩畫仿真、油畫仿真和三維場景模擬等方面已經取得了卓有成效的研究成果。近年來，陸續有研究者開始嘗試將計算機技術運用到拓片制作領域中，現有的數字拓片技術主要包括：基于數字圖像處理技術的數字拓片技術、基于三維模型的數字拓片生成和基于激光點云和近景影像的數字拓片生成方法。第一類方法通過對相機拍攝碑刻的圖片采用數字圖像處理技術，從而獲得數字拓片。以往的技術多利用Photoshop等圖像軟件將碑刻圖像處理成數字拓片[2]，但需要有較多的人工干預；更進一步的，朱曉麗等[3]運用MATLAB編寫程序對圖像進行局部閾值和均值濾波方法來獲得數字拓片，然而其自動化程度有限。此外，該類方法往往受限于采集圖像的質量，如光照不均、噪聲嚴重等。針對這一問題，Wang等[4]對石刻文字采用各向異性擴散算法進行平滑處理，通過二值化去除石刻圖像中的噪聲。然而此類方法對圖像的拍攝環境、分辨率及光照條件要求較高，且自動化程度仍有限。

針對上述第一類問題中存在的拍攝環境要求高等問題，有研究人員通過提升數據采集的硬件設施等方法進行解決。如基于三維模型的數字拓片生成方法，該方法通過三維激光掃描設備獲得的點云數據或者基于碑刻圖像進行三維重建的碑刻三角網格進行處理獲得碑刻的數字拓片。例如惠鵬宇[5]提出一種基于三維數據掃描提取石碑石刻數字拓片的方法。該方法需要進行手工選點，選點結果會影響Delaunay三角剖分生成的投影面，進而影響深度圖和最終結果。最后一類方法是基于激光點云和近景影像的數字拓片生成方法，該方法緩解了基于數字圖像處理方法獲取數字拓片存在的圖像投影、圖像配準等問題。但此類研究比較少，點云數據難以獲取等問題也限制了此類技術的發展。

隨著深度學習技術的發展，卷積神經網絡在計算機視覺和圖像處理領域展現出強大的應用潛力。文物正射圖像與拓片圖像的轉換，本質上是圖像到圖像之間的映射關系，深度學習模型強大的特征學習和表征能力為數字拓片的獲取提供了可能。因此，本論文提出一種基于生成對抗網絡的數字拓片生成技術，旨在實現自動化、批量化的文物圖像到數字拓片的轉換，從而在確保穩定高質量輸出的同時，有效解決手工拓片獲取難、保存難等問題，進而實現智能化數字拓片生成，助推傳統文物的保護和傳承。

1.4" 本文工作

本文將生成對抗網絡應用到數字拓片中，主要的工作內容如下。

1）搭建生成對抗網絡，設計合適的生成器與判別器模型，采用合適的激活函數及學習率。

2）設計合理的損失函數，構建模型訓練策略，調整參數以提高生成數字拓片圖像質量。

3）設計搭建數字拓片網頁前端，提供接口上傳石刻文物正攝圖像，調用訓練好的模型生成文物對應的數字拓片圖像。

2" 相關技術介紹

2.1" 生成對抗網絡

生成式對抗網絡是一種深度學習網絡，是近年來在復雜分布上的無監督學習中最具前景的方法之一，其包括生成器和判別器2個部分。生成器和判別器相互博弈，最終達到動態平衡以生成看似真實的模擬數據。一個優秀的生成對抗模型需要構建良好的訓練方法，否則可能由于神經網絡模型的自由性而導致模式崩潰、生成圖像質量不佳等問題。在原始的生成對抗模型理論中，并不要求生成模型和判別模型都是神經網絡，只需要擬合出相應的生成和判別的函數。由于深度學習模型強大的數據擬合和特征提取能力，因此本文采用深度神經網絡來搭建生成器和判別器，具體模型結構和訓練策略將在下面進行介紹。

2.2" 風格遷移算法

圖像風格遷移[6]，是指將一張圖片的風格轉移到另一張圖片上，并保持圖像的主要內容不變。一般情況下，將內容保持不變的圖片稱為內容圖，把含有所需要的風格圖片稱為風格圖。風格遷移算法分為2個部分，第一部分為風格重構部分，該部分用深度神經網絡來提取圖像的風格特征，隨著卷積層數的提升，圖像的風格會逐漸清晰；第二部分為內容重構部分，該部分同樣采用深度神經網絡提取深度的圖像特征，但在這個過程中會丟失掉部分細節信息，隨后將提取的風格和內容進行融合，最后得到風格遷移結果。

目前基于神經網絡的風格遷移算法[7]主要分為2類，一類是基于在線圖像優化的慢速神經網絡算法，另一類是基于在線模型優化的快速神經網絡方法。在線圖像優化的基本思想分別從內容和風格圖像中提取內容和風格特征，并將2個特征重新組合成為目標圖像，之后依據生成圖像與目標圖像的差異在線迭代重建目標圖像。上述的2類方法均是基于在線圖像優化的方法進行的。但是對于第一類算法，隨著學習風格數量的增加，模型的尺寸通常會隨著變大。第二類方法則通過充分探索單個網絡的能力，將內容與風格結合到網絡中進行風格識別，有效解決第一類算法的局限性。

3" 基于深度風格遷移的數字拓片生成技術

3.1nbsp; 技術流程

本小節著重介紹了基于深度風格遷移的數字拓片生成技術的整個開發實施路徑。首先，通過分析以往手工拓片的制作步驟和特點，總結目前國內外現有的數字拓片方法所存在的重難點問題，本文結合生成對抗網絡與對比學習等方法，提出了一種基于生成對抗網絡的文物正射圖像到數字拓片圖像轉換的深度學習模型，其中包括深度卷積神經網絡的構建、損失函數的設計及模型訓練和調優3個階段，進而實現以大數據平臺為基礎的全數字化、全智能化的端到端式的數字拓片轉換。

3.2" 技術實現

本小節重點介紹了如何利用深度學習和風格遷移實現數字拓片自動生成技術模型建立的運行系統體系。通過整合篩選已有數據，構建深度學習模型，推廣模型應用場景，本文提出一種拓片數據數字化保護系統，包括數據處理層、模型構建層與模型應用層3個體系層次。

3.2.1" 數據處理層

數據處理層包括數據收集、數據預處理2個階段。根據指定的數據標準對收集到的數據進行篩選整合，包括數據清洗、數據補全、數據增強等關鍵步驟，從而解決源數據中存在的數據缺失、數據類別不平衡、數據規格不一等問題，進而建立數據尺寸統一、類別豐富的純凈數據集，為后期的模型訓練提供準確數據，提高精準度。

3.2.2" 模型構建層

手工拓片存在步驟繁復、耗時耗力等問題，且對拓印人員的專業水平有較高要求。借助深度學習和計算機視覺技術制作數字拓片，可以節約時間、減輕專業拓印人員的壓力，實現批量化數字拓印制作，從而更好地傳承中華優秀傳統文化。模型構建是拓片數字化制作的關鍵環節，由于文物類型不同（甲骨文、磚瓦、碑刻等），應結合文物所處環境、自身材質等信息分類進行模型構建及后續模型應用推廣。根據所持有數據特性，采用生成對抗網絡或者深度卷積神經網絡進行模型建模，以實現實體文物正射圖像到數字化拓片的轉換。

為了獲得高分辨率、真實自然的數字拓片，需要進行損失函數的設計。通過最小化預測結果和真實拓片圖像之間的細節、紋理差異，以獲得高質量數字化拓片。利用預處理后的大量數據訓練生成對抗網絡模型，篩選模型中的關鍵參數，并在模型訓練過程中對關鍵參數進行調優，從而獲得最優模型，實現自動化數字拓片輸出。圖1展示了本文提出方法的模型結構，該模型使用多層圖像塊的對比損失，最大化相對應的多層圖像塊之間的互信息，最后將生成器和Encoder相結合，取得對應的生成圖像。

■=G（z）=Gdec（Genc（x）） ，" " （1）

式中：G（z）為生成器模型；Gdec為生成器中的解碼器模型；Genc（x）為生成器中編碼器模型。在此模型中，網絡結構如圖2所示，主要是由編碼器Encoder和解碼器Decoder兩個部分組成。將解碼器與編碼器組合成為生成對抗網絡模型，圖像的生成過程如公式（1）所示。在訓練過程中采用生成對抗損失L（G，D，X，Y）對風格圖像進行處理，使得重構生成的圖像與源圖像在內容上保持一致。對于風格遷移部分，則采用對比學習的方法，從風格圖像中提取多個部分作為對比學習的正負樣本，從內容圖像中提取部分作為query部分，讓query與正樣本信息相關聯，與負樣本信息形成對比，采用Noise Contrastive Estimation（NCE）框架，最大化互信息對模型進行訓練，實現對內容圖像風格的轉換。在對比學習階段，采用" " " " （G，H，Y）一致性損失來避免生成器對產生的圖像造成不必要的影響。綜上，本文的總損失為

。 （2）

如公式（2）所示，本算法的損失包括生成對抗損失及文物正攝圖像和文物拓片圖像的一致性損失。同時因為對比學習采用的是輸入圖像中不同部位的圖像來作為正負樣本，如圖2中的實線框部分代表了對比學習的正樣本信息，而從文物圖像中獲取的部分圖像信息代表對比學習中的負樣本信息。因此本模型不要求輸入的圖像是成對數據，即文物正攝圖像和對應的拓片圖像為一組成對圖像。這一優勢極大地提高了本模型的魯棒性。

3.2.3" 模型應用層

本小節主要介紹石刻文物數字拓片生成的前端。為了實現自動化、智能化、交互式數字拓片制作，開發數字拓片系統，用戶僅需自主選擇或者上傳待拓印的實體文物圖像，經過系統內部模型處理后，只需幾秒即可自動輸出對應的拓片圖像。該系統的應用，不僅能夠實現文物的數字化管理和保護，而且在推動文物數字化展示方面起到重要作用。

3.3" 實驗結果

本節采用第三節中建立的風格遷移模型，借助大量的拓片圖像和文物正攝圖像對該風格遷移模型進行訓練。將模型訓練成功后，通過輸入文物的正攝圖像自動生成與文物對應的數字拓片圖像。實驗結果展示在圖3中。

如圖3所示，當選擇好需要的圖像文物拓片的風格后，通過向模型中輸入文物的正攝圖像來獲取文物對應的數字拓片圖像。本文的方法獲得的數字拓片圖像能夠盡可能地保留文物本身的紋理細節信息，這主要是由于卷積神經網絡強大的特征提取能力。另外得益于對比學習算法的采用，生成的數字拓片圖像的整體風格與傳統手工拓片風格更接近，更符合真實的人類視覺感知。

4" 結論

拓片文物一直是中華文化的重要組成部分，拓片保留下的不只是前人所思所想，更是后來人對中華文化的思考與繼承。但是由于拓片技術的傳承困難，導致現存的拓片匠人越來越少。如何獲得高質量的文物拓片是當前文物保護領域的難題之一。隨著深度學習技術的不斷發展，卷積神經網絡在計算機視覺和圖像處理領域展現出日益強大的分布擬合能力。本文嘗試借助神經網絡強大的數據擬合和特征提取能力，結合風格遷移與對比學習的方法，將現代計算機技術與文物拓片相結合，實現利用深度學習網絡獲取文物拓片的整體風格分布，并將這種分布與文物的正攝圖像相結合，實現利用深度學習網絡獲得文物的拓片圖像。基于深度風格遷移的數字拓片算法，實現對文物拓片的自動化、批量化、智能化的生成實驗結果顯示，該方法生成數字拓片圖像更加接近傳統的手工拓片。因此本文提出的方法解決了文物拓片獲取困難、保存困難等問題。并且基于深度風格遷移的數字拓片算法的輸入只需要文物的正攝圖像，不需要與文物產生接觸，因此在獲得數字拓片的過程中不會對文物本體造成損害，更好地實現了對傳統文物的保護。

可以發現本文提出的方法不只是對文物的主體部分進行了風格遷移，對于文物正攝圖像的背景部分也造成影響。考慮在后續的工作中為算法增加目標識別模塊。在將文物的正攝圖像輸入到基于深度風格遷移的數字拓片算法前先對文物的正攝圖像進行主體識別，對主體部分進行分割后，將主體部分送入到算法中生成只有文物主體部分的拓片圖像，這樣的結果更加接近傳統手工拓片獲得的圖像。

參考文獻：

[1] 朱曉麗，張春新，吳中福.“數字拓片”構想及實驗研究[J].同濟大學學報（社會科學版），2011，22（3）：82-88.

[2] 朱曉麗，吳中福.基于photoshop實現浮雕圖像“數字拓片”的技術研究[J].計算機科學，2008，35（12）：224-228.

[3] 朱曉麗，吳中福，李穎.基于MATLAB實現石刻浮雕圖像“數字拓片”技術的研究[J].計算機科學，2009，36（2）：268-270.

[4] WANG S Z， LEE H J. Dual-binarization and anisotropic diffusion of Chinese characters in calligraphy documents[C]// International Conference on Document Analysis amp; Recognition， 2001.

[5] 惠鵬宇．一種基于三維數據掃描提取石碑石刻數字拓片的方法：CN104268924B[P].2017.

[6] ZHENG C X， CHAM T J， CAI J F. The Spatially-Correlative loss for various image translation tasks[J].2021.

[7] ZANG Y， HUANG H， LI C F，et al.基于筆畫風格分析的繪畫風格渲染[J].journal of computer science amp; technology， 2013，28（5）：762-775.