基于高頻分量引導生成的古陶器模型紋理修復方法

關鍵詞：圖像修復;數字文物遺產;高頻分量;三維模型

中圖分類號：TP391 文獻標志碼：A

0 引言（Introduction）

在文化遺產保護領域，虛擬修復技術發揮著重要的作用，它提供了一種數字化、高效且非侵入性的手段，用于保存和保護古代建筑、藝術品和其他文物[1]。河姆渡文化是中國南方重要的新石器時代文化之一，陶器作為河姆渡文化的主要載體，虛擬修復陶器文物對于了解當時的社會風俗、經濟文化及生活方式至關重要[2]。本文提出了一種針對陶器模型紋理貼圖的圖像修復方法。早期圖像修復算法大致可以分為3類[3]，即基于擴散的修復算法、基于塊匹配的修復算法及基于稀疏表示的修復算法[4]。隨著深度學習的廣泛應用與快速發展，近年來有研究提出了一些基于生成對抗網絡[5-6]的圖像修復算法。但是，陶器數據集存在訓練數據規模不足、待修復區域面積大及模型訓練困難等問題，上述算法修復效果較差。

本文結合陶器模型的特點，提出了一種特殊的圖像修復算法，分別針對顏色和紋理兩個關鍵特征設置了不同的模塊，提高修復效果。同時，充分利用了紋理貼圖本身提供的信息，解決由于訓練數據有限而出現的修復效果差的問題。在構建的數據集上進行實驗的結果表明，本文所提出的修復模型在這一任務上相較于目前先進的修復算法，具有更高的修復質量。

1 數據集構建（Dataset construction）

陶器作為人類最早掌握的新材料，是博物館里的重要藏品，河姆渡文化遺址出土的陶片數量較多，考古學家需要先對其進行清洗，再將所有陶器碎片按其出土位置、類別、顏色、紋理等信息分類后挑選出匹配度較高的碎片進行拼接。為了提升文物的穩定性和完整性，對殘損嚴重的陶器文物進行補配工作。對殘缺部位進行牙科石膏補配時，遵循左右對稱、上下對稱、中心對稱的原則，是確保修復效果自然、協調的關鍵步驟。

待石膏硬化后，用手術刀、砂紙等打磨塑形，使得補配區域具有與陶器本身相似、連續且自然的紋理圖案。目前，學術界關于模型紋理貼圖的修復工作的研究很少，并且缺乏公認的陶器標準數據集，因此本文構建了一個陶器模型表面紋理貼圖數據集，并基于此數據集開展實驗。

1.1 三維建模

對河姆渡遺址實地出土的且經過考古學家修復之后的陶器模型進行拍攝，采集拍攝角度不同的陶器照片，把這些照片導入Reality Capture建模軟件中，得到具體的模型及其紋理貼圖。用Blender軟件對紋理貼圖進行重新映射，將原本雜亂、無序的紋理貼圖變得更加整齊、直觀且利于后續的處理，紋理貼圖重映射過程如圖1所示。

1.2 紋理貼圖裁剪

陶器模型紋理貼圖的特殊性在于其具有較高的分辨率，缺失區域面積占比較高，并且存在大面積的連續待修復區域?，F有的圖像修復模型和主流顯卡的顯存無法處理如此高分辨率的圖像，因此本文采用劃分切片的數據處理算法，將大尺寸的紋理貼圖裁剪為合適大小的切片圖像。切片的尺寸均為256×256像素，采用人工方式對完整區域與待修復區域進行區分，選用紋理貼圖中信息完整的區域構造訓練集，用于網絡模型的訓練，其余部分則作為測試集，用于驗證模型結果。

2 算法結構（Algorithm structure）

本文研究受人工修復過程的啟發，首先充分利用了模型紋理貼圖提供的信息，輸入部分除了常規的待修復圖像數據與對應的掩碼，還加入了圖像的高頻分量數據，即表示圖像內鄰近像素值變化程度的數據。這一部分數據可以反映圖像的紋理特征，幫助模型在生成過程中得到更多的紋理信息，提升生成質量。其次將圖像的顏色矩陣作為監督信息，通過對比生成前后的顏色矩陣，促使生成結果在顏色上更加統一。修復模型網絡結構如圖2所示。

2.1 圖像高頻分量

圖像的高頻分量是指圖像中變化較為頻繁、頻率較高的部分，通常表現為圖像中的細節和邊緣，圖像的高頻分量對于邊緣檢測和紋理分析等任務非常重要。在陶器實體修復的過程中，考古學家會根據周圍完整的陶片對填補區域進行打磨，使陶器整體具有相似且統一的紋理形狀。據此，假定原始圖像的紋理細節，也就是其高頻分量可以作為一個特殊條件，輔助網絡模型的訓練，提升修復結果的質量。

本文利用傅里葉變換提取輸入圖像的高頻分量，傅里葉變換是一種將時域（時序）信號轉換為頻域（頻率）信號的數學工具，它可以將信號分解為一系列正弦波和余弦波的組合，傅里葉變換可以將圖像分解為不同的頻率成分，其中就包括一些高頻成分。圖像數據高頻分量可視化結構如圖3所示。

其次，從視覺效果上對模型的應用能力進行定性評估，對比結果如圖4所示。

從視覺效果上看，CA算法與PConv算法這一類的深度學習方法在訓練集規模不足的情況下展現的修復能力都較弱，存在顏色一成不變、紋理細節不夠清晰等問題。相比之下，本文算法在顏色方面，與周圍區域融合得更加自然，并且在一定程度上復原了考古學家對其進行物理修復時填充的紋理信息，增強了結果的多樣性。Criminisi算法作為傳統的圖像修復算法，通過復制樣本塊的方式對缺失區域進行填充，可以獲得更好的細節紋理，但在結構上與現實不符，同時在面臨圖像出現大面積缺失的情況下，需要消耗大量的時間。綜合考慮不同算法在陶器紋理貼圖數據集上的定性和定量實驗結果，本文算法在訓練數據不足且存在大面積缺失的陶器紋理貼圖上的修復效果要優于其余3種對比的修復算法。

5 結論（Conclusion）

為了使河姆渡遺址出土的陶器模型盡可能地還原歷史文物的原貌，本文提出了一種基于條件修復的紋理貼圖修復算法。該算法充分利用了輸入圖像中的信息，將高頻分量和顏色特征作為修復的條件，從而引導生成最終的修復結果。在此過程中，借助考古學家在對陶器進行物理修復時提供的紋理信息，即使在訓練數據有限的情況下，也成功地展現了出色的修復效果。這一方法解決了大面積修復的難題，同時克服了神經網絡模型訓練中的重要難點。與傳統圖像修復手段相比，該算法有效地填補了陶器模型中的缺損區域，為保護和傳承河姆渡文化做出了重要貢獻。

作者簡介：

李天杰（1999-），男，碩士生。研究領域：人工智能，深度學習。

于欣（1977-），男，博士，教授。研究領域：分布參數系統控制與計算，信息處理與優化技術。

宋振英（1999-），男，碩士生。研究領域：人工智能，知識圖譜。

許立波（1976-），男，博士，講師。研究領域：機器學習，數據挖掘，可拓學。本文通信作者。

萬星（2000-），女，碩士生。研究領域：人工智能，深度學習。