敦煌莫高窟第45窟彩塑高保真三維重建方法研究

余生吉，吳 健，王春雪，俞天秀，胡琢民

(1. 敦煌研究院，甘肅酒泉 736200； 2. 國家古代壁畫與土遺址保護工程技術研究中心(敦煌研究院)，甘肅酒泉 736200；3. 古代壁畫保護國家文物局重點科研基地(敦煌研究院)，甘肅酒泉 736200； 4. 甘肅省古代壁畫與土遺址保護重點實驗室(敦煌研究院)，甘肅酒泉 736200； 5. 上海顥漢數字技術有限公司，上海 201600)

0 引 言

敦煌莫高窟藝術是集建筑、彩塑、壁畫于一體的綜合藝術[1]。彩塑是敦煌石窟藝術的重要組成部分，它是外來藝術和中國雕塑藝術的完美結合，在形體、空間、材質等方面傳遞出特殊的精神價值取向，最大限度地滿足當時的信徒及后世觀眾的心理要求[2]。如何保護和傳承莫高窟現存的精美彩塑，是一個不容忽視的現實問題。近年來，隨著計算機技術和三維掃描技術的高速發展，既能減少彩塑損壞，又能最大限度真實復制還原彩塑的高精度三維重建成為人類對文化遺產進行保護和再利用的重要手段[3-4]，概括起來有：三維激光掃描技術[5-8]、數字攝影測量技術[9-11]和結構光獲取技術[12-13]三大類[14]。其中，三維激光掃描技術能夠快速獲取三維幾何信息，但是缺乏紋理圖像信息；數字攝影測量技術在分析紋理圖像的同時獲取文物幾何空間關系，但色彩均質表面存在解析誤差大；三維激光掃描技術配合數字攝影技術往往出現紋理錯誤匹配的情況。

鑒于此，本研究基于雙相機結構光的彩塑三維重建方法，設計基于圖像像素重建物體三維信息的FOTOMOULD三維重建系統，主要包括圖像數據采集、基于結構光的彩塑三維重建和幾何數據后期制作三部分內容，研究流程如圖1所示。

圖1 FOTOMOULD三維重建系統研究流程

1 彩塑三維重建數據采集

敦煌石窟形制各異，彩塑主要分布在窟內的中心塔柱上、佛龕內、佛床上等。石窟寺內的大型彩塑和洞窟空間狹小等環境因素，及不可移動彩塑因緊靠墻面或與其他彩塑距離過近而造成遮擋，使得部分區域表面數據無法被拍攝，需借助多種采集設備和攝影手段來完成。例如莫高窟第45窟佛龕內總共7身彩塑(圖2)。

圖2 45窟彩塑布局

本工作主要針對一尊菩薩(圖2中右起第二尊，即圖中紅框標注部分)進行三維重建研究，該塑像身軀傾斜作“S”型，曲眉豐頰，面色瑩潔，柔姿綽態，具有極高的藝術價值[15]。數據采集作為三維重建的首要步驟，決定了彩塑三維重建的高色彩還原度。數據采集概括分為采集方案制定、采集系統設計、圖像預處理三部分內容。

1.1 現場勘察和方案制訂

現場勘查是研究被采集彩塑的歷史價值和藝術價值，發現和解決數據采集的難點。而方案制訂則以現場勘察為基礎，確定彩塑要采集的信息內容、單幅圖像的數據量、相應的器材和輔助設備、燈光系統和投影儀的配置、采集的先后順序、數據記錄和存儲要求以及采集過程中相應注意事項等內容[13]。

本工作針對三維數據采集的對象高度約為1.72 m，身軀寬度約為0.55 m，其所處的空間如圖3所示。由圖中菩薩身體各部分與壁面的最小距離數據分析可知，該菩薩頭部和背部區域的采集空間均非常有限?？紤]到彩塑靠壁面的肉髻、身軀靠壁面部位、雙臂內側等部位既細小又遮擋，且受內外環境(如采集光源)、彩塑幾何形貌、彩塑表面特征的影響，這些部位信息的完整獲取是數據采集的難點。彩塑菩薩所處的位置在佛龕內，在無接觸文物下進行數據采集，使可見區域的數據獲取達到90%以上。如何克服數據采集的不利因素，需要在采集方法和采集設備上進行創新和探索。

圖3 菩薩采集空間圖示

1.2 采集系統設計

FOTOMOULD三維重建系統是將彩塑二維圖像數據直接轉化成具有真實RGB色彩屬性點云數據的技術，無需重建后根據原物體的色彩進行手工模擬貼圖著色渲染。因此，該系統的采集是指包含一系列二維圖像數據的獲取過程。在該采集系統中，利用光柵投影(普通可見光譜)同軸的高分辨率數碼相機采集，具有非接觸式、設備自由度高、穩定性好、可操作性強、自動化程度高、靈活方便、適用廣泛等優點，適合于形制各異的洞窟數據采集，且不受彩塑體量大小限制，即保證了不對重建文物進行干預和觸碰又是降低盲區數據采集的有效方法。

FOTOMOULD三維重建采集系統由支承架、軌道、電控三軸拍攝云臺、采集光源等主要部分組成。如圖4a所示，支承架主要由三個可伸展的集成設備構成(分別沿X、Y、Z軸方向)。X軸方向的采集架可以左右整體移動，保證了與彩塑和壁面的平行移動；Y軸方向的縱深電動進入，保證了佛龕內縱深的數據采集；Z軸方向的上下電動升降，保證了彩塑體量大小的數據采集不受限制。電控三軸拍攝云臺主要包括兩臺相機和一臺投影儀，并具有360°旋轉單元、左右旋轉單元、上下旋轉單元，確保了對彩塑的平視角度、俯視角度、仰視角度、頂視角度等全方位視角的數據采集(圖4b)。此外，受洞窟內采集環境和采集架等條件的限制，為了減小燈光箱的箱體，燈光箱與相機、掃描頭、投影儀和電子閃光燈集成為一體，集成箱升降移動便于控制，且保持光源的一致性，集成箱的裝置尺寸可隨采集空間的大小任意調節(圖4a箭頭所指方向)。這種設計消除了環境光對采集區域的干擾，減小了相鄰圖像間的色彩差異，彩塑表面的層次感、質感、細節得以有效還原。

圖4 三維重建采集系統

針對這尊菩薩的圖像采集，數碼相機采用了全畫幅Sonyɑ7，鏡頭焦段為100 mm，攝距為1.6 m，相鄰圖像的重疊區域為50%。數碼相機的拍攝角度分別為：水平夾角分為正面、側面、前側面、后側面；垂直夾角分為平視、俯視、仰視、頂視角度；相機沿X軸、Y軸和Z軸的移動進行全方位視角的拍攝。

1.3 圖像預處理

在采集圖像的過程中，由于外界環境中各種因素對成像系統的影響，會導致成像質量有所降低。例如，圖像采集現場的電子噪聲會干擾到相機的工作，給圖像增加隨機噪聲等。因此，為了降低系統誤差，圖像要進行預處理操作，圖像預處理包括裁剪、圖像格式、旋轉、去噪、銳化、亮度、對比度、飽和度、色調等。

由于塑像數據采集受窟內實際條件、空間干擾、色彩環境信息相互影響等條件制約，彩塑的真實色彩難以得到準確客觀的還原。因此，色彩管理至關重要，本工作中采用將數據文件中的色卡文件和需要重建的色彩圖像導入到Photoshop cc中，然后對文件統一吸取白平衡的方法來統一所有圖像的icc色彩樣條曲線，這樣就可以成功地將色彩管理系統結合到FOTOMOULD三維重建系統里面。對于莫高窟45窟絢麗豐富的色彩環境而言，這樣的色彩控制能夠十分有效地還原洞窟的實際色彩信息，進而增強了三維重建結果的色彩表達效果(圖5)。

圖5 色彩管理

2 基于結構光的彩塑三維重建

三維重建是將圖像數據轉化成具有RGB彩色信息的三維點云數據的過程，主要包括相機標定和結構光獲取三維幾何信息兩部分內容。前者是確定二維圖像上每個像素點與真實物體對應點之間的變換關系，后者則是利用該關系確定待重建圖像上每個像素點對應的點云幾何信息。二者的計算精度決定了重建點云的精度，是FOTOMOULD三維重建系統的核心部分。

2.1 相機標定

相機成像的幾何模型決定了物體三維點與圖像中對應點之間對應關系，幾何模型的參數就是相機的內外參數及畸變參數，相機標定的過程就是確定這些參數的過程[16-17]。在此理論上，FOTOMOULD三維重建采用了“自適應多視點空間坐標轉換”技術。依據多視點成像結果的共面關系標定成像設備的“成像后標定”的算法，對有共面圖像的自動分析，能瞬間獲得不同視點拍攝設備的相對坐標系參數和姿態角參數，解決了兩個關鍵問題：

1) 提高了獲取二維圖像的自由度。成像設備在拍攝前是無需機械標定的，重建彩塑與成像設備之間不受位置、距離、角度的限制，對于大型彩塑或小型彩塑，只要多視點的圖像有共面存在，即可進行三維重建；

2) 標定精度的提升。由于是成像后標定，避免了現有技術在拍攝過程中成像設備、機械固定設備容易受到外因影響，導致誤差影響標定結果的情況，從而使標定結果達到像素級的精度，為像素級的三維重建解決了關鍵性的難題。

采集系統和燈光系統搭建就緒后，根據彩塑的尺度，決定拍攝距離、選定傳感器類型和鏡頭焦段，對圖像采集設備進行拍攝前的標定，在采集現場由左右相機同時拍攝純平面和幾何精度高的棋盤格，導入三維重建軟件中進行相機標定，獲得左右相機之間的旋轉矩陣和平移矩陣及兩相機的畸變參數。在本工作中，使用黑色和白色方塊邊長均為65 mm的黑白相間棋盤格標定板，長寬分別為780 mm和650 mm。

為了降低計算量，本工作采用雙目極線校正算法[18]，將相機匹配的搜索范圍從一個平面縮小到了一條極線上，即兩個相機的圖像共面且“行對齊”，實現了理想狀態下的平行雙目系統。為滿足軟件的計算要求，FOTOMOULD采集系統雙相機遵循如下放置原則：

1) 左右相機類型相同，鏡頭焦段相同；

2) 左右相機且平行安裝，即光軸平行；

3) 左右相機坐標系的X軸共線，并與基線平行[19]。

在實際數據采集中，為避免得到錯誤的深度信息，采用左右相機同步采集圖像。左右相機采集到被測目標的原始圖像后，圖像調整過程會先對各種畸變進行矯正，然后調整左右圖像使它們共面且行對齊(圖6a)。被拍攝彩塑圖像調整前后的效果圖如圖6b所示，可以看出在圖像調整之前，彩塑頭頸部的特征點并不是行對齊的。圖像調整之后，已經達到了行對齊狀態，在搜索匹配點時可以沿著水平方向進行搜索，為后期重建過程的快速立體匹配奠定了基礎。

圖6 圖像調整展示

2.2 彩塑三維幾何信息獲取

彩塑三維幾何信息的獲取原理是用投影器向彩塑表面投射經過編碼的可控制的條紋，結構光受到彩塑表面形狀的調制而產生了變形，變形的程度反映了彩塑表面的形狀變化。因此，變形的條紋包含了彩塑表面形狀的三維幾何信息，再由兩臺數碼相機拍攝彩塑表面調制變形的圖像，經計算機處理解碼后，經過幾何約束關系，利用立體視覺原理，即可得到彩塑表面的三維坐標(圖7a)。條紋的數量根據目標空間分辨率的要求確定，條紋數量越多，得到的彩塑三維信息就越多，彩塑形狀重構精度就越高。該系統中，單幅圖像的左右相機獲取的結構光條紋數各700或900條，且條紋按照最小一個像素的間隔移動構成了多條紋結構光的數字化圖像(圖7b)。因此，FOTOMOULD三維重建系統是將二維圖像的每個像素點轉換成對應三維點云的過程，重建彩塑模型的分辨率和精度取決于單位面積像素點的多少，而不受拍攝距離及重建彩塑幾何形狀、大小等因素限制。此外，兩臺相機獲取彩塑表面的光柵圖條紋，要嚴格逐條檢查條紋的完整性，錯位和重影的條紋會造成像點匹配不正確。

圖7 結構光獲取三維幾何信息原理

本系統中，選擇PRO4500VIS700高精度投影儀。此外，為了避免其它光源對光柵圖條紋的干擾，洞窟內采集光柵圖條紋在全黑狀態下進行。

3 彩塑三維重建數據后期制作

經預處理的圖像導入FOTOMOULD三維重建系統，利用其獨有的多視點體視匹配算法，得到每個像素點還原成的有序三維點云，由于相機和投影儀關系精細嚴格檢校，像素點上固有的RGB色彩信息會通過幾何投影關系解算到三維點云上，能實現高保真色彩還原并且達到像素級匹配的三維重建(圖8)。

圖8 單片點云數據生成

但是，以上得到的點云數據仍然是分片獨立，且含有不同程度的噪聲及死角空洞。因此，需要點云拼接、三角曲面處理、死角修補等后期制作過程來得到高質量的三角曲面模型。

3.1 三維點云拼接

該部分采用基于點云數據的三維紋理信息來對齊，拼接精度由逆向建模軟件(通用軟件)Geomagic Studio中的全局注冊下面的參數來控制。具體精度控制由以下幾個參數來決定：

1) 公差。公差越小，表示幾何精度越高，是以一組閉環數據的公差數值來考量精度數值，兩三塊只是連接不閉合的數值沒有實際意義。

2) 配準檢測。通過Geomagic Control的點云對齊顏色測試可以對配準的結果進行檢測。綠色顯示為配準精度較高，紅色表示配準精度較低。

3) 迭代次數。迭代數量越多，表示兩塊拼接物體注冊配準精度越高。45窟彩塑經過以上流程的實際操作，拼接精度在0.01 mm以內。圖9展示了使用Geomagic Studio軟件將點云A和點云B拼接成點云C。

圖9 點云拼接示意圖

3.2 多邊形曲面生成及處理

基于3.1拼接成的點云數據，使用Geomagic Studio軟件生成多邊形曲面，并對多邊形曲面進行如下處理：

1) 修補小洞。小洞的修補要切合小洞周圍的曲面結構來定。一般分為平面補洞、小曲率補洞和較大曲率補洞三種標準，具體的使用主要根據實際數據情況來確定。45窟彩塑三維重建中，考慮到文物數字化的精細要求，使用的是小曲率補洞，只補一些小面積的數據空洞。

2) 表面噪點的二次處理。在去掉色彩的情況下對曲面的噪點情況進行檢查，如果表面受噪點干擾較大，對數據進行適度的降噪處理。

3) 穿插曲面的刪除和修正。對邊緣的多邊形刪除大致有三類：法線反轉的多邊形、形變影響物體曲面紋理的多邊形、懸浮的多邊形。多邊形曲面數據的檢查結果對下面的修補死角及最終的數據結果影響巨大。在45窟彩塑的數據處理過程中，十分注意對邊緣等有誤多邊形的檢查。

3.3 修補死角

由于采集空間狹小、彩塑之間互相遮擋、彩塑分布密集、彩塑緊貼壁面等因素，彩塑進行數據獲取時會遇到難以拍攝的盲區(圖10)，導致最終的點云數據存在無幾何信息區域。在確保文物安全的前提下，利用覆蓋式采集方法來降低可見區域盲區數據的產生，使可見區域的數據獲取達到90%以上，盡可能獲取完整的文物信息。具體來說，在空缺面附近使用比較輕便的小巧卡片相機采集特征紋理和色彩信息，利用Maya、Zbrush等軟件細致修補缺損表面，保證正常掃描形體精確的前提下完善模型，使重建結果達到客觀的程度，以達到文物存檔、研究和展示的要求。修復合并好的模型需具體有結構造型、顏色和紋理三個方面的標準。結構造型標準是以原物體為標準，高保真還原真實物體形態；顏色標準是以拍攝物的顏色貼圖元素為主要內容，以接近原來物體紋理的圖片為輔助對盲區死角的缺損部分進行修補；紋理標準則是以原物體的紋理走勢進行辨別判斷。對于修復模型的紋理不僅要在大的走勢上與原物一致，在細小的凹凸上也要做到與原物一致。幾何死角部分的紋理，通常采用普通單反相機拍攝的紋理進行補充；對于一些無法拍攝的區域，例如一些灰層堆積處，通常采用就近選取相似紋理進行補充。

圖10 數據采集盲區補拍

4 重建結果分析

4.1 模擬數據

為了驗證FOTOMOULD三維重建系統的準確性和有效性，設計了一個模擬實驗。由于曲面上任意兩點之間的測地距離難以計算和測量，于是選取每個面均是平面的長方體實體木箱(記作Orig)(圖11a)。采用FOTOMOULD三維重建系統獲取該長方體的高保真三維模型(記作Out)(圖11c)。

圖11 模擬數據的三維重建

為減小誤差、增加實驗結果的穩定性，本實驗選取該長方體的8個頂點(A～H)為檢查點，分別用游標卡尺測量Orig上的AB、AD、AE、BC、BF、CD、CG、DH、EF、FG、GH和HE的長度，以及利用歐式距離計算Out上對應線段的長度，并統計在表1中。

表1 檢查點測距統計

從統計結果計算可得，該實驗的平均誤差為0.012 mm，平均相對誤差為0.01%，可以滿足文物數字化保護的要求。因本次測量采用的測量工具為游標卡尺，測量本身也存在誤差，因此，實測值本身有一定的精度損失。

4.2 莫高窟第45窟彩塑菩薩

除了模擬實驗，對莫高窟第45窟彩塑菩薩也進行了高保真三維重建。圖12三維重建的菩薩展示了使用FOTOMOULD三維重建系統生成的三維結合數據，該模型約由4 700萬個多邊形面片、8 000萬個點構成，最終文件量大概有2.6 GB。由結果分析可發現，對于遮擋嚴重的頭部和胳膊部位，無論是幾何特征還是紋理特征均得到了高保真還原。

圖12 三維重建的菩薩

本工作主要采用整體拼接結果與激光掃描儀得到的對應點云之間的平均距離與標準偏差兩個指標來衡量和分析重建結果的質量。其中，平均距離是指兩點云之間每點距離的平均值，而標準偏差是指各點偏離平均數的距離的平均數；點云精度是指整體拼接結果與激光掃描儀的點云之間的比對誤差。圖13展示了使用FOTOMOULD三維重建系統生成的點云數據與激光掃描儀得到的點云距離對比。平均距離為0.015 mm，標準偏差為0.058 mm，滿足數字存檔、保護和考古、展示展覽、3D打印的要求。

圖13 與激光掃描儀得到的點云數據的對比

5 結 論

FOTOMOULD三維重建系統是基于圖像像素重建物體三維信息的技術。該系統融合了二維圖像的采集及處理和基于結構光的三維重建算法，從硬件和軟件兩個方面著重研究面向不可移動文物的高精度三維重建方法，使文物的整體形象與造型、質地、紋理、色彩、立體感等充分地表現出來，為基于高精度幾何模型的檔案保存、保護和考古研究、網絡瀏覽、3D打印等奠定了數據基礎，推動了敦煌莫高窟彩塑藝術的傳播。目前，該方法已在敦煌石窟數字化實際工作中得到了較好的應用，實現了40余身彩塑的高精度三維重建，并用于數字檔案的存儲及3D打印輸出展示等。

莫高窟彩塑三維重建數據采集技術還需不斷改進，如狹小空間內的數據采集、如何降低圖像采集的盲區仍是未來研究的重點和難點。此外，石窟寺超大型彩塑數據采集設備的研發、如何解決超大型彩塑數據量和精度之間的矛盾，也將是未來三維重建研究的重要方向。