敦煌石窟海量數據無差錯傳輸系統的設計與開發

俞天秀 吳健 趙良 許麗鵬

內容摘要：本文針對敦煌石窟數字化海量數據在實際工作數據傳輸過程中出現的問題，認為海量數據無差錯傳輸技術，在敦煌石窟數字化過程中是非常重要的一項技術。敦煌石窟海量數據無差錯傳輸系統的設計與開發，為了開發出實用性強的軟件，首先針對敦煌石窟壁畫數字化工作流程、分析攝影采集、圖像處理和數據存儲各階段的特點，提出了敦煌石窟海量數據無差錯傳輸系統的需求;其次，設計了敦煌石窟海量數據傳輸校驗方案，針對敦煌石窟壁畫數字化工作流程提出了層級式校驗，依據該校驗思想，設計了數據校驗的整體框架并做了優化，最后設計出數據傳輸校驗的詳細模型，確保了數據傳輸的完整性;最后，基于上述方案，設計并實現了敦煌石窟海量數據無差錯傳輸系統，利用VisualStudio2010開發平臺、C++程序開發語言完成系統的開發。此系統已在敦煌壁畫數字化工作中實際應用，效果良好。

關鍵詞：海量數據;數據傳輸;數據校驗

中圖分類號：TP311.135.9;G256.1 ?文獻標識碼：A ?文章編號：1000-4106（2015）03-0109-07

Design and Development of the Error-free Transmission System for the Mass Data of the Dunhuang Caves

YU Tianxiu1，2，3，4，5 WU Jian1，2，3，4，5 ZHAO Liang1，2，3，4，5 XU Lipeng1，2，3，4

（1. Digitalization Center， Dunhuang Academy， Dunhuang， Gansu 736200;

2. National Research Center for Conservation of Ancient Wall Paintings and Earthen Sites，

Dunhuang， Gansu 736200;

3. Key Scientific Research Base for Conservation of Ancient Wall Paintings of SACH，

Dunhuang， Gansu 736200;

4. Key Laboratory for Conservation of Ancient Wall Paintings and Earthen Sites， Dunhuang， Gansu 736200;

5. Zhejiang University， Hangzhou， Zhejiang 310013）

Abstract： Error-free transmission technology used for the digital data of the Dunhuang caves is very important for resolving data transmission problems during actual work. The main work of this project is the design and development of an error-free transmission system for the mass data collected at the Dunhuang caves. Firstly， in order to develop practical software， we analyzed the characteristics of each stage， including photography gathering， image processing， and data storage， and then posited the requirement for an error-free transmission system for the mass data of Dunhuang caves. Secondly， we have designed a mass data transmission check scheme for this system. Based on the Dunhuang caves mural digital workflow， we recommended a process of hierarchical verification validation， designed and optimized the overall framework of data checking， then designed an exact model for data transmission validation， ensuring the integrity of data transmission. Finally， according to the above-mentioned scheme， we designed a working， error-free transmission system for the Dunhuang cave data. This system， developed with Visual Studios 2010 development platform and C++ programming language， has already been applied in digital work on Dunhuang murals with good results.

Keywords： mass data; data transmission; data validation

1 引 言

敦煌石窟壁畫數字化的探索與研究已經歷了20年，并取得了豐碩的成果。早期與美國梅隆基金會、美國西北大學合作完成75dpi近20多個洞窟的壁畫數字化，隨著技術的不斷進步、數字化成果應用需求的增加，目前數字化分辨率為300dpi，已完成近90多個洞窟的攝影采集，另外，還有部分塑像的三維重建、莫高窟崖體的三維重建等數字化工作。敦煌壁畫數字化的高精度圖像已應用在敦煌石窟的保護、研究和弘揚工作中，為壁畫病害調查、修復和保存狀況提供依據，為美術臨摹工作的線描稿起稿提供技術支持[1]。

按照目前壁畫數字化采集分辨率為300dpi，將莫高窟45000多平方米壁畫全部數字化將產生約200多萬張原始圖像，按照每張原始圖像文件量約為25MB計算，原始圖像數據量將超過50TB。將200多萬張原始圖像，經過專業圖像軟件處理獲得整幅全景圖像，存儲處理過程和最終完成的文件數據量將超過300TB，莫高窟壁畫數字化產生的總數據量將超過350TB。

敦煌石窟數字化的過程涉及攝影采集、圖像處理、數據存儲和交換等環節，如何確保數據在這些環節之間傳輸過程的正確性和完整性是一個至關重要的問題。在磁盤整陣列中保存的數據，幾年甚至更久的時間可能都不會使用，如何確保數據不因設備和環境的變化而遭損壞，是另一個重要的問題。

本文將針對敦煌石窟數字化的流程，設計一款軟件，能夠對文件異常的數據自動預警提示，發現在傳輸過程中出現損壞的文件重新自動傳輸，直至通過數據驗證，避免數據傳輸發生錯誤，確保壁畫數字化資料保存完整性，提高敦煌石窟壁畫數字化工作效率。

研發成功的數據驗證軟件，不僅在敦煌石窟壁畫數字化方面應用，還可推廣到敦煌研究院其他數字化領域，甚至為其他文物保護單位數字化領域的數據完整驗證提供技術保障，為未來研發大型文物數據管理平臺提供數據傳輸安全技術支持。

2 敦煌石窟數字化數據傳輸

方式與存在的問題

2.1 數據傳輸方式

壁畫數字化攝影采集的原始圖像，首先從洞窟現場檢查計算機中拷貝至移動硬盤，在辦公室利用千兆局域網從移動硬盤拷貝數據至存儲服務器，這樣原始數據已經發生了兩次數據傳輸。

利用千兆局域網絡將移動硬盤中的原始圖像數據上傳至服務器，圖像處理人員從服務器下載原始圖像數據，圖像拼接完成后需要經過反復檢查、修改，圖像定位、糾正，形成最終版本，這個過程會產生多次數據傳輸，如圖1所示。

敦煌壁畫數字化的過程比較復雜，采用多種傳輸介質，不同的傳輸介質受到自身以及環境因素的影像，例如：移動硬盤接口不穩定、網絡丟包等現象，而發生這些現象沒有給使用者任何提示的消息，所以，將導致在數據傳輸過程中發生錯誤，無規律可循。

2.2 兩種傳輸方式產生的錯誤

a） 圖像畫面出現彩色線條

目前使用EOS-1DsMarkIII相機進行攝影采集原始圖像數據，生成RAW格式文件，原始圖像文件在兩種數據傳輸方式下，都出現了圖像信息損壞，例如：畫面出現各種彩色線條，如圖2所示。有的整幅畫面都損壞，有的是局部損壞，損壞無規律可循。

拼接完成的整幅全景圖像，經過數據傳輸也出現圖像信息損壞，例如：畫面出現彩色線條，這種線條需要將圖像放大到100%才可以看出來，如圖3所示。

b） 圖像文件量大小嚴重異常

使用EOS-1DsMarkIII相機，攝影采集分辨率在300dpi時，單幅原始圖像的文件量大小一般為25MB左右，發生數據傳輸后，文件量大小有0KB、2.3MB、11MB等，這些文件已經嚴重損壞，無法打開。

c） 圖像文件量大小變化不大，文件內容損壞

原始數據發生數據傳輸后，文件量大小在25MB左右，但是圖像內容損壞，無法打開。

敦煌石窟壁畫數字化的實際工作中，已出現很多以上列舉的數據損壞現象，為了確保敦煌石窟數字化的數據能夠永久、完整地保存，在無法改變硬件環境的前提下，應該利用軟件作為輔助工具，解決數據傳輸不完整的問題。

3 敦煌石窟海量數據傳輸校驗方案設計

3.1 層級式校驗模型

敦煌石窟壁畫數字化分為攝影采集、圖像處理和數據存儲三大部分，每部分都涉及到數據傳輸的問題，而每部分數據傳輸都具有自己的特點。攝影采集在洞窟第一現場工作，逐行逐格采集，每采集完一行需要圖像處理人員將CF卡中的圖像拷貝至電腦，然后現場核查圖像質量是否符合標準規范，要求攝影采集現場數據拷貝需要及時性且效率高。圖像處理在辦公室從服務器下載數據處理，數據傳輸的及時性沒有攝影采集的高，數據存儲中數據備份的及時性就更低了。

針對敦煌石窟壁畫數字化流程，數字化不同階段數據傳輸的不同特性，本文提出了針對敦煌石窟數字化數據傳輸的層級式數據校驗思想，如圖4所示。

層級式數據校驗的最大特性是可以提高數據校驗的效率，三級數據校驗分別代表如下意義：

一級校驗：針對攝影采集過程中出現單個圖像文件量達不到20M以上的情況，設定文件損壞閾值，低于文件損壞閾值的不拷貝給與警示，告知攝影師重新補拍。此級數據校驗針對單個文件，數據判斷耗時少。

二級校驗：是文件夾對比功能。敦煌石窟單個壁面需要采集十幾甚至幾十行，多個工作日完成，拷貝數據時用不同的顏色提示哪些是增量、哪些是相同的內容。此級數據校驗針對多個文件，數據判斷效率比一級數據校驗耗時多。

三級校驗：此級數據校驗是最嚴謹的，利用消息摘要驗證數據傳輸過程中數據的完整性。此級數據校驗收到數據傳輸速率、數據驗證的影響，比二級數據校驗耗時更多一些，但是數據驗證的準率最高。

層級式數據校驗尤其對攝影采集要求數據傳輸及時性高的特性非常適用，在圖像處理過程數據傳輸過程中一級數據校驗的功能基本不發揮作用，因為數據損壞閾值的判斷在攝影采集過程中就已完成，從服務器下載的數據肯定不會出現低于閾值的圖像文件。

3.2 數據傳輸模型設計

根據層級式數據校驗思想，數據傳輸模型設計如圖5所示。這個數據傳輸模型充分結合敦煌石窟數字化工作流程，從源數據加載后，首先執行第一級數據校驗，文件閾值損壞判斷，將不合格的文件給與提示，由洞窟現場數據核查人員告知攝影師，讓重新補拍，獲取正確的圖像文件。

第二級數據校驗進行文件夾對比，用不同的顏色提示增加量、相同和損壞，選擇增量的文件進行傳輸，在傳輸之前首先判斷，被傳輸的對象是否存在相對應的信息摘要。如果存在提示是否覆蓋，如果不存在自動生成相應的信息摘要。為了避免在同一文件夾中，不同類型的文件具有相同的文件名生成的信息摘要因命名發生沖突，信息摘要的命名以文件名加文件擴張名的方式。

第三級數據校驗選擇數據傳輸方式及本地傳輸和FTP傳輸兩種，由于不同傳輸介質，傳輸速率不同，所以文件分塊閾值也不相同，需要在傳輸之前自行設定。對文件進行分塊后[2-4]，每一塊也生成相應的信息摘要[5]，依次傳輸每塊數據流，傳輸后對塊的信息摘要進行驗證，如果錯誤，就重新傳輸此塊數據。將所有塊都傳輸完成后，利用Merkle樹[6-7]進行驗證根的信息摘要，如果中間某一塊出現錯誤，立即定位出錯的塊，重新傳輸，直至數據完全正確后存儲。

4 系統設計與開發

4.1 系統總體設計

結合敦煌壁畫數字化實際工作需求與敦煌石窟海量數據的特性，集成本章之前所涉及的技術，解決敦煌壁畫數字化輸出傳輸產生的錯誤，保障數據的完整性和有效性，本文設計的敦煌石窟海量數據無差錯傳輸系統功能如圖6所示。

（1） 數據加載：加載并顯示需要傳輸的數據對象，計算每個文件對象的文件量大小，為閾值判斷提供文件量大小的信息;

（2） 預處理：判斷數據傳輸對象是否需要分塊傳輸，如果需要分塊傳輸，就要進行數據分塊預處理、讀取文件擴展名、生成信息摘要、閾值判斷;

（3） 數據傳輸：數據校驗失敗的數據重新傳輸;

（4） 數據校驗：單一未分塊數據直接校驗，分塊傳輸以MerkleTree數據結構的數據校驗，多指紋模式對信息摘要的校驗;

（5） 數據校驗合格后的數據在目的地磁盤中存儲。

4.2 系統功能設計

依據圖7所示，系統各個功能如下：

（1） 數據對象加載并顯示功能：數據加載數據的選取有兩種方式：第一種，通過文件路徑選取相應的文件夾或者文件加載相應的信息;第二種，支持文件夾拖拽，計算文件的文件量大小。

（2） 無效文件閾值判斷功能：為了解決壁畫數字化攝影采集中，由于閃光燈和快門未同步，造成采集到的圖像為純黑色，沒有任何信息。這類圖像在圖像處理時沒有任何意義，所以，數據拷貝過程中可直接過濾此類圖像，達到提高拷貝數據的有效性和工作效率。考慮到軟件今后應用在敦煌石窟數字化的不同領域，閾值的大小可根據實際工作任意設定，0代表不做閾值判斷，小于閾值的數據在傳輸時有提示功能，用戶根據實際情況選擇是否傳輸，類似事件可采用相同動作功能;此功能排除對信息摘要的判斷。

（3） 文件分塊功能：為了提高數據傳輸完整性的效率，對大文件進行分塊傳輸校驗，設置文件分塊閾值和分塊大小設置功能，用戶可根據實際傳輸情況設定相應的值。

（4） 生成信息摘要功能：每一個被傳輸的數據對象，采用哈希算法SHA-1生成相應的信息摘要;信息摘要的命名如果與文件名相同，會出現同一級目錄下相同文件名的不同文件類型，產生相同命名的信息摘要的沖突，例如兩幅圖像分別為“壁畫.tiff”和“壁畫.psd”。為了解決這一沖突，信息摘要的命名規則為文件名和文件擴張名的組合，例如“壁畫.tiff.sha1”和“壁畫.psd.sha1”。

（5） 信息摘要的冗余功能：為了將提高數據校驗的準確性，對針對數據生成的信息摘要，再生成信息摘要的信息摘要。

（6） 多路徑并行傳輸功能：首先判斷被傳輸的對象是否存在SHA-1值，如果不存在，提示生成SHA-1值，再進行數據傳輸，避免用戶數據傳輸后再生成SHA-1值，達不到數據校驗的目的。傳輸數據時，SHA-1值自動和數據同時傳輸。

（7） 數據校驗功能：未分塊數據直接進行校驗;對分塊數據采用MerkleTree數據結構的數據校驗;對信息摘要進行冗余校驗。

（8） 數據重傳功能：如果數據校驗失敗，針對相應的數據進行重傳直至數據校驗成功。

（9） 數據存儲功能：對校驗成功的數據保存。

（10） 文件及文件夾對比功能：對比源數據和目的數據文件數量，不同顏色顯示對比結果。

（11） 文件夾重命名功能：敦煌石窟壁畫數字化以石窟每一個壁面為存儲對象。例如：“東壁”為父文件夾，其子文件夾以每行拍攝的順序為命名：row001代表第一行拍攝，row002代表第二行拍攝，依此類推。為了用戶操作方便，首先對CF卡加載的文件夾修改文件名為row001、row002等，非常方便地將數據拷貝至電腦硬盤目的文件夾。

（12） 界面清除功能：為下一次拷貝數據提供全新的界面。

4.3 系統實現

本軟件的開發應用環境采用微軟公司推出的 Visual Studio2010[8]，程序設計語言采用visualC++。

（1）文件列表界面

數據傳輸首先需要選擇要拷貝的數據對象。數據對象可選擇文件夾也可以直接選擇文件，通過“選擇目錄”按鈕，瀏覽文件目錄，彈出“瀏覽文件夾”對話框，選擇需要操作的文件夾或文件，如圖8所示。

（2） 拷貝功能

拷貝功能是本軟件的核心部分，根據敦煌壁畫數字化工作流程和數字化的數據數量多、單個文件量大的特點，拷貝對象既可以是文件夾，也可以是單個文件。為了確保數據校驗的有效性，數據拷貝之前必須對單個文件實體生成相應的SHA-1值，否則無法拷貝數據。考慮到同一文件夾中文件名相同而文件格式不同的現象存在，例如利用佳能1DsMarkIII拍攝圖像時，同一目錄下除了RAW格式的文件存在外，還存在低精度的jpeg格式的文件，在生成單個文件實體的SHA-1值時，文件命名加入了文件類型，例如MG172Z1O1250.CR2格式的文件對應的SHA-1值是MG172Z1O1250.CR2.sha1和MG172Z1O1250.jpg格式的文件對應的SHA-1值是MG172Z1O1250.jpg.sha1。

另外，依據敦煌壁畫數字化單個文件量基本會大于4GB，一般的文件讀取方式無法實現，需要用到文件映射技術實現對大文件的讀寫操作。首先創建srcfile文件句柄和文件映射句柄，獲取文件大小，將srcfile對應的srcfile.sha1文件傳送到目標目錄，創建dstfile文件句柄和文件映射句柄，關閉srcfile和dstfile的文件句柄。然后獲取內存分配粒度（也就是內存一次能分配的最小字節數，一般為64K），每次處理一個塊大小的數據。如果塊大小設置為0，強制將塊大小設置為最小粒度，循環處理每一個塊，使用文件映射的方式讀取文件內容。使用HashData函數計算源文件塊數據對應的SHA-1值srcHashCode，使用memcpy函數將源文件的一塊數據拷貝到目的文件中去，計算剛剛拷貝完成的目的塊數據對應的sha1值dstHashCode。比較srcHashCode和dstHashCode是否一致。如果不一致，這塊數據需要重新傳輸;如果一致，說明本塊數據傳輸正確，使用hasher累積本塊的hash值，亦即構造Merkle樹。取消源、目的文件映射，更新進度條，整個文件傳輸完畢之后計算的sha1值（亦即Merkle樹的樹根）和源文件的sha1作比較，如果不相等，那么整個文件就要重新傳輸。

（3） 設置閾值

點擊設置閾值，彈出閾值設置對話框，如圖9所示。

破損文件閾值：當某個文件大小低于此值時，文件名會顯示紅色;在文件拷貝過程中會被提示“此文件已損壞，是否繼續拷貝”。

文件分塊閾值：在文件拷貝過程中，如果某個文件大小低于此值，采取整個文件不分塊直接拷貝的策略。

分塊大小：如果拷貝文件量值高于“文件分塊閾值”設定值，那么在拷貝過程中，每次拷貝的數據量為“分塊大小”設定值。

通過文本輸入框設置“破損文件閾值”、“文件分塊閾值”、“分塊大小”相關參數，點擊“確定”之后，新的參數將會寫入“配置閾值.txt”文件，也可以手動修改此文本文件。最后調用OnRefresh（）更新文件列表，主要是“破損文件閾值”會影響到文件列表的顏色。

4.4 系統實際應用

依據數據傳輸的模型、軟件系統功能，首先模擬一組數據進行系統功能測試，選擇文件大小只有2.3MB的圖像數據，破損文件閾值設置20MB，拷貝時出現如圖10所示。

經過多組數據模擬測試，敦煌石窟海量數據無差錯傳輸軟件順利通過。2013年下半年開始，由敦煌研究院數字中心工作人員分6組，在洞窟數字化現場利用工作數據實地應用，目前軟件運行效果較好。

5 展 望

隨著國家文化事業大發展、大繁榮的推進和文物數字化行業標準的制定以及互聯網、移動互聯網和物聯網等技術的不斷發展，在文物數字化行業中也將會產生海量的數據。文物數字化成果應用領域的增加，必然增加數據的交換與共享，數據在傳輸過程中數據的完整性需要得到可靠的保障。

本文開發的數據校驗軟件，只是結合敦煌壁畫數字化工作流程的特性，有其獨特性和廣泛性，目前可以推廣至敦煌石窟數字化的各個領域，確保數據在產生、傳輸和存儲過程中的數據完整性。當然隨著應用領域的擴大，軟件根據各領域的需求進行改進和完善。

下一步研究工作：

（1） 文物數字化面臨的一大難題是數字版權的控制，數據傳輸和下載的過程中除了驗證數據的完整性外，還需要考慮加入身份驗證，增加數據傳輸的安全性，控制文物數字化數據的任意流失。

（2） 將研究存儲在計算機中的數據定期進行數據校驗，主要考慮服務器的配置、穩定性及I＼O能力。工作人員同時上傳數據，服務器的壓力過大，數據量越大、數據丟包的概率就會增加，所以，更加要求數據傳輸過程中數據的完整性校驗。

（3） 未來隨著文物數字化數據急劇增加，文物數字化數據就需要考慮云存儲模式，在云存儲中對數據完整性校驗的要求更高，這將是今后研究的重點之一。

參考文獻：

[1]樊錦詩.敦煌石窟保護與展示工作中的數字技術應用[J].敦煌研究，2009（6）：1-3.

[2]謝華成，張昆朋，范黎林，et al.基于文件分割的二進制大對象存取算法[J].計算機應用，2011（10）：2612-

2616.

[3]陳衛衛，吳海佳，胥光輝.分布式存儲中文件分割的最優化模型[J].解放軍理工大學學報（自然科學版），

2010（4）：413-416.

[4]朱春花，張子彪，路新春.BLOB數據類型存取方法的研究及應用[J].計算機應用與軟件，2002（10）：52-5.

[5]李志敏.哈希函數設計與分析[D].北京：北京郵電大學，2009.

[6]MERKLE RALPH.Secrecy，Authentication and Public Key Systems[D].Stanford University，1979.

[7]劉芳.Merkle可信樹遍歷算法及在數字簽名上的應用研究[D].北京：北京工業大學，2009.

[8]高陽.Visual Studio 2010架構建模新特性[J].程序員，2010（4）：65-67.