電子數(shù)據(jù)完整性檢測(cè)與修復(fù)存儲(chǔ)的研究

文｜倪云英

電子數(shù)據(jù)完整性檢測(cè)與修復(fù)存儲(chǔ)的研究

文｜倪云英

存儲(chǔ)數(shù)據(jù)的增加，增長(zhǎng)了對(duì)電子數(shù)據(jù)完整性潛在的需求。地質(zhì)資料電子數(shù)據(jù)信息化應(yīng)用技術(shù)的復(fù)雜性，網(wǎng)絡(luò)系統(tǒng)軟硬件更新的不可預(yù)知性，地質(zhì)資料電子數(shù)據(jù)提供利用的長(zhǎng)期性，使得地質(zhì)資料電子數(shù)據(jù)的安全管理責(zé)任更重、風(fēng)險(xiǎn)更大。建立地質(zhì)資料電子數(shù)據(jù)檢測(cè)與修復(fù)存儲(chǔ)系統(tǒng)，開(kāi)展地質(zhì)資料電子數(shù)據(jù)的可讀性、真實(shí)性、一致性檢測(cè)以及多套數(shù)據(jù)存儲(chǔ)，是確保地質(zhì)資料電子數(shù)據(jù)真實(shí)和準(zhǔn)確，提高地質(zhì)資料管理水平與地質(zhì)資料信息社會(huì)化服務(wù)能力的有力保障。

一、引言

存儲(chǔ)數(shù)據(jù)的日益增加，網(wǎng)絡(luò)技術(shù)的快速發(fā)展，數(shù)據(jù)和網(wǎng)絡(luò)成為重要的基礎(chǔ)設(shè)施，地質(zhì)資料電子數(shù)據(jù)的讀寫(xiě)依賴(lài)于計(jì)算機(jī)，計(jì)算機(jī)硬件和軟件等更新后，新的軟硬件與舊的軟硬件的兼容性存在相當(dāng)大的問(wèn)題。因互聯(lián)網(wǎng)鏈接形式的多樣性和開(kāi)放性，網(wǎng)絡(luò)極易受到黑客、惡意軟件等攻擊和病毒入侵，病毒蠕蟲(chóng)的爆發(fā)，系統(tǒng)的多樣性，忍受的短缺，地質(zhì)資料電子數(shù)據(jù)常常出現(xiàn)泄密、假冒、篡改和銷(xiāo)毀等現(xiàn)象，給地質(zhì)資料電子數(shù)據(jù)的真實(shí)性和完整性帶來(lái)巨大的威脅。

為使地質(zhì)資料電子文件的完整性保管且長(zhǎng)期準(zhǔn)確利用，確保館藏地質(zhì)資料電子數(shù)據(jù)的安全，防止數(shù)據(jù)的失效、數(shù)據(jù)的丟失，并且讓硬盤(pán)和光盤(pán)間的電子數(shù)據(jù)一致性保管已成為亟待迫切解決的問(wèn)題。電子數(shù)據(jù)完整性數(shù)據(jù)檢測(cè)與修復(fù)技術(shù)的研究與成為解決這一問(wèn)題的關(guān)鍵點(diǎn)。

二、地質(zhì)資料電子數(shù)據(jù)檢測(cè)與修復(fù)存儲(chǔ)的意義

地質(zhì)資料電子數(shù)據(jù)和傳統(tǒng)紙質(zhì)地質(zhì)資料有諸多方面的不同：地質(zhì)資料電子數(shù)據(jù)需要特定的載體來(lái)存儲(chǔ)，其信息和載體的分離、存儲(chǔ)形式，使得地質(zhì)資料電子數(shù)據(jù)具有易修改、易復(fù)制和易刪除等特點(diǎn)，且修改、復(fù)制、刪除后不留痕跡。地質(zhì)資料電子數(shù)據(jù)的存儲(chǔ)載體是磁電物質(zhì)，在多種因素的影響下，載體的壽命較短，地質(zhì)資料電子數(shù)據(jù)難以長(zhǎng)久保管。另外，自然災(zāi)害和人為損壞也會(huì)對(duì)地質(zhì)資料電子數(shù)據(jù)的存儲(chǔ)載體造成致命的破壞。

作為“數(shù)字國(guó)土”工程的重要組成部分，開(kāi)展地質(zhì)資料電子數(shù)據(jù)完整性檢測(cè)與修復(fù)存儲(chǔ)工作，是服務(wù)于找礦突破和地質(zhì)防災(zāi)，實(shí)現(xiàn)國(guó)土資源信息服務(wù)社會(huì)化的基礎(chǔ)保障，并能更好地發(fā)揮地質(zhì)資料作為地質(zhì)工作服務(wù)社會(huì)的載體，同時(shí)是建立為經(jīng)濟(jì)社會(huì)發(fā)展提供地質(zhì)資料全面服務(wù)的手段之一，也是建立以現(xiàn)代信息技術(shù)為支撐的國(guó)土資源行政管理——礦政管理新體制的一個(gè)重要前提。

貫徹落實(shí)《國(guó)務(wù)院關(guān)于加強(qiáng)地質(zhì)工作的決定》是目前地質(zhì)資料工作的重要任務(wù)之一。改變服務(wù)理念，實(shí)時(shí)保護(hù)地質(zhì)資料電子數(shù)據(jù)進(jìn)行地質(zhì)資料電子數(shù)據(jù)完整性檢測(cè)與修復(fù)備份工作，避免數(shù)據(jù)丟失，實(shí)現(xiàn)保護(hù)國(guó)家和省政府的投資，促進(jìn)區(qū)域經(jīng)濟(jì)的快速發(fā)展，推進(jìn)地質(zhì)資料服務(wù)方式研究與服務(wù)產(chǎn)品開(kāi)發(fā)，特別是結(jié)合重大項(xiàng)目的實(shí)施，將地質(zhì)資料電子數(shù)據(jù)完整性檢測(cè)與修復(fù)技術(shù)應(yīng)用于產(chǎn)品服務(wù)，具有十分重要的意義。

三、地質(zhì)資料電子數(shù)據(jù)檢測(cè)存儲(chǔ)現(xiàn)狀

信息時(shí)代的到來(lái)，使得地質(zhì)資料電子數(shù)據(jù)成了目前最有價(jià)值的產(chǎn)物，同時(shí)也讓地質(zhì)資料電子數(shù)據(jù)成為了巨大的工作量。自2000年起，浙江省開(kāi)展重要地質(zhì)資料圖文數(shù)字化地質(zhì)資料工作以來(lái)，館藏地質(zhì)資料電子數(shù)據(jù)截止到2016年12月底，共有近11470余種、39萬(wàn)件地質(zhì)資料電子數(shù)據(jù)信息服務(wù)，數(shù)據(jù)量達(dá)4.5TB。其中數(shù)字化地質(zhì)資料電子數(shù)據(jù)5190種、匯交地質(zhì)資料電子數(shù)據(jù)6670種。共有CD、DVD光盤(pán)7341張。

因電子文件相對(duì)于紙質(zhì)文件而言，對(duì)環(huán)境溫濕度、防磁性、抗破壞、抗病毒等條件具有很高的要求。電子文件及易被有意或無(wú)意損壞，當(dāng)存貯光盤(pán)等載體上的電子文件，在保管時(shí)受到外界干擾或者存貯環(huán)境不宜，并會(huì)導(dǎo)致電子文件損壞。伴隨著浙江省探礦、找礦突破和礦產(chǎn)資源開(kāi)發(fā)加快推進(jìn)，地質(zhì)資料電子數(shù)據(jù)量的也在迅速增長(zhǎng)，數(shù)據(jù)的海量增長(zhǎng)使得地質(zhì)資料電子數(shù)據(jù)信息數(shù)據(jù)中心面臨巨大挑戰(zhàn)。但目前，還是人工作業(yè)管理，缺少對(duì)光盤(pán)和磁盤(pán)數(shù)據(jù)進(jìn)行系統(tǒng)完整性檢測(cè)和修復(fù)翻刻，海量地質(zhì)資料電子數(shù)據(jù)的完整性檢測(cè)、校驗(yàn)、以及修復(fù)備份管理存在太多的弊端。

浙江省的地質(zhì)資料利用服務(wù)數(shù)量隨著地質(zhì)資料服務(wù)的社會(huì)化程度不斷提高，一直處于2300人次的高位，其地質(zhì)資料電子數(shù)據(jù)的利用率自2005年起不斷增加，每年的地質(zhì)資料電子數(shù)據(jù)占全部地質(zhì)資料的利用率從2005年的60%上升到目前為止的85%-90%，地質(zhì)資料電子數(shù)據(jù)的利用程度已到達(dá)了一定的水平。

做為全國(guó)地質(zhì)資料館保管地質(zhì)資料的重要省份節(jié)點(diǎn)之一，浙江省面對(duì)近20年來(lái)積累的龐大電子數(shù)據(jù)，需要建立地質(zhì)資料電子數(shù)據(jù)完整性檢測(cè)與修復(fù)系統(tǒng)來(lái)實(shí)現(xiàn)高效保護(hù)珍貴的各類(lèi)地質(zhì)資料數(shù)據(jù)，也是目前的核心要?jiǎng)?wù)。

四、系統(tǒng)建立

為建立一個(gè)相對(duì)安全的海量數(shù)據(jù)檢測(cè)、修復(fù)存儲(chǔ)備份系統(tǒng)，需要考慮和解決以下幾個(gè)問(wèn)題：

（一）數(shù)據(jù)檢測(cè)修復(fù)存儲(chǔ)的標(biāo)準(zhǔn)

就地質(zhì)資料電子數(shù)據(jù)來(lái)說(shuō)，數(shù)據(jù)的法規(guī)遵從性主要體現(xiàn)在數(shù)據(jù)的不可更改性和不可刪除性，為能安全的長(zhǎng)期保存，地質(zhì)資料電子數(shù)據(jù)必須存儲(chǔ)在WORM（Write Once，Read Many）媒體上。

按照《電子文件歸檔與管理規(guī)范》規(guī)定，將電子文件集中下載到可脫機(jī)保存的載體上。由推薦采用的載體，優(yōu)先順序?yàn)椋褐蛔x光盤(pán)、一次寫(xiě)光盤(pán)、磁帶、可擦寫(xiě)光盤(pán)、硬磁盤(pán)等，《企業(yè)檔案工作規(guī)范》中規(guī)定，地質(zhì)資料電子數(shù)據(jù)需存儲(chǔ)在脫機(jī)載體上，其地質(zhì)資料電子數(shù)據(jù)為一式三套，一套封存保管，一套異地保管，一套提供使用（DA/T42-2009）?！犊s膠片數(shù)字化技術(shù)規(guī)范》要求，為保證數(shù)據(jù)安全，存儲(chǔ)裁體應(yīng)多樣化，采用在線、離線相結(jié)合的方式實(shí)現(xiàn)多套備份，并考慮進(jìn)行異地保管。

（二）數(shù)據(jù)存儲(chǔ)介質(zhì)

目前，數(shù)據(jù)存儲(chǔ)介質(zhì)可分為磁存儲(chǔ)介質(zhì)和光存儲(chǔ)介質(zhì)兩大類(lèi)。磁存儲(chǔ)介質(zhì)主要包括磁（硬）盤(pán)和磁帶；光存儲(chǔ)介質(zhì)即指光盤(pán)，而光盤(pán)又分為CD、DVD和BD。

1、磁存儲(chǔ)介質(zhì)

目前，磁盤(pán)和磁帶技術(shù)經(jīng)過(guò)多年發(fā)展已經(jīng)相對(duì)成熟，其特點(diǎn)是單盤(pán)容量較大。一般情況下，磁帶被用作近線或離線備份介質(zhì)，磁盤(pán)被用作在線存儲(chǔ)介質(zhì)。而磁盤(pán)陣列（Disk Array）是由一個(gè)硬盤(pán)控制器來(lái)控制多個(gè)硬盤(pán)的相互連接，使多個(gè)硬盤(pán)的讀寫(xiě)同步，減少錯(cuò)誤，增加效率和可靠度的技術(shù)。磁盤(pán)的出現(xiàn)使磁存儲(chǔ)時(shí)代推向了一個(gè)至高點(diǎn)。磁盤(pán)陣列存儲(chǔ)容量大，查找數(shù)據(jù)速度要比單個(gè)硬盤(pán)高很多；并且能提供自動(dòng)數(shù)據(jù)備份。磁盤(pán)作為一個(gè)基礎(chǔ)的存儲(chǔ)單元被組合成為磁盤(pán)陣列、大型的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)以及數(shù)據(jù)備份設(shè)備，已廣泛被應(yīng)用于數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)的歸檔。

2、光存儲(chǔ)介質(zhì)

隨著網(wǎng)絡(luò)和數(shù)字多媒體技術(shù)的快速發(fā)展，磁介質(zhì)技術(shù)的發(fā)展和價(jià)格大幅下降，光盤(pán)作用數(shù)據(jù)存儲(chǔ)和備份的應(yīng)用逐漸萎縮。非結(jié)構(gòu)化數(shù)據(jù)的快速增長(zhǎng)所帶來(lái)的海量數(shù)據(jù)備份需求，使得光存儲(chǔ)介質(zhì)重新迎來(lái)了發(fā)展機(jī)遇，尤其是已被普遍應(yīng)用于專(zhuān)業(yè)數(shù)據(jù)備份領(lǐng)域的藍(lán)光光盤(pán)技術(shù)日臻穩(wěn)定和成熟。藍(lán)光光盤(pán)單盤(pán)容量可達(dá)50G～100G，而且還在朝著更大容量發(fā)展。最重要的是光盤(pán)屬于真正意義上的物理介質(zhì)。相對(duì)于磁存儲(chǔ)介質(zhì)，光盤(pán)是異質(zhì)存儲(chǔ)介質(zhì)。藍(lán)光光盤(pán)存儲(chǔ)數(shù)據(jù)還具有壽命長(zhǎng)、低耗能、低成本等優(yōu)點(diǎn)、短時(shí)間無(wú)需進(jìn)行數(shù)據(jù)遷移，既可應(yīng)用于近線存儲(chǔ)，也可應(yīng)用于離線存儲(chǔ)。

（三）系統(tǒng)建立

地質(zhì)資料是從事地質(zhì)工作過(guò)程中產(chǎn)生的寶貴資源，根據(jù)國(guó)土資源部?jī)?chǔ)量司關(guān)于加快地質(zhì)資料社會(huì)化公眾服務(wù)開(kāi)發(fā)要求，結(jié)合現(xiàn)有工作之基礎(chǔ)。面對(duì)地質(zhì)資料海量的電子數(shù)據(jù)，不論服務(wù)器磁盤(pán)和備份光盤(pán)可長(zhǎng)期但不能永久性保存，其存在硬盤(pán)故障、人為篡改、惡意病毒破壞等其它意外因素造成數(shù)據(jù)資產(chǎn)損失的風(fēng)險(xiǎn)，盡最大程度保護(hù)數(shù)據(jù)，將服務(wù)器磁盤(pán)和光盤(pán)上雙保險(xiǎn)，部署多層級(jí)、全方位的整體保護(hù)數(shù)據(jù)安全。基本工作流程如圖1所示：

圖1 工作流程圖

按照《電子文件歸檔與管理規(guī)范》（GB/T18894-2002）和《光盤(pán)備份工作規(guī)范》要求，以用戶(hù)管理需求為主導(dǎo)，以保護(hù)數(shù)據(jù)完整性為準(zhǔn)則，以準(zhǔn)確服務(wù)社會(huì)化利用為目標(biāo)，擬開(kāi)發(fā)地質(zhì)資料電子數(shù)據(jù)檢測(cè)和修復(fù)備份管理信息系統(tǒng)，初步實(shí)現(xiàn)下述要求：

1、采用磁盤(pán)和光盤(pán)兩種方式同步異地分別保管，實(shí)現(xiàn)驗(yàn)收入庫(kù)的電子數(shù)據(jù)實(shí)時(shí)備份保護(hù)，；

2、系統(tǒng)實(shí)現(xiàn)每份電子數(shù)據(jù)的文件和元數(shù)據(jù)的有效性、可讀性、完整性、一致性采用“數(shù)字指紋”統(tǒng)一管理；

3、為避免服務(wù)器硬件故障導(dǎo)致最新的、且尚未導(dǎo)出到光盤(pán)上的數(shù)據(jù)丟失，經(jīng)過(guò)實(shí)時(shí)備份，系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)高效冗余；

4、通過(guò)系統(tǒng)實(shí)現(xiàn)每張光盤(pán)可讀性檢查，對(duì)光盤(pán)的容量、是否可讀盤(pán)校驗(yàn)；

5、為確保系統(tǒng)可持續(xù)性提供服務(wù)，實(shí)現(xiàn)與地質(zhì)資料業(yè)務(wù)系統(tǒng)集成。

（四）系統(tǒng)功能

采取先進(jìn)的信息技術(shù)手段與管理標(biāo)準(zhǔn)、流程相結(jié)合，采用高內(nèi)聚、低耦合的方式設(shè)計(jì)新的軟件管理系統(tǒng)功能，與我館地質(zhì)資料業(yè)務(wù)管理系統(tǒng)集成。

1、利用現(xiàn)有一臺(tái)服務(wù)器設(shè)備，新增實(shí)時(shí)備份存儲(chǔ)系統(tǒng)來(lái)實(shí)現(xiàn)兩者磁盤(pán)數(shù)據(jù)同步備份，使得數(shù)據(jù)形態(tài)和實(shí)體完全一致，采用時(shí)間戳功能實(shí)現(xiàn)邏輯回滾點(diǎn)。

2、當(dāng)點(diǎn)故障、或人為、意外等操作不當(dāng)丟失，備份系統(tǒng)能快速恢復(fù)故障前的數(shù)據(jù)，檢查和驗(yàn)證多重?cái)?shù)據(jù)，確保數(shù)據(jù)的高可用性。

3、光盤(pán)刻錄備份是磁盤(pán)備份的有益補(bǔ)充，針對(duì)光盤(pán)系統(tǒng)提供光盤(pán)自身可讀性校驗(yàn)，輕松發(fā)現(xiàn)失效光盤(pán)并可搶救恢復(fù)翻刻。

4、不同載體方式存儲(chǔ)的數(shù)據(jù)，采有MD5碼數(shù)字指紋保存和識(shí)別，對(duì)其容量、產(chǎn)生環(huán)境、生成時(shí)間等發(fā)生異樣，可用同一份數(shù)據(jù)再生成另一個(gè)MD5碼統(tǒng)一管理：

（1）經(jīng)數(shù)據(jù)文件自動(dòng)生成的MD5碼,可判斷文件和登記表的生成狀態(tài)；

（2）對(duì)XML中記錄的文件信息和電子文件進(jìn)行核對(duì)，確定數(shù)量是否相符，標(biāo)題是否一致；

（3）可以判斷電子文件是否為0KB，確認(rèn)電子文件是否已損壞；

（4）將地質(zhì)資料附圖文件的分辨率與XML中保存的分辨率對(duì)比，識(shí)別出不同的文件。

采用UML作為貫穿軟件生命周期的通用設(shè)計(jì)語(yǔ)言，以面向?qū)ο蟮脑O(shè)計(jì)方法設(shè)計(jì)本系統(tǒng)，對(duì)下勘單位匯交的各單位電子文件(檔案)的數(shù)據(jù)來(lái)源、數(shù)據(jù)類(lèi)型、文件格式、保存期限、存儲(chǔ)路徑集中管理，對(duì)數(shù)據(jù)的增長(zhǎng)速度和數(shù)據(jù)總?cè)萘康阮A(yù)測(cè)，建立數(shù)據(jù)管控系統(tǒng)，從而實(shí)現(xiàn)地質(zhì)資料數(shù)據(jù)的有效保護(hù)。

五、結(jié)語(yǔ)

總之，地質(zhì)資料電子數(shù)據(jù)檢測(cè)與修復(fù)存儲(chǔ)系統(tǒng)的建立是一項(xiàng)系統(tǒng)工程，以標(biāo)準(zhǔn)為準(zhǔn)則，以系統(tǒng)為手段，對(duì)地質(zhì)資料電子數(shù)據(jù)完整性檢測(cè)、修復(fù)與存儲(chǔ)，使得全省館藏地質(zhì)資料電子數(shù)據(jù)接收后進(jìn)行檢測(cè)、管理和存儲(chǔ)全周期管理。依托館內(nèi)網(wǎng)基礎(chǔ)，將館藏存放于硬盤(pán)和光盤(pán)的電子介紙數(shù)據(jù)，經(jīng)過(guò)常態(tài)化管理的檢測(cè)、修復(fù)存儲(chǔ)系統(tǒng)，完成電子數(shù)據(jù)的完整性檢測(cè)修復(fù)建庫(kù)，向社會(huì)提供地質(zhì)資料數(shù)據(jù)資源共享和地質(zhì)資料產(chǎn)品服務(wù)。

作者單位：浙江省國(guó)土資源廳信息中心