科學(xué)數(shù)據(jù)長期保存的現(xiàn)狀、問題與趨勢

文/中國科學(xué)院檔案館 單嵩巖

科學(xué)數(shù)據(jù)是科學(xué)研究的基礎(chǔ)，同時(shí)也是科學(xué)研究的“牽引力”。美國是世界上對科學(xué)數(shù)據(jù)管理最早介入的國家，在20世紀(jì)后10年確立了在國家層面上建設(shè)國有科學(xué)數(shù)據(jù)和信息全社會(huì)共享環(huán)境的戰(zhàn)略部署，歐盟也在1984年開啟了“歐盟科研框架計(jì)劃”整合歐盟各國的科研資源，提高科研效率，促進(jìn)科技創(chuàng)新。近年來，為規(guī)范管理海量科學(xué)數(shù)據(jù)，針對科學(xué)數(shù)據(jù)管理的國際政策體系逐漸形成。

面對日益增長的科學(xué)數(shù)據(jù)資源和逐漸規(guī)范的管理政策，科學(xué)數(shù)據(jù)的長期保存問題也愈發(fā)受到重視。中國早已認(rèn)識(shí)到科學(xué)數(shù)據(jù)保存的重要性，2001年科學(xué)技術(shù)部發(fā)布《國家科技計(jì)劃管理暫行規(guī)定》，要求制定包含基本框架、內(nèi)容、保存方式和年限等內(nèi)容的科學(xué)數(shù)據(jù)保存規(guī)定；2018年國務(wù)院頒布的《科學(xué)數(shù)據(jù)管理辦法》中要求建立科學(xué)數(shù)據(jù)保存制度，配備數(shù)據(jù)存儲(chǔ)、管理、服務(wù)和安全等必要設(shè)施。歐美也發(fā)布了科學(xué)數(shù)據(jù)保存相關(guān)政策。2013年，美國科技政策辦公室發(fā)布《增強(qiáng)對聯(lián)邦資助科研成果的獲取》執(zhí)行指南，要求在科學(xué)數(shù)據(jù)管理計(jì)劃中包含實(shí)施長期保存方案。2018年歐盟發(fā)布建議書《關(guān)于獲取和保存科學(xué)資源》，要求成員國加強(qiáng)科學(xué)數(shù)據(jù)的保存。

為保障科學(xué)數(shù)據(jù)的持續(xù)獲取性和可用性，科學(xué)數(shù)據(jù)的長期保存工作已成為支持科學(xué)研究中不可或缺的一部分。

一、科學(xué)數(shù)據(jù)長期保存現(xiàn)狀

科學(xué)數(shù)據(jù)長期保存是復(fù)雜的綜合性問題，涉及諸多方面。Anderson從科學(xué)、管理、政策和技術(shù)四個(gè)方面討論了科學(xué)數(shù)據(jù)長期保存面對的問題。郭明航等人也提出科學(xué)數(shù)據(jù)保存涉及財(cái)政投入問題、組織機(jī)構(gòu)問題、管理問題、政策問題等各方面。本文將從檔案視角重點(diǎn)論述科學(xué)數(shù)據(jù)鑒定、科學(xué)數(shù)據(jù)保存策略與科學(xué)數(shù)據(jù)保存技術(shù)的現(xiàn)狀，分析中國科學(xué)數(shù)據(jù)長期保存問題。

（一）科學(xué)數(shù)據(jù)鑒定。在數(shù)據(jù)密集型科研和開放科學(xué)環(huán)境下，科學(xué)數(shù)據(jù)具有體量龐大、來源廣泛等特征。從技術(shù)能力上來說，保存所有科學(xué)數(shù)據(jù)目前并不存在障礙，但從保存成本上看，保存所有數(shù)據(jù)會(huì)為數(shù)據(jù)搜索成本及準(zhǔn)確性提供更艱巨的挑戰(zhàn)。檔案機(jī)構(gòu)、保存機(jī)構(gòu)和數(shù)據(jù)中心均提出科學(xué)數(shù)據(jù)鑒定標(biāo)準(zhǔn)。

2007年美國國家檔案與文件署發(fā)布第1441指令《戰(zhàn)略方向：鑒定政策》，提出“物理科學(xué)中的觀測數(shù)據(jù)”“環(huán)境健康與安全文件”和“研發(fā)文件”三類科學(xué)數(shù)據(jù)的保存鑒定原則。英國數(shù)據(jù)服務(wù)數(shù)據(jù)中心為保障館藏?cái)?shù)據(jù)質(zhì)量發(fā)布《館藏發(fā)展政策》，要求從“相關(guān)性、科學(xué)或歷史價(jià)值、新資源或新類型的數(shù)據(jù)、國際價(jià)值、唯一性/丟失風(fēng)險(xiǎn)、可用性/再分配/運(yùn)營效益、數(shù)據(jù)和資源的可復(fù)制性”這7個(gè)方面鑒定和選擇社會(huì)科學(xué)數(shù)據(jù)。英國數(shù)字管護(hù)中心為科學(xué)數(shù)據(jù)管理提供了鑒定和挑選指南，提出基于“與使命的相關(guān)性、科學(xué)或歷史價(jià)值、獨(dú)特性、再分配的可能性、不可復(fù)制性、經(jīng)濟(jì)成本、完整的著錄和描述”這7個(gè)方面鑒定科學(xué)數(shù)據(jù)。

科學(xué)數(shù)據(jù)的鑒定需要科研人員、數(shù)據(jù)管理員與檔案員等所有利益相關(guān)者的參與，通過提供數(shù)據(jù)價(jià)值和質(zhì)量評估標(biāo)準(zhǔn)等問題，提高科學(xué)數(shù)據(jù)質(zhì)量，提高長期可發(fā)現(xiàn)、理解和利用能力，并減輕一定的存儲(chǔ)壓力。

（二）科學(xué)數(shù)據(jù)保存策略。科學(xué)數(shù)據(jù)主要包括自然科學(xué)、工程技術(shù)科學(xué)、人文社會(huì)科學(xué)等領(lǐng)域生成的科學(xué)研究活動(dòng)的原始數(shù)據(jù)及其衍生數(shù)據(jù)。不同學(xué)科領(lǐng)域都積極投身于研究適合本領(lǐng)域數(shù)據(jù)特點(diǎn)的長期保存策略。1.機(jī)構(gòu)科學(xué)數(shù)據(jù)長期保存策略。機(jī)構(gòu)保存策略是結(jié)合自身特點(diǎn)、保存需求以及基礎(chǔ)條件等制定的保存策略。中國人口健康科學(xué)數(shù)據(jù)倉儲(chǔ)（Population Health Data Archive,PHDA）發(fā)布了《PHDA數(shù)據(jù)資源收集保藏發(fā)展政策》概述了人口健康領(lǐng)域科學(xué)數(shù)據(jù)長期保存發(fā)展策略。美國地質(zhì)勘探局（United States Geological Survey，USGS）為保存其科學(xué)數(shù)據(jù)發(fā)布了《USGS數(shù)字科學(xué)數(shù)據(jù)保存指南》，提出了數(shù)字科學(xué)數(shù)據(jù)保存的組成部分和不同級別科學(xué)數(shù)據(jù)的保存要求。2.同一領(lǐng)域國際標(biāo)準(zhǔn)化科學(xué)數(shù)據(jù)保存策略。由于同一領(lǐng)域的不同國家在描述和存儲(chǔ)科學(xué)數(shù)據(jù)等方面具有較大差異，為了支持科學(xué)數(shù)據(jù)更廣泛地利用，國際合作組織制定了更標(biāo)準(zhǔn)化的保存策略。國際高能物理數(shù)據(jù)保存合作組，在2012年組織美、德、英、中等國專家編寫了數(shù)據(jù)長期保存技術(shù)白皮書，描述了對高能物理科學(xué)數(shù)據(jù)的保存、相關(guān)技術(shù)及策略。匯集了整個(gè)歐洲的社會(huì)科學(xué)數(shù)據(jù)檔案的歐洲社會(huì)科學(xué)數(shù)據(jù)檔案聯(lián)合會(huì)，在2020年發(fā)布了《數(shù)據(jù)管理專家指南》，提出科學(xué)數(shù)據(jù)的存檔要求和長期存儲(chǔ)策略等內(nèi)容。3.普適性的科學(xué)數(shù)據(jù)保存策略。針對科學(xué)數(shù)據(jù)在保存過程中遇到的共同問題提出可借鑒的保存策略。國際檔案理事會(huì)在2010年發(fā)布了《科學(xué)文件和數(shù)據(jù)管理與保存指南》，研究了科學(xué)數(shù)據(jù)的長期保存、數(shù)據(jù)管護(hù)和鑒定面臨的問題并提出解決建議。4.科學(xué)數(shù)據(jù)長期保存策略研究，涉及單一機(jī)構(gòu)、同一學(xué)科領(lǐng)域和泛學(xué)科領(lǐng)域的不同細(xì)粒度的保存策略，數(shù)據(jù)中心、科研機(jī)構(gòu)、保存組織和檔案組織等均參與其中，共同致力于提高科學(xué)數(shù)據(jù)的長期保存能力。

（三）科學(xué)數(shù)據(jù)長期保存技術(shù)。長期保存技術(shù)包括支持保存、歸檔和訪問功能的標(biāo)準(zhǔn)和方法。在數(shù)字資源長期保存相關(guān)標(biāo)準(zhǔn)方面，OAIS參考模型標(biāo)準(zhǔn)是數(shù)字資源長期保存領(lǐng)域最重要的國際標(biāo)準(zhǔn)，圍繞OAIS參考模型逐漸發(fā)展出若干標(biāo)準(zhǔn)，包括認(rèn)證標(biāo)準(zhǔn)、長期保存元數(shù)據(jù)標(biāo)準(zhǔn)、格式標(biāo)準(zhǔn)等。在數(shù)字資源長期保存方法方面，包括定期更新數(shù)據(jù)存儲(chǔ)技術(shù)、遷移、仿真、封裝等。

科學(xué)數(shù)據(jù)作為數(shù)字資源的一種，基于數(shù)字資源長期保存技術(shù)，在標(biāo)準(zhǔn)和方法方面都展開了個(gè)性化探索。保存標(biāo)準(zhǔn)方面，在科學(xué)數(shù)據(jù)元數(shù)據(jù)標(biāo)準(zhǔn)和保存格式推薦方向上成果較多。USGS發(fā)布數(shù)字地理空間元數(shù)據(jù)指南，并提供元數(shù)據(jù)編輯器。澳大利亞科學(xué)數(shù)據(jù)局元數(shù)據(jù)標(biāo)準(zhǔn)目錄工作組發(fā)布適用于科學(xué)數(shù)據(jù)的元數(shù)據(jù)標(biāo)準(zhǔn)，分為藝術(shù)與人文類、工程類、生命科學(xué)類、物理科學(xué)與數(shù)學(xué)類、社會(huì)和行為科學(xué)類和一般科學(xué)數(shù)據(jù)六大類。英國數(shù)據(jù)服務(wù)、芬蘭社會(huì)科學(xué)數(shù)據(jù)檔案館發(fā)布了科學(xué)數(shù)據(jù)保存推薦格式，解決專有格式對于長期保存來說難以維護(hù)和訪問的問題。

保存方法方面，在更新數(shù)據(jù)存儲(chǔ)技術(shù)、格式遷移方面的實(shí)踐較多。芬蘭社會(huì)科學(xué)數(shù)據(jù)檔案館通過將科學(xué)數(shù)據(jù)遷移到新的文件格式實(shí)施長期保存，不使用仿真來維持科學(xué)數(shù)據(jù)的可理解性。英國數(shù)據(jù)檔案館將數(shù)據(jù)遷移成適合長期保存的文件格式，采用磁盤和光盤多介質(zhì)進(jìn)行保存，制作在線、近線、離線和異地備份、定期檢測和更新介質(zhì)。

科學(xué)數(shù)據(jù)元數(shù)據(jù)標(biāo)準(zhǔn)制定、科學(xué)數(shù)據(jù)長期保存格式遷移、存儲(chǔ)設(shè)備更新等技術(shù)手段，可以較好應(yīng)對科學(xué)數(shù)據(jù)異構(gòu)程度高、設(shè)備依賴性強(qiáng)造成的長期保存問題。

二、科學(xué)數(shù)據(jù)長期保存的問題

隨著在科學(xué)數(shù)據(jù)長期保存領(lǐng)域的深入探索，歐美澳等國家和地區(qū)逐漸認(rèn)識(shí)到前期質(zhì)量管控的重要性，且逐漸使長期保存策略從實(shí)驗(yàn)研究走向了實(shí)際應(yīng)用。目前中國的科學(xué)數(shù)據(jù)長期保存還在起步階段，存在很多問題。

（一）科學(xué)數(shù)據(jù)鑒定意識(shí)弱。歐美國家在探索科學(xué)數(shù)據(jù)長期保存中逐漸意識(shí)到，科學(xué)數(shù)據(jù)都不具長期保存的價(jià)值，且考慮到長期的效益和成本問題，不經(jīng)選擇的數(shù)據(jù)保存將會(huì)造成巨大的經(jīng)濟(jì)壓力，數(shù)據(jù)鑒定是必要的。歐美等國家的數(shù)據(jù)中心、科研機(jī)構(gòu)和檔案機(jī)構(gòu)積極發(fā)布鑒定標(biāo)準(zhǔn)。

但是，在中國科學(xué)數(shù)據(jù)的長期保存實(shí)踐中，鑒定往往是被忽視的問題。由于科學(xué)數(shù)據(jù)對信息基礎(chǔ)設(shè)施和信息化管理能力要求高，形成以信息中心、數(shù)據(jù)中心為主體的管理格局。這些管理主體對數(shù)據(jù)鑒定和選擇性保存的認(rèn)識(shí)薄弱，還未形成完善的科學(xué)數(shù)據(jù)鑒定標(biāo)準(zhǔn)，在大數(shù)據(jù)體量的背景下，出現(xiàn)了科學(xué)數(shù)據(jù)歸檔范圍模糊、重復(fù)歸檔和歸檔質(zhì)量不足等問題。

在科學(xué)數(shù)據(jù)保存和管理實(shí)踐中，需要檔案專業(yè)人員充分發(fā)揮出專業(yè)素養(yǎng)，與數(shù)據(jù)生成者和數(shù)據(jù)專家合作，對科學(xué)數(shù)據(jù)的價(jià)值進(jìn)行判斷，選擇符合保存要求的數(shù)據(jù)進(jìn)行長期保存，制定科學(xué)的存檔范圍，并定期對保存數(shù)據(jù)進(jìn)行重新評估和處置。

（二）科學(xué)數(shù)據(jù)長期保存策略待完善。在科學(xué)數(shù)據(jù)長期保存的相關(guān)管理中，美國、英國、澳大利亞等國家的科研資助機(jī)構(gòu)大多要求申請者提交數(shù)據(jù)管理計(jì)劃，明確元數(shù)據(jù)和格式要求，以便后續(xù)長期保存。科學(xué)數(shù)據(jù)中心、檔案管理部門、其他信息管理機(jī)構(gòu)、科研人員等多重利益主體也從不同層面制定了科學(xué)數(shù)據(jù)長期保存要求和策略。

良好的科學(xué)數(shù)據(jù)保存策略是長期保存的基礎(chǔ)，目前中國已經(jīng)開展了部分領(lǐng)域的科學(xué)數(shù)據(jù)的長期保存策略研究，但系統(tǒng)性、體系化程度較弱，缺乏跨學(xué)科領(lǐng)域和泛學(xué)科領(lǐng)域的策略研究。且參與主體有限，從檔案視角進(jìn)行相關(guān)研究和實(shí)踐探索的較少。

（三）科學(xué)數(shù)據(jù)長期保存技術(shù)需提升。科學(xué)數(shù)據(jù)保存機(jī)構(gòu)在科學(xué)數(shù)據(jù)長期保存技術(shù)上以制定元數(shù)據(jù)標(biāo)準(zhǔn)、載體更新、異地異質(zhì)備份、格式管理（包括格式遷移）為主。

在長期保存標(biāo)準(zhǔn)方面，規(guī)范科學(xué)數(shù)據(jù)元數(shù)據(jù)和格式是實(shí)現(xiàn)長期保存的必由之路。英美澳等國家在元數(shù)據(jù)標(biāo)準(zhǔn)制定上，不僅發(fā)布了特定領(lǐng)域的元數(shù)據(jù)標(biāo)準(zhǔn)，也發(fā)布了一般科學(xué)數(shù)據(jù)元數(shù)據(jù)標(biāo)準(zhǔn)。在格式管理上對不同類型數(shù)據(jù)如數(shù)據(jù)匯總表、地理空間數(shù)據(jù)、文本、音視頻等也提出了可接受和推薦的格式。

在日常研究中，科學(xué)研究各領(lǐng)域內(nèi)部情況復(fù)雜多樣，對技術(shù)平臺(tái)和數(shù)據(jù)格式做出統(tǒng)一規(guī)定是很難的。如中國全國地質(zhì)資料館受技術(shù)限制，并未對地質(zhì)資料的技術(shù)平臺(tái)做出統(tǒng)一要求，導(dǎo)致匯交的地質(zhì)資料存在多種格式和軟件環(huán)境，面臨著軟件升級和格式變遷帶來的種種問題，影響著地質(zhì)資料的長期保存。

三、科學(xué)數(shù)據(jù)長期保存的發(fā)展前景

科學(xué)數(shù)據(jù)長期保存既是政策要求，更是科學(xué)數(shù)據(jù)積累、共享和再利用的前提條件和基礎(chǔ)。科學(xué)數(shù)據(jù)長期保存是一個(gè)復(fù)雜的綜合性問題，涉及多重利益主體參與，且由科學(xué)數(shù)據(jù)產(chǎn)生人員、管理人員和利用人員共同關(guān)注。

檔案部門保存歷史的使命定位，使得其一直以來持續(xù)關(guān)注并實(shí)施檔案資源的長期保存，在各類檔案資源的長期保存問題的研究與實(shí)踐上具有一定的優(yōu)勢。科學(xué)數(shù)據(jù)是科研文件，也是科研檔案的重要來源，是國家檔案的重要組成部分。檔案領(lǐng)域的鑒定理論、長期保存策略等理論和方法都能夠?yàn)榭茖W(xué)數(shù)據(jù)長期保存問題研究提供借鑒和參考。

目前科學(xué)數(shù)據(jù)以數(shù)據(jù)中心為主體管理，與檔案館管理的科研檔案整體處于平行管理狀態(tài)，但是在實(shí)踐部門也出現(xiàn)了少量協(xié)同管理案例。如美國國家檔案館與文件署委托專業(yè)科學(xué)數(shù)據(jù)中心長期保存物理觀測數(shù)據(jù)，對其履行監(jiān)管職責(zé)；美國地質(zhì)勘探局與檔案部門業(yè)務(wù)集成管理，將數(shù)據(jù)納入文件檔案管理的范疇，滿足檔案部門的文件檔案管理要求。

科學(xué)數(shù)據(jù)部門和檔案部門通過合作，加強(qiáng)檔案部門在科學(xué)數(shù)據(jù)長期保存的參與，充分發(fā)揮檔案部門在長期保存工作中的經(jīng)驗(yàn)和職能優(yōu)勢，提出切實(shí)可行的科學(xué)數(shù)據(jù)鑒定標(biāo)準(zhǔn)，促進(jìn)科學(xué)數(shù)據(jù)和科研檔案長期保存策略協(xié)同，有效提升科學(xué)數(shù)據(jù)長期保存實(shí)踐的規(guī)范化、體系化程度。