政府網(wǎng)站網(wǎng)頁歸檔探索和實踐
——以寧波市政府網(wǎng)站網(wǎng)頁歸檔試點工作為例

余兆力 張 凱/寧波市檔案館

隨著信息化建設的不斷拓展和深入，文件歸檔范圍也在不斷延伸，網(wǎng)頁文件、政務服務電子文件等各類新型電子文件都陸續(xù)納入電子文件歸檔范疇。2016年，中辦、國辦印發(fā)的《國家電子文件管理“十三五”規(guī)劃》中要求“推進政府網(wǎng)頁及電子郵件、音視頻等電子文件歸檔”。2017年國務院印發(fā)的《政府網(wǎng)站發(fā)展指引》提出：“網(wǎng)頁歸檔是對政府網(wǎng)站歷史網(wǎng)頁進行整理、存儲和利用的過程。政府網(wǎng)站遇整合遷移、改版等情況，要對有價值的原網(wǎng)頁進行歸檔處理。”[1]為全面推進部署網(wǎng)站網(wǎng)頁歸檔工作，國家檔案局啟動了網(wǎng)站網(wǎng)頁資源歸檔試點工作，明確寧波市檔案局、市檔案館為4家網(wǎng)站網(wǎng)頁資源歸檔試點單位之一。本文將著重對寧波市開展政府網(wǎng)站網(wǎng)頁歸檔試點工作過程中形成的相關研究與實踐成果進行詳細闡述。

1 政府網(wǎng)站網(wǎng)頁歸檔概述

政府網(wǎng)站網(wǎng)頁真實記錄了各級人民政府及其部門的信息發(fā)布、解讀回應、辦事服務、互動交流等信息記錄，具有重要的歷史價值、保存價值和研究價值。網(wǎng)頁歸檔是指將政府網(wǎng)站形成的、對國家和社會具有重要保存價值的網(wǎng)頁及相關信息記錄進行采集、整理、保存并向檔案部門移交的活動。

網(wǎng)站是政府機關進行信息發(fā)布、提供對外服務的重要窗口。網(wǎng)頁文件更新快、壽命短，具有很強的動態(tài)性，不及時歸檔整理，這些記錄將不復存在[2]。開展政府網(wǎng)站網(wǎng)頁歸檔，將具有保存價值的政府網(wǎng)站網(wǎng)頁及時歸檔，是時代賦予檔案工作新的歷史使命，既有利于對政府職能活動進行追溯、回顧和分析，也有利于構(gòu)建更加豐富的檔案資源體系。

2 政府網(wǎng)站網(wǎng)頁歸檔研究重點

網(wǎng)頁文件屬于復雜文件，里面包括了文本、圖片、HTML標簽等各種信息，并且多個網(wǎng)頁文件之間還存在鏈接關系，與傳統(tǒng)的電子文件存在較大的差別。傳統(tǒng)電子文件的歸檔模式并不適合網(wǎng)頁文件的歸檔。按照電子文件歸檔要求，開展政府網(wǎng)站網(wǎng)頁歸檔需要重點研究并解決以下幾個問題。

2.1 網(wǎng)頁歸檔范圍的問題

政府網(wǎng)站一般包含信息發(fā)布、解讀回應、辦事服務、互動交流等欄目，圍繞特定主題的幾個欄目或內(nèi)容又組合成頻道。因此，政府網(wǎng)站網(wǎng)頁涉及的內(nèi)容比較復雜，各個網(wǎng)頁的價值存在較大差別，并不是所有的網(wǎng)頁都有歸檔保存的價值。因此，在開展政府網(wǎng)站網(wǎng)頁歸檔工作時，要對各網(wǎng)站欄目的內(nèi)容進行分析和梳理，明確網(wǎng)頁歸檔范圍。

2.2 網(wǎng)頁歸檔格式的問題

為了確保電子檔案長期保存和便捷利用，歸檔格式一直是電子文件歸檔工作中非常關注的問題。網(wǎng)頁文件其本身原始格式就比較復雜，如靜態(tài)的html、shtml或動態(tài)的cgi、asp、aspx、php、jsp等，在不同版本的瀏覽器上會出現(xiàn)顯示差異。在國際上，普遍的做法是采用WARC格式作為網(wǎng)頁的存檔格式，WARC 格式將多樣化的網(wǎng)絡資源收割結(jié)果連同相關描述信息一并整合到同一存檔文件中，詳細記錄了HTTP請求的頭信息和元數(shù)據(jù)信息[3]。該格式的內(nèi)核為html，與原網(wǎng)頁具有較好的兼容性，能很好地展示網(wǎng)頁之間的關聯(lián)關系。在國內(nèi)，電子文件歸檔普遍是采用版式格式PDF、OFD作為歸檔格式，若將網(wǎng)頁文件轉(zhuǎn)換成版式格式進行歸檔，將會損失網(wǎng)頁的交互性，也不能再現(xiàn)網(wǎng)頁原有面貌。

2.3 網(wǎng)頁歸檔方式的問題

縱觀目前國內(nèi)外的網(wǎng)頁歸檔項目，基本上都采用被動的網(wǎng)頁歸檔方式，即通過網(wǎng)頁爬蟲技術抓取需要歸檔的網(wǎng)頁并下載至本地，通過整理后進行歸檔保存。除了被動方式外，還可完善網(wǎng)站歸檔功能，通過web service服務接口將網(wǎng)頁文件主動提交歸檔。在開展政府網(wǎng)站網(wǎng)頁歸檔工作時，要根據(jù)政府網(wǎng)站的建設情況、歸檔需求選擇合適的歸檔方式。

3 政府網(wǎng)站網(wǎng)頁歸檔實踐

寧波市檔案局、市檔案館開展政府網(wǎng)站網(wǎng)頁歸檔試點工作，得到了寧波市委市政府的大力支持。為規(guī)范政府網(wǎng)站網(wǎng)頁歸檔管理工作，寧波市政府辦公廳印發(fā)了《寧波市政府網(wǎng)站網(wǎng)頁歸檔管理暫行辦法》，為寧波做好國家檔案局網(wǎng)站網(wǎng)頁歸檔試點工作提供了有力支撐。寧波作為試點，著重從網(wǎng)頁歸檔職責分工、網(wǎng)頁歸檔范圍和采集要求、網(wǎng)頁整理歸檔要求、網(wǎng)頁文件歸檔管理系統(tǒng)建設等方面進行探索和實踐。

3.1 網(wǎng)頁歸檔職責分工

寧波市政府網(wǎng)站網(wǎng)頁歸檔，首批將寧波市政府門戶網(wǎng)站、市級有關單位網(wǎng)站列為試點范圍。為了明確分工、落實責任，在試點工作開展之初即梳理了網(wǎng)頁歸檔和管理流程，分為收集、歸檔、整理、移交、接收、保管、管理和利用8個環(huán)節(jié)，明確政府網(wǎng)站網(wǎng)頁歸檔管理的職責分工。

按照“誰形成誰歸檔”的原則，明確網(wǎng)站主辦單位為網(wǎng)頁歸檔的責任主體，應統(tǒng)籌規(guī)劃網(wǎng)頁歸檔工作，制定網(wǎng)頁歸檔范圍和保管期限表，完成網(wǎng)頁收集、歸檔、整理、移交和檔案室保管工作；市檔案館負責建設市政府網(wǎng)站網(wǎng)頁歸檔管理統(tǒng)一平臺，提供自動采集功能，按規(guī)定接收、保管和管理政府網(wǎng)站網(wǎng)頁檔案并依法提供利用；市檔案主管部門負責市政府網(wǎng)站網(wǎng)頁歸檔工作的監(jiān)督指導，制定相關管理標準、流程等規(guī)范，開展培訓和檢查評估。

3.2 網(wǎng)頁歸檔范圍和采集要求

各網(wǎng)站的網(wǎng)頁歸檔范圍和保管期限由網(wǎng)站主辦單位制定，由市檔案局審核、備案。參考政府網(wǎng)站建設和管理相關標準，網(wǎng)頁歸檔范圍一般包括反映網(wǎng)站整體風貌的網(wǎng)站首頁、頻道首頁及欄目首頁，反映本單位職能和網(wǎng)站功能的信息發(fā)布類、解讀回應類、辦事服務類、互動交流類，以及其他具有保存價值的頁面。通過歸檔實踐的論證，我們認為保管期限應以欄目為單位設置，各欄目的保管期限為本欄目內(nèi)網(wǎng)頁文件的最高保管期限。采用這種方式有利于提高網(wǎng)頁文件采集的效率。

網(wǎng)頁文件具有超鏈接性，內(nèi)容非常復雜，屬于歸檔范圍的網(wǎng)頁文件，以URL鏈接方式存在于網(wǎng)頁文件中的文本、照片、音頻、視頻等附件及網(wǎng)頁文件相關元數(shù)據(jù)都屬于歸檔采集的范圍，應該一并采集歸檔。參考《都柏林核心元數(shù)據(jù)集》《政府網(wǎng)站發(fā)展指引》，結(jié)合網(wǎng)頁文件的實際情況，網(wǎng)頁文件采集的元數(shù)據(jù)應包括內(nèi)容檢索類、資源屬性類、知識產(chǎn)權(quán)類、固化信息類4類共17項。其中，內(nèi)容檢索類包括網(wǎng)頁標題、發(fā)布時間、來源、關鍵詞、摘要、網(wǎng)址；資源屬性類包括采集時間、語種、類型、格式、唯一標識符；知識產(chǎn)權(quán)類包括作者、發(fā)表者、貢獻者、權(quán)利所有者；固化信息類包括數(shù)字摘要、校驗信息。

3.3 網(wǎng)頁文件整理要求

明確網(wǎng)站網(wǎng)頁整理的要求是開展網(wǎng)站網(wǎng)頁文件歸檔的關鍵，具體包括網(wǎng)站網(wǎng)頁文件歸檔格式、網(wǎng)頁文件編號規(guī)則、網(wǎng)頁文件存儲結(jié)構(gòu)等。

在網(wǎng)頁文件歸檔格式上，對WARC格式和版式格式的對比分析，發(fā)現(xiàn)這兩類格式有各自的優(yōu)缺點。為了既能確保網(wǎng)頁文件的長期保存，又能提升歸檔后網(wǎng)頁文件的利用體驗，在試點工作實踐中采用了雙套歸檔的模式，即一套網(wǎng)頁文件通過OFD轉(zhuǎn)換引擎自動轉(zhuǎn)換成OFD格式保存，同時保存了一套WARC格式的網(wǎng)頁文件。

網(wǎng)頁文件采用按件管理的方式，試點實踐工作明確了網(wǎng)頁文件的編號規(guī)則，采用網(wǎng)頁文件唯一標識符作為網(wǎng)頁文件唯一性標識，網(wǎng)頁文件唯一標識符的結(jié)構(gòu)為“網(wǎng)站編號—日期—保管期限代碼—流水號”。其中網(wǎng)站編號為10位數(shù)字，前2位為省級行政區(qū)劃代碼，后8位為網(wǎng)站主辦單位的ICP備案號中的8位數(shù)字；日期為網(wǎng)頁文件的采集時間，以8位數(shù)字表示；保管期限代碼用“YD30D10”表示；流水號為網(wǎng)頁文件采集時的流水編號，采用6位數(shù)字編碼。網(wǎng)頁文件的檔號以網(wǎng)頁文件唯一標識符為基礎，檔號結(jié)構(gòu)為“全宗號—WY.年度—網(wǎng)頁文件唯一標識符”。

網(wǎng)頁文件采用層級文件夾進行存儲，不同格式的網(wǎng)頁文件采用不同的存儲結(jié)構(gòu)。WARC格式的網(wǎng)頁文件依次按不同的網(wǎng)站、年度建立層級文件夾，如“網(wǎng)頁檔案寧波市政府門戶網(wǎng)站2018”；OFD格式的網(wǎng)頁文件基于檔號規(guī)則設置層級文件夾，如“寧波市政府網(wǎng)頁檔案2018永久”。

3.4 網(wǎng)頁文件歸檔管理系統(tǒng)建設

為實現(xiàn)網(wǎng)頁文件歸檔管理，需要建設一套網(wǎng)頁文件歸檔管理系統(tǒng)，該系統(tǒng)一方面負責與各政府網(wǎng)站鏈接，通過網(wǎng)頁爬蟲技術采集各政府網(wǎng)站需要歸檔的網(wǎng)頁文件；另一方面與寧波市檔案館現(xiàn)有的集中式檔案管理系統(tǒng)連接，將整理完畢的網(wǎng)頁文件提交歸檔。網(wǎng)頁文件歸檔業(yè)務流程如圖1所示。

按照網(wǎng)頁歸檔職責分工的要求，寧波市檔案館負責網(wǎng)頁文件歸檔管理系統(tǒng)的建設，為全市政府機關提供統(tǒng)一的網(wǎng)頁文件歸檔平臺。根據(jù)網(wǎng)頁文件采集、整理、歸檔、利用的需求，網(wǎng)頁文件歸檔管理系統(tǒng)包括網(wǎng)頁文件采集管理系統(tǒng)和網(wǎng)頁文件展示利用系統(tǒng)兩部分。

圖1：網(wǎng)頁文件歸檔在信息系統(tǒng)中的業(yè)務流程

網(wǎng)頁文件采集管理系統(tǒng)包括網(wǎng)站采集、網(wǎng)站管理、策略管理、分類管理等功能。網(wǎng)站采集按照設定策略規(guī)則通過網(wǎng)頁爬蟲從網(wǎng)站上采集網(wǎng)頁文件，網(wǎng)頁爬蟲可下載設定范圍內(nèi)的網(wǎng)頁文件、可自動分類、可提取網(wǎng)頁元數(shù)據(jù)。網(wǎng)站管理用于管理與維護采集的目標網(wǎng)站信息，包括采集任務的監(jiān)控、采集策略的設置等。策略管理包括元數(shù)據(jù)策略設置、內(nèi)容分類策略設置、采集策略設置，元數(shù)據(jù)策略定義采集網(wǎng)頁時元數(shù)據(jù)的捕獲規(guī)則，捕獲規(guī)則主要基于XPATH和正則規(guī)則技術實現(xiàn)；內(nèi)容分類策略用于網(wǎng)頁信息的自動分類，同樣基于XPATH和正則規(guī)則技術實現(xiàn)；采集策略用于定義目標網(wǎng)站的采集范圍，策略內(nèi)容包括設置采集網(wǎng)站地址、層級、采集頻度、啟動時間等。分類管理采用樹型結(jié)構(gòu)展示網(wǎng)頁文件信息，實現(xiàn)對采集的網(wǎng)頁文件的分類管理，網(wǎng)頁文件采用WARC格式進行存儲管理，在網(wǎng)頁文件提交歸檔時，通過OFD格式轉(zhuǎn)換服務將網(wǎng)頁文件轉(zhuǎn)換成OFD格式進行歸檔，同時提交一套WARC格式文件歸檔。

網(wǎng)頁文件展示利用系統(tǒng)提供對歷史網(wǎng)頁文件的展示、查閱等服務。可以展示不同歷史時間點的網(wǎng)頁文件，其展示效果與原網(wǎng)站展示效果一致，重現(xiàn)網(wǎng)站的歷史原貌。支持按時間順序進行在線展示與查看，支持搜索網(wǎng)站，可選擇查看日期，瀏覽某歷史時刻的網(wǎng)站原貌。提供網(wǎng)頁電子文件的下載功能，可隨時下載已生成的OFD網(wǎng)頁文件，通過OFD版式閱讀器離線閱覽。

3.5 網(wǎng)頁歸檔實踐成果

自2018年網(wǎng)頁文件歸檔管理系統(tǒng)上線運行以來，網(wǎng)頁文件歸檔管理系統(tǒng)已與寧波市人民政府網(wǎng)站、寧波市發(fā)展和改革委員會網(wǎng)站、寧波市科學技術局網(wǎng)站、寧波市司法局網(wǎng)站、寧波市人力資源和社會保障局網(wǎng)站等15家市級政府網(wǎng)站建立連接，開展政府網(wǎng)站網(wǎng)頁文件采集歸檔工作。截至2022年6月，已采集15家政府網(wǎng)站網(wǎng)頁文件約1300萬件，合計數(shù)據(jù)量為2TB。2022年7月，網(wǎng)頁文件歸檔管理系統(tǒng)完成全面升級，提供了WARC離線閱讀功能，改善了對微信公眾號、微博和網(wǎng)頁文件附件的支持，系統(tǒng)底層檢索數(shù)據(jù)存儲從原有的MongoDB升級為Elastic Search系統(tǒng)，可承載10億級別的數(shù)據(jù)容量，可提供秒級的全文檢索響應能力，可支持寧波全市政府網(wǎng)站網(wǎng)頁的采集歸檔。在采集性能上，從每服務器支持5個網(wǎng)站升級到支持10個網(wǎng)站，性能翻了一番。

4 結(jié)語

2018年底，國家檔案局組織專家對寧波市檔案局、市檔案館的網(wǎng)站網(wǎng)頁歸檔試點項目進行了驗收。專家組高度評價試點項目取得的階段性成果，一致認為試點成果具有較強的實用性、操作性和可復制性。項目組非常重視試點工作成果的轉(zhuǎn)化，以試點工作成果為藍本起草了寧波市地方標準《政府網(wǎng)站網(wǎng)頁歸檔與管理規(guī)范》（DB3302/T 1112—2019），該標準已于2020年1月23日正式實施。項目組還參與了《OFD在政府網(wǎng)站網(wǎng)頁歸檔中的應用指南》（GB/T 39677—2020）國家標準的制定，該標準已于2021年7月1日正式實施。

同時，寧波也非常重視試點工作取得的成果，在應用推廣階段重點抓好兩件事：一是加強行政監(jiān)管，促進共享利用。將網(wǎng)站網(wǎng)頁歸檔管理工作納入政府網(wǎng)站常態(tài)化監(jiān)管內(nèi)容，市檔案主管部門會同市政府網(wǎng)站主管單位對網(wǎng)頁歸檔管理情況進行監(jiān)督考核，未落實歸檔管理責任的不得評為優(yōu)秀政府網(wǎng)站。在推動網(wǎng)頁文件利用上，確定了“以開放為原則”的指導思想，政府網(wǎng)站主辦單位在向本級國家檔案館移交網(wǎng)頁文件時，如未明確指明開放屬性，一律標識為“開放”。二是拓展歸檔范圍，擴大應用領域。在歸檔內(nèi)容上，將網(wǎng)頁文件歸檔的范圍向微信公眾號、微博等政務新媒體延伸；在應用層級上，將政府網(wǎng)站網(wǎng)頁歸檔工作向區(qū)縣延伸。如鄞州區(qū)檔案館經(jīng)過前期調(diào)研，計劃于2022年底完成1個區(qū)政府網(wǎng)站、全部55個部門子站和鄞州公安、鄞州政務等15個鄞州官方微信公眾號網(wǎng)頁文件采集工作。