國家圖書館網絡信息資源采集與保存平臺關鍵技術實現

魏大威 季士妍

（國家圖書館 北京 100081）

1 引言

網絡信息記錄和反映了一個時代的發展和變化，互聯網是一個社會信息大平臺，億萬網民在上面獲得信息、交流信息，特別是伴隨5G網絡和智能終端的發展普及，網絡信息資源已成為人類社會重要的信息載體，與傳統文獻相比，其承載的文化內容更加豐富多樣，而且體量龐大、格式異構，呈現出明顯的大數據特征。中國互聯網絡信息中心（China Internet Network Information Center，CNNIC）發布的第45次《中國互聯網絡發展狀況統計報告》顯示[1]，截至2020年3月，我國網民規模達9.04億，較2018年底增長7 508萬；互聯網普及率達64.5%，較2018年底提升4.9個百分點；網絡視頻（含短視頻）用戶規模達8.50億，較2018年底增長1.26億；短視頻用戶規模為7.73億，占網民總數的85.6%。與網民用戶數量逐年遞增的趨勢相比，我國網站數量則呈逐年下降的趨勢。截至2019年12月，我國網站數量為497萬個，較2018年底減少5.1%，而同期的網頁數量是2 978億個，較2018年底增長5.8%。網絡信息資源的易變性、不穩定性、流動性、不可再生性以及對軟硬件環境的強依賴性，決定了其存在的短暫性，導致長期保存難度極大。據統計，平均每周大約有2%的網頁會消失[2]。如果不采取積極有效的保存措施，不僅會造成信息價值的嚴重浪費，同時也不利于文化和文明的傳承。要更好地留存時代的記憶，及時完整地保存網絡信息資源非常重要。

保存與利用網絡信息資源是互聯網時代國家圖書館傳承與保護網絡文化成果、了解和掌握時代發展、促進科學研究與應用的重要工作與研究重點。國家圖書館從2003年開始探索網絡信息資源保存實踐，2009年成立了“國家圖書館互聯網信息保存保護中心”[3]，一直致力于網絡信息資源的采集、保存、管理與利用。

2 國家圖書館網絡信息資源保存工作的發展與突破

2.1 國家圖書館網絡信息資源采集與保存發展歷程

國家圖書館的網絡信息資源采集與保存工作始于2003年，年初國家圖書館成立網絡文獻收集與保存試驗小組，正式啟動“網絡信息采集與保存”（Web Information Collection and Preservation，WICP）試驗項目，利用網絡機器人自動收集與存取的方式，開始嘗試對互聯網上關于中國發生的具有較大影響力的重特大事件進行專題收集。2005年國家圖書館網絡信息采集成果服務網站上線，提供熱點專題和政府網站存檔資源瀏覽服務[4]。2007年國家圖書館正式加入國際互聯網保存聯盟（International Internet Preservation Consortium，IIPC），基于國際通用的標準和技術體系，開展國內網絡信息資源采集與保存工作，進而促進了該項工作的國際化和標準化進程；2009年成立國家圖書館互聯網信息保存保護中心；2014年開始聯合全國圖書館，共同開展網絡信息資源的采集與保存工作。經過近二十年的持續研究探索與發展建設，國家圖書館建立起了較為完整的網絡資源保存體系，將全面保存與重點保存有機結合，在保存的基礎上面向不同用戶和群體提供網絡資源的整合與揭示服務。

2.2 應對互聯網信息更新頻率高、更新量大的難題，逐步完善采集保存策略

隨著網絡技術的普及與發展，網站及網頁資源呈爆發性增長，這對網絡信息資源的采集、存儲與管理提出了巨大挑戰。通過對中國互聯網絡信息中心多年來發布的《中國互聯網絡發展狀況統計報告》[5]的對比分析可見，從2006年開始，我國網站數量呈現快速增長趨勢，從2006年的84萬個增長到最高值533萬個（2017年）。雖然網站數量在2010年出現了大幅下降，從2018年開始緩慢下降，但是與之相對應的年份網頁數量卻保持持續穩定增長態勢，由2006年的45億增長到2019年的2 978億。網站及網頁數量變化對比最強烈的是2010年，網站數量較上一年減少40%，而網頁數量卻較上一年增長78.5%。由此可見，網絡信息資源體量龐大，面對海量的網絡信息資源，如何克服存儲空間、時間限制以及經費人力等因素的影響，合理有效地制定網絡信息資源采集策略和保存管理方案，是對網絡信息資源采集機構的一個重大挑戰。

圖1 歷年中國網站數量

國家圖書館通過多年的采集經驗積累及規律摸索，結合多角度檢測等方式，逐步形成了一套采集策略——全域采集與領域采集相結合、存檔采集與內容采集相結合。國家圖書館針對國內外網站采用全域采集策略，通過固定時間段內多次采集的模式保證采集數據的完整性，減少數據缺漏，以形成完備的國內外網站資源庫；針對專題類網站采用領域采集策略，通過實時采集、固定時間段內多次采集、單次采集等相結合的模式，形成精準化的專題網絡資源庫。在全域采集以及領域采集中，國家圖書館通過存檔采集將網站的原貌全部采集保存下來，實現目標網站的完整存檔級保存；針對特定內容的采集，采用內容采集策略精準地將網頁中的文字及相關的圖片、文字類附件進行采集和保存，實現目標網站的精準化內容保存。

圖2 歷年中國網頁數量

截至目前，國家圖書館的網絡信息資源采集與保存業務，已形成涵蓋國內外政治、經濟、社會、文化、科技等領域重要網站和重大專題網絡資源的特色化網絡資源保存體系，累計采集保存國內外網站超過5萬余個/次、專題網絡資源超過300個，保存數據量達到300TB。

2.3 應對快速更新的互聯網新技術，持續進行技術研發和功能升級

網絡信息采集與保存涉及較為復雜的技術問題，包括網絡資源多版本管理、網絡資源重要性評估、網頁資源的深層挖掘等，因參與采集的各個機構的技術架構不同，其采用的基礎技術策略和采集方法均不相同。國家圖書館從2005年開始即基于開源軟件Heritrix進行了采集、編目和保存。Heritrix是基于JAVA語言開發的開源網絡資源采集獲取工具，是IIPC一直在研發、優化、推廣的開源工具，支持網絡資源采集的爬蟲定義和網頁過濾技術，具有較為高效的可配置功能。在實際工作中，國家圖書館根據采集目標網站多類、采集策略多樣、更新頻率不一致以及存檔網站保存的需要，對Heritrix做了定制開發，對中文網站、專題網頁以及政府公開信息采用普遍性采集與定制化采集相結合的方式。

隨著全國范圍內多個圖書館參與網絡信息資源保存工作，業界迫切需要一個規范性、開放性、共享性的軟件平臺，以適應不同基礎硬件環境的圖書館的網絡信息采集業務需求，支撐多個圖書館基于同一軟件平臺共同開展網絡資源采集和保存工作，共同促進我國網絡資源保存事業的發展。因此，國家圖書館利用虛擬化技術，擴展采集服務器組成服務器集群，形成大規模的分布式采集架構，提升采集效率；利用分布式文件技術實現數據的存儲管理，使用彈性HASH散列分布算法解決單點故障問題，實現多節點的負載均衡隨機可控，提高采集系統的吞吐量，進而整體提升網絡資源采集和保存系統的性能；建設了一個云共享式“網絡信息資源采集與保存平臺”，支持國家圖書館與多個圖書館（機構）開展共享式、分布式、協同式的網絡采集業務，進而整體提升網絡信息資源采集與保存的能力與規模。

2.4 應對互動化、移動化、視頻化的互聯網發展趨勢，通過定制開發與突破創新提升網絡資源采集能力

近年來互聯網資源的發布方式和服務形式出現互動化、視頻化、移動化的趨勢，多種新式、復雜的資源服務技術被采用，圖書館需要持續地對采集技術進行更新和升級，來應對復雜網絡架構的解析、大數據網絡信息的抓取、混合多維業務請求的解構以及網絡技術的高速迭代等挑戰。因此，國家圖書館持續地對“網絡信息資源采集與保存平臺”進行技術更新，創新了網絡資源采集和資源管理的算法及策略，實現了網絡資源全站采集、增量采集（精準采集發生變化的網站內容）的功能；通過精準化時間節點管理，實現對采集到的網絡資源的節點化控制；通過復雜關系控制以及結構重構，實現精準化時間節點的網絡資源增量回放功能。此外，國家圖書館通過對移動互聯網應用的分析以及應用視頻分析和視頻抓取技術，定制實現了互聯網WAP資源、網絡資源中各種格式的音視頻的采集、本地保存和流暢回放，以此應對當前互聯網資源移動短視頻化、“視頻+”的趨勢，更好地凸顯了網絡信息資源保存的意義和價值。

3 國家圖書館網絡信息資源采集與保存平臺關鍵技術實現

國家圖書館基于自有的網絡信息資源采集和保存的業務特點和業務管理需求，在網絡資源增量采集、數據管理以及精準化時間節點控制的增量回放等功能上進行了特別的程序定制開發，設計了平臺的系統架構和功能實現，在平臺的技術實現路線上，采用IIPC采集框架進行定制化功能開發。

3.1 平臺實現的功能特點

3.1.1 既能全流程管控、又能一鍵化操作

IIPC框架提供的基礎性網絡信息資源采集和保存的整個業務流程，包括采集網站種子鏈接的部署、采集結果的匯總、采集完整信息的編目、索引文件的建立以及采集內容的質檢、采集網站的回放設置以及回放發布鏈接的配置等操作，這些均需業務人員進行手動操作和干預，并且這類工作經常需要重復操作。隨著業務的持續發展，在網絡信息采集各個業務環節中產生及需要處理的數據量大幅增長，手動操作已經無法滿足業務發展的需求。此外，圖書館中參與操作的業務人員的計算機操作水平相差較大，有些業務人員甚至不具備計算機操作基礎，在網絡信息資源采集和保存的工作中存在很大的困難，嚴重阻礙了圖書館網絡信息資源采集和保存業務的推進和發展。

國家圖書館構建的網絡信息資源采集與保存平臺，很好地解決了網絡信息資源采集的完整業務流程控制和管理自動化問題，通過模塊化的形式，實現了將網絡信息資源采集和保存的完整流程切分成多個合理的、彼此有關聯的、個體相對獨立的業務模塊；通過可視化的操作界面，讓即使不具備網絡信息資源采集能力或計算機知識的業務人員也可以操作和完成工作，進而最大程度降低平臺的操作難度，讓業務人員更專注于網絡信息資源的采集策略和內容管理，明顯地降低了操作難度、規范了業務流程、提高了工作效率。

3.1.2 既能遵循國際標準、又能實現特定功能定制

網絡信息資源采集與保存平臺的資源采集、數據管理以及資源回放的功能實現均在遵循國際標準的框架下實現。這不但便于與業界進行數據交換和共享，而且便于采集與保存技術的互通開放。此外平臺的技術架構還具有延續性、發展性和開放性的特點。國家圖書館的網絡信息資源采集一直基于Heritrix架構實現采集功能、基于OpenWayback實現網站回放功能。因此，平臺在技術升級和功能定制化開發中，繼續堅持并沿用原有的開源框架，選用了該開源框架的最高版本（Heritrix 3.4版本）；在此框架基礎上，采用SpringCloud微服務架構進行了多項功能定制開發，可以在不影響完整架構的基礎上隨時根據業務需要進行新的定制功能開發與實現。

網絡信息資源采集與保存平臺的完整架構實現層次化和模塊化構建，可以根據不同機構的網絡信息資源采集業務的需要，實現采集流程配置、采集參數管理以及采集、編目、審核與發布的完整流程的業務邏輯配置，能較好地滿足不同機構的網絡信息資源采集需求。平臺的完整架構采用開放架構和流程模塊獨立架構，可以適應不同機構的服務器集群性能和網絡環境，對網絡信息資源采集機構具有較好的普適性。此外，流程模塊獨立架構為采集機構提供了靈活的管理空間、個性化的采集策略定制以及定制化的存檔資源保存管理功能，能較好地滿足網絡信息資源采集的機構個性化需求。

3.1.3 既能完整采集、又能精準采集和增量回放

為了應對網絡信息資源體量龐大、格式異構、更新頻繁等挑戰，網絡信息資源采集與保存平臺實現了技術突破，在采集技術、采集算法、存檔資源控制策略、網頁回放展示邏輯管理、存檔網站結構重構等方面均實現了創新。

該平臺在網絡資源采集功能上，既實現了對網站內容的全站采集、完整采集，也實現了針對發生變化的網站內容的增量采集，以及對指定網站或網頁的定位采集和精確采集；在采集資源保存方面，既實現了對每個網站不同版本的完整保存，也實現了對同一網站不同采集時間節點的增量保存和增量索引管理；在采集資源的保存格式上仍舊遵循國際標準，采用WARC（Web Archiving File Format）[9]格式，但是突破了WARC格式打包文件的限制，將采集到的網站（網頁）資源以結構化、索引化的模式進行存儲和管理，實現了基于采集時間節點的存檔資源分布式存儲管理；在網站回放功能實現方面，在保持存檔網站完整內容整體性回放的基礎上，創新實現了增量采集網頁內容的完整、準確回放展示，即所謂的增量回放功能。該功能通過復雜網頁層級關系控制以及結構重構，實現了精準化時間節點的網絡資源增量回放展示，不但達到采集和回放展示出來的網站中多層級、多鏈接的有效性和完整性，而且保障了增量回放展示的網頁沒有丟失、混亂、錯誤的情況發生。

3.2 平臺構建的技術架構

網絡信息資源采集與保存平臺，采用分層架構進行構建。對外服務層為面向用戶服務的UI交互界面層，為網絡信息資源采集管理業務人員提供方便快捷、可視化的使用界面，最大化降低平臺使用的技術要求；展示層進行業務請求渲染和交互，采用異步 JavaScript 和 XML技術，實現網頁異步更新；平臺服務層實現任務管理、性能優化管理、參數配置、個性化定制等模塊化功能，并通過接口模式為其他層提供數據交互和功能支持；采集層應用Heritrix爬蟲軟件，負責處理采集策劃設置、信息資源抓取、采集隊列管理、采集狀態監測等核心業務；存儲層負責對采集完成的數據進行數據校驗、數據保存以及采集時間節點的控制；運行環境層則負責整個平臺的服務器資源和網絡資源的綜合性管理。

3.3 平臺突破的關鍵技術

網絡信息資源采集與保存平臺實現的增量采集功能，是在完整采集網站內容的基礎上，以采集新出現的網頁、變更的網頁為目標的采集。這種采集模式可以有效節省采集服務器的存儲空間資源和網絡帶寬資源，縮短周期性采集整站的采集時間，大幅提高采集效率。增量采集業務有完整的工作流程，從采集源分析、采集目標定位、采集種子隊列管理、增量采集資源保存管理到時間節點控制、增量采集片段化回放展示等一系列業務管理，均需要完整規劃和統一實現。

圖3 網絡信息資源采集與保存平臺架構

網絡信息資源采集與保存平臺在Heritrix 3.4版本基礎上進行了程序定制開發。依靠Heritrix 3.4的自有功能，實現網站內容的完整采集和管理；依靠程序定制開發，實現網站內容增量采集和節點化管理，實現面向主流網站更新網頁的識別和采集，并保障增量采集內容不重復、不遺漏、不混亂。所有采集到的網站內容均以WARC格式進行保存和管理。平臺使用默認的WARCWriterProcessorwen文件處理器進行網絡資源采集，并在此基礎上做增量采集文件的定制化開發，平臺實現的增量采集業務流程如圖4所示。

圖4 增量采集業務流程圖

在采集源分析業務中，平臺首先判斷是否需要開展增量采集操作，如果不需要，則直接進入全站完整采集業務流程中。如果判斷為增量采集業務需求，則要進行采集目標定位業務操作。首先獲取增量采集目標網站中需要進行比對的版本號，通過計算對當前的CrawlURI和版本號內的采集目標進行對比，如果文件存在，并且大小無變化，則說明這個采集對象不需要增量采集，直接返回結束狀態并跳過，這樣可以大大節省采集時間和存儲空間；如果文件不存在，或者文件存在但是與目標相比較運算結果發生了變化，則說明該采集對象需要進行增量采集，下一步要明確采集對象和采集目標，后續將需要采集的URL放入采集隊列中，并且將當前版本和URI等對象信息痕跡進行保存。增量采集判斷的業務邏輯會根據采集源的情況循環執行，直到采集源分析全部完成，進入下一個采集操作流程。

平臺基于OpenWayback實現存檔資源管理和網站回放展示的完整業務管理，特別針對增量采集的特殊性進行了功能定制開發，實現增量采集資源保存管理、時間節點控制、增量采集片段化回放的定制功能。

圖5 增量回放業務流程

平臺采用索引機制對采集到的每個網站及網頁進行管理，顆粒度包括網站整站、網頁以及頁面中的鏈接等；通過URL+采集批次標記的方式實現時間節點化管理；在索引機制中，運用算法和邏輯結構定義等方法管理增量采集、增量保存的存檔資源，也實現了基于采集時間節點的存檔資源分布式存儲管理。

在網站內容回放展示的功能實現上，采用精確化索引管理匹配增量采集網頁資源的模式，可以保證全站采集的網站內容完整回放展示；獨創實現的網頁層級關系控制以及結構重構功能，可以實現任意時間節點增量采集網頁的回放展示；索引機制與時間節點相匹配的模式，可以大量減少存檔網站的冗余數據，明顯提升網站回放展示的效率，保障增量回放展示網頁的準確性、高效性。

表1 不同采集方式的采集效率比對

在實際采集業務操作中，針對同一網站采用全站采集和增量采集兩種不同的采集模式，平臺在采集容量和采集時長上有著明顯的差別；兩種采集方式所對應的平臺的運行時間和運行效率也明顯不同，可以較為清晰地看出增量采集效率遠遠高于全站采集效率，較為顯著地縮短了采集周期，進而可以保證采集內容的時新性和時效性，能有效解決存儲空間不夠以及網絡帶寬有限等問題。

4 網絡信息資源采集未來發展思考

隨著技術和時代的發展，互聯網的信息傳播呈現出不同的態勢及特點，新型的傳播架構極大地激發了社會活力。特別是伴隨5G網絡的普及和智能終端的發展普及，移動短視頻高流量、高承載量和快速傳播的特點使得“視頻+”逐漸滲透到互聯網各行各業，知識獲取輕量級、內容消費娛樂化，催生出了多樣化的網絡信息載體形態，對網絡信息資源的保存與保護提出了更高的要求。國家圖書館要持續地發揮多年來網絡信息資源采集和保存的實踐經驗，在網絡資源采集策略、采集范疇、采集技術、知識挖掘以及服務模式等方面進行創新和發展，進而提升網絡資源“保存”與“應用”的價值。

4.1 用技術創新強化平臺的技術先進性和普適性

技術創新的具體手段包括：對網絡信息資源采集及保存的關鍵技術進行研究和追蹤，創新業務流程，提升工作效率；優化算法和速度，提高并發數和系統的響應速度，支持并滿足大規模用戶的同時操作。平臺在采集功能上要擴充采集范圍，對移動互聯網和音視頻的采集應具有普適性，能滿足日益增長的移動化資源的保存需求。在技術創新的加持下，網絡信息資源采集和保存的范疇在現有網頁資源為主的基礎上，將顯著增加音視頻資源、移動互聯網資源的采集范疇以及采集比重，實現對重點網站網頁資源的一年多次增量采集、對體現中國文化傳播的原生性音視頻資源的專題性采集、對只有移動服務的移動互聯網資源的普遍性采集。

技術創新手段的應用，可以顯著提升國家圖書館網絡信息資源采集與保存平臺的適應性和云服務性。具體包括：以云服務的模式支持多節點的接入，支持不同服務器規模的部署，支持多節點、多用戶的互聯互通；以微服務的模式，支持不同采集需求的技術實現，特別是可以對技術各異的移動化資源采集進行針對性功能實現；最終構建覆蓋全國各級圖書館的網絡資源分布式保存與服務，引領全國多機構共同參與網絡資源采集事業。

4.2 用智慧化提升網絡信息資源的保存價值和服務能力

將語義分析、知識關聯、內容挖掘等方法運用于網絡信息資源的管理，可以明顯提升網絡信息資源的規范化管理、內容化挖掘以及知識化建設能力；將網頁資源、政府開放信息、社交媒體資源以及開放獲取資源作為網絡信息資源的多來源，統一進行組織管理和整合建設，有助于整體建設多內容、全載體、分主題的網絡信息資源全內容體系。

變革網絡信息資源應用與服務方式，提升網絡信息服務效果，通過資源推薦、快照保存、信息檢索、資源分類瀏覽等功能實現資源的有序組織與呈現、信息發現與檢索，通過知識庫向用戶介紹網絡信息保存相關知識和內容，能夠有效增強服務能力，提升用戶體驗。充分利用現代信息技術，通過時間軸、地域軸、地圖、知識圖譜等可視化手段進行資源展示與用戶交互，以熱門關鍵詞實現資源推薦檢索，可以豐富和優化網絡信息資源的服務模式。

4.3 用互鑒與共享促進行業間、國際間的合作與共進

以5G為代表的新基建興起、發展并日漸普及，通過高帶寬、低時延、萬物互聯的方式應用于人們生活的方方面面。視頻的使用更加普及、視頻的內容及其呈現方式更加豐富；移動互聯網的應用和服務將大大超越傳統互聯網應用，甚至部分應用與資源只在移動互聯網端呈現；VR（虛擬現實）、AR（增強現實）等應用廣泛普及。這些發展與變化都對網絡信息資源的采集與保存提出了新的要求。國家圖書館要持續強化科技創新突破，加快對網絡信息資源采集核心技術和應用技術的協同攻關；持續地關注與跟蹤國際互聯網界的技術發展和趨勢，通過參加業界年會、技術論壇交流、郵件互信、項目合作等方式與國內外業界進行緊密的聯系與合作，深入了解開源軟件Heritrix、OpenWayback的版本變化、技術功能以及功能定制開發的方法和技術；在提升自身技術能力的同時，積極分享本館在這些軟件框架下的探索和實踐經驗。

在數字時代，5G和大數據、人工智能、云計算、邊緣計算等技術緊密結合，會為網絡信息資源采集與保存帶來新的發展思路和智慧化的工具手段。國家圖書館將在技術架構構建、采集策略智慧化管理、采集格式與管理、機器學習輔助自動編目和內容管理、視頻內容采集與保存、質量監控等方向，以多樣化的溝通和合作方式開展國際性、行業性交流，不斷完善網絡信息資源采集與保存體系建設。

國家圖書館會持續跟蹤國際互聯網采集技術的發展，著力加強在標準互聯互通、技術創新升級、服務智慧共享等方面的交流合作，從技術、策略、規范及智慧服務等方面多角度、多維度、多渠道地促進中國互聯網信息采集與保存事業的發展與進步。

（來稿時間：2020年11月）