基于Hadoop系統的數字檔案資源集成平臺構建及實現

云雅+黃東霞+張泉海

摘要：本文針對現有資源平臺的不足，結合信息技術的最新發展，引入分布式技術，設計了基于Hadoop系統的數字檔案資源整合集成平臺模式，并對該模式進行研究。

關鍵詞：集成平臺服務模式分布式技術

目前，國家正在大力推進檔案資源網絡化，要求充分利用已有的信息傳輸網絡，實現資源共享。[1]傳統的數據管理方式易導致信息分散保存、重復保存、收集困難、檢索困難、移交困難和協作脫節等問題，不利于檔案資源多領域的共享與利用，在這種情況下，亟需改變落后的數據管理方式，提升效率，實現數據的現代化管理。

一、我國數字檔案資源整合集成模式的現狀

所謂數字檔案資源指的是國家數字信息資源的核心資源，包括電子檔案、傳統載體檔案數字化副本、元數據、系統數據以及其他需要長期保存的數字信息等，其具有憑證、記憶、身份認同、社區能力構建等多元價值屬性。通過對海量數字檔案數據的收集、分析、處理和利用，能夠更好地應對社會的發展。既有的檔案數字資源如果能夠通過某一平臺得到整合與集中，那么數字檔案資源利用將得到極大的發揮，檔案服務民生的作用也將得到進一步體現。可以說，對數字檔案資源整合集成模式的研究，就是提升檔案資源服務能力的有效手段。

目前，我國有多種數字檔案資源整合集成模式。例如，基于檔案網站的數字檔案資源整合模式、電子政務環境下的檔案資源整合與共享模式。此外，還有交互式數字檔案服務模式[1]和云計算環境下的檔案信息資源整合與服務模式等。[2]代表性案例是湖北省宜都市檔案局的檔案資源建設與服務聯動模式。[3]近年來，湖北省宜都市檔案局以“檔案服務民生”為聯結點，[4]依托檔案館平臺及政府門戶網站、檔案信息網站和農村黨員遠程教育網站等平臺提供民生檔案服務，形成檔案資源建設與服務聯動模式。在檔案管理整合層面上，提出基礎設施層、數據整合處理層、業務應用層和公共服務層等四層檔案信息資源管理模式，從不同層面上對數字檔案管理方式進行整合。在檔案資源內容整合層面，通過“支撐云”“業務云”“公共云”三大平臺，為云計算平臺提供不同層級的檔案資源服務。這些模式雖然減少或避免了數字檔案資源建設與服務中孤立化、片面化的現象，但是對于海量數據而言，這些模式仍受到一定的制約。

二、基于Hadoop系統的數字檔案資源集成平臺的構建及實現

Hadoop是一種對大規模數據進行分布式處理的系統，該系統建立在網絡空間上，能夠即時了解用戶對檔案資源利用的反饋信息，使用戶在一個標準的分布式環境里隨時使用所有資源和系統，形成良好的雙向互動模式。Hadoop系統作為一個適合大數據的分布式存儲和計算的平臺，不僅能夠將不同來源和格式的分布式異構數據集成在一個平臺上，而且能夠準確地存儲檔案數據，避免了檢索困難、重復存檔和無用存檔的現象。特別是該系統極大地彌補了數字檔案資源整合集成模式的缺陷。在Hadoop出現之前，高性能計算和網格計算一直是處理大數據問題的主要工具，當它需要訪問PB級別的數據時，由于儲存設備網絡寬帶的限制，很多集群計算節點處于閑置狀態。針對這種數字檔案資源整合與服務過程中存在的不足，Hadoop系統能夠將該應用分解成許多小的部分，分配給多臺計算機進行處理。通過分布式計算，能夠使其在節點之間動態地移動數據，并保證各個節點的動態平衡。同時，采用并行執行機制，將一個應用程序分解為許多并行計算指令，極大地提高了數字檔案資源的訪問速度。

近年來，Hadoop系統已經應用在科研、教育、天氣預報分析、數據庫搜索、生物技術、智能交通、水火電力、大地測量、數據資源管理與服務等諸多領域。美國加州大學伯克利分校建立的開放式網絡計算平臺，就能夠將不同的分布式計算項目連接起來，對參與這些項目的計算資源進行統一合理分配，擴展了相關科研、教學、綜合檔案管理等綜合數字資源的有效整合。綜上，Hadoop系統在理論和實踐領域都已經有相當成熟的應用，完全可以為數字檔案資源整合集成提供新的思路。

（一）基于Hadoop系統的數字檔案資源集成平臺的構建

本文利用Hadoop系統[5][6][7]的方法原理，設計出分布式數據庫模型，并將部分成果用于筆者所在單位，以便實現數字檔案資源的共享。筆者所在單位各職能部門均有不同的數字資源平臺，這些獨立平臺的數字資源各自為政的現象較為嚴重，嚴重限制了資源的共享。例如，檔案館的“瓊蘭系統”平臺，雖然能夠較為精確地查詢到館內所有紙質文件和實體檔案，但是無法滿足海量數據的搜索。黨政部門的“電子政務”平臺雖然方便了校內局域網電子文檔的接收，但是由于沒有關鍵詞搜索功能而無法即時同步輸送文件。教務部門的“青果系統”平臺雖然能夠安排課程、統算教師學時數以及報送、分析成績，但是存儲授課和成績方面的數據資源卻非常有限。醫學教育研究所的“高校研究項目全程管理”平臺，也僅僅能夠遠程申報網絡教學科研課題立項，無法與其他數據互通。針對上述情況，筆者利用Hadoop系統的優勢，整合集成所在單位不同的數字檔案資源，構建一種基于Hadoop系統的集成平臺模式，并對其構建與應用進行探索。

根據Hadoop系統能夠存儲海量檔案數據的特點，依據分布式計算技術，我們采用并行執行機制，設計“垂直分布+水平分布”的分布式檔案數據庫模型，模擬構建“垂直分布+水平分布”的分布式數據庫系統。同時，使用鏈接服務器和存儲過程相結合的方法，將用戶提交的全局操作轉變為對多個場地的垂直分片表的局部操作。體現在實際操作層面就是筆者所在單位將現有的“青果系統”、電子政務系統、高校研究項目管理平臺及“瓊蘭檔案”等獨立平臺，整合到一個集成平臺上。該平臺采用傳統的客戶端-服務端構架，服務端部署于計算項目方的服務器上，客戶端部署于用戶的計算機中，兩者之間通過標準的互聯網協議進行通訊。也就是說，該平臺并不對各系統的計算項目提供服務器硬件及數據資源更改，具體計算項目的服務器仍是項目方自行提供的。為在實際操作中能夠較好地保證數據的一致性，形成統一的存儲和服務系統，該平臺還將預編譯好的SQL語句集存儲在服務器上，使用存儲過程中將多個場地的垂直分片表的操作放在一個分布事務內。如圖1所示。

（二）基于Hadoop系統的數字檔案資源集成平臺的實現

在集成平臺初步搭建的基礎上，我們對原平臺進行優化設計，形成了高校檔案數據庫平臺模型。如圖2所示。

利用筆者所在單位現有各異構平臺的數據資源，通過獲取、提煉、集成，進行統一的數據采集，完成基本數據源的建設。例如，獲取“青果系統”“教師管理信息系統”等各獨立平臺中有用的基礎檔案數據。同時，對各類數字化檔案、師生檔案、科研成果檔案進行整合，形成框架式集成平臺。然后，通過融合各異構平臺的資源數據，利用Hadoop系統對數據進行整合、分析并提供便捷的應用服務。例如，“青果系統”中含有成績系統、課表編排系統、學生管理系統多個系統的數據參數，通過對數據的生產分析處理，將分散的數據進行信息化和知識化加工，去除冗余數據，保留“青果系統”平臺的有用資源。由于集成平臺上收集有“教師管理信息系統”，故在使用平臺上“青果系統”數據資源的同時，還可以調用和查看“教師管理信息系統”中授課教師的所有相關信息。

該系統對存儲的數據進行整合，形成相互鏈接關系，并輸出到服務應用平臺上。分散數據經加工處理整合后輸入關鍵詞，系統會自動搜索各異構平臺中相關數據，對數字化檔案、在線文件、特色檔案、師生檔案、編研成果經過分布式計算、識別數據、在線報送、接收、儲存、查詢、利用、統計等步驟，按照時間、類目自動生成圖像文件，數據互通后形成，同時將結果輸出到集成平臺上，即高校檔案公共平臺和高校檔案移動APP，最終實現服務整合，滿足用戶共享需求。

*本文為2016年海南省哲學社會科學規劃課題“基于分布式系統的檔案資源集成平臺模式研究”[項目編號：HNSK（ZC）16-47]的成果之一。

注釋及參考文獻：

[1]梁孟華.Web2.0形態下面向用戶的交互式數字檔案服務研究[J].檔案學通訊，2013（6）：65-69.

[2]牛力，韓小汀.云計算環境下的檔案信息資源整合與服務模式研究[J].檔案學研究，2013（5）：26-29.

[3]周耀林，趙躍.檔案資源建設與服務聯動模式探析[J].檔案學通訊，2015（5）：51-57.

[4]袁作軍.宜都現象——湖北省宜都市檔案服務民生調查[J].中國檔案，2014（3）：36-37.

[5]王平，安亞翔.大數據時代的檔案信息平臺建設[J].檔案與建設，2015（10）：8-13.

[6]Tom Wbite. Hadoop權威指南（第2版）[M].北京：清華大學出版社，2011：1-156.

[7]蔡斌，陳湘萍.Hadoop技術內幕：深入解析Ha？ doop Common和HDFS架構設計與實現原理[M].北京：機械工業出版社，2013：34-121.