大數據背景下海洋檔案數據挖掘研究

文/國家海洋局東海信息中心（國家海洋局東海檔案館） 吳曉文 孫杰 楊帆

大數據背景下海洋檔案數據挖掘研究

文/國家海洋局東海信息中心（國家海洋局東海檔案館） 吳曉文 孫杰 楊帆

海洋檔案大數據挖掘技術應用于檔案知識管理是新時期我國海洋檔案事業發展的重要方向。本文闡述了海洋檔案數據挖掘的概念，分析其當前面臨的問題與挑戰，剖析了海洋檔案大數據挖掘技術的表現形式，以滿足海洋檔案多元化信息服務需求，為探索檔案管理模式由傳統服務利用向智能化服務模式的創新和轉型提供有益借鑒。

大數據技術；海洋檔案；數據挖掘

一、引言

伴隨著信息技術的飛速發展，各類電子設備的大量普及，信息化發展迎來了“大數據”時代。海洋檔案是“藍色記憶”的守護者、傳承者，是海洋事業發展的重要部分。大數據時代，每個人都是知識的生產者、傳播者、利用者，同時也是檔案的形成者、利用者。檔案不像圖書、文獻，所承載的數據呈分散形式存在，不會自動形成知識資源，如何將海量檔案數據轉變成信息或效用更大的知識網絡，這就需要海洋檔案工作者和科研工作者共同的勞動介入。國家海洋局東海檔案館為我國在三個海區設立的海洋檔案館之一，目前正在尋求與大數據開發公司合作，開發適合海洋檔案的大數據挖掘工具，增強從大數據中分析萃取信息的能力，進而提高檔案為海洋管理部門決策、業務部門科研水平的服務能力。

二、海洋檔案數據挖掘

海洋檔案是各項海洋工作活動的記錄和憑證，包含國家機構、社會組織和個人在從事海洋管理、科研調查、資源開發、公益服務、對外合作與交流以及海洋部門黨政工作等活動中，直接形成的具有保存價值的原始記錄，對服務國家海洋事業發展具有不可替代的作用，是我國檔案界中寶貴的“藍色財富”。

大數據時代應建立“大檔案”概念，海洋檔案數據挖掘（Marine Archives Data Mining），就是從大量的檔案文獻、專業基礎數據、網絡收集資料、檔案編研資料等不完全的、有噪聲的、模糊的、隨機的海洋檔案數據中獲取有效的、新穎的、潛在有用的、最終可理解模式的非平凡過程。從廣義上說，數據挖掘又稱為數據庫中知識發現（Knowledge Discovery in Database，KDD），就是從存放在數據庫、數據倉庫或其他信息庫的大量數據中“挖掘”知識的過程，能夠有效地解決數據和知識之間的鴻溝，實現數據與知識的轉變、交換。

大數據時代給數據挖掘技術帶來的根本性改變是使數據的深度挖掘成為可能，對大量數據進行分析處理和智能化挖掘，從管理角度來看，要達到最優的結果，不僅數據要全面、可靠、有價值，而且需要對數據進行深度挖掘。

三、海洋檔案數據挖掘面臨的挑戰

數據已經滲透到每一個行業和業務職能領域，逐漸成為重要的生產因素。海洋檔案數據來源廣泛，業務種類繁多，數據結構多樣。探索大數據挖掘技術應用于海洋檔案，面臨諸多挑戰。

（一）數據化與數字化的辨析與技術轉換。數據化是隨著大數據技術的發展逐漸被人們從數字化概念中分離并提煉出來的。數字化檔案在利用檢索上存在一定的局限性，需要用戶明確知道所查找內容的出處，并且以數字圖像呈現的檔案只有依靠用戶閱讀轉變為有用的信息和知識。數據化檔案則借助OCR光學字符識別軟件等數據識別技術來識別數據，使檔案信息能夠被計算機處理和分析。我國海洋檔案數字化建設經過多年的發展已經取得豐碩的成果，各級海洋檔案館（室）已基本實現了檔案目錄信息的數字化甚至檔案信息全文數字化，例如東海數字檔案館經過5年多的建設運行，已基本實現電子文件和檔案信息檢索利用。但大多數的海洋檔案館（室）在檔案數據化程度上仍停留在初步探索階段，如何對紙質和數字圖像等非數據化的海洋檔案，通過數據識別技術轉變為數據化的檔案是大數據技術應用于海洋檔案數據挖掘亟須解決的難點之一。

（二）海洋檔案中的電子文件在規范程度上參差不齊。數據的輸入形式不統一，涉及語言標準化、數據結構規范化問題對數據深度挖掘產生了阻礙。海洋檔案通常具有信息資源數據量大、專業交叉、融合難度大等特點，多數海洋政企部門現有的海洋檔案業務系統與綜合業務平臺、其他應用系統之間無法進行互聯，形成了信息孤島。同時越來越多的專業信息系統、業務平臺和專業結構數據庫無法納入檔案管理范疇或無法提供檔案服務。“數據海量、信息缺乏”是眾多政企部門在數據大集中之后面臨的尷尬問題。目前，大多數事務型數據庫僅實現了數據錄入、查詢和統計等較低層次的功能，無法發現數據中存在的有用信息，更無法進一步通過數據分析發現更高的價值。這些因素都會影響到大數據挖掘的深度和廣度。

（三）檔案數據化方面的行業技術規范仍處于初步探索階段。國家針對檔案數字化出臺了《電子文件歸檔與管理規范》《紙質檔案數字化技術規范》和《數字檔案館建設指南》等標準規范，但由于海洋學科和業務范圍覆蓋廣泛、縱橫交叉，為檔案數據化標準規范的制定增加了相當的難度。海洋檔案大數據挖掘技術的應用和實施也因此缺少良好的數據質量基礎。

四、海洋檔案數據挖掘的基礎優勢

在建設海洋強國戰略目標的指引下，我國海洋事業空前發展，海洋工作的廣度、頻度和深度不斷拓展，利用海洋檔案的需求也隨之增強。集中統一管理海洋檔案、全面開發海洋檔案信息資源，已成為國家海洋行政管理和宏觀決策獲取依據的重要舉措。

傳統的數據壁壘、信息孤島對于新形勢下海洋檔案應用大數據挖掘技術形成難以突破的阻礙和限制。為此，國家海洋局東海檔案館依托我國東海區“六網合一”的大網絡格局，探索大數據背景下的“大檔案”發展方向，嘗試在海洋行業內創新性探索建設區域性海洋大數據中心，當好海洋數據資料、文獻檔案和信息產品的集成者、加工者、研究者、服務者。可見，海洋檔案要實現數據深度挖掘離不開海洋管理和業務的“大聯通”，離不開數據與信息的網絡互通，海洋業務及網絡的互聯互通對于打破海洋檔案和檔案信息資源之間存在的傳統數據壁壘具有非常大的格局優勢。

五、海洋檔案大數據挖掘技術的表現形式

數據挖掘技術的形式主要分兩種，分別為描述型與預測型。在海洋檔案數據挖掘中，該兩種表現形式均有重要作用：

（一）描述型數據挖掘技術。描述型數據挖掘技術指的是利用描述的行為將數據中存在的規則進行描述，從而根據數據的微觀性特點找出數據存在的深層次的、宏觀的知識，并將同一類事物的相同屬性表現在數據的概括總結以及抽象的事物描述中。傳統的海洋檔案服務比較狹隘和單一，一般情況是在需求明確（如明確知道某份文件）的前提下，檔案人員為其提供一對一的服務。通過數字化手段和數字檔案館的建設，傳統的海洋檔案服務開始著重于查全查準，但總的來看服務單一的現象依然未能得到根本改善。究其原因：一是嚴重依賴于檔案管理水平，比如著錄的準確度、詳細度。二是在跨類別、跨庫檢索上會有缺陷。通過描述型數據挖掘技術的應用，借助聚類和關聯手段，可以克服以上缺點，實現館藏信息的主動推送和檔案知識多元服務。

（二）預測型數據挖掘技術。預測型數據挖掘技術是指針對現有的、已存在的數據進行分析處理，總結出同一類事物的共同屬性，并預測在未來一段時間內事物的規律。該種方法一方面可以應用在海洋專業數據檔案的挖掘分析，針對海洋專業數據，如風、浪、潮、流，通過專用的模型對歷史資料進行分析，并發布各種預報類產品。在實際工作中，這種方法已經得到了大量的應用，如海洋預報中心發布的海浪預報、臺風路徑分析等。另一方面，通過檔案資源的深入挖掘，整合真正意義上的海洋大數據庫，對海洋事務性檔案進行預測性挖掘，通過海洋檔案大數據庫建立，使用模型工具進行挖掘，如根據海域使用論證檔案、海域管理相關的文書檔案、海監行政執法檔案以及調查檔案中的檔案信息進行海域使用論證行為、海域審批行為、海域違法行為及處罰行為的大數據分析，可以為海洋行政管理提供決策支持。

[1]國家海洋局.海洋檔案管理規定[Z].1999.

[2]張文元,張倩.大數據技術與檔案數據挖掘[J].檔案管理,2016(2):33-35.

[3]孔樂佳,盧宏偉.大數據思維下的檔案資源數據挖掘[J].蘭臺世界,2016(17):28-29.

[4]於立勇.計算機數據挖掘技術應用在檔案信息管理系統中的探討[J].電腦知識與技術,2012(01):33-34.

[5]彭皖民.基于用戶檔案管理的數據挖掘分析[J].河南科技,2008(04):89-90.

[6]欒立娟,盧健,劉佳.數據挖掘技術在檔案管理系統中的應用[J].計算機光盤軟件與應用,2015(01):35-36.

本文為2016年國家海洋局東海分局青年科技基金“大數據技術與海洋檔案數據挖掘應用研究”（項目編號：201615）的研究成果】