云計算、大數(shù)據(jù)在水利檔案管理系統(tǒng)建設(shè)中應(yīng)用的構(gòu)想

王津琳

（海河水利委員會水利信息網(wǎng)絡(luò)中心，天津300170）

云計算、大數(shù)據(jù)在水利檔案管理系統(tǒng)建設(shè)中應(yīng)用的構(gòu)想

王津琳

（海河水利委員會水利信息網(wǎng)絡(luò)中心，天津300170）

簡要介紹了云計算、大數(shù)據(jù)和檔案的概念及其相互關(guān)系，認為在海委現(xiàn)有水利信息化基礎(chǔ)上可以搭建海委云計算平臺和海委檔案管理大數(shù)據(jù)平臺，建立海委檔案微應(yīng)用和移動應(yīng)用，以提升海委檔案管理的智能化水平和便捷高效的服務(wù)能力。

云計算；大數(shù)據(jù)；檔案管理；系統(tǒng)應(yīng)用

隨著海河水利委員會（以下簡稱海委）水利信息化建設(shè)的加快和推廣，海委檔案管理工作經(jīng)過不斷地探索研究，基于水利電子政務(wù)網(wǎng)，已將成熟的軟硬件技術(shù)應(yīng)用到檔案管理體系中，進一步提升了檔案的收集、管理、開發(fā)和利用能力和水平。這是檔案管理的終點嗎？筆者認為，肯定不是。“十三五”以來，根據(jù)國家實施大數(shù)據(jù)戰(zhàn)略的提出和國務(wù)院印發(fā)的《促進大數(shù)據(jù)發(fā)展行動綱要》，水利部編制印發(fā)了《關(guān)于推進水利大數(shù)據(jù)發(fā)展的指導(dǎo)意見》，旨在水利行業(yè)推進數(shù)據(jù)資源開放共享，促進水利大數(shù)據(jù)發(fā)展與創(chuàng)新應(yīng)用。

1 云計算、大數(shù)據(jù)與檔案

1.1 云計算

云計算（Cloud Computing）是分布式計算（Dis?tributed Computing）、并行計算（Parallel Computing）、效用計算（Utility Computing）、網(wǎng)絡(luò)存儲（Network Storage Technologies）、虛擬化（Virtualization）、負載均衡（Load Balance）、熱備份冗余（High Available）等傳統(tǒng)計算機和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。私有云和公有云是其重要的兩種應(yīng)用模式，私有云是單位自己使用的云，它所有的服務(wù)不是為了別人使用，而是供自己內(nèi)部人員或分支機構(gòu)使用。公有云是云運營商提供給用戶能夠使用的云，一般通過Internet付費使用。海委檔案管理適合建立在海委私有云上。

1.2 大數(shù)據(jù)

大數(shù)據(jù)（Big Data）是指無法在一定時間范圍內(nèi)用常規(guī)軟件工具進行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》中大數(shù)據(jù)是指不用隨機分析法（抽樣調(diào)查）這樣捷徑而采用所有數(shù)據(jù)進行分析處理。它具有5V特點，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veraci?ty（真實性）。海委檔案數(shù)據(jù)具備5V特點。

1.3 檔案

海委檔案主要包括文書檔案、科技檔案、會計檔案、音像檔案、機要檔案等多種類型檔案，已實現(xiàn)檔案資源的數(shù)字化，可為搭建新一代海委智慧檔案系統(tǒng)提供基礎(chǔ)數(shù)據(jù)資源。云計算為海委檔案管理提供基礎(chǔ)計算和存儲資源，可以強化基礎(chǔ)設(shè)施的擴展和服務(wù)能力；大數(shù)據(jù)為海委檔案管理提供檔案分析、挖掘能力，可以整體提升檔案管理的服務(wù)水平。總體上說，檔案管理負責(zé)生產(chǎn)數(shù)據(jù)，云計算負責(zé)數(shù)據(jù)存儲和計算，大數(shù)據(jù)負責(zé)數(shù)據(jù)分析和提供服務(wù)。

2 海委云計算平臺搭建

經(jīng)過多年信息化建設(shè)，海委建成包括電子政務(wù)系統(tǒng)、防汛抗旱指揮系統(tǒng)、水資源監(jiān)控能力系統(tǒng)、水文監(jiān)測系統(tǒng)、水土保持系統(tǒng)等政務(wù)及業(yè)務(wù)系統(tǒng)，各系統(tǒng)統(tǒng)一部置在信息中心機房，基于項目配置的軟硬件環(huán)境獨立運行，部分系統(tǒng)運行在虛擬機上。硬件計算和存儲資源的分散管理利用，在當(dāng)前軟硬件技術(shù)架構(gòu)上無法共享及統(tǒng)一管理分配，需要利用云技術(shù)統(tǒng)一管理各項目的軟硬件資源。

2.1 梳理已建軟硬件資源列表

搭建云平臺不是為了追逐技術(shù)，而是為了應(yīng)用服務(wù)。為此，首先需要梳理已建的應(yīng)用系統(tǒng)有哪些，涉及哪些服務(wù)器、哪些軟件，以及相關(guān)軟硬件的型號、版本，為逐步向云平臺遷移做好準(zhǔn)備。

2.2 規(guī)劃云平臺核心應(yīng)用功能

根據(jù)海委軟硬件資源的現(xiàn)狀，充分利用已有資源，實現(xiàn)異構(gòu)資源和存量資源混合環(huán)境的按需分配、統(tǒng)一管理、統(tǒng)一調(diào)度和資源的合理規(guī)劃。分層次按資源池/域/集群/節(jié)點對異構(gòu)計算環(huán)境進行統(tǒng)一管理，構(gòu)筑海委云平臺。云平臺通過服務(wù)化的方式形成統(tǒng)一的基礎(chǔ)資源服務(wù)目錄，通過用戶自助門戶，實現(xiàn)基礎(chǔ)資源的快速申請、審批和使用流程，更好地支撐政務(wù)、業(yè)務(wù)對軟硬件資源的需要。

2.3 定制檔案管理的個性服務(wù)

海委檔案電子原文信息幾乎涉及到所有電子文件類型，主要包括文本文件、影像文件、多媒體文件、圖形文件等。為了方便借閱用戶使用檔案文件，云平臺應(yīng)結(jié)合用戶借閱權(quán)限自動提供文件使用虛擬化終端，借閱期滿虛擬終端自動回收。

3 海委檔案管理大數(shù)據(jù)平臺建設(shè)

目前，海委的檔案數(shù)據(jù)基本存儲在關(guān)系型數(shù)據(jù)庫中，客戶端功能以查詢、檢索為主，由于數(shù)據(jù)量、服務(wù)器處理能力等原因的影響，在此軟硬件架構(gòu)上很難對功能、性能進行大提升。因此，需要應(yīng)用云平臺、大數(shù)據(jù)技術(shù)，通過多類型數(shù)據(jù)采集平臺進行數(shù)據(jù)采集，在智能數(shù)據(jù)處理平臺上對這些非結(jié)構(gòu)化信息、多媒體信息和用戶信息進行分析，最后在應(yīng)用平臺上提供數(shù)據(jù)挖掘結(jié)果的搜索功能和多媒體自動編研功能。

3.1 檔案數(shù)據(jù)采集

檔案數(shù)據(jù)采集離不開檔案鑒定。通過業(yè)務(wù)專家、檔案專業(yè)人員、大數(shù)據(jù)技術(shù)專家的檔案鑒定工作，形成檔案大數(shù)據(jù)采集的基礎(chǔ)標(biāo)準(zhǔn)和規(guī)范。在新的采集體系中，可以擴大檔案數(shù)據(jù)的采集范圍，除了歸檔之前已被認為的檔案文件外，還應(yīng)將相關(guān)的文件及在線運行的歷史數(shù)據(jù)進行自動的采集歸檔，為大數(shù)據(jù)應(yīng)用分析、挖掘提供更豐富的數(shù)據(jù)支撐。

3.2 檔案數(shù)據(jù)處理

根據(jù)檔案數(shù)據(jù)采集的內(nèi)容及數(shù)據(jù)間的關(guān)聯(lián)關(guān)系，檔案數(shù)據(jù)處理環(huán)節(jié)應(yīng)充分利用大數(shù)據(jù)平臺提供的元數(shù)據(jù)管理和數(shù)據(jù)標(biāo)簽?zāi)芰ΓＡ簟⒍x、提取數(shù)據(jù)邏輯關(guān)系。如，自動定義單頁掃描文件與自動識別后的文本文件的關(guān)系，智能提取自動識別后的文本文件的關(guān)鍵字等。

3.3 檔案數(shù)據(jù)分析

從海量的大數(shù)據(jù)庫中找到用戶可能最關(guān)心的檔案，是大數(shù)據(jù)平臺的重要任務(wù)，通過分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、神經(jīng)網(wǎng)絡(luò)方法、決策樹等算法，能夠根據(jù)用戶的需要從不同的角度對檔案數(shù)據(jù)進行挖掘、分類、提取、排名，快速定位相關(guān)檔案。如，用戶根據(jù)當(dāng)前工作的需要輸入一段文字，查找相關(guān)檔案，大數(shù)據(jù)平臺將自動進行關(guān)鍵字提取，利用關(guān)鍵字快速檢索相關(guān)檔案，對搜集到的檔案進行聚類分析，利用聚類結(jié)果對不同的檔案賦以不同的類標(biāo)記，然后利用分類功能組織檔案。

4 海委檔案微應(yīng)用、移動應(yīng)用建立

4.1 檔案微應(yīng)用

傳統(tǒng)檔案系統(tǒng)的建設(shè)模式是通過設(shè)計、開發(fā)、測試、部署、試運行等階段之后投入系統(tǒng)運行，用戶才能正常使用，這種建設(shè)模式不僅投入大而且建設(shè)周期較長。架構(gòu)在云平臺、大數(shù)據(jù)技術(shù)基礎(chǔ)上的檔案應(yīng)用開發(fā)模式是將核心、復(fù)雜的檔案業(yè)務(wù)模塊以組件形式封裝到平臺中，檔案系統(tǒng)開發(fā)者可在平臺的基礎(chǔ)上自定義、組裝業(yè)務(wù)流程，開發(fā)出更多碎片化、個性化的微應(yīng)用。微應(yīng)用比傳統(tǒng)的應(yīng)用更輕量級、搭建起來更簡潔、更靈活，同時對其進行改造提升也更為便捷。每一個微應(yīng)用之間都是松耦合的，開發(fā)者可以根據(jù)用戶的需求去開發(fā)各種微應(yīng)用，更直接地面向用戶提供服務(wù)，檔案系統(tǒng)的復(fù)雜度也會因此而大幅降低，靈活度大幅增加。

4.2 檔案移動應(yīng)用

當(dāng)前，對檔案的需求已經(jīng)是隨時隨地，傳統(tǒng)基于PC機的應(yīng)用模式已無法滿足用戶的需求，需要開發(fā)基于智能移動終端的檔案應(yīng)用。為此，可以結(jié)合微應(yīng)用的建設(shè)方式，根據(jù)用戶的需求不斷推出新的應(yīng)用功能，充分發(fā)揮檔案數(shù)據(jù)的業(yè)務(wù)支撐、決策支撐作用。

[1]陳康明.云計算在檔案管理中的應(yīng)用[J].云南檔案，2016（5）:27-29.

[2]徐擁軍，牛力.企業(yè)檔案管理的十大發(fā)展趨勢[J].中國檔案，2014（5）：31-33.

[3]祝潔.我國云計算環(huán)境下檔案管理研究綜述[J].檔案管理，2016（5）:15-17.

[4]張鳳武.基于云計算的檔案管理服務(wù)創(chuàng)新[J].檔案與建設(shè)，2016（8）：28-29.

[5]祝慶軒，桑毓域，方昀.基于云計算的檔案信息資源共享模式研究[J].蘭臺世界，2011（7）：8-9.

TP399；G271

A

1004-7328（2017）06-0055-02

2017—10—15

王津琳（1963—），男，高級工程師，主要從事水利信息化建設(shè)和管理工作。

10.3969/j.issn.1004-7328.2017.06.016