大數據技術下項目檔案管理系統設計研討

侯紅祥 金鳳

摘要：介紹了基于大數據構建的項目檔案管理系統。首先從項目檔案本身的屬性出發闡述系統建設的必要性，然后介紹大數據的特征，接著從流程分類、系統功能架構、系統業務流、分級利用和歸檔流程方面描述了如何結合大數據流程來構建項目檔案管理系統，最后總結了系統的重難點和特點，并展望了引入云計算和人工智能的設想。構建的項目檔案管理系統具有全面、先進、規范、靈活和安全的特點，大數據分析能從檔案數據中挖掘數據價值。

關鍵詞： 大數據;檔案管理;方案設計

中圖分類號： TP302.1? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）20-0053-02

開放科學（資源服務）標識碼（OSID）：

Abstract：? The project file management system based on big data is introduced. Firstly， this paper expounds the necessity of system construction from the attribute of project archives itself. Then it introduces the characteristics of big data. And how to build project archives management system with big data process is described from the aspects of process classification， system functional architecture， system business flow， hierarchical utilization and archiving process. Finally， it summarizes the difficulties and characteristics of the system， looks forward to the introduction of cloud computing and artificial intelligence. The project archives management system is comprehensive， advanced， standardized， flexible and safe. Big data analysis can mine data value from archives data.

Key words： big data; archives management; scheme design

隨著社會的進步和科技的發展，計算機已經在各行業普及使用，企業管理活動中60%以上都是項目，而在項目管理中各種類型的電子文件大量產生，傳統紙質文件的檔案管理模式已明顯不適應現代項目管理的要求[1]。項目管理過程中產生的項目檔案其本身具有大數據特征，如果結合大數據技術構建基于大數據的項目檔案管理系統，不但能提高項目檔案管理效率、降低失誤率，而且能通過大數據分析從檔案數據中挖掘數據價值[2]。

在項目可行性分析、招投標、施工實施、項目驗收和運行維護等階段產生大量的檔案，從管理上一般分為售前、售中、售后三個大階段，三個大階段又由多個小環節組成。一個項目從可行性分析到項目驗收多的要歷時一兩年，少的也要幾個月以上。項目檔案都散落在各個環節項目經理手上，某個重要文檔徹底丟失是常有的事情。項目中變更不可避免且非常頻繁，變更引起的記錄會對原先文檔中的項目信息進行更新，缺少變更記錄會導致項目信息失真。項目檔案泄密，特別是售前階段的文檔被競爭對手竊取，往往會導致項目失敗，造成企業成本浪費，嚴重時會造成名譽或重大利益的損失。由于歷時長、環節繁、人員多、變更頻造成項目檔案經常丟失，企業在年終審計時造成人為誤解，項目檔案泄密可能對企業造成的損失難以承受，故建設項目檔案管理系統十分必要。

1 大數據的特征

麥肯錫在報告中給出的大數據定義是：大數據是超出常規的數據庫工具采集、存儲、管理和應用能力的大型數據集[3]。有關專家給大數據用四個特征來定義，即大規模（Volume）、高速性（Velocity）、多樣化（Variety）、高價值（Value），所以大數據的“大”包含了容量上的“大”、流動速度上的“快”、樣式上的“雜”和價值上的“值”四個含義，如圖1。

大規模（Volume）：一般企業級處理的大數據容量都達到TB級，甚至達到PB級，一個形象的對比是美國國會圖書館收錄藏書1.6 億冊，對應的電子數據容量是251TB。

高速性（Velocity）：即指數據更新的頻次高，又指數據采集的速度快[4]。孤立的數據是沒有價值的，更新頻率越高的數據蘊含更豐富的信息，數據相互融合，才能通過大量的數據發現其中的規律。從海量的數據中提取數據的速率又是一個重要的課題，客戶體驗在秒級，如果應用的響應速度達不到秒級，其商業價值就會大打折扣。

多樣化（Variety）：數據種類和格式多，來源廣。數據種類可分兩類：結構化與非結構化，數據格式包括：數據庫數據、日志數據、文本數據、圖數據、流數據、多媒體數據等，而這些數據可以通過各種方式產生。

高價值（Value）：通過數據的關聯關系，分析過去已發生的數據，從中掌握事物的規律，從而根據規律來預測未來發生的事情。數據是無價之寶，但并不是所有的數據都有價值，海量活性的融合數據具有更高的商業價值。

2 系統設計

2.1 系統功能架構

本文依據大數據流程設計[5]的項目檔案管理系統的功能架構主要有八個模塊，分別是檔案利用、系統管理、信息中心、歸檔管理、業務管理、檔案管理、文件管理和人事管理。

檔案利用包括借閱、統計和專題三個功能，主要實現項目檔案的借閱審批、統計分析和專題編研等。

系統管理包括組織、日志和介質三個功能，實現系統的組織管理、日志備份和審計、軟硬件介質調度等。

信息中心包括新聞、公告和消息等功能，實現用戶之間的信息分享、通知和實時聯系等。

歸檔管理包括接收、整理、歸檔和退回等功能，實現檔案的接收、預歸檔規范、整理修改、正式規定和退回補充等。

業務管理包括編碼規范、安全策略和結構定義等功能，為不同的業務設置相應的編碼規范、安全策略和數據結構自定義等。

檔案管理包括庫房保管、脫機保管、機密銷毀、數據備份和傳輸等功能。

文件管理模塊中設置在線掃描、批量導入、移交、變更、回滾等模塊，實現數據采集生成原始數據。

人事管理模塊中設置部門、職務、崗位和員工四個小功能，將系統的權限分配給崗位，職務限制對文檔的查閱權限，根據部門職能分配不同的功能模塊，從而實現文檔在有限范圍內使用。

2.2 流程分類

從上面兩節來看，如果把項目檔案看作難以用常規數據庫工具采集、存儲、管理、利用的數據集合，那么項目檔案就是大數據，那么我們可以依據大數據的流程來設計，如圖2：

2.3 系統業務流

本系統的業務流按大數據流程來設計，涵蓋數據的采集、存儲、管理到利用整個大數據流程[6]，如圖3。數據采集階段業務系統、在線掃描和批量導入產生原始數據。

通過預歸檔管理和文件管理功能將這三類源數據在數據存儲階段在存儲介質上保存下來。

經過存儲后的文檔在數據管理階段通過整理歸檔，按數據按規范記錄進檔案全文數據庫，完成歸檔動作。

在數據利用階段主要包括檔案利用的專題編研、數據導出、統計分析和查詢調閱，檔案全文數據庫平時需要數據備份，防止數據丟失，無價值檔案要進行機密銷毀，數據備份和機密銷毀屬于數據管理階段。

2.4 系統特點

本文基于大數據設計的項目檔案管理系統中，非結構化數據調用過大時影響系統性能[8]，本系統采用分級利用的方式來提高效率。非結構化數據傳輸受網絡瓶頸限制嚴重，本系統采用本地暫存、斷點續傳、二級緩存等技術，提高數據傳輸的效率。

本文介紹的系統主要有以下幾點特點：

全面：用于對各種業務文檔、收發文、圖片、照片、音視頻等數據信息進行計算機管理的綜合系統，涵蓋檔案業務采集、存儲、管理、利用的全過程。

先進：采取先進的功能和技術解決系統難點，系統穩定。

規范：統一權限管理、統一利用管理、統一條目分類。

靈活：界面可配置，支持各種自定義、外部數據交互。

安全：系統權限控制有限訪問、系統操作日志審計以及系統實時管控保證項目檔案的安全。

3 展望

本文介紹系統設計靈活，使用方便，在將來推廣到不同的企業，形成廣泛的應用后，可以與云計算技術結合[7]，在積累了大量數據以后，引進智能算法，經過樣本訓練后，挖掘出更有價值的數據。

參考文獻：

[1] 高梅. 工程檔案管理系統的設計與實現[J]. 工程建設與設計， 2006（11）：48-50.

[2] 金光明， 袁定蓮， 沈曄， 等. 與OA集成的企業檔案管理系統研究與實現[J]. 檔案與建設， 2014（11）：21-24.

[3] MANYIAK J. Big data：the next frontier for innovation，competition，and productivity[EB/OL].http：//www.mckinsey.com/insights/business technology/big data the next frontier for innovation.

[4] 劉凱悅. 大數據綜述[J]. 計算機科學與應用，2018，8（10）：1503-1509.

[5] 王珊，王會舉，覃雄派，等. 架構大數據：挑戰、現狀與展望[J]. 計算機學報，2011（10）：17-40.

[6] 張常淳.基于MapReduce的大數據連接算法的設計與優化[D].合肥：中國科學技術大學， 2014.

[7] 劉曉光. 非結構化檔案信息及檔案異構數據庫管理系統的研究[J]. 中國檔案， 2010（9）：66-68.

[8] 廖玉玲. 用云計算搭建陽光信息工程——深圳市建筑工務署項目建設信息智能在線監管服務平臺介紹[J]. 中國檔案， 2014（8）：54-55.

【通聯編輯：王力】