面向智能檔案管理的企業數據治理路徑研究

文 / 錢毅 劉濤

信息化是所有企業檔案工作發展的必經之路。經過數十年的發展，包括企業檔案在內的信息化已經取得了大量成果，初步建成了以檔案目錄中心，以基礎數據庫、檔案利用系統、檔案網站為基礎的檔案信息化體系。企業檔案與通用的行政類檔案相比，由于業務對象的專業要求高、規模大、類型多，面臨的問題也更復雜。目前不少企業已經花費巨資搭建了技術層面的信息平臺，積累了海量的檔案信息資源。但我們應當看到，“兩化融合”的政策要求、“大智云移”的技術背景、智能制造的產業趨勢都對企業檔案信息化提出了更高的要求，促使其踏上脫胎換骨式的升級之路，要求它逐步進入智能檔案管理階段。本文擬從企業檔案信息化發展階段入手，研究企業檔案通過數據治理而滿足智能檔案管理的方法與路徑。

一、智能檔案管理是企業檔案信息化的重要發展方向

信息化是信息資源不斷豐富、技術應用不斷擴展、資源開發不斷深入的一個連續性過程。諾蘭模型指出，任何一個行業、國家或地區的信息化大體都要經歷初裝、蔓延、控制、集成、數據管理和成熟六個階段，企業檔案信息化亦不例外。勝利油田的檔案信息化歷程[1]與東風汽輪機廠四代檔案信息系統的演變[2]就清晰展現了檔案信息化發展的不同階段。

從推進方式、建設規模、建設重點、檔案管理方法革新程度等角度來看，企業檔案信息化大致經歷了目錄數據庫建設、檔案數字化、電子檔案管理等階段，目前正向智能檔案管理階段發展。智能檔案管理是檔案信息化的高級階段，是新技術環境的客觀要求，是實踐數據—信息—知識—智能的信息化發展路徑的必經之路。目前，業務系統更多地呈現出數據驅動、模型驅動的特點，所形成的檔案越來越多地以數據密集型產品的形式出現，檔案資源顆粒度的精細化客觀上也要求檔案部門提供更為智能的信息服務。

二、當前企業智能檔案管理中存在的主要問題

堅實的數據基礎是智能檔案管理的前提，數據的質和量決定了智能管理的成敗。智能檔案管理要求數據資源既要在數量上具備一定的規模，又要在質量上滿足準確性、完整性、可用性、規范性等要求。只有做好充分的數據準備工作，各種智能算法、平臺、系統、設備才有用武之地，才能充分發揮檔案資源的價值。當前我國企業檔案數據管理還存在不少問題。

（一）檔案數據質量存在不足

檔案數據質量是指檔案作為一種數據產品所具有的一系列屬性特征，包括準確性、一致性、完整性、規范性、穩定性等。[3]錢毅認為，數據可以按照屬性—屬性關系—屬性值三元結構進行理解，檔案數據的總體質量包括“屬性”的選取質量、“屬性關系”的表述質量和“屬性值”的取值質量三個方面。[4]

目前，企業檔案系統中的數據在這三個方面的質量狀況普遍不太樂觀，具體表現為系統之間數據不一致、數據定義缺失、數據重復、完整性差等。這些問題產生的根本原因是缺乏對數據質量的有效控制，要解決這些問題不能僅僅關注局部應用，還需要綜合考察企業檔案數據流轉的各個環節，制定系統完整的解決方案。近期興起的數據治理是一系列涉及數據管理的流程、政策、標準以及相關技術手段的集合，能夠較為有效地應對數據質量問題[5]。

（二）檔案數據現狀與企業信息化發展模式不匹配

企業信息化發展模式已經從早期具有“孤島”特征的部門信息化向整體規劃模式和數據驅動模式發展。新的發展模式要求檔案數據具備更高的整體水平，而當前多數企業的檔案數據現狀并不能完全滿足企業信息化新的發展模式需要。

部門信息化是早期信息化工作的典型形態，多數企業遵循以部門信息化為主導的發展路徑，往往在開展到一定階段后才開始實行各部門數據之間的集成和聯通。這種模式存在的縱強橫弱的痼疾導致了典型的信息孤島現象，造成企業數據不能有效流通和共享。

整體規劃模式是企業信息化集中管理的必經之路，主要是通過整體規劃將企業核心業務進行整合，實現前臺業務與后臺數據的總體管控。該模式體現出的集約化和集中管理原則既符合技術潮流的發展趨勢，也與我國的企業檔案管理體制相吻合。目前，一些大型企業如國家電網、中國聯通、中石油等已經建立起集團層面的一級架構，擁有檔案統一集中管理的系統平臺，開始具備整體規劃管理檔案的基礎條件。

數據驅動模式意味著業務系統信息化的進一步深入發展，數據開始取代傳統的文件驅動著各項業務的進行。在金融、電信、先進制造等領域已經開始規模化地使用數據驅動系統，如海爾集團的個性化定制系統開始嘗試依據用戶的個人需求數據進行產品設計，航空領域基于CAD的柔性制造系統已實現設計、生產、成型等環節都依靠數據驅動模式進行工作。

目前企業檔案數據總體上難以匹配企業的信息化發展模式，多數企業檔案信息化仍處于模塊化的孤島階段，檔案管理還深陷為不同部門、不同系統之間協商數據接口的重復工作之中。企業信息化的深入發展要求檔案管理從孤島階段的分散式管理向集中式管理轉變，制定較為完整成熟的數據標準體系，提供規范統一的數據接口，并進一步形成業務數據體的整體歸檔方案。

（三）檔案數據管理不能完全滿足智能檔案服務需要

智能檔案管理需要大量數據作為基礎支撐，并依托數據構建場景、主題、模型、本體等對象用于智能分析與關聯，這些都對檔案數據提出了特定的管理要求。目前，企業檔案中的存量部分多數還是以紙質形式存在，通過數字化獲得的成品大多數以非結構化圖像形式存儲，二者都需要進行大量的數據化工作。在傳統的檔案管理環境下，檔案標準化程度低、關聯性差，缺乏對檔案數據內容的發現和組織，難以實現集中管理和跨部門的共享交流。總體來看，企業檔案數據描述豐度不足，缺乏對業務對象和主題內容的構建，這也是檔案領域進行知識管理的最大痛點，如無改進，亦難以支撐智能檔案服務的進行。

三、企業檔案智能管理依托數據治理的必要性

鑒于目前智能管理是企業信息化向上突圍的必然階段，筆者認為需要通過數據治理提供的手段，將大量存量檔案進行數據化進而形成用于分析的數據集。同時，在業務系統中實施數據治理，能夠從源頭上獲得高質量的自動匯集的數據，為后續檔案智能化服務提供數據基礎。

（一）數據治理的概念及主要框架

根據Gartner對于數據治理的定義，數據治理是通過組織、人員、流程和技術的相互協作，將數據作為企業核心資產的管理與技術手段。目前，國際上主流的數據治理框架包括DAMA數據治理知識體系、DGI數據治理框架、IBM數據治理框架和TERADATA數據治理框架等，其中應用最為廣泛的是DAMA模型。DAMA認為，數據治理是規劃、控制和提供數據及信息資產的一組業務職能，包括開發、執行和監督有關數據的計劃、政策、方案、項目、流程、方法和程序，從而控制、保護、交付和提高數據價值。[6]3該模型把數據治理分為數據管理職能框架和環境元素框架，職能框架以數據治理為中心定義了十種主要職能，在環境元素框架中則識別出過程、技術和人員等關鍵元素，并為每一個管理職能提供了機制保障的一致性方法[7]。

（二）數據治理有助于滿足智能檔案管理需求

1.滿足數據層面的細顆粒化需求。從管理對象上看，智能檔案管理關注顆粒度更細的以結構化形式表達為主的數據，而非以文件形式存在的資源，即智能檔案管理是基于“數據”尺度的。“數據”尺度的管理工作比“文件”尺度更深入、更細致，而現有文檔管理總體上是基于“文件”尺度的。因而需要基于數據管理的需求對現有文檔管理方法、標準等進行修正、提升乃至重建。

2.滿足高度集中的數據共享需求。智能檔案管理不同于一般數據管理的核心特性在于，其數據集中程度與規模都超出一般系統的處理能力范圍。企業部門如果存在本位主義思想，將導致檔案管理工作相互孤立，數據共享困難，因而需要強化數據集中，加強企業內部的級聯、互聯和關聯建設，制定統一的數據接口標準，形成集中的業務數據平臺，保證企業內部數據的開放與共享。

3.滿足以關聯管理為主的利用需求。整體上看，當前文檔標準重在內部整序與自洽，以法規遵從與文件治理為第一要務。這對于“文件尺度”的檔案資源管理而言是比較充分的，能夠保證大量文件檔案實體的規范管理。但對基于數據顆粒度要求的智能檔案管理而言，需要更多地從數據關聯角度進行規則提煉、場景描述，以便對大量的檔案數據進行有效的組織與分析。

總之，通過開展數據治理，能夠提升數據質量，促進檔案數據管理從分散式管理向集中式管理轉變，從粗粒度向細粒度轉變，從孤立分散向開放共享轉變，并逐步滿足企業檔案智能管理的數據要求。

四、企業檔案數據治理路徑

企業檔案智能管理需要建立在較高的檔案信息化基礎之上，要求企業具備必要的資源基礎和較高的軟硬件水平。目前企業檔案在數據量的積累方面已經卓有成效，但在數據質量方面距離智能化的要求還有一定差距，因而需要面向智能檔案管理進行數據治理方案的設計與實施，采取循序漸進的路徑進行推進，具體步驟如圖1所示。

圖1 企業檔案數據治理路徑

（一）開展主題資源建設

圍繞主題建設檔案資源是面向智能檔案服務的第一步驟。企業檔案并非泛泛的資料集合，而是依托企業具體職能，遵循來源原則進行管理的有秩序的相對完整的資源集合。面向智能檔案服務時，應首先選擇資源建設的主題，并圍繞主題來構建企業檔案主數據，在此基礎上進行參考數據和元數據設計。

1.確定主數據。主數據就是關于業務實體的數據，被認為是用于智能分析的“黃金”數據。在檔案理論與實踐中，“職能”可視為最大的業務實體，檔案業務的核心工作如歸檔、整理、鑒定等基本上都圍繞職能開展。企業檔案資源建設需要大力拓展主題范圍，圍繞多元主題進行資源組織。總體上看，主數據應以企業職能為基礎，選擇當事人（如員工、組織、角色）、產品、位置、項目等作為主題進行構建。企業依托既有的檔案資源進行主數據建設，有利于開展多維分析與關聯研究，最大程度復用企業檔案資源與數據。例如，電網公司目前已經開展了各業務系統的數據采集工作，在基本完成以職能為核心的檔案資源的原始積累后，就需要圍繞服務主題進行主數據建設，如項目、線路、客戶，甚至電線桿等，用于支撐后續智慧電網的建設。金融企業針對貸款的個人和機構進行數據收集，在構建客戶主數據的基礎上就能進行包括信用能力、資金實力、興趣愛好在內的綜合畫像，以便開展個性化智能金融服務。

2.設計元數據與參考數據。根據選擇的主題，應在開展主數據建設的同時進行該主題有關的元數據設計。對于通用的主題對象，應遵循既有的元數據規范，結合企業自身需求進行設計；對于沒有標準的主題對象，需要基于通用的元數據分析框架進行元數據規范設計，如文件實體可基于ISO23081-1模型進行設計，長期保存對象元數據需要參考ISO14721的信息模型進行設計。參考數據就是所謂的取值列表或值域，需要綜合大量的業務規則來進行編制。在跨業務的應用中，往往需要對參考數據進行映射和標準化工作，以保證數據的一致性。

（二）提升檔案資源質量

智能檔案管理需要成熟的高質量的完整的檔案數據基礎，通過數據治理能夠有效提升資源質量。以DAMA數據治理模型為例，它提供了多種用于維護、保障、提升數據質量的手段，比較典型的如確立數據架構、實施數據質量管理等。

1.確立數據架構。數據架構用于定義整個組織的數據藍圖，明確數據的屬性、屬性值及屬性關系。部門級單一應用的主數據和參考數據建設相對容易，在企業級跨應用環境中則比較復雜，確立數據架構可以在企業數據環境中有效防止數據孤島，管控數據冗余，保證數據一致性。

2.實施數據質量管理。企業檔案數據質量問題主要表現在準確性、一致性、完整性、時效性等方面。數據治理提供了多種手段用于實施數據質量的持續管理，如通過戴明質量環提供的PDMA（Plan Deploy Monitor Act 計劃—實施—監控—行動）模型可以在管理層面提供保障。同時，主要數據治理模型都提出了各自的數據質量指標，定義了數據質量業務規則，提供了測試和驗證數據質量的技術工具。通過這些管理和技術手段能夠支撐在數據全生命周期中持續性地實施數據質量管理。

（三）構建檔案數據管理保障機制

數據治理作為一項長效機制，應當在企業層級而非部門層級構建包括數據生命周期、數據安全等在內的保障機制，建設以數據為中心的整體管理框架，為檔案數據管理提供可靠的持續的保障。

1.開展數據生命周期管理。在企業檔案數據管理中，生命周期管理應作為一種普適管理手段進行實施。一方面，這是由于檔案數據本身處于數據生產流程下游，對前端數據的形成規范和質量具有前饋作用；另一方面，檔案數據管理本身也是一個周期較長的過程，需要關注數據從接收到長期保存或清理的全過程。具體來說，檔案數據生命周期需要關注攝取（導入、抽取、著錄、歸檔）、處理（編輯、整合、轉換、刪除）、管控（驗證、編輯、更新、清洗）、保存（遷移、備份、恢復）、利用（導出、匯總、挖掘、檢索）等大量數據處理工作。

2.制定數據安全計劃。安全是檔案數據的生命線，適用于檔案信息化所有發展階段，智能檔案管理階段亦是如此。數據安全工作包括計劃、制定、執行相關安全策略和規程，以確保檔案數據在使用過程中有恰當的認證、授權、訪問和審計等措施。

（四）形成數據治理文化

企業檔案數據應被視為企業的核心資產之一，因而需要持續性地構建圍繞企業檔案數據治理的基本環境，營造良好的數據治理文化氛圍。具體而言，應在組織和人員設置、政策規范制訂等方面采取措施。

1.組織人員設置。數據治理需要構建明確的管理主體，大型企業可以考慮成立類似信息文檔委員會的部門，作為管理整個企業文件、檔案、數據的最高決策機構，其下可成立數據治理委員會、數據管理制度委員會等組織。檔案數據治理工作應依托檔案部門進行，設置部門數據管理專員崗位，有條件的還可成立獨立的數據治理辦公室（DGO）進行專項工作，保證檔案數據治理有領導、有責任人員，從而形成責任網絡。DAMA模型就提供了30種明確的數據管理角色，用于支撐數據治理工作的各個環節。

2.政策規范制訂。數據治理離不開大量具體規范的支撐，需要在政策、標準、流程、指南等層面進行綜合建設。政策是結合企業檔案管理的整體業務需求形成的戰略層面的數據治理整體方針，是數據治理體系的總體指引；標準是在業務層面上指導數據治理主要管理功能的規范；流程與指南則在操作層面上指導具體的管理措施和技術行為。總之，通過政策規范制訂，可以為企業檔案數據治理提供戰略方針、業務標準與操作指南。

[1]葛紅.企業檔案信息化建設的實踐與思考[J].檔案學通訊,2011(1):92-94.

[2]郭欣儀.企業檔案信息化的探索與實踐——以東汽綜合檔案信息化平臺建設為例[J].檔案學研究,2016(3):90-93.

[3]宋敏,覃正.國外數據質量管理研究綜述[J].情報雜志,2007(2):7-9.

[4]錢毅.檔案數據庫質量控制的內涵與策略[J].檔案學通訊,2015(6):56-60.

[5]張寧,袁勤儉.數據治理研究述評[J].情報雜志,2017(5):129-135.

[6] DAMA International.DAMA數據管理知識體系指南[M].北京:清華大學出版社,2012:3.

[7]劉桂鋒,錢錦琳,盧章平.國外數據治理模型比較[EB/OL].http://kns.cnki.net/kcms/detail/44.1306.G2.20180211.1401.002.html.