程東生++俞雯靜++黃偉
摘要:近幾年來,隨著電力企業的快速發展,電子文件數量急劇增長,價值不斷顯現,對其實行有效管理的要求日益迫切。本文結合電力企業的業務特性,從統一的集成服務、大數據大并發支撐改造、業務功能完善三個方面介紹了電子文件數字管理系統在電力企業中的應用完善,對電子文件系統在電力企業應用中的提升及在其他行業的推廣應用具有重要指導意義。
關鍵詞:電子文件 電力企業 數字管理系統 深化應用
中圖分類號:TP3 文獻標識碼:A 文章編號:1007-9416(2016)12-0122-02
Abstract:This paper, combined with the business characteristics of electric power enterprises, introduced the application and improvement of electronic file system in electric power enterprise from three aspects of the unified integrated services, big data and concurrency ,and business perfect function improvement,has important guiding significance to promote the application in the electric power enterprise in electronic file system and Application in other industries.
Key Words: Digital records;Electric power enterprise;Information systems; Deep application
引言
電子文件是信息時代公司各項生產經營管理活動的重要記錄,是核心的信息資源[1][2],電力企業電子文件管理系統研發與應用具有重大意義。
本文結合電力企業的業務特性,從統一的集成服務、大數據大并發支撐改造、業務功能完善三個方面介紹了電子文件系統在電力企業中的應用完善,有助于指導電子文件系統在電力企業應用中的提升,以及在其他行業的推廣應用。
1 統一的集成服務
電力企業電子文件系統的統一集成服務包括數據抓取、結構化轉非結構化、緩沖池、數據封裝、容錯機制等幾個方面。
1.1 數據抓取服務
數據抓取服務是平臺需提供捕獲面向公司各類基于不同技術開發平臺所開發的業務應用系統所管理的電子文件服務。主要包括,捕獲基于ERP(如SAP成熟套裝軟件)、Ariba(如電子商務系統)、SoTower(如綜合管理系統)、PI3000(如生產管理系統)、Java App(如能效管理平臺等)開發的業務應用系統所管理的電子文件,文件捕獲服務為電子文件管理提供數據源,電子文件管理系統可以針對各業務系統定義捕獲規則,自動抓取對應的數據信息。
1.2 結構化數據轉非結構化數據
結構化數據轉非結構化數據在各業務系統中實現的方式差異性可能比較大,但整個結構化數據轉換處理的過程基本相同,只是采用的具體實現技術有所差異。如圖1所示。
1.3 緩沖池
緩沖池主要是用來存儲待推送或推送失敗的電子文件的相關信息,包括:電子文件元數據經封裝后形成的XML文件;文檔內容為結構化數據,經封裝后形成的XML文件;非結構化格式的電子文件文檔;電子文件及文檔的描述信息。
為適應電子文件數據信息緩存的要求,緩沖池采用“數據庫+文件目錄”的方式來實現。數據庫存儲電子文件及文檔的描述信息,文件目錄存儲封裝后形成的XML文件和非結構化格式的電子文檔。
1.4 數據封裝
將轉換好的非結構化文件和元數據信息一起進行封裝,并傳入電子文件管理系統。
數據封裝對于元數據信息,基于W3C標準,采用dom4j技術實現將抽取到的元數據信息封裝為XML文件;同時將非結構化文件的描述信息(唯一ID、大小、版本等)寫入XML信息;將XML和非結構化文件一起封裝為信息包。
1.5 容錯機制
日志處理:各業務系統需要建立完整的日志機制,對業務過程中的各種操作信息進行詳細記錄。需要記錄的日志至少包括:數據抓取日志、結構化數據轉非結構化數據日志、電子文件推送日志、已推送成功和失敗的電子文件日志等。日志記錄的信息需要包括操作的詳細信息、操作時間等,日志信息的維護由各業務系統自行決定。
錯誤處理:各業務系統需要建立完整的錯誤處理機制,對各業務過程中產生的錯誤進行處理,如結構化數據轉非結構化數據出錯、電子文件推送失敗錯誤等。錯誤處理方式主要有兩種:(1)不需要人工干預的錯誤處理;(2)需要人工干預的錯誤處理。
對于不是因數據的問題而產生的錯誤,需要能夠調整配置,由系統自動進行重新處理。如電子文件推送失敗后,要能設定下次自動重新推送的時間、允許重新推送的次數等。
對于因數據問題而產生的錯誤,需要能夠及時通知維護人員,由維護人員及時對數據進行處理,數據處理完成后由系統重新進行處理。如推送的電子文件的元數據不符合要求,需要維護人員對元數據信息進行處理,處理完成后系統自動重新進行推送。
2 系統大數據、大并發支撐改造
由于系統在虛擬化的平臺下進行遷移,會對電子文件系統的功能實現方式和底層結構帶來影響[3],因此電子文件管理系統需要做相應的改造工作,其主要改造工作思路如下:
首先,需進行虛擬化技術研究,對電子文件管理系統涉及的基于j2ee架構應用、鏈路虛擬化等進行研究,并找出適合電力企業電子文件管理系統的合理技術路線[4]。
其次,需對基于內網的應用服務器性能提升進行研究,為解決高并發和高負載采用的ngnix技術的應用研究。
同時,對數據應用災備、多節點服務支撐(weblogic)等高可用技術進行咨詢研究,確保改造方案適應電子文件管理系統的大并發、大數據的利用。
最后,對包括服務器、存儲、內部鏈路、網絡和IO等進行重新設計優化,確保從硬件資源上面適應電子文件管理系統的要求。
電力企業電子文件系統大數據、大并發支撐改造主要體現在以下幾個方面:
集成接口虛擬化:隨著接入系統和電子文件類型的增多,集成接口壓力較大,需要改造為支持虛擬化環境,可以自動根據時間段、壓力等進行分配。
數據展現虛擬化:支持虛擬化視圖展示,主要涉及到捕獲登記、分類整理、鑒定處置等模塊。
緩存資源虛擬化:支持虛擬化環境的多個來源。
智能整理虛擬化:支持虛擬化環境中同時進行任務分配整理,主要涉及到自動分類、自動鑒定、自動捕獲等。
容錯機制虛擬化:支持虛擬化環境下的容錯信息的合并展示。
存儲利用虛擬化:支持隨非結構化數據管理平臺的變化而變化。
3 電子文件業務功能完善提升
電力企業電子文件系統業務功能完善提升包括專題管理、捕獲服務優化、捕獲登記、自動分類、批量移交、統計分析、基礎服務優化等幾個方面。
3.1 專題管理
專題維護:管理員可以從本單位或全部數據中定義不同的專題,并可以錄入專題名稱、創建人、應用范圍、展示模板等信息,并能進行維護。采用專題可以更好的利用電子文件的數據資源,提升電子文件的利用服務水平。專題維護的主要功能包括:添加、編輯、刪除。
專題梳理:根據定義好的專題信息,設置自動規則或人工自動關聯數據,實現跨單位、跨業務系統等的數據自動抓取和查詢,并定義關聯數據的展示順序、顯示字段等。專題梳理的主要功能包括:查詢、設置規則、手工加入、順序設置、顯示字段、在線發布、取消發布。
專題展示:系統固定幾種專題的展示模板,可以對視頻、音頻、文檔類文件等進行展示;并可以根據不同的專業,顯示不同的業務系統、管控點、表單等,可自定義圖形化展示方式、統計圖形,便于更好的展示專題內容。專題展示的主要功能包括:模板定制、樹形結構定制、圖形定制。
文件關聯:文件關聯功能是由管理員設定數據的自動關聯規則或人工設置關聯關系,用戶查看數據的時候自動顯示相關聯的文件信息,提高用戶的利用范圍,提升用戶體驗。文件關聯的主要功能包括:手工關聯、自動關聯、多層關聯。
3.2 捕獲服務優化
結構化數據定版:結構化數據定版服務在各業務系統中實現的方式差異性可能比較大,但整個結構化數據轉換處理的過程基本相同,只是采用的具體實現技術有所差異。
待轉換數據可以從數據庫或XML中直接抽取,由轉換程序應用對應的轉換模版形成所需的非結構化格式文件;也可以從數據庫中抽取數據按照規范封裝為XML格式的文件,提交給轉換程序應用對應的轉換模版形成所需的非結構化格式文件。電子文件的轉換模版要能支持可配置,以便進行轉換模版的擴展變化。
電子文件推送:電子文件推送的時機需要能夠進行配置,以便根據需要設置不同的服務運行時間。每個電子文件的推送,無論其最終推送成功或失敗,都需要對所推送電子文件的信息進行記錄。如果推送成功,需要在緩沖池信息表中記錄電子文件及文檔推送成功的信息;如果推送失敗,需要在緩沖池信息表中記錄電子文件及文檔推送失敗的信息,并將文檔留存在緩沖池中。
3.3 捕獲登記
在前期的捕獲登記的基礎上,實現各業務系統數據的統一抓取、統一轉換;擴大捕獲范圍,對業務系統中產生的相關流程、日志信息進行捕獲,實現電子文件的全程管理。
3.4 自動分類
自動分類服務是針對捕獲過來的電子文件,從來源、元數據類型、元數據內容、附件內容等多個維度對電子文件進行自動分類,形成一個電子文件的多個不同分類維度,更好的展現電子文件。
3.5 批量移交
電子文件管理系統需要對外提供移交功能,需要對某一批包括元數據、電子文件附件的數據進行封裝、校驗、打包、下載的過程,主要涉及到以下幾個環節:
封裝:根據用戶選擇的數據條目信息,將對應的元數據封裝為XML,電子文件附件信息進行下載。
校驗:對元數據和電子文件附件信息進行校驗,保證元數據和電子文件附件的對應關系的正確性。
打包:將元數據的XML和電子文件附件進行打包,保證元數據和電子文件的完整性。
下載:將打包好的批量移交信息包推送到用戶那里,并保證下載的安全性。
3.6 統計分析
在原來的固定統計的基礎上,增加自定義統計功能,可以靈活選擇單位、文件類型、業務系統等進行統計,并可以展示為列表、圖形化展示(柱圖、曲線圖、餅圖等)。
3.7 基礎服務優化
電子文件管理系統需要提供各種類型的電子文件管理以及各類業務系統的接入,采用SOA的技術架構,因此需要把對數據的捕獲、存儲、利用、格式轉換、數據封裝、安全控制等封裝為基礎服務,同時把一些對第三方系統或者軟件的調用封裝成基礎服務。基礎服務由上層的組件服務或者業務服務調用。根據電子文件管理系統的實際情況,再前期的基礎服務的基礎上,深化數據轉版,新增自動分類等基礎服務。
4 結語
本文從統一的集成服務、大數據大并發支撐改造、業務功能完善三個維度,對電子文件系統在電力企業中的應用結構和提升方向進行了闡述,通過進一步實現具體應用功能,對于整合公司信息資源,實現資源高效利用,提辦公效率和效益,提高公司管理水平具有重要意義。
參考文獻
[1]庫俊平.大數據環境中企業文書檔案的信息化管理及利用[J].創新科技,2013(9):50-51.
[2]楊冬權.在全國檔案局長館長會議上的講話[EB/OL].
[3]宋魏巍.大數據環境下電子文件鑒定研究[J].北京檔案,2015(12):16-19.
[4]王蘭成,劉曉亮.網上數字檔案大數據分析中的知識挖掘技術研究[J].浙江檔案,2013(10):14-19.