基于大數據架構的智能圖文管理系統在梯級流域水電站的實踐應用

（中國長江電力股份有限公司，湖北宜昌 443002）

0.引言

圖文管理系統為生產企業提供圖紙服務，支持圖紙管理的存儲檢索、審批流程、權限管控和外部接口等功能，支持各種格式的圖紙與生產設備關聯，整合企業內部的其他管理信息系統，提供安全、開放的圖紙訪問接口，提高企業圖紙管理的標準化、規范化和高效化。

隨著生產企業規模的擴大，企業設備的復雜性和規模的提升，傳統的基于關系數據庫的圖文管理系統存在管理復雜、存取速度慢，檢索方式單一的缺陷。大數據、云計算、人工智能等新興技術的出現，提升了企業信息管理能力，為企業圖紙管理提供新的策略和解決方案。

為了提升圖文管系統的檢索性能、用戶體驗和可擴展性，本文采用大數據架構和知識圖譜(Knowledge Graph)[1-3]技術設計企業圖文管理系統，與僅僅依靠關系數據庫的圖文管理系統相比，基于大數據架構圖文管理系統具有更好的計算性能、可擴展性和用戶體驗，更有效地利用生產企業數據中心的云存儲[4-6]和云計算[7-8]能力；將知識圖譜應用圖紙知識模型和圖紙使用模型，可以提升圖文管理系統的檢索能力和用戶體驗。

1.系統總體架構

本文提出的圖文管理系統整體分為4個層次：資源層、存儲層、服務層和應用層，如圖1所示。

圖1 系統總體架構

本系統基于企業的數據中心構建資源層，資源層提供兩種基本的資源能力：存儲能力和高性能計算能力。

存儲層通過Hadoop分布式文件系統HDFS[9-10]提供高性能、可靠的文件存儲服務。

服務層分為服務支撐和應用服務兩個子層，服務支撐子層提供4種基本的服務：使用關系數據庫存儲關系數據，使用分布式文件系統存儲圖紙文件，使用分布式檢索系統存儲非關系型圖紙信息，以及使用分布式集群滿足整個系統并行計算和智能計算要求；應用服務子層包括圖紙存儲、圖紙檢索、審核流程、權限管理和外部接口這些具體圖紙應用功能。

上層是圖文管理系統的應用層，由桌面應用程序、Web應用程序和移動App組成，調用服務層的各種具體業務功能。

2.混合存儲圖紙文件和相關數據

圖紙管理涉及3種不同類型的數據：關系數據、非關系系統和二進制圖紙文件。為了提高不同類型數據的存取效率和檢索效率，本文采用混合存儲結構存取這3種不同類型數據，采用關系數據庫Oracle存儲圖文管理系統的關系數據，采用分布式文件系統HDFS存儲圖紙文件，采用分布式檢索引擎Solr[11-12]存儲圖文管理系統的非關系數據。針對將3種不同形式存儲系統方便應用程序訪問，本文設計一個混合存儲結構來支持具體圖紙應用程序模塊訪問這些不同的存儲方式，混合存儲結構從下往上包括4個層次：存儲層、接口層、服務層和應用層，如圖2所示。

圖2 混合存儲結構

最低層是支撐層，由Oracle關系數據庫、HDFS分布式文件系統和Solr全文引擎組成，針對不同類型的數據源向上提供不同的存儲服務。

（1）Oracle數據庫系統是目前世界上流行的關系數據庫管理系統，具有可移植性好、使用方便、功能強等特點，適用于各類大、中、小、微機環境。它是一種高效率、可靠性好、適應高吞吐量的數據庫方案。本文使用Oracle數據系統存儲圖紙管理的各種關系數據：圖紙信息、圖紙流程信息、設備信息和用戶信息等。

（2）HDFS是一個適合部署在普通硬件設備上的分布式文件系統。HDFS適合存儲不同大小的，文件大小一般從幾百MB～幾百TB不等；支持高吞吐量的數據訪問；具有高度容錯性，設計為可以運行在廉價的機器集群上；支持 POSIX接口訪問，容許流式地訪問數據。本文使用HDFS存儲圖紙文件可以有效提高圖紙的讀寫速速，解決圖紙本地數據存儲和管理困難的問題。

（3）Solr是一個高性能，基于Lucene的全文搜索服務器，Solr具有可配置、可擴展特性，具有較高的非關系型文本數據查詢性能，并且提供完善的功能管理界面，是一款非常優秀的全文搜索引擎。使用Solr存儲圖紙的非關系數據可以提升圖紙非關系型數據的檢索能力和檢索速度。

存儲層之上的是接口層，通過Java語言和一組Java接口訪問Oracle關系數據庫、HDFS分布式文件系統和Solr全文引擎。

（4）本文使用JDBC (Java Database Connection)訪問關系數據庫Oracle，JDBC是Java語言中用來規范客戶端程序如何來訪問數據庫的應用程序接口，提供了諸如查詢和更新數據庫中數據的方法。

（5）使用FileSystem API訪問HDFS，FileSystem API是一個抽象的文件系統API，支持 HDFS進行一般的文件操作。

（6）使用SolrJ訪問Solr，SolrJ是一個使Java應用程序可以輕松與Solr對話的API。SolrJ隱藏了許多連接到Solr的細節，并允許您的應用程序通過簡單的高級方法與Solr進行交互。

接口層之上的訪問層，訪問層基于關系數據庫的查詢語言SQL，擴充支持HDFS的IO接口和SolrJ的查詢接口，來支持對下面接口層不同數據接口的統一訪問，并向上面的應用層提供一致的查詢接口，向上層應用程序屏蔽底層存儲方式的差異，并提供不同存儲系統的分布式事務處理的支持。

最上層是具體應用層，具體圖紙應用模塊通過調用下面的統一訪問接口來實現圖紙文件及其相關數據的存取訪問。

3.基于知識圖譜的圖紙知識管理

知識圖譜在圖書情報界稱為知識域可視化或知識領域映射地圖，是顯示知識發展進程與結構關系的一系列各種不同的圖形，用可視化技術描述知識資源及其載體，挖掘、分析、構建、繪制和顯示知識及它們之間的相互聯系。知識圖譜是通過將應用數學、圖形學、信息可視化技術、信息科學等學科的理論與方法與計量學引文分析、共現分析等方法結合，并利用可視化的圖譜形象地展示學科的核心結構、發展歷史、前沿領域以及整體知識架構達到多學科融合目的的現代理論。它能為學科研究提供切實的、有價值的參考。

本文通過知識圖譜從海量的圖紙及其相關數據中找出有價值的知識，可以對圖紙使用者在使用過程中的圖紙文件、圖紙相關數據、圖紙功能、使用頻率、交互協作等多維度進行測量，通過深層次挖掘有價值數據信息，揭示其內在的規律。將知識圖譜應用于圖紙管理，可對用戶的使用效果和使用習慣做出及時準確的反饋，提供個性化圖紙服務干預，有利于改進圖文管理系統的功能指標和非功能指標。本文使用大數據和知識圖譜挖掘設備和圖紙之間的內在聯系，挖掘圖紙信息和用戶使用之間的內在聯系，設計圖紙推薦和圖紙使用推薦推薦功能。

構建基于設備的圖紙知識模型，在設備基本信息、設備之間關系、圖紙基本信息、設備圖紙關系和圖紙之間關系五個維度對圖紙的個體特征進行了描摹，圖紙模型型根據用戶通過設備導航樹管理和使用圖紙的實踐不斷對圖紙個體模型個體肖像進行動態更新。圖紙關系推薦的基礎是形成基于設備的動態化的圖紙知識圖譜，以顯示圖紙和不同設備之間的關聯性。將不同種類的設備和圖紙連接在一起而得到一個關系網絡，把復雜的設備和圖紙之間多對多的關系通過數據挖掘、信息處理、知識計量和圖形繪制顯示出來，來顯示圖紙個體的知識動態發展規律。

構建用戶為中心的圖紙使用模型，在該模型的指導下，結合同一用戶和不同用戶使用圖文管理系統的過程和習慣，本研究構建基于用戶基本信息、用戶之間關系、圖紙基本信息、圖紙之間關系、功能模塊信息、功能與圖紙關系六個維度對圖紙使用的個體特征進行了描摹，圖紙使用模型根據同一用戶的圖紙使用過程和不同用戶的圖紙使用過程不斷對圖紙使用模型進行動態更新。圖紙功能推薦的基礎是形成基于用戶使用的動態化的圖紙使用圖譜，以顯示圖紙和不同用戶之間的關聯性。將不同種類的用戶和圖紙連接在一起而得到一個關系網絡，把復雜的用戶和圖紙之間多對多的關系通過數據挖掘、信息處理、知識計量和圖形繪制顯示出來，來顯示圖紙使用的知識動態發展規律。

4.基于Zeroc ICE的圖紙服務

Zeroc ICE[13-14]是由Zeroc公司開發的一套開源分布式中間件，適用于異種環境的面向對象體系的中間件平臺，支持遠程過程調用(Remote Prcedure Call: RPC)協議?；贗CE的客戶端和服務器可以兼容不同的編程語言，可以運行在不同的操作系統上，同時提供了多種網絡技術進行通信（例如TCP、UDP、SSL等）。ICE作為安全性高、伸縮性強的底層通信平臺，特別適用于高技術和高性能需求的分布式系統開發。

為了確保新圖文管理系統的快速開發、測試、部署和實施，我們采用基于ICE RPC的圖紙應用程序，與單體的圖紙應用程序架構相比，基于ICE RPC的圖文管理系統具有更好的性能、可擴展性和用戶體驗，更加有效地利用企業的云端資源和云計算能力，本文基于ICE RPC的客戶/服務器架構如圖3所示。

圖3 ICE的圖紙服務訪問

本文首先將圖紙功能封裝成一組模塊化、可重用的服務模塊：圖紙維護、圖紙查詢、流程管理、用戶管理和權限管理等，然后針對這一組服務定義模塊化接口，這組接口使用ICE的接口語言ICE Slice語言定義，Slice (Specification Language for Ice)語言建立了一種服務器和客戶端之間的契約，Slice描述接口和數據類型，這種描述和應用程序的具體實現語言無關，客戶端和服務器不需要用同一種語言來編寫。

使用ICE的生成工具Slice2java生成Java版本的服務器骨架代碼(ICE Skeleton)，ICE骨架代碼提供了圖紙服務客戶端調用接口，允許 ICE 運行時把控制線程轉交給應用服務器里面具體圖紙服務模塊。

圖文管理系統的客戶端一般包括傳統的桌面應用程序、Web應用程序和移動應用程序，基于ICE的跨語言特性，Slice2XXX工具可以不同語言客戶端服務代理代碼(ICE Stub)，ICE代理就是ICE對象在客戶端的代表，不同客戶端要想訪問遠程的某個圖紙服務接口，就必須先擁有這個對象的代理，而代理就存在于客戶端的進程地址空間中。

5.基于AppCan的混合應用移動平臺

本文基于AppCan構建移動APP，AppCan移動開發平臺讓HTML5開發的移動應用基本接近Native App的體驗，基于AppCan的移動App架構分為服務層、Restful接口層、應用層3大部分，如圖4所示。

圖4 移動平臺體系結構

服務層和本文前面提出的服務層結構基本一致，通過Restful[15-16]接口層向用戶提供各項業務功能。Restful是一種網絡應用程序的設計風格和開發方式，基于HTTP，可以使用XML格式定義或JSON格式定義。RESTFUL適用于移動互聯網廠商作為業務使能接口的場景，實現第三方OTT調用移動網絡資源的功能，動作類型為新增、變更、刪除所調用資源。

應用層由AppCan SDK、HMTL5和JavaScript腳本語言組成，AppCan SDK支持Hybrid App的開發和運行，并且著重解決了基于HTML5的移動應用“不流暢”和“體驗差”的問題，HTML5和JavaScript負責與用戶交互，調用Restful接口完成系統的各項功能。

6.企業梯級流域水電站的應用成果

該系統現服務于中國長江電力股份有限公司下屬梯級流域水電站群，覆蓋了葛洲壩區域、三峽區域、金沙江區域、烏白區域等7個生產單位，涉及約12萬份圖文技術資料。系統通過大數據架構整合公司各梯級流域水電站圖紙技術資料管理與應用，同時結合上述信息化及電力行業前沿應用及發展趨勢，對圖文管理系統業務與流程管理進行不斷的優化完善，為生產一線員工提供全面、準確、穩定、高效的技術支持，從而保障電力生產及運維等各項活動，獲得了各生產單位用戶的高度支持與認可。各生產單位在該系統的管理應用過程中不斷積累沉淀，形成各生產單位自有的圖文技術資料管控及學習平臺，在滿足保障本單位生產及運維活動時，也為新員工的培養提供支持。

7.總結

本文提出一種基于大數據架構的智慧圖文管理系統，相對于傳統的圖文管理系統，大數據架構的圖文管理系統能夠更加有效的使用企業日益增加的云存儲和云計算能力，而知識圖譜的應用可以更加有效進行圖紙知識管理，提升圖文管理系統的用戶體驗。