電力企業云百科系統的架構設計

張 偉

(中國大唐集團科學技術研究院有限公司,北京 100040)

0 引言

隨著云計算服務在電力行業里廣泛的應用，用戶對電力云平臺的搜索能力要求越來越高。云計算將原本分散的資源聚集起來，再以服務的形式提供給受眾，實現集團化運作、精益化管理、標準化建設。

電力云平臺系統基于電力系統數據庫中通過云搜索引擎的快速搜索，檢索到相應的共享知識內容，系統功能界面簡潔，用戶操作便捷。

1 系統簡介

電力云百科系統是部署在云上的一套系統，此系統是電力系統內部的一套維基百科，主要應用于電力系統內部的電力知識的共享以及共享知識的不斷更新。

電力云百科主要包括搜索引擎和百科知識編輯處理兩個業務模塊。整個業務系統運行在云平臺之上。當客戶從海量數據中查找到所需的知識點時，可以首先對搜索到的知識點進行閱讀瀏覽，之后如果需要對知識點進行補充修改時，可以對此詞條進行評論，然后在前端進行修改，完成知識點的編輯，通過管理員的權限控制、審核，最終完成詞條的修改。

2 架構設計

電力云操作平臺由分布式云文件系統(DataCell FS)、數據庫同步系統(DataCell Echo)、電力云搜索引擎三部分組成，為云百科提供了應用基礎。電力云平臺系統架構如圖1所示。

圖1 電力云平臺系統架構圖

2.1 分布式云文件系統

分布式云文件系統(DataCell FS)是完全自主開發具有自由知識產權的文件系統，該系統為分布式計算存儲提供底層支持。分布式云文件系統架構如圖2所示。

圖2 分布式云文件系統架構圖

由此DataCellFS具備以下特點：

(1)對于整個集群有統一的命名空間。

(2)數據一致性。適合一次寫入、多次讀取的模型，客戶端在文件沒有被成功創建之前無法看到文件存在。

(3)文件會被分割成多個文件塊，每個文件塊被分配存儲到數據節點上，而且根據配置會由復制文件塊來保證數據的安全性。

分布式文件系統DataCellFS是用于構建企業級非結構化數據平臺的云存儲軟件產品，具備高可擴展性的特點，可幫助企業實現高效的非結構化數據存儲和管理功能[1]。平臺采取全新的分布式體系架構，利用先進的虛擬化技術靈活地將網絡上眾多獨立的存儲節點粘合起來，隱藏底層的負載均衡、冗余復制等細節，對上層程序提供統一的文件調用接口，并按照每個客戶端實際使用量隨時動態地分配物理空間，實現建立在現有硬件設備或其他廉價硬件設備上的網絡虛擬存儲功能。同時，DataCell FS還結合高效數據總線的傳輸能力，在文件傳輸、存儲和訪問的過程中采用主動檢測和自動處理失敗情況等多種機制來提高整個系統的容錯性和可靠性，從而能最大程度地利用網絡帶寬和保證可靠的文件傳輸，并較好地滿足跨區域、多節點、復雜網絡環境的文件存儲和共享需求[2]。

2.2 關系型數據庫集群軟件

關系型數據庫集群軟件是電力云操作系統的重要組成部分之一，可以解決跨區域、異構分布式數據庫的統一訪問和實時數據同步問題，可以同時處理同一系統內的多個異構數據庫系統之間的數據交換和同步。通過對各個數據庫系統內數據的動態劃分和管理，跨域數據庫訪問和同步分發系統還可在一個或多個數據庫中支持多個主/從并存[3]。在放寬對數據一致性要求的前提下，它可以繞過普通關系數據庫的性能瓶頸，大大提高大型應用系統中數據庫的響應速度和數據容量。關系型數據庫集群軟件架構如圖3所示。

圖3 關系型數據庫集群軟件架構圖

另外，數據同步訪問接口為業務系統、管理系統以及各種其他系統提供一致的數據同步和訪問接口，將外部系統所提交的數據請求分發到相應的控制模塊，并負責將必要的數據操作結果通知并返回給外部系統?？刂颇K負責將接收到的數據請求提交給主數據庫，并且在主數據庫操作提交成功后將數據請求通過控制總線組播給所有此次需要同步的虛擬數據庫的同步模塊。根據用戶所選擇的策略，控制模塊會選擇等待虛擬數據庫節點完成或者不等待，并將結果返回給數據同步訪問接口以通知用戶數據操作結果。虛擬數據庫的同步和訪問模塊負責將接收到的來自控制模塊的操作請求提交給本機的物理數據庫[4],并且將提交的結果返回給數據同步訪問接口來通知用戶數據操作的結果。

除了普通的數據操作模式之外，根據用戶選擇的策略，虛擬數據庫可以工作于異步模式。當異步模式時，用戶不實際參與實時的數據訪問和同步過程，可以選擇在適當的時機通知對應的虛擬數據庫節點以異步的方式提交數據[5]。當系統中有新的虛擬數據庫節點加入時，可以根據用戶選取的恢復點，自動化恢復所有過往的數據操作，最終達到與所有其他的虛擬數據庫節點一致的狀態。這種虛擬同步(Virtual Synchrony)技術不僅可以保證在任何情況下多數據庫節點數據操作均能正常地完成或者從故障中恢復，同時極大地強化了對異構數據庫以及多主數據庫情況下的數據訪問和同步支持[6]。

概括地講，數據庫同步系統具有如下的技術特點：

(1)多點讀寫，提供負載均衡；

(2)提供多主數據庫和多從數據庫模式；

(3)支持分組，同一組數據庫可以建立多個組，按照不同的業務邏輯進行同步；

(4)多機備份，避免單點失效；

(5)數據模型可通過外部XML文件靈活配置，避免業務代碼更改；

(6)多操作系統，支持Linux、AIX、Windows等平臺；

(7)支持分布式異構數據庫，支持包括IBM DB2、Oricle、MySql等數據庫的異構環境；

(8)多節點支持，支持 10個以上的同步節點；

(9)多策略，支持配置文件的更新或更新消息中設定多種策略來控制整個數據的同步，原有的業務邏輯不需要更改。

(10)支持單步提交和兩步提交兩種模式。

2.3 云搜索引擎

云搜索服務引擎是基于海量的數據、多源數據(Web URL、企業內部數據、郵件、數據庫內容等)而建立起來的快速搜索的面向應用的服務平臺，專門提供企業在信息化過程中海量信息的搜索服務[7]。云搜索引擎架構如圖4所示。

圖4 云搜索引擎架構圖

作為企業搜索服務引擎，其主要完成對企業各數據源的管理、分詞的建立、索引的建立，并結合企業知識分類體系完成搜索服務，提供應用系統更便捷的接口[8]。作為云搜索服務引擎，其內部系統采用高度虛擬化技術，完成整個集群的管理和維護。

3 結論

通過使用云計算技術，云百科系統的性能得到了極大提高，但其硬件平臺搭建成本反而降低。

云百科業務系統主要體現了以下幾個特點：

(1)系統效率的提高

采用云計算技術，可以提高并發訪問量，同時還可以提高檢索速度。由于采用了分布式的文件存儲系統，因此檢索信息可以由原來直接對一臺服務器操作，變成對多臺機器的操作，克服了磁盤的訪問壓力。

(2)系統的動態擴展

在整個系統的架構設計中，通過云計算技術，可以實現以后業務的動態擴展。

(3)硬件設備的利舊

云計算的一大優點就是可以用若干普通服務器來代替小型機，同時能達到用戶所需要的性能。相對于購買新的小型機，可以通過使用暫時閑置的服務器來完成系統的功能搭建，在一定程度上節約了成本。