基于公共模型技術的非結構化數據模型設計與應用研究

江 櫻 ，王志強 ，梅 峰 ，駱偉藝

（1.國網浙江省電力公司信息通信分公司浙江杭州310007；2.國網信通億力科技有限責任公司福建福州350003）

隨著國家電網公司信息化工作的深入推進，國網電力公司（“以下簡稱電力”）的信息化建設取得了顯著的成效，在數據資源方面，各業務應用數據逐漸豐富，為了實現對各類數據的集中管理及應用，構建了結構化、非結構化、海量/準實時、電網GIS4類數據中心。然而隨著社會經濟發展進入“互聯網+”時代，數據已被業界公認為企業最寶貴的資產之一，如何管好數據，挖掘數據資產價值已成為當前公司加快業務創新、提高精細化管理和科學決策水平的重要基礎工作之一。目前國內、外大多數企業都在數據管理方面從不同角度開展相關工作，內容涉及數據標準、元數據管理、數據質量提升等工作，并有效地利用數據管理手段，達到提升業務經營水平和滿足內部管理需求等目的。

在多類型數據資源融合管理方面，電力結構化、非結構化、海量/準實時、電網GIS 4類數據中心獨立管理、獨立應用，數據標準未統一，數據資源缺乏統一管理，沒有形成深度融合，無法實現多類型數據融合支撐大數據分析等業務應用的要求，因此有必要研究多類型數據關聯模型研究，并進行應用驗證，以實現業務對多類型數據資源的綜合利用。

文中主要研究非結構化與結構化數據之間的關聯關系，設計形成關聯模型，有利于更多種數據資源的資產化管理及應用，為了提高模型中秘密數據的安全性，提出了一種PKI的簽密算法。通過實際的應用，驗證了本文模型的實用性。

1 公共模型介紹

1.1 IEC CIM

公共信息模型（Common Information Model，CIM）標準由國際電工委員會負責電力系統控制及其通信相關標準的第57技術委員會（IEC TC57）提出并發布，建立在XML、UML等成熟技術基礎之上，結合電力企業特點進行相應的封裝而成[1]，公共信息模型是整個EMS-API（IEC61970國際電工協會）[2]框架的一部分，是一個抽象模型，它提供一種標準化方法，把電力系統資源描繪為對象類、屬性以及它們之間的關系，為各個應用提供了與平臺無關的統一的電力系統邏輯描述，尤其是在EMS系統領域。CIM模型中的對象可以應用在各個系統中。CIM模型有助于不同供應商開發的EMS系統的集成，有助于EMS系統和其他涉及到電力系統運行操作不同領域的應用系統的集成，如SCADA系統、電力營銷系統、設備管理系統的集成。

1.2 SG-CIM

為了統一企業數據視圖，國家電網公司通過研究、參考國際IEC 61968/61970 CIM標準和國家電力行業相關標準[3]，根據國家電網公司實際共享交換業務需求，對IEC CIM進行重新組織，并加以擴展和完善，形成了一套符合公司需求，用于指導公司各業務系統數據集成和應用集成的公共信息模型（SGCIM）[3]。

SG-CIM遵循IEC 61968/61970 CIM設計，在公司信息模型標準體系中，作為企業統一的公共信息模型標準，實現對公司范圍內公共數據資源的統一管理及各業務條線的數據共享交換。SG-CIM與業務系統數據模型相互獨立，SG-CIM定義了業務系統數據中的共享交換部分的標準規范。SG-CIM包含12個一級主題域，65個二級主題域、947個實體、9 929 個屬性[4，5]，一級主題域分別是：客戶、產品、市場、設備、電網、財務、資產、人員、物資、項目、安全、綜合[6-8]。一級主題域和二級主題域是包含關系，如一級主題域中的人員包括二級主題域中的組織、員工、用工、培訓、績效和薪酬。實體和實體之間的關系組成了二級主題域[9]。SG-CIM模型是進行數據模型設計時必須遵循的規范，這樣才能保證全網范圍主要模型的一致性，有利于各系統之間信息的交流。

2 非結構化數據模型設計與應用

2.1 設計原則

1）非結構化關鍵業務元數據及模型研究厘清業務系統非結構化數據資源及與結構化數據資源之間的勾稽關系，明確非結構化數據管理的關鍵元素及之間的關聯關系，確保關聯模型的合理性及可用型性。

2）非結構化關聯模型研究遵循公司SG-CIM標準規范，在充分梳理業務系統及數據中心數據資源現狀的基礎上，遵從SG-CIM進行擴充完善，保證模型的標準、一致。

2.2 設計的目標

1）非結構化數據的關聯關系元素研究

開展結構化關鍵業務元數據研究，通過梳理業務系統，提煉形成非結構化數據與結構化數據的關聯關系元素，形成非結構化業務元數據信息。

①業務系統梳理。對非結構化數據與源業務系統中結構化數據的關聯關系進行梳理，確定來源業務系統、關聯業務數據源表、關聯字段信息、關聯業務數據的取數邏輯、關聯數據所屬主題域（SG-CIM模型12個主題域）等信息，并遵循CWM規范和SGCIM規范，制定關聯關系描述規范。

②非結構化數據平臺梳理。對非結構化數據平臺已接入的非結構化數據進行梳理，確定非結構化數據統一管理范圍，初步形成非結構化數據的元數據關鍵元素。

2）非結構化數據關聯模型研究

基于SG-CIM，結合非結構化關鍵業務元數據，設計形成結構化與非結構化的關聯模型。

非結構化與結構化關聯模型設計。根據梳理的非結構化業務元數據關鍵元素，結合非結構化數據的基本元數據和關聯性元數據的數據結構，參考CWM數據倉庫元數據模型[10-12]，遵循SG-CIM模型規范，設計非結構化與結構化關聯模型。

2.3 設計的思路

1）業務系統數據資源現狀和分析

為保障非結構化關聯模型的實用性和科學性，在研究之初需要充分調研、分析電力業務系統數據資源現狀，重點對結構化與非結構化數據資源管理現狀進行調研，同時開展結構化數據中心與非結構化數據中心數據共享情況分析，為非結構化與結構化關聯關系元素分析提供基礎。

2）非結構化關聯關系元素研究

從描述型、結構型及管理型等方面，分析業務系統及數據中心已有的非結構化數據資源，同時結合國際CWM等標準規范，提煉非結構化數據規范化管理及應用的關鍵元素，如非結構化的文檔、視頻、圖像等，為建立標準非結構化關聯模型及管理功能奠定基礎。

3）非結構化關聯關系模型研究

基于非結構化元數據關鍵元素，遵循國家電網公司SG-CIM模型標準[13-15]，采用UML建模技術[16]，深入研究非結構化與結構化的關聯關系，如非結構化的文檔、視頻、圖像等元素之間的關系，建立非結構化元素關系模型，及這些非結構化的元素與結構化數據之間的關系，建立非結構化元素與結構化元素間的關系模型。

4）非結構化元數據設計

非結構化元數據功能應基于國家電網公司數據管理服務平臺構建。

5）數據接入驗證

非結構化數據集成與應用框架從邏輯上可以劃分為數據源層、數據緩存層、數據加載層、數據存儲層、前端應用5層結構，數據緩存層只對非結構化數據作初步采集處理；數據存儲管理集中，數據模型規范、統一；同一內容可以用文字、表格、圖形和圖像等多種形式呈現。數據接入技術架構如圖1所示。

完成非結構化關聯模型、數據管理及分析展現功能部署驗證，驗證方案大致可遵循如下步驟：

①分析非結構化需求數據間關系，完善非結構化存儲模型；

②非結構化數據接入非結構化存儲模型；

③按照查詢需求，通過前端應用展示層展示非結構化數據。

④分析非結構化數據與結構化數據的關系，通過展示層展示與結構化關聯查詢結果。判斷查詢結果是否滿足查詢分析需求。

圖1 數據接入技術架構圖

2.4 模型的設計

2.4.1 模型設計方法

本次模型的總體設計思路借鑒國際IEC61968/IEC61970 CIM的模型設計思路，同時參考國家電網公司公共信息模型（SG-CIM）的設計內容，主要采用自上而下與自下而上相結合的設計思路，以國網業務系統非結構化平臺所接入數據為需求，梳理國網的非結構化數據信息，分析非結構化數據與結構化數據的關聯關系，形成非結構化數據關聯模型：

自下而上設計：自下而上設計是梳理國網非結構化平臺所接入的數據實體，以及數據實體之間的關系，對其進行抽象、提煉，分析數據實體所屬的數據主題域并進行歸并，分析主題域之間關系，形成形成非結構化數據關聯模型。

自上而下設計：自上而下設計是從業務目標向下分析、提煉，結合現有業務系統，梳理各業務條線的非結構化數據的業務需求，根據業務流程，提煉關鍵實體，分析實體所屬主題域及實體之間的關系，以及非結構化數據實體與結構化數據之間的關聯關系，形成非結構化數據關聯模型。如圖2所示。

2.4.2 模型設計內容

非結構化關聯模型主要描述非結構化數據實體與結構化數據之間的關聯關系，例如其中非結構化數據部分主要描述了設備相關文檔手冊、客戶協議、合同附件等非結構化數據信息，以及非結構化數據之間的關聯關系，如發票、設備使用手冊、合同附件等均繼承與文檔信息實體，同時，關聯模型中還定義了非結構化數據與結構化數據之間的關聯關系，例如文檔與電子地址相關聯，可以得到非結構化數據的存儲位置信息，同時電力變壓器實體、發電機組等繼承與設備實體，同時與設備使用手冊關聯，實現各種設備信息與設備使用手冊的關聯。

圖2 數據模型設計思路

2.4.3 模型關聯方式

非結構化模型與結構化模型進行關聯，結構化數據中心的表中添加非結構化數據實體的編碼進行關聯，以PMS設備為例，結構化數據中心的設備實體存放設備的相關信息，同時添加存放在非結構化數據管理平臺的相關文檔的編碼進行關聯，如設備的相關操作手冊、合同、發票等非結構化實體的編碼，通過設備編碼與文檔編碼的關聯，實現結構化數據與非結構化數據的融合。

圖3 模型關聯方式

①業務應用調用公共數據資源池對外提供的服務，向結構化數據中心發送請求，查詢相關設備的基礎信息及合同文檔ID，如：斷路器ID、名稱、合同文檔ID等；

②結構化數據中心根據業務應用的請求，將斷路器相關信息及合同文檔ID返回至業務應用；

③業務應用根據斷路器對應的合同文檔ID，向非結構化數據管理平臺發送請求，查詢斷路器相關合同文檔信息。

非結構化數據管理平臺根據業務應用的請求，通過合同文檔ID獲取相關文檔，并返回給業務應用。

2.5 非結構化數據模型的應用

非結構化數據模型的主要應用是按照設計的模型建立相應的數據庫表，為元數據的管理設計合理的管理方案。元數據是關于數據的數據，是以計算機系統能夠使用與處理的格式存在的、與內容相關的數據。根據業務系統的需求，設置相應的元數據，在非結構化數據模型上建立元數據之間的關系，方便了統一管理數據。電力系統的元數據分布如圖4所示。

根據梳理的非結構化業務元數據關鍵元素，結合非結構化數據的基本元數據和關聯性元數據的數據結構，參考CWM數據倉庫元數據模型規范，遵循SG-CIM模型規范設計非結構化與結構化關聯模型，實現非結構化元數據管理工具的研發，元數據管理工具的流程如圖5所示，系統分為5個部分：訪問層、元數據功能層、存儲層、數據源層和元數據獲取。訪問層為業務人員和技術人員提供數據的數據的查詢和訪問；元數據功能層對元數據進行管理和分析并建立元數據模型，方便系統管理；存儲層保存相關的元數據及其模型，與元數據功能層的元數據管理模型和元數據管理建立相關的關系，更好的進行元數據的管理；數據源層是根據實際情況調查和分析，建立元數據數據庫，元數據可以通過文本的形式保存或手工輸入，方便數據庫的建立；元數據獲取是存儲層和數據源層進行數據信息交換的紐帶，為元數據的傳輸提供保障，加快了公司數據的交流。系統框圖如圖6所示。

3 非結構化數據模型中的數據加密

在非結構化數據模型中存在大量的數據，導致數據的復雜性很高，為了保護模型中數據的安全，本文提出了一種基于PKI簽密算法，PKI的簽密算法有3個過程：密鑰生成、簽密和解密，密鑰是生成發送和接受的密鑰對；簽密是將明文轉化為密文；解密是還原原文信息。整個過程由3個階段組成：系統初始化階段、簽密階段、簽密消息驗證恢復階段。它由可信中心CA、簽密者A和解密者B來實施。

圖4 電力系統非結構化數據分布現狀

圖5 元數據管理工具設計流程圖

圖6 元數據管理系統框架圖

系統初始化階段：

1）可信中心CA選取有限域Pt上一條安全的橢圓曲線F(Pt)，保證該橢圓曲線的離散對數問題是難解的。在F(Pt)上選一基點G，G的階數為n（n為一個大素數）。

簽密者A和接受者B為兩用戶，A和B分別選取dA∈{1,2,…,n-1} 和dB∈{1,2,…,n-1}作為私鑰，計算YA=dA?G∈F(Pt)和YB=dB?G∈F(Pt)作為公鑰，并發給CA.

CA公開(Pt),G,n,YA,YB。

簽密階段：

簽密者A對消息M簽密并發送給指定的接受者B，A選取隨機數K∈{1,2,…,n-1}，并 計 算V1=K?G,V2=K?YBH 和V=Fx(V1+V2)modn，這 里Fx(V1+V2)是橢圓曲線上點的坐標函數。最后計算簽密消息(r,s)：

r=M?V，s=k+rmodn。

A發送(V1,r,s)給B。

簽密消息的驗證恢復階段：

接受者B接收到簽密消息(r,s)及V1后，計算：

恢復消息M=r?V-1，指定的接受者B恢復簽密消息M。

4 結束語

為了設計一個適合電力非結構化數據模型，實現非結構化數據資源的有效管理，以促進數據充分共享、高效利用，滿足各個層面對數據的需求。本文基于CIM設計了一種有效的非結構化數據模型，同時提出了一種提高模型中秘密數據安全性的簽密算法。本文模型為數據的管理提供了基礎，節省了大量的工作量。

參考文獻：

[1]王奔，馮東，黃蓉.基于SG-CIM的人力資源數據模型的設計與應用[J].電力信息與通信技術，2012，9（4）：24-27.

[2]Y Tada，S Suenaga.Current Status of International Standards（CIM）on power systems information Exchange[J].IEEJ Transactions on Powerand Energy，2016，136（8）：685-688.

[3]王家凱，王繼業.基于IEC標準的電力企業公共數據模型的設計與實現[J].中國電力，2011，44（2）：87-90.

[4]韓晶，鄂海紅.基于主體行為的非結構化數據模型[J].計算機工程與設計，2013，34（3）：904-908.

[5]王奔，馮東，黃蓉.基于SG-CIM的人力資源數據模型的設計與應[J].電力信息化，2012，10（9）：24-27.

[6]曹寧，袁嘉博.基于IEC61970的電容器保護CIM模型研究[J].電子設計工程，2015，23（15）：184-186.

[7]周伊琳，孫建偉，黃縉華，等.基于IEC 61970標準的電力系統保護模型擴展方案研究與應用[J].電力系統保護與控制，2013，41（14）：120-125.

[8]樊陳，倪益民，竇仁暉，等.智能變電站信息模型的討論[J].電力系統自動化，2012，36（13）：15-19.

[9]李瑋瑤，王小輝.基于DS18B20的關聯型溫度檢測系統的設計與實現[J].電子設計工程，2015，23（15）：93-95.

[10]楊勁松，謝幸生，林韶文.電力設備狀態檢修智能系統的設計與實現[J].電子設計工程，2016，23（15）：57-59.

[11]L Wang.A multi-version CIM-based database platform for smart grid[J].Ieej Transactions on Electrical&Electronic Engineering，2015，10（3）：330-339.

[12]FJ Gomez，L Vanfretti，SH Ols-en.Binding CIM and modelica forco-nsistentpowersystem dynamic model exchange and simulation[C]//2015：1-5.

[13]謝善益，楊強，徐慶平.公共信息模型的OPCUA地址空間管理[J].電力自動化，2016，40（14）：115-121.

[14]G Ravikumar，Y Pradeep，SA Kha-parde.Graphics model for power systems using layouts and relative coordinates in CIM framework[J].IEEE Transac?tions on Power Systems，2013，28（4）：3906-3915.

[15]林菲，張萬軍，孫勇.一種分布式非結構化數據副本管理模型[J].計算機工程，2013，39（4）：36-38.

[16]王宏志，李建中，高宏.一種非清潔數據庫的數據模型[J].軟件學報，2013，23（3）：539-549.