電網運維知識結構化工具研究

竇如婷，石嘉豪，陶秀杰，周育忠

（南方電網科學研究院有限責任公司，廣東 廣州510663）

1 知識結構化業務邏輯設計

電網運維知識結構化工具可對知識庫進行進一步加工和規范，知識庫數據包括電網生產典型案例庫、重大事故事件、制度庫、報告成果庫、設備管理情報庫、新技術新產品知識庫等，以及外部數據知網期刊文獻、互聯網電力相關數據等。該模塊包括多源數據融合、模型管理、數據預處理和知識簡報，該模塊的主要功能是為給電網知識管理工具中的其他模塊提供服務和支撐，增強知識的可用性和功能的可擴展性。多數據融合是對電網電力數據中的多種知識進行融合；模型管理為結合電網數據的實體識別、關系屬性抽取等建立起多種深度學習模型，可便于進行統一管理；數據預處理是對知識數據庫數進行加工與處理，多種應用的要求；知識簡報是利用智能技術形成分析報告，管理層進行決策分析。

2 多數據源融合

結合電網運維數據信息來源，充分利用云計算及分布存儲工具獲取數據，通過建立規范化的模式將數據信息進行結構化、非結構化資源抽取，通過整合、加工、加換、裝載電網數據，對多種類型的源據信息進行全量抽取、實時抽取。兼容多種類型的數據源、目標庫，抽取數據可用于傳輸，常用的數據源、目源庫有OracleMySql、Hbase、GreenPlum、GDS等，可支持EXCEL、FTP、JSON等文件類型，消息處理采用Webservice、Kafka?？蓪Σ煌愋偷臄祿闯槿R聚進行配置，滿足跨服務器文件型數據的安全傳輸，不同的服務接口、數據庫等也可以進行數據傳輸。

3 模型管理

以電網數據源作為基礎的智識規范化管理，可以為不同用戶需求提供多維度、多渠道的知識服務，包括知識圖譜、模型管理、知識檢索等，也可以向專業人員提供數據挖掘分析、創建專家模型等服務。模塊管理是根據服務實體、對應關系和數據屬性，根據數據抽取模型來實現管理，管理內容主要有電網數據屬性標簽、模型識別、對應關系標簽等，該管理模塊可用于結構化構建、檢索發現新詞，是對知識圖譜的有力支持，加強對實體、對應關系、數據屬性標簽的規范化管理，為知識管理工具中每個模塊功能的實現打下良好基礎，具有很好的后續擴展功能。

4 數據預處理

4.1 數據處理原則

處理電網運維知識數據信息時應統一決策，處理相同數據庫里數據時將工作方法、技術指標進行統一管理，這樣才能保證數據處理的一致性。還需保證數據信息的描述與對應實體的特點相符，保證描述數據不存在記錄缺失問題，相同實體的屬性值能否在不同的數據處理系統中保持一致，被描述數據能否達到用戶特定域值范圍，是否存在著描述數據多次記錄的問題。處理數據應該具有可用性，從時間性角度來看，需要核實描述的數據是否為當前或歷史數據，從穩定性角度來看，應該保證描述數據的穩定性是否在有效期內。

4.2 數據處理流程

4.2.1 數據預處理

將不同維度、不同來源和多種結構的數據進行匯集以后，需要對數據信息進行預處理，從而對錯誤數據信息進行修復與更改，還需要對數據進行整理和存儲。數據抽取是從數據源中獲取數據信息的過程，多采用ETL技術，可應用的數據抽取工具比較多，需要結合電網運維業務形成的數據特點，選擇最為適宜的抽取工具。從數據庫中抽取數據信息可采用如下方式：①全量抽取。該種數據抽取方式與數據鏡像比較相似，可以把表與視圖數據從數據源內完整提取出來，多用于系統數據初始化階段。②增量抽取。在完成全部抽取以后，對數據庫內新增加或修改后的數據進行抽取。進入數據過濾階段，可對電網運維業務形成的不滿足規矩要求或無效的數據進行過濾處理，保證獲取到的數據信息滿足標準要求，而有些數據信息存在著格式錯誤、代碼值沖突等問題，需要進行業務數據轉換，才能滿足數據加載處理的需要。數據加載主要有插入與修改兩種操作，把轉換后的干凈數據、臟數據都插到數據表內，如果數據量比較大可創建數據庫，對應用文本文件進行存儲，并結合腳本處理程序進行操作。

4.2.2 數據清洗

處理缺失值，如果數據屬性值為空白，則認定該數據存在缺失值，為不完整的數據類型，先確定好缺失值范圍，對每個字段進行計算來確定缺失值比例，根據缺失比與字段重要性來制訂清洗策略。針對重要性較高、缺失率小的數據，可結合經驗與業務知識進行評價，也可以通過計算補充缺失值。對于重要指標、缺失率高的數據，應該與數據采集人員、電網運維人員聯系，看能否從其他渠道得到準確的數據，可以重新進行采集，如果不能得到數據則應補充缺失值。而對于指標不重要、缺失率低的數據可不做處理，需備位指標重要、缺失率高的數據，刪除不需要字段。填補空缺值時可利用如下方法：充分結合電網運維業務知識、經驗來填充缺失值。利用眾數、均值等來填充缺失值。應用不同指標計算結果填充缺失值。

處理錯誤數據時，對于格式內容問題、邏輯問題錯誤，需先分析再制訂處理辦法。數據格式內容問題如下：①時間、全半角等格式不一致問題。需要將錯誤數據處理為一致的格式，該種數據多是由于人工采集或填寫原因導致，在格式及內容方面存在問題，對多種來源數據進行整理時也會存在格式錯誤問題。②內容字符問題。采用半自動、半人工方式來發現存在的問題，刪除沒用的字符。③數據內容和字段不符。導致該問題的原因比較多，多是導入數據列沒對齊、人工填寫失誤、沒對前端校驗等原因引起的，需要對問題類型進行深入分析。如果存在邏輯問題數據，可應用邏輯推理辦法來發現問題數據，避免分析結果出現錯誤。把去重操作設置為格式內容清洗，只有進行內容清理才可以發現存在重復問題的數據。電網運維環境比較復雜，存在數據多次上報等問題，數據重復問題比較多見，可通過字段相似度來進行識別。數據采集還受技術或物理方面的影響，使數據值超過采集范圍，出現離群值。針對離散程度大的數據源，可應用箱型圖法，如果利用數據分布特征或電網運維業務來對噪聲數據進行識別存在困難，可應用聚類識別方法。有些字段需要進行相互間的驗證，結合字段的數據來源情況來識別哪些字段信息比較可靠、哪些字段需要被消除和重構。

處理錯誤關聯數據時，如果電網運維數據存在多個來源，則需對數據的關聯性進行驗證。對多個來源的數據進行整合存在較大的難度，需要充分考慮數據的關聯性，分析時應該防止數據間存在矛盾。處理不一致數據時，由于受數據完整性要求的限制，可對元數據、數據字典等進行整理與分析，對數據間關系進行全面梳理，對錯誤關聯數據進行修正。很多不一致數據多是由于缺少數據標準導致的，可應用統計學原理把數據屬性作為隨機變量，利用數據的置信區間來判斷。采用聚類方法處理，結合數據信息的相似度進行分組處理，可以發現無法分組的孤立點。應用距離方法，對數據對象相似性進行準確度量。采用分類法，可以建立正常數據、異常數據分類查勘型。按照關聯規則的處理方法，需要先定義好數據關聯規要求，無法達到規則要求的數據則被歸類到異常數據。

4.2.3 規則處理引擎

為保證更好地對電網運維數據信息進行處理，需要對每個數據項制訂相關聯的數據元標準和處理規則，可以進行拼接賦值、數據轉換和數據校驗等。利用機器學習技術，對每個數據字段進行識別處理，再采用數據自動對標技術，應對數據處理不規范的問題。將數據項與標準庫數據項進行對應，通過機器學習來進一步降低人工工作強度，結合語立體相近度開展采樣值域測試，確定相似度大的數據項作為關聯數據表字段，再按照數據特點選取最為合理的數據轉換規則，再以規則模板形成生成字段的稽核任務。

5 結語

綜上所述，電網運維知識結構化工具可對知識庫進行進一步加工和規范，以知識庫數據作為基礎，通過多數據融合、模型管理、數據預處理和知識簡報來逐步實現設計，可為電網管理層決策提供數據支持。