基于數據中臺的裝備保障數據集成分析

陳 麗，徐 鵬，李泊愷，李萬陽，劉 熠

（國網甘肅省電力公司互聯網事業部 甘肅 蘭州 730050）

1 引言

和一般性的數據信息系統相比，中臺架構在打造的過程中能夠充分滿足客戶的基本需求，提高項目交付質量，增強數據的應用價值。裝備保障管理信息系統經過多年的建設發展，各個管理業務數據信息變得更加穩定，局部地區建立了大量的管理信息系統。但是由于缺乏統一、專業的組織和規劃，這些信息系統的數據格式存在異構、標準不一、信息系統交互性差的問題。為了能夠解決這些問題，保障裝配設備的穩定運行，需要進一步實現數據集成，而數據源就是解決數據集成的重要技術途徑。從實際研究成果來看，當前關于裝備保障數據集成架構工作主要針對的是結構化數據，具體包含關系型數據庫、二維表數據庫，而對半結構化數據、文本數據信息、圖表信息等非結構數據研究不多。為此，文章以數據中心為基本理念，開展基于數據中臺的裝備保障數據集成架構和分類研究，目的是實現對結構化和非結構化數據信息的統一整理[1]。

2 數據元基本理論

數據元是使用一組屬性描述定義、標識、表示和允許設置的數據單元。在特定的語義環境下，數據元被認為是不可以再進行分割的最小數據單元。數據元一般情況下由以下幾個部分組成。（1）對象類。數據元是思想、概念以及實際世界中事物的集合體現。數據元具備清楚的邊界和含義，且特征和行為也會遵循一定的規則。（2）特征。數據元具備對象類所有個體所共同擁有的一些性質。（3）表示。數據元是值閾、數據類型的一種組合，在具體應用的時候會包含度量單位和字符集[2]。

3 裝備保障數據元

裝備保障數據元是裝備保障義務活動中所涉及的數據單元，裝備保障數據元具備裝備保障領域的基本特點，也是裝備保障領域標準化中能夠表示的最小定義。在描述裝備標識時所使用的裝備代碼就是一個不能夠再進行細分的最小數據單元。裝配是對象類，代碼是對象類的特征[3]。

4 數據中臺的運行價值

數據中臺不是簡單的一套軟件系統或者標準化產品，更多的是一種強調資源整合、集中配置、能力沉淀、分步執行的運作機制，是一系列數據組件或模塊的集合，為企業數據治理效率的提升、業務流程與組織架構的升級、運營與決策的精細化賦能。數據中臺的運行價值具體體現如下：（1）強化對數據信息的匯集處理，起到承上啟下的重要作用。數據中臺運行的基本概念是將所有數據信息匯集起來，整合到數據中臺上，之后的每個數據應用都會從數據中臺中獲取數據。按照這樣的模式，如果企業中的數據應用數量不斷增長，節約成本會增加。和一般性的數據倉庫信息存儲相比，數中臺策略更加強調數據的齊全，也會從各個層面出發來采取措施保障數據的落實。（2）縱觀大局，推動全局發展。數據業務是整個企業發展過程中的重要業務，是在新時期需要提高定位的業務，也是企業的重要戰略業務體現。在發展的過程中，數據中臺成本也會節省30%的比例。伴隨數據應用的增長，數據處理成本也會增加。和傳統意義上數據倉庫的運行相比，數據中臺在運行的過程中更加強調數據的齊全和數據中臺組織、組織之間的協作關系，在數據處理的過程中從設計、組織、建設、流程等角度落實了這個模式。（3）技術升級，應用便捷。傳統數據倉庫和數據中臺相比，不管是在海量數據處理能力、節點擴展能力、實時計算能力、軟件購買和維護成本等方面都無法和大數據平臺抗衡。

數據中臺在運作的時候永遠為業務中臺服務，因為數據本身不具備復用的能力，通過數據決策才能夠具備復用的能力。站在數據中臺的應用角度來看，在使用數據中臺的時候，企業會將數據信息整合起來，如果企業通過數據可視化能夠獲得更多的數據信息，則是可以將這些信息進一步整合使用，最終更好服務于業務結果。數據可視化扮演角色也是數據中臺數據信息交換之間的橋梁，能夠幫助且更好的積累財富。在數據匯集之后可以被業務中臺有效調用[4]。

5 基于大數據平臺服務的裝備保障數據集成架構

5.1 大數據平臺

其具備大數據信息的收集、清洗、管理和分析能力，整個平臺在運作的時候能夠支撐業務的標準化、規范化建設，在數據信息處理的過程中能夠減少數據I/O吞吐和不必要的冗余數據，實現對數據計算結果的反復使用，最終實現數據的標準化、規范化、統一化和共享化應用管理。基于大數據平臺服務的裝備保障數據集成架構見圖1。

圖1 基于大數據平臺服務的裝備保障數據集成架構

5.2 實現裝備保障數據信息的同步使用

基于大數據平臺服務的裝備保障數據集成系統平臺在運作的時候會以數據信息的使用作為基本理念，通過授權授機制、手段、電子簽名等認證方式來全面落實一裝一卡、一人一卡的管理制度，由此來保障數據信息的有效使用。裝備保障數據信息采集架構見圖2。在裝備運行信息記錄儀、嵌入裝備技術、通用數據采報平臺、掃一掃工具的使用下，能夠將采集裝備基礎數據、業務數據的使用和消耗信息傳輸到系統集群中，并將一些需要實時處理的狀態數據信息存儲到Hadoop分布文件系統中，最終所有的數據信息都會被存儲到分布式文件系統中，用戶通過訂閱主題數據就能夠實現對數據信息的有效處理。

圖2 裝備保障數據信息采集架構

5.3 裝備保障大數據平臺

5.3.1 裝備保障中數據模型的層次結構

裝備保障大數據平臺從下到上分別是操作數據層、公共維度模擬層、應用數據層。在系統運作的時候，裝備保障公共維度模型層可以細分為明細數據層和匯總數據層。（1）操作數據層。裝備保障業務信息系統集成平臺上所有裝備保障業務系統數據會借助數據同步工具來將數據信息匯集到有需要的層級，屏蔽不相干的異構數據。（2）公共維度模型層。公共維度模型層會采取基于維度建模的數據建模方式，通過使用恰當的建模方法打造出數據模型，計算出各個系統模塊的運行參數，減少數據掃描。數據信息進行清洗、過濾、記錄處理，DWD在經過一系列的處理之后，完成多來源同主題數據的融合操作，打造出最原始的粒度明細事實表。裝備保障業務明細表中的數據信息是裝備保障業務操作層數據，這個層級的數據信息會為各類作業的登記管理提供支持。DWS會按照不同粒度、維度來對明細數據信息進行匯總分析，分析之后匯總出事實表。基礎數據信息具備唯一性的屬性，所有在裝備保障業務信息系統集成平臺中開發、使用的業務數據需要以ODPS提供的數據結構和數據內容為標準。（3）明細數據層。明細數據層根據CDM和ODS加工生成，在加工處理之后用來存放個性化的統計指標數據。明細數據層對應裝備保障決策 規劃層戶數，能夠為裝備保障業務提供綜合性的分析信息，為裝備整改提供有保障的方案支持。

5.3.2 裝備保障中數據模型信息處理流程

裝備保障中數據模型信息具體處理流程如下所示：首先，通過數據收集服務系統將各個信息終端采集的監測數據、軍事數據等擺渡到ODPS；其次，根據業務需求來對源數據信息進行清洗，之后使用裝備圖譜、圖像識別等分析工具來對數據信息進行挖掘分析；再次，使用一些專業的通信技術手段和工具將數據分析結果借助軟件開發工具包發布給應用系統；最后，裝備業務應用調用數據服務裝備來處理數據信息，使得數據信息的終端來自業務層，而后將數據服務使用需求和應用情況反饋到ODPS，提升裝備系統數據服務質量。

比如在車場日評估中可以先使用MaxCompute工具來將非結構化的監控視頻數據轉化為結構化的進場人數和姿態的統計信息，之后使用多維數據信息分析挖掘工具，根據參數記錄儀來檢測車輛的運行速度、轉動速度、液壓油的溫度、變速箱水流的溫度、發動機溫度，在對以上信息綜合分析之后，來獲得車場落實情況，將這些信息充分整合，最終按照RESTful數據服務的方式來對外發布，達到裝備保障業務層數據化處理、裝備保障數據業務化處理的發展目的。

5.4 裝備保障大數據平臺數據服務API

裝備保障大數據平臺能夠為裝備使用提供規范化、統一化、共享化的數據信息，在整合處理信息的基礎上將裝備目錄、單裝、人員安排、機構設置、計算機處理結果通過API的形式向外部提供。數據系統服務管理依托Serverless架構，在系統運作的時候用戶僅僅需要關注API本身的查詢邏輯即可，不需要關心裝備保障大數據平臺系統運行環境，且在運行的過程中能夠支持彈性拓展。在數據信息服務生成API之后可以對數據信息進行注冊處理，而后發布到和API有關的網絡平臺上[5]。

6 結語

綜上所述，文章在闡述數據元基本內涵的基礎上，設計出了基于ODPS的裝備保障數據系統集成架構，在這個數據系統集成架構平臺的作用下能夠實現對結構化、非結構化系統裝備保障信息的集中化管理，實現數據信息和系統運行的匹配，而后通過API的形式來為裝備保障應用層提供數據服務支持。在這個過程中，針對裝備保障集成數據分類問題，還可以根據裝備保障集成數據分類情況來處理整個數據信息，在確定特征詞的時候根據專家知識經驗來在其中加入其他可能的特征詞，打造NB和特征詞匹配的分類器，提升裝備保障集成數據應用的精準性。