數據治理在航空電子企業信息化中的研究

徐 瑞， 張紅博， 邢 亮

（1.航空工業西安航空計算技術研究所， 陜西 西安 710000；2.西安翔迅科技有限責任公司， 陜西 西安 710068）

0 引言

企業在信息化實施過程中，建設了大量的異構系統，產生了大量的數據。如何在擁有這些海量數據的基礎上挖掘有用信息、提高運營效率，數據治理是關鍵技術。這些異構系統基于不同的開發語言、不同的底層數據庫，運行在不同的平臺上，系統彼此分離、數據源相互獨立，運行業務完全封閉，數據難以在系統之間交流、共享和融合，造成企業信息化各自為營的煙囪效應，從而形成信息孤島。信息化在支撐企業業務發展到一定階段后，迫切需要對各信息系統進行整合，打通信息孤島，滿足企業內部之間，企業內部和外部的信息交互需求，從而助力企業整體戰略目標的實現[1]。數據治理是解決上述瓶頸問題的有效手段，可以為多源、異構、跨界數據應用夯實基礎，確保數據資產管理活動始終處于規范、有序、可控的狀態，將海量數據應用于決策、營銷、成本節約和產品創新上。

數據治理是指將數據作為企業的重要核心資產和資源而開展的一系列活動，是對數據的全生命周期進行管理。在信息化實施過程中，由于各個業務系統分散建設，數據也分散于不同的系統中，缺乏統一的標準和規范，并且各個系統的數據存在冗余和矛盾，導致企業存在大量的數據，但數據利用率卻很低。企業的數據問題可以集中歸結為數據不一致性、數據冗余、數據不完整和數據不合規四個方面。數據治理通過對企業數據架構進行規劃，建立統一的元數據標準，提升數據質量，控制數據使用權限，產生不同維度的數據服務，從而為企業的戰略目標落地提供支撐[2]。而企業數字化轉型，構建數字化企業，更要基于數據驅動。數據治理作為信息化發展過程中的必經階段，也成為當前信息化研究的熱門課題。

1 數據治理方案概述

航空電子類企業在信息化建設過程中，由于大量的業務數據分散在ERP、PDM、OA 和HR 等不同應用系統，業務部門關注的數據信息散落在各個業務系統中，導致科研交付、研制生產和物資配送等方面的信息無法關聯展示，從而無法對項目執行過程中各類信息進行整體的協調控制。因此，需要通過數據治理手段，建立科研、生產、物資等主要業務流程全信息集成的數據報表，以便適時掌握項目進度、生產進度等統計信息，提升決策支持能力。

數據治理從實施方案上來講，主要分為分析、設計和執行三個不同的階段[3]，在不同的階段有不同的任務和行動項，如圖1 所示。

圖1 數據治理實施方案

在分析階段，主要進行項目調研和分析，明確通過數據治理達成的任務和目標。

在設計階段，主要工作是數據管理體系的構建實施。數據管理體系主要工作在于打造數據標準體系。具體包括構建數據管理的組織體系，明確各類業務數據由哪些業務部門進行負責。構建數據業務模型，設計統一的數據編碼體系，明確數據的私有屬性和交換屬性。構建數據管理的質量標準體系，明確數據的驗證范圍和驗證方法。

在執行階段，主要工作是數據交換體系的設計實現。數據交換體系工作主要從技術層面入手，通過數據采集、數據清洗等技術手段，實現各個業務應用系統的數據對接，形成數據的自由流動以及數據的規范使用和運維[4]。最后，通過數據分析，形成數據分析報告、數據報表和圖表等，為企業領導決策提供科學、精準、高效的數據支撐。

2 數據治理分析

在數據治理實施過程中，首先需要對企業內部的數據情況進行調研和分析，明確不同業務數據的源頭。如在人員方面，企業人員、組織結構數據的源頭是HR 系統，而其他應用系統作為人員數據、組織數據的使用方，需要及時獲取人員信息的更新情況。在產品數據方面，企業產品數據的來源是PDM系統。在客戶信息方面，客戶數據的源頭可以是CRM系統。在供應商信息方面，供應商數據的源頭可以是ERP 系統，在項目信息方面，項目數據的源頭是項目管理系統。

其次，要進行具體的數據分析工作。主要從以下幾個維度展開，如表1 所示。

表1 數據治理質量維度

數據完整性：確保業務系統中的數據正確完整，例如，人員信息的工號必須有值且唯一，當人員離職后，該信息可以參照映射到其他業務系統中，確保其余業務系統對該用戶關閉。數據冗余性：針對同一個業務實體信息，在不同的應用系統中，分別對該業務實體進行維護，導致存在一對多的數據冗余對應關系。數據及時性：當數據發生變更時，是否應該在規定的時間范圍內，將數據變更及時同步到相應的業務系統中，主要針對的是業務數據的動態屬性，如產品的庫存信息、人員的在崗信息等。數據一致性：當企業中人員組織機構發生調整時，需要同步更新到其他應用系統中，確保數據訪問的一致性、正確性。

最后，要設定數據治理的目標和計劃，該目標和計劃以解決業務部門的痛點為主，而不是單純的以數據作為落腳點[5]。如提高物料信息盤庫的準確率、實現所有產品信息的狀態實時更新顯示等。通過實現一個個小目標，助推企業的數字化運營大目標落地實現。

3 數據治理設計

數據治理設計階段是在前期分析階段的基礎上構建數據標準體系和數據模型體系[6]。數據標準體系的設計是從宏觀出發，依據企業組織架構，搭建符合數據治理要求的數據架構，從數據的全生命周期出發，根據不同部門崗位對數據的生產、使用、存儲情況，設計符合企業內部數據需求的管理體系，確保數據治理工作有章可循[7]。數據模型體系是在數據標準體系的基礎上針對具體的業務領域和數據環境，從微觀層面對企業內部不同屬性的數據進行分類。針對基礎類型的字典數據，確保數據的分類編碼準確無誤。針對動態生成的業務類型數據，對其屬性進行細化，并賦以不同的權限進行控制[8]。針對指標層面的數據，則進行匯總計算。企業的數據標準體系設計和數據模型設計如圖2 所示。

圖2 企業的數據標準體系設計和數據模型設計

從數據標準體系設計到數據模型的設計是數據治理首先進行的重要工作，通過開展一系列數據治理設計工作，可以為數據治理和數據應用工作打下良好的基礎，從而保障數據質量。在數據標準的設計過程中，首先從整個企業組織層面考慮組建數據管理組織，包括數據管理制度、流程，然后確定設計組織內的相關職責，以及不同崗位人員對各類數據的維護、審核流程。在數據模型層面，從業務域到數據主題，再到數據實體、數據屬性，對數據進行層層分解梳理、提煉數據標準，就可以設計出針對不同業務領域的數據模型。如在設計領域，針對產品數據，提煉出設計業務相關的數據對象。實體的數據都有相應的屬性信息，需要把它的每一項屬性信息從業務角度、技術角度和管理角度進行統一梳理，歸納出與實體之間的關系，形成數據的整體模型[9]，如圖3 所示。

圖3 數據的整體模型

4 數據治理實施

數據治理實施主要包含數據采集技術、數據清洗技術、數據導入技術以及數據可視化技術[10]。

4.1 數據采集

數據采集技術分為實時數據采集技術和非實時數據采集技術。實時數據采集主要強調了數據采集的時效性，強調系統能夠實時完成數據入庫。非實時采集基于傳統的數據倉庫技術，完成數據從面向事務類的OLTP 數據庫到面向分析類OLAP 數據庫的轉換。數據治理層面的數據采集主要面對的是非實時采集方式[11]。下面就介紹一種典型的基于Web 異構系統的數據采集技術。

當前，企業信息系統架構主要采用瀏覽器、服務器模式，是基于B/S 架構的系統架構方式。采用的具體技術架構比較多樣化，有基于Java 語言的Java EE技術架構，基于C#語言的Net 技術架構，或者基于Python 語言的Django 架構。而瀏覽器/服務器架構系統訪問技術建立在超文本傳輸協議HTTP 之上，HTTP 是一個基于請求與相應模式的、無狀態的、應用層的協議，建立在TCP 協議的連接之上。一次完整的HTTP 請求過程，從TCP 三次握手建立連接成功后開始，客戶端按照指定的格式開始向服務端發送HTTP請求，服務端收到請求后，解析HTTP 請求，處理完業務邏輯，最后返回一個HTTP 響應給客戶端。數據采集技術通過構造基于HTTP 協議的HttpClient 數據訪問器訪問應用系統的URL 地址，通過Get 方式執行請求獲取響應狀態，并且將響應信息中的消息正文從網絡數據流中讀取出來[12]。整個數據采集方案架構如圖4 所示。

圖4 數據集成應用系統基本架構圖

HttpClient 是利用Java 語言實現的支持HTTP 協議的客戶端編程開發工具包，實現了HTTP 的訪問方法，并且可以通過對HTTP 返回的狀態碼進行判斷，當返回的狀態碼正確時，即取得響應內容。其抓取應用系統返回信息可分為5 個步驟進行。

1）構建HttpClient 類的實例：

HttpClient httpclient=newHttpClient（）；

2）創建Get 連接方法的實例，實例通過URL 地址訪問應用系統請求資源：

GetMethod getMethod=new GetMethod（“應用系統URL 地址”）；

3）調用第一步創建好實例的execute 方法，獲得狀態響應碼：

Int statusCode=httpclient.executeMethod（getMethod）；

4）根據狀態響應碼進行判斷，200 代表請求已成功，讀取響應內容：

System.out.println（“response=”+getMethod.getResponseBodyAsString（））；

5）釋放連接：

GetMehod.releaseConnection（）；

4.2 數據清洗

針對從其他異構系統采集上來的數據，往往會存在數據質量問題，如數據不一致、不完整、不合規或數據冗余。因此，下一步的工作即是數據清洗。在數據清洗過程中，最重要的工作是建立一套數據的管道工具——ETL 工具[13]。將采集來的數據通過這個數據的管道工具，完成抽取、轉換、加載映射的過程，從而生成符合治理要求的干凈數據。管道工具加載數據的策略包含流水式加載、全量加載、增量加載和拉式加載等。

ETL 工具可以自己開發，互聯網上也提供了許多開源產品。如Kettle，是一款國外免費開源的、可視化的、功能強大的ETL 工具，純Java 語言編寫，可以在Windows、Linux 和Unix 服務器上運行，具有高效穩定的特性。Streamsets 是一個大數據實時采集ETL 工具，可以實現不寫一行代碼就能完成數據的采集和流轉。通過拖拽式的可視化界面，實現數據管道（Pipelines）設計和定時任務的調度。數據源支持MySQL、Oracle等結構化和半/非結構化，目標源支持HDFS、Hive、Hbase、Kudu、Solr 和Elasticserach 等。創建一個Pipelines管道需要配置數據源（Origins）、操作（Processors）和目的地（Destinations）三個部分[14]。

4.3 數據可視化

數據可視化作為數據治理的成果，主要是將匯集好的正確、一致性的數據通過圖表報表的方式向用戶進行展示。在可視化領域，也有很多成熟的優秀的產品。ECharts 是一個使用JavaScript 實現的開源可視化庫，可以流暢地運行在PC 和移動設備上，兼容當前絕大部分瀏覽器，底層依賴矢量圖形庫ZRender，提供直觀、交互豐富、可高度個性化定制的數據可視化圖表。Echarts 圖表庫提供了豐富的折線圖、餅圖、地圖以及儀表盤展示方式。開發過程的具體實現步驟為：首先為圖表準備Dom 容器，通過Script 標簽引入Echarts 庫文件，采用init 方法初始化圖表。在Option中配置圖表的公共選項，組件選項和數據選項，通過setOption 方法生成圖表。并且Echarts 數據可視化部分通過setInterval 方法實現周期為1 s 的圖表刷新，實現數據顯示的實時性[15]。

經過數據治理后，針對某航空電子企業展示的產品數據，依據不同產品類型在不同的研制狀態分別進行統計效果展示，如圖5 所示。

圖5 統計效果

5 結語

本文通過對數據治理在企業信息化中的應用進行研究，提出了一種從分析、設計和實施三個層面出發、三步走的數據治理戰略。數據治理工作是在信息化總體目標和規劃的設計指引下進行的，與數據架構、企業戰略目標密切相關。通過對數據治理管理體系和技術體系的研究，為企業日益增長的數據使用需求做出了有益的探索。數據治理打通了企業價值鏈各領域流程，支持企業系統間的緊密集成，高效支持企業的業務運轉，并為企業實現透明化管理、高效決策打下了堅實的基礎。