元數據在軌道交通行業的應用

文：葉鸝君丨重慶市鐵路（集團）有限公司系統設備部項目主管

元數據作為數據治理中的基石以及信息化發展中的必要條件,已經廣泛的應用在各個領域的信息化建設與數據治理發展中。中國城市軌道交通發展中的信息化建設與海量軌道交通的數據治理也已經被提上了日程,將元數據概念引入軌道交通行業是智慧城軌發展的必經之路。本文對于城軌現狀與問題進行了簡要概述,并將元數據的概念以及元數據對于城軌行業的綜合應用進行了簡要闡述。

2020年3月12日，中國城市軌道交通協會發布了《中國城市軌道交通智慧城軌發展綱要》，綱要中的總體布局中明確提出以面向中國城市軌道交通行業，以強國建設為戰略導向，以推進城軌信息化、發展智能系統、建設智慧城軌為主題，以城軌交通的關鍵核心業務為主線，以數字化、智能化、網絡化為手段，構建高度集成的城軌云與大數據平臺，建立系統完備的技術標準體系，堅持智能化和自主化“兩手抓”的實施策略，準確把握智慧城軌的發展方向，統籌鋪畫智慧城軌的發展藍圖。而利用最新科技成果，推進城軌信息化，發展智能系統，建設智慧城軌，大力開創自主創新發展新局面，正可成為實現彎道超車的重要平臺。

一、元數據在軌道交通行業信息化的建設作用

目前，我國城軌交通企業運營管理信息化建設主要存在以下的問題：建設數據標準不統一；運營管理信息化建設不完整，可擴展性較低；運營管理信息化建設安全機制缺失。對于以上問題，建議采取引入元數據的概念予以解決。

（一）元數據

元數據（Metadata），又稱中介數據、中繼數據，為描述數據的數據（data about data），主要是描述數據屬性（property）的信息，用來支持如指示存儲位置、歷史數據、資源查找、文件記錄等功能。元數據算是一種電子式目錄，為了達到編制目錄的目的，必須在描述并收藏數據的內容或特色，進而達成協助數據檢索的目的。元數據可以為數據說明其元素或屬性（名稱、大小、數據類型等），或結構（長度、字段、數據列），或其相關數據（位于何處、如何聯系、擁有者）。

（二）元模型

隨著軌道交通行業的發展，企業每年收集和使用的數據與日俱增，而對于不同企業的大數據環境不同,數據的形態、分類、標準等并不統一,所以在這些類型不同的軌道交通數據之間進行采集、傳遞、共享就成了較大問題，首先需要對企業所有元數據進行整體規劃、抽象描述，進而設計出所需元模型（圖1）；再對企業這些數據有一個標準的管控，即元數據管理。

圖1 元模型關系圖

元模型由元數據組成，元數據是描述數據的數據，而元數據的集合被稱作為模型。元模型與元數據的關系參考圖書館中找書的例子，通過對書的元數據信息檢索定位,從而找到了想要的那本書，而圖書館中的這些元數據信息的組合即元模型。圖書館中的管理員通過對于書的元數據信息的格式化采集（圖2）, 收集書的相關元數據信息(書名,作者,書的分類等),為后續的檢索做準備。而有了元模型,就能根據元模型采集元數據信息。

圖2 元數據信息格式化采集示例

（三）元數據管理

在元數據管理中,元數據又按照功能及用處對元數據有一個進一步的劃分。具體分為以下幾種分類:

1.業務元數據。主要包括業務術語、信息分類、指標定義、業務規則等；

2.技術元數據。數據結構、數據處理細節方面的技術化描述，主要包括源系統接口規范、數據倉庫結構的描述（接口信息、表信息、程序信息等）以及經營分析數據處理過程的描述等。

3.管理元數據。主要包括人員角色、崗位職責、管理流程等信息。

4.安全元數據。主要包括訪問安全、權限控制、分級管理、隱私控制、流程約束等信息。

5.稽核元數據。主要包括數據完整性和一致性檢查、數據采集日志追蹤、稽核規則、稽核流程、預警通知規則（數據質量）等信息。

（四）元數據的建設作用

支撐業務發展。方便業務人員能夠更快速地理解公司內部或外部業務系統的業務數據,包括業務流程、業務系統、數據分類、從屬關系等方面，從而快速精準查找到對應的業務需求,大幅提高業務人員熟悉業務的速度,更快的提高業務人員的業務開發效率。

降低數據系統建設成本。元數據管理是企業數據治理的基礎,有了元數據管理平臺作為基礎,使得系統的數據質量與數據安全有了保障,從而在建設數據治理系統時提高效率與減少返工,使得開發成本大幅降低。

二、元數據在軌道交通行業的使用方法

在元數據實施的不同階段，需要涉及以下工作：

1.定義范圍。分析當前元數據管理現狀制定元數據管理藍圖，總體目標包括標準化元數據及數據處理過程；集中式元數據管理；消除冗余、重復元數據信息，提高數據完整性、精確性；靈活健壯元數據管理架構；降低BI系統在開發、升級、維護等方面的投入。制定配套元數據管理體系，包括管理辦法、流程和技術標準；建立元數據管理團隊：包括管理員、協調者、信息分析員以及DBAs等。

2.明確需求。定義元數據管理范圍，如數據模型，ETL過程，數據字典，業務術語字典，現有元數據環境和系統文檔；明確元數據需求，如所需遵循業界標準、元模型需求、元數據接口需求、元數據系統需求、元數據報表需求、安全需求、變更管理需求、培訓需求等方面。

3.設計方案。設計并歸檔元數據管理解決方案的所有重要特征和功能，如元數據標準化設計、內部接口機制設計、外部接口機制設計、協同工作機制設計、元數據同步機制設計等。

4.開發工具。依據元數據需求及設計要求開發元數據管理平臺。整體功能涵蓋包括：

（1）采集管理：采集適配器列表,元模型管理,基礎元模型列表,數據源管理,采集任務配置,元數據入庫審核,采集日志；

（2）變更管理：元數據變更訂閱,查詢,申請,審批；

（3）元數據瀏覽分析：數據地圖,血緣分析,影響分析,全鏈分析,關聯度分析,屬性差異分析,元數據列表瀏覽,元數據檢索；

（4）核檢機制：環境一致性核檢,元數據導出,元數據版本維護,元數據標準覆蓋核檢。

三、元數據在軌道交通行業的應用

目前，我國城軌交通行業已有企業對元數據在軌道交通的應用作了示范，如呼和浩特城軌云示范工程，建立自主可控的城軌云平臺；在城軌云平臺構建數據共享平臺，突破數據共享的壁壘，為大數據應用奠定基礎；擴大智能創新應用建設，推進大數據在業務領域的深化應用；建成網絡安全縱深防護體系；建成適應云平臺體系架構的運行維護體系和運行管理機制。此外，武漢也建立了城市軌道交通網絡信息化建設示范工程，該示范工程采用基于云平臺、大數據的新IT架構，構建異地雙活的數據中心，實施新建線路和既有線的信息系統全部納入和遷移到云平臺的技術方案，實現云平臺對城軌業務的綜合承載和數據共享，為智慧城軌建設提供信息技術支撐。其元數據的綜合應用如下：

（一）數據地圖

通過元數據可以對企業數據進行完整的梳理、采集和整合，從而形成企業完整的數據資產地圖。數據資產地圖支持以拓撲圖的形式進行可視化展示各類元數據和數據處理過程，通過不同層次的圖形展現粒度控制，滿足業務上不同應用場景的數據查詢和輔助分析需要。

企業級的業務主題元數據地圖和數據系統的數據地圖用于宏觀層面，組織信息，力求以用戶視角對企業信息進行歸并、整理，展現企業的宏觀信息，還可以下鉆展示詳細的元數據詳情，便于數據分析人員有效挖掘企業信息的潛在價值。

元數據地圖作為引導入口，通過元數據檢索、元數據目錄和元數據收藏多種方式去輔助數據分析人員檢索，最終檢索的結果都是通過關系圖譜的方式進行展示，可在圖譜上靈活擴展關系節點。通過業務元數據構建的數據目錄，方便用戶準確定位具體系統，并查看具體元數據業務關聯關系和血緣關系，使得數據治理出來的結果初步得到資產化使用，降低“找數據”的溝通成本，來加速數據的資產化，提高數據治理結果易用性，為數據的使用和大數據挖掘提供支撐。

圖3 全鏈分析的數據鏈路展示

（二）血緣分析

針對于尋找數據從哪里來,其價值在于當發現數據問題時可以通過數據的血緣關系，追根溯源，快速地定位到問題數據的來源和加工過程，減少數據問題排查分析的時間和難度。這個功能常用于數據分析發現數據問題時，快速定位和找到數據問題的原因。

（三）影響分析

針對于數據去向哪里,其價值在于當發現數據問題時可以通過數據的關聯關系，向下追蹤，快速找到都哪些應用或數據庫使用了這個數據，從而避免或降低數據問題帶來的更大的影響。這個功能常用于數據源的元數據變更對下游ETL、ODS、DW等應用應用的影響分析。我們通過對于腳本的解析以及各平臺對于數據鏈路流轉關系的記載分析獲取到對于血緣元數據的關系,從而依據于血緣元數據的當前結點,子節點的關系來構建血緣分析圖譜。

（四）全鏈分析

針對于數據的全鏈路關系查看,從數據的產生,到最終流轉的地方,數據的全鏈路分析。可以宏觀的查看數據的整體流轉情況,幫助業務分析人員快速查看數據鏈路整體架構。具體的業務流程數據鏈路如圖3所示：

（五）關聯度分析

分析數據和其他數據的關系以及它們的關系是怎樣建立的關聯度分析是從某一實體關聯的其它實體和其參與的處理過程兩個角度來查看具體數據的使用情況，形成一張實體和所參與處理過程的網絡，從而進一步了解該實體的重要程度。

如果我們對一個超大城市軌道交通的客流與行車業務分析為例,元數據管理平臺通過對于客流表元數據數據與行車表原始數據的元數據信息的采集,獲取到了客流與行車業務的相關表信息與業務邏輯。基于這些元數據，我們按照數據倉庫的設計理念分成了4層：

ODS(原始數據層)：主要采集的是客流表原始數據與列車表原始數據，包括帶時間和OD信息的乘客信息，列車實際運行圖等信息。這些數據結構和數據，不對外開放；存放在接口數據的臨時存儲區域，為后一步的數據處理做準備。

DW(數據明細層)：主要用于生成客流明細表數據與行車明細表數據，是業務層與數據倉庫的隔離層，此層的數據是對源系統數據進行了清洗、轉換等操作后的數據。同時，為了提高數據明細層的易用性，該層數據還會采用一些處理方式，減少事實表和維表的關聯，做部分數據聚合，提高數據的可用性。

OTM(數據對象層)：主要用于生成對象的數據,例如車站對象、線路對象、站臺對象、換乘通道對象、斷面對象、列車對象、站外對象等，用于提供后續的業務查詢，OLAP分析，數據分發等。一般來講，該層的數據表會相對比較少，一張表會涵蓋比較多的業務內容。

ADS(數據應用層)：主要用于生成各個指標數據,如車站進站量、車站出站量、進出站不平衡、符合最高的車站top、單站晚高峰客流、各線路晚高峰客流分布、斷面客流量等，這些指標主要用于后續的上層決策支撐與優化開發分析等。是同業務強相關的定制化報表層。

具體業務分層情況如圖4所示:

圖4 客流與行車業務數倉分層圖

目前，城市軌道交通已成為大中型城市的動脈、城市發展的引領、城市公共交通的主導。隨著行業的迅猛發展，以及運營線路數量的快速增加，其運營的經濟壓力也在不斷增大，智能化及可持續發展已成為城市軌道交通發展的必然趨勢。本文從城市軌道交通智能化及信息化出發，對其未來發展進行了展望。城市軌道交通企業應對行業所處的宏觀環境分析和謀劃，進而建立起具有自身特點的智慧城軌的優勢，通過元數據引入與數據治理，為實現我國城市軌道交通的智能化及信息化貢獻力量。