交通運輸行業數據治理體系研究

劉天須 王子昂 張雪揚

摘 要 數據資產是交通運輸行業信息化建設的重要成果。如何保障數據資產有效、規范管理，本文從數據資源管理、數據標準符合性檢測、數據質量管理等三個方面進行應用研究。

關鍵詞 數據資源管理;數據標準符合性檢測;數據質量管理

數據治理是通過對交通運輸行業數據資源進行綜合管控，保障數據準確性、一致性、完整性、可用性和安全性。數據治理是為了規范數據標準、提高數據質量和保證數據安全而建立的政策、組織、流程、技術保障體系。

1總體框架

為實現數據資源“一數一源，一源多用”，應建立數據治理體系，確保采集源頭的唯一性和標準化，提高數據質量，確保數據資源能在不同部門之間互聯互通和深層次應用，為數據作為資產的價值與效益提供基礎保障。

交通運輸行業數據治理總體框架如下圖1所示。

如上圖所示，交通運輸數據治理主要內容包括：

（1）治理對象：包括各業務領域形成的基礎數據庫、主題數據庫、業務數據庫、共享數據庫;

（2）治理支撐：在交通運輸行業信息化建設過程中，為保證數據的可靠性和一致性實現數據資源有效的管控，需要從管控組織、管控流程、管控工具和評價考核四個方面進行建設，四項工作內容相互作用、相互支撐;

（3）治理任務：主要是實現數據治理的具體途徑（方法），包括元數據資源管理、數據標準符合性測試和數據質量管理。

本文主要針對數據治理任務進行應用研究[1]。

2數據資源管理

數據資源目錄管理主要面向行業業務管理部門，其目的是協助行業管理部門掌握各自數據“固定資產”，以便讓各級授權用戶了解各自業務領域已經沉淀了哪些數據資源？保存在什么地方？數據的質量如何？找什么人聯系或通過什么方式可以獲取？數據資源目錄管理是確保交通運輸行業數據資源“一數一源、一源多用”的基礎和關鍵。

數據資源目錄管理應在全行業數據資源整體規劃的基礎上，按照《交通運輸政務信息資源目錄（2017版）》要求，對全行業政務信息進行統一目錄編制。

（1）現有數據資源梳理：全面梳理省級、市級交通運輸管理部門現有系統數據資源，細化到數據結構、數據項。

（2）明確權威數據源：基于數據資源規劃理論，進行業務和數據流程分析，描述交通運輸行業各類業務過程之間輸入、輸出、存儲的數據流，以及與外單位之間的數據輸入、輸出數據流。

（3）目錄編制：基于交通運輸行業數據資源分類標準和目錄編制指南，對省市兩級現有梳理的數據資源和服務資源提取特征，形成元數據，編制省、市交通運輸數據資源目錄。

（4）目錄著錄：將本部門目錄編目形成的所有元數據通過元數據注冊系統向省、市級目錄中心的管理機構注冊。

數據資源管理用于協助交通運輸行業各相關業務部門實現數據資源治理、檢索、管理和共享，有效梳理數據資源，高效利用數據資產。數據資源管理功能包括數據資源目錄管理和元數據管理兩部分，其中數據資源目錄管理包括目錄生成、目錄審核、目錄發布、目錄更新和目錄查詢等功能，元數據管理包括元數據生成、元數據審核、元數據發布、元數據更新、元數據一張圖展示、元數據查詢分析等功能。

3數據標準符合性檢測

數據標準符合性測試系統的基本思路是基于JT/T 697.1-14、JT/T 1058-2016、JT/T 1021-2016等國家、交通運輸部數據標準，將待檢系統（各業務應用系統）數據字典、數據庫結構、數據與標準進行對比，從而檢測各待測業務應用系統數據的數據類型、數據格式、數據值域、數據約束等是否滿足標準相關要求。

數據標準符合性檢測針對數據的類型、格式、單位、值域、約束等多維度進行檢測，數據標準符合性檢測是確保各業務應用系統按照國家、行業相關數據標準采標、貫標的重要支撐手段，是大數據平臺數據資源標準化、共享化和真正由數據資源轉變為數據資產的保障。

各業務應用系統建設時，在軟件系統數據字典編制、軟件開發、驗收準備（試運行）等階段應進行交通運輸數據標準符合性檢測。

——軟件詳細設計階段：數據字典編制完成后，業務應用系統建設單位應組織利用標準符合性檢測系統對數據字典進行標準符合性檢測，檢測文檔中數據項的類型、格式、單位、值域等的定義以及數據集的約束、出現次數等屬性是否滿足相關標準要求。軟件詳細設計階段數據字典通過標準符合性檢測后方可進行軟件開發階段;

——軟件開發階段：應嚴格按照軟件詳細設計階段數據字典的設計，利用標準符合性檢測系統對數據庫表結構進行標準符合性檢測，檢測數據庫中數據項的類型、格式、單位、值域等的定義以及數據集的約束、出現次數等屬性是否滿足相關標準要求，生成數據庫表結構的標準符合性檢測報告;

——驗收準備（試運行）：在業務應用系統試運行并積累一定數據量后（主要業務數據表記錄超過50條），應用系統建設單位應組織對系統數據庫表結構和數據庫內容（數據記錄）進行標準符合性檢測，生成數據庫內容的標準符合性檢測報告。

標準符合性測試主要包括數據標準管理、檢測標準庫管理、檢測數據采集管理、標準符合性檢測和標準符合性檢測評估等功能。

4數據質量管理

隨著交通行業信息化工程建設的不斷推進，交通運輸行業對行業內外各業務單位之間、與相關政府部門之間、相關省份之間信息共享與業務協同的需求越發迫切，對數據的完整性、準確性、一致性、時效性、可訪問性和安全性提出了更高的質量要求。

——數據的完整性：數據覆蓋的空間范圍、數據內容、時間范圍應完整，滿足應用需求;

——數據的準確性：數據應正確、真實、客觀地描述交通業務或對象的屬性;

——數據的一致性：從多個渠道獲取的數據應保持一致;

——數據的時效性：數據采集、更新應符合規定要求;

——數據的可訪問性：數據能被有效訪問;

——數據的安全性：數據在存儲、傳輸、處理過程中不被泄漏、破壞和免受未授權的修改。

數據質量管理是根據定制的數據質量校驗規則對數據資源進行檢查，形成質量問題數據記錄;同時實現數據質量問題發現登記、發布、修正反饋。

數據質量管理主要功能包括數據質量監控、數據質量問題處理、數據質量評估、數據質量報告、數據質量知識庫管理、數據質量對外服務等6個功能。

5技術實現

如下圖2所示，通過對行業數據資源的整理，形成了全行業數據資源目錄管理體系。

圖2 交通運輸行業數據資源目錄管理界面原型圖

基于行業數據標準，實現了行業數據資源標準符合性檢測，如下圖3所示。

圖3 交通運輸行業數據標準符合性檢測界面原型圖

參考文獻

[1] 佚名.交通運輸信息系統數據標準符合性檢測技術規程（報批稿）[ED/OL].https：//wenku.baidu.com/view/9706872bcd84b9d528ea81c758f5f61fb736282f.html，2020-6-18.

作者簡介

劉天須（1988-），男，河南人;專業：交通運輸信息化，學歷：碩士研究生，現就職單位：河南省交通通信中心。