基于生產全鏈條管理的大數據治理體系建設

王志榮

摘?要：上海城投水務集團利用基于生產全鏈條管理的大數據治理體系建設，通過業務建模、算法優化、模擬仿真，促進了集團業務管理創新和節源增效，增強了全產業鏈上生產管理、運行狀況的態勢感知能力，提高了智慧化生產調度能力、輔助決策能力，支持生產管理更加全息化、精細化、數字化、智能化。這既增加了企業盈利能力，又監護了水生態環境、保障了上海城市生活用水更安全。

關鍵詞：生產全鏈條?數據資產?大數據?數據治理?主數據?元數據

一、背景

上海城投水務（集團）有限公司（簡稱水務集團）是專業從事原水供應，自來水制水、輸配和銷售服務，雨水防汛、干線輸送、污水輸送和處理、污泥處理，供排水工程投資，供排水專業技術領域內的技術開發、技術咨詢等城市水務產業的國有大型企業集團。集團核心的產業鏈分別由原、制、供、排、污五大分子公司管理運營，上下游企業生產運行彼此依賴，生產全鏈條管理對集團經營管理至關重要。在當今大數據的時代，數據已被當作企業的重要資產來進行管理，數據就像“情報”成為決策者們的重要參考依據，然而數據并非天然成為資產，必須經過數據質量保障、有序的管理后，才能像人財物一樣成為企業資產。數據的資源經過數據治理才能成為數據資產，數據資產通過數據服務和共享發布才能煥發數據的價值。

二、建設內容

（一）體系結構與分類

1.數據標準化體系

水務集團數據標準化體系是在集團業務、數據的基礎上，結合數據治理歷史經驗的總結，并非憑空創造。數據標準也難以一蹴而就，是一個“制訂標準、執行標準、修訂標準”的持續優化過程。信息化建設的不同階段，數據標準關注的對象和目標各不相同。數據標準的管理、維護與優化是生產大數據管理與數據治理不可或缺的工作。

2. 數據資源分布

水務集團生產管理數據涉及業務范圍包括原水公司、制水公司、供水公司、排水公司和污水公司所屬水庫、水廠、泵站、管網等基礎設施的生產狀態、生產調度和水位＼液位、水質、水壓、水量、安監、計量和藥耗、電耗等生產監控和調度管理。數據資源類別包括生產工控實時數據、遠傳數據（含水質、水壓、流量等監控計量梳理）和調度管理數據。數據存儲類型包括Historian工業實時數據庫、傳統結構化數據庫（Oracle、SQL Server等）和各類安監視頻、Excel報表、文檔文件等。

（二）技術路線

為了實現生產全鏈條管理的目標，水務集團在數據源、數據時效性、數據質量、數據全生命周期和數據應用等方面做了深化拓展，持續開展數據治理和平臺建設，建設技術內容包括以下幾個主要方面。

1.基于云計算的數據采集

水務集團所屬各基層單位建設時期跨度較大，部分設備歷史久遠，生產設備品牌、技術參數、工藝標準、通訊方式、接口協議等存在較大的差異性，數據互聯對接難度較大，數據流向管理困難。為此，水務集團先期通過公有云驗證各“游離”數據對接的技術可行性和數據中斷、數據延遲等數據時效性、可用性問題，再搭建混合云實施統一的數據集中采集與數據預處理，同時充分利用邊緣計算能力，減少數據集中過程中的網絡通信壓力。

2.主數據管理系統

主數據作為企業最核心、最權威的業務數據，也是跨系統互聯打通業務流程的關鍵數據。隨著數據治理項目的開展與歷史遺留系統的改造，水務集團已建設主數據管理系統，管理維護了客戶檔案、客戶服務、生產計劃、水質檢測、調度監控、新裝業務、現維工單、管網設備、生產工藝、表卡計量等19類主題域。

3.元數據管理系統

集團元數據管理系統是水務集團信息資產管理的關鍵。它幫助用戶可以快速找到數據并了解其上下游數據關系及其所處數據環境。通過業務、技術等方面的元數據逐步實現統一描述，可以降低乃至消除業務部門之間、業務與IT部門之間的溝通障礙。元數據管理系統是知識管理的系統，是數據源梳理、數據加工過程等數據治理成果的固化系統。從長期來看，系統的應用會降低數據的發現、使用的成本。

水務集團通過主數據管理、元數據管理系統等相關應用平臺建設，提高了生產數據質量和數據流通共享的效率。

4.基于Hadoop的生產大數據平臺

水廠、泵站工業自動化生產過程中，各種種類的生產設備會產生大量的實時數據，部分數據頻率為秒級甚至毫秒級，其數據存量和新增數據的規模極為龐大;在業務管理過程中，積累了生產運營計劃、調度指令執行、安全監控、運維審計日志等各種種類的數據，這些數據在編碼方式、數據格式、應用特征等多個方面存在巨大差異性，多信息源并發形成大量的異構數據。從數據量、數據類型、增長速度、數據價值和數據真實性等5V視角來看，明顯符合大數據特征。

（1）數據量的巨大，包括數據采集、傳輸、存儲和計算的量都非常大。這些數據涵蓋的業務包括生產工控、調度、水位、水量、水壓、水質、流量、計量、考核、安監、熱線、人事、財務、物資、設備、客戶服務、物資庫存等。

（2）數據種類和來源的多樣化，包括結構化數據、半結構化數據和非結構化數據。結構化數據主要以已經上線的應用程式關系型數據庫為主，還包括一部分工業實時數據;非結構化、半結構化數據具體表現為辦公審批文件、運維現場工單文檔、生產日志、安監視頻、運維圖片、GIS管網地理位置信息等大量文檔、圖片、視頻。多樣化的數據類型對數據的處理能力提出了挑戰。

（3）數據量的高增長性，數據處理的高時效性。比如管網爆管、防汛排澇、應急指揮，都需要最快的信息處理能力。個性化算法的推薦盡可能要求快速實時完成。這是大數據和傳統數據挖掘之間最為顯著的特征區別。

（4）數據的質量保障，即數據的準確性和可信賴度。制訂數據標準化管理體系，通過數據治理，確保數據質量可靠、可用、易用。

基于以上考量和未來平臺擴展的需要，水務集團基于Hadoop企業版軟件搭建了集團生產大數據存儲與分析平臺。通過大數據平臺分析、優化集團生產管理的各類仿真模型，從而能進一步挖掘出數據的潛在價值。

三、結語

基于生產全鏈條管理的大數據治理體系建設，首先，要搭建數據治理框架，通過組織結構調整，將原本分專業、劃區域的舊企業改變為集團化、市場化、專業化運作的大型城市供排水整體解決方案提供商。同時調整了信息化管理組織結構，從制訂數據治理的相關制度及數據質量保障入手，強化數據標準和服務的管控，規范數據使用和管理流程，形成全面和可操作的數據治理框架。

其次，是共享數據的三中心架構，在建設過程中，水務集團創新地提出建設在共享數據平臺上的管控中心、運營中心和服務中心，以三個中心為業務實體共享集團大數據平臺提供的所有數據。三個中心可根據自己的分工，分別關注生產、運營和服務，使得各業務部門使用的不再是經過“人工加工”的數據，而是可以使用經過數據治理的集團數據資源，充分發揮數據的價值。

參考文獻

[1]楊琳，高洪美，宋俊典，張紹華.大數據環境下的數據治理框架研究及應用[J].計算機應用于軟件，2017（04）.

[2]鄭建明.大數據環境下的數字文化治理路徑創新與思考[J].晉圖學刊，2016（06）.

[3]鐘繼剛.大數據環境下計算機軟件技術分析[J].信息記錄材料，2020（01）.

[4]索瑞斯.大數據治理[M].清華大學出版社，2014.

[5]何賽群，趙林海，于慧，方堅.主數據管理體系構建[J].中國科技信息，2018（17）.

[6]張玉爽.企業主數據管理方法研究及實踐[J].現代信息科技，2019（05）.