郭云飛 高博 何建 任田路 王健

［收稿日期］2023-12-15

［摘 要］大數據分析治理體系建設對井下作業公司生產管理和輔助決策有著重要作用。文章通過對井下作業公司多個應用系統的分散數據進行研究，結合先進的大數據治理平臺的數據治理理念、數據治理體系架構及數據治理方法論，建設井下數據治理體系架構，并對井下作業公司各系統數據進行多源匯聚、分層分域治理、分析建模，詳細介紹該數據治理體系建設的實用性和先進性。

［關鍵詞］大數據；數據治理體系；數據融合；油田

doi：10.3969/j.issn.1673 - 0194.2024.10.039

［中圖分類號］TE34；P618.13［文獻標識碼］A［文章編號］1673-0194（2024）10-0-03

0? ? ?引 言

大數據治理體系建設在企業數字化轉型過程中發揮著越來越重要的作用，各大廠商在該領域開展了大量的研究和生產實踐工作。西部鉆探井下作業公司按照“先易后難，穩步推進，結合產能建設”的原則，先后安裝了多個應用系統，并進行了局部應用。各系統形成了大量基礎數據，數據之間相互孤立。數據“孤島”阻礙了企業信息化建設水平的進一步提升，迫切需要企業打通各系統，進行數據融合，構建一套完整的數據治理體系，使數據發揮資產價值，提高企業生產效率，最終達到企業降本增效的目的。

1? ? ?井下作業公司數據治理現狀及存在的問題

井下作業公司在數智化轉型過程中，在業務管理方面基于公有云平臺進行各業務管理系統的井下輕應用開發，實現了業務的在線協同管理；在生產指揮方面，圍繞中油技服工程作業智能支持系統（Engineering Opertion? Intelligent Support System，EISS）的深入應用，基于內網環境實現了生產數據、遠程音視頻數據的實時采集。前期為了滿足業務需求進行的快速輕應用開發，導致目前企業數字化轉型存在以下問題：①數據“孤島”，由于“煙囪式”輕應用系統建設，數據分散在各業務系統，形成數據“孤島”，如何打破數據“孤島”、實現數據融合是關鍵；②數據標準不統一，各個系統由于應用場景的差異，選用的數據庫種類不同，導致異構數據源之間難以統一管控；③數據質量差，數據不連通、不規范等，導致數據質量差，應用價值低，難以發揮應有的作用；④數據安全性無法保證，由于氚云輕應用系統數據存儲于阿里公有云，其不符合企業資產安全可控要求。解決以上問題需要運用先進的數據治理工具，通過多源異構數據匯聚，實現元數據管理、數據標準管理、質量管理、全生命周期管理、安全和服務管理。構建井下作業公司數據治理體系，為現場生產和第三方應用系統提供服務，為管理者決策提供依據。企業通過對數據的分析來實現數據驅動業務發展，將業務數據化和數據業務化，以此提高企業整體效能，實現降本增效。

2? ? ?數據治理體系總體架構設計

2.1? ?設計理念

數據治理體系總體架構設計采用具有行業特色的4 One數據中臺理念，即OneData（統一數據）、OneID+（統一視圖）、OneService（統一服務）和OneOpt（統一運維）。

①OneData：統一數據集成開發，在集約化OneData理念的基礎上，形成在線化、集約化、標準化、流程化、自動化的OneData體系，實現垂直化數據接入和智能化數據加工。②OneID+：統一數據ID與視圖，在用戶ID萃取的基礎上，使人、物、事等各種業務關注對象的ID統一，形成信息集約的OneID+體系，實現智能化數據融合和價值化數據資產管理。③OneService：統一數據服務，在所有數據在線服務化的基礎上，形成在線服務與送貨到家兩種服務模式，實現超市化數據服務和便捷化數據應用。④OneOpt：統一數據運維，打造全集群、全鏈路的集約化運維體系，實現端到端數據質量和安全保證。

2.2? ?數據治理體系架構

數據治理服務體系建設在“運營合規、風險可控”的基本原則下，構建完善的組織、制度和流程，制定數據標準并實施數據安全管控，形成有機組合的數據治理體系，數據服務體系包括數據接入、數據處理、數據組織、數據服務和數據治理，對接氚云及其他數據源，完成數據治理后，為上層應用系統提供數據［1］。數據治理體系總體架構如圖1所示。

3? ? ?數據治理體系建設方法

數據治理體系的建設，需要完整的方法論進行理論指導。井下作業公司通過引進實施團隊，傳授先進的鯨智數據治理七步法，理論與實際相結合，實現井下作業公司數據治理體系建設。數據治理=方法+產品+實施，三部分詳細組成如下。

方法：鯨智數據治理理念4One和鯨智數據治理七步法。

產品：鯨智大數據平臺ZSmartBDP+鯨智數據治理平臺ZSmartDGP+鯨智數據智能工具ZSmartDIT。

實施：實施團隊和實施經驗。

鯨智數據治理七步法如下。第一，搭架子。數據中臺頂層規劃，覆蓋運營、應用、數據、技術、安全領域。第二，定標準。與權威機構合作共建行業數據標準規范。第三，清家底。企業數據資源規劃和厘清，基于數據資源/資產登記平臺落地。第四，智能化數據加工。基于鯨智數據治理平臺ZSmartDGP進行數據構建，包括數據集成、全程（數據）調度、數據開發、數據質量、數據資產、數據開放基礎組件。第五，價值化數據資產。實現企業數據資產化和價值化運營，包括數據資產目錄、數據資產地圖、數據資產運營、數據資產分析。第六，超市化數據服務。對內，數據共享交換平臺；對外，數據開放交易平臺。第七，便捷化數據應用。基于數據智能工具快速實現數據應用，包括BI（指標計算與梳理）、VI（數據可視化與價值傳播）、DI（數據探索與價值洞察）、AI（人工智能應用）。

4? ? ?數據治理體系建設實施要點

數據服務體系建設以智能應用為實戰目標，圍繞數據治理域的工作內容，重點針對數據標準、接入、處理、建模、質量、安全、運營、服務和價值實現展開建設。

4.1? ?數據接入

井下作業公司的數據呈現多源異構特征，主要數據源來自互聯網氚云系統數據、網絡附屬存儲（Network Attached Storage，NAS）本地文件系統數據、MySQL生產數據庫數據。數據接入管理平臺可以根據數據接入業務需求，在初始階段定義數據獲取、處理、治理、組織、服務各環境的流程、方法和流轉機制，并根據數據探查和定義將多源異構數據接入大數據中心，完成與數據提供方的數據對賬［2］。主要工作包括統一任務配置、統一調度、數據傳輸、傳輸協議定義、數據探索、數據對賬等。

4.2? ?數據處理

數據處理工作主要是完成數據提取、清洗、關聯、比對、標識、分發。大數據處理基礎平臺支持標準化、規范化的處理流程，建立標準化的數據匯聚適配模式，按照提取、清洗、關聯、比對、標識等規范化流程進行轉換處理，全面構建智能處理、自動化處理的數據處理體系。開展標準統一的數據處理工作，提高數據關聯度和業務緊密度，提升數據質量和精準授權的能力［3］。

4.3? ?數據標準建設

要結合標準與實際業務現狀和需求，在標準體系下，豐富補充數據標準，完善數據質量、數據安全、數據服務、生存周期、主/元數據的管理規范，在數據治理過程中落地標準規范；建立一套標準規范的管理方法，對標準規范進行沉淀積累，優化落地管理；依托數據標準指導數據治理的開展實施，對標準規范的落地情況進行監測評價，評估標準規范的合理性和實用性，優化標準規范的制定和修編，打造數據治理的標準化體系，強化數據治理過程管控，促進數據治理的價值實現。

4.4? ?數據資源目錄

數據資源是各單位在工作過程中搜集、獲取、加工、存儲、使用、共享的以數據化形式留存的信息資源。數據資源目錄由數據資源信息和數據資源數據項信息兩大部分構成。

數據資源信息由29個信息項及其對應的5個維度說明構成，維度信息包括數據元內部標識符、限定詞標識符、數據項標識符、是否為查詢條件、是否必填。維度用于控制對資源信息項的管理，對任一數據資源逐個收集或同步其29項數據資源信息項。數據資源數據項信息由17個項及其對應的5個維度說明構建，維度信息與數據資源信息相同。維度用于控制對資源數據項信息的管理，對任一數據資源的指定數據項（即屬性或字段）逐個收集或同步其17項數據資源信息項。

4.5? ?模型管理

模型管理是對模型進行統一管理和生成，涵蓋其全生命周期，包含模型構建流程、模型修改流程、模型刪除流程。模型服務的模型由一個或多個算子組合而成，每個算子同時對應若干個輸入和輸出，通過組合算子、數據集、元素集，可以用來描述數據的處理方法、分析步驟、分析方法和分析結果，實現復雜的數據分析功能［4］。

4.6? ?質量管理

數據質量是檢驗大數據中心數據治理和數據服務體系建設成敗的關鍵指標，其直接影響大數據中心數據資源的價值實現，是數據治理的重點工作之一。數據質量全鏈路處置流程包括數據質量監控、質量稽查、質量分析、質量評價、質量處置、質量反饋、質量跟蹤和質量評價。

4.7? ?數據運維管理

數據運維是通過定期對數據質量的監控，識別業務開展、數據采集、數據治理過程中可能存在的問題，提出改進建議來促進數據質量提升，保障大數據平臺及其數據和應用穩定運行，高效可用。

4.8? ?數據安全管理

數據是大數據平臺的基礎，數據安全是保證大數據中心運行的“生命線”。本部分聚焦于從采集到服務應用全鏈路的數據安全，包括數據本身在傳輸、存儲、訪問過程中的安全措施，主要措施有數據加密控制、數據分級分類管理、數據權限管理、數據脫敏和安全日志。

4.9? ?數據組織管理

要結合大數據處理國家標準，將數據從來源逐級提煉，形成原始庫、資源庫、主題庫、知識庫、業務庫和業務要素索引庫等。利用這種模型進行數據組織，達到數據融合和知識沉淀的目的。

4.10? ?數據服務

數據服務總線定位為大數據中心與上層應用或用戶之間實現快速、無縫、實時、安全的數據對接的統一渠道，是大數據中心對外提供數據資源的主要手段，是大數據中心數據服務總線的重要組成部分。

5? ? ?數據治理建設成果

第一，搭建了以鯨智數據中臺為核心的數據治理體系架構。引進了完整的數據治理理念和數據治理方法，形成《井下作業公司數據治理標準規范》《井下作業公司數據治理質量管理規范》《井下作業公司數據治理安全管理規范》。該體系為后續擴展數據資產建設提供了標準方法和實施路徑。第二，通過數據治理形成數據資產后，以數據服務方式為第三方應用提供服務。基于數據服務在應用層實現了77個指標數據的統計報表展示［5］，包括26個生產指標，51個經營指標。同時，開發千人千面桌面應用系統，在用戶桌面顯示報表系統，方便管理者查看生產現場實時數據和經營統計數據，有效實現了多部門數據共享、聯通及輔助決策。第三，本次數據治理將原本存儲于阿里公有云的氚云系統數據回遷本地并實時更新，增強了企業數據的安全性，實現了數據統一和規范，為今后數智化轉型打下了堅實基礎。

主要參考文獻

［1］汪洋，王柯，張桃寧，等.工業數字化轉型中的數據治理研究［J］.信息技術與網絡安全，2022（4）：25-31.

［2］周冰冰，王國瓦，陳慧，等.塔里木油田錄井歷史數據治理技術［J］.價值工程，2023（33）：150-152.

［3］杜小勇，陳躍國，范舉，等.數據整理：大數據治理的關鍵技術［J］.大數據，2019（3）：13-22.

［4］陳利強.大數據建模方法與實踐［J］.金融電子化，2015（11）：56-58，6.

［5］陳明.大數據可視化分析［J］.計算機教育，2015（5）：94-97.