廣電媒體數據治理設計與架構

文/芮浩

引言

數據是廣電媒體的重要資產，是其科學決策分析管理的基礎。近些年，大多數廣播電視臺花費大量的資金和時間建立了各種信息化系統來支撐業務發展。這些信息系統已成為廣電媒體技術體系中極為重要的組成部分，廣電媒體也收獲了信息化帶來的互聯互通、資源共享的紅利。同時，在這些系統的海量數據中還存在著許多有價值的信息可以提煉，廣電媒體如何將數據集成在一起，并把數據轉換為信息、知識加以利用，我們稱之為廣電媒體的數據治理，這已成為提高節目制作傳播水平和管理能力的重要一步。

1.廣電媒體數據治理現狀

隨著廣電媒體對云計算、大數據等技術的認識逐步深入，并且由于媒體間競爭加劇，自身對智慧化生產、精細化管理的要求也越來越高，各級廣電媒體對數據整合和治理的必要性和重要性已經充分認可，也更需要將各信息系統中蘊含的類型繁多、數量龐大的數據內容進行加工處理。從業務和技術兩個層面分析，廣電媒體在數據治理上主要面臨以下挑戰：

1.1 業務方面：

信息系統的分析能力僅支持提供簡單的報表，功能單薄，無法滿足復雜的分析需求。例如，無法分析媒體資產系統存在的資源，哪些內容眾比較喜歡，在節目制作中可重復使用。

業務分析多集中于單一系統，領導層無法從全局角度對各個業務線進行跨業務、多角度、多層次的綜合分析。例如，領導層無法從全局掌握節目制作的效率、耗費的資金、社會反響等信息。

數據不一致問題較嚴重，相同業務數據在不同系統中存在多個不同版本。

各業務系統自行管理數據，內數據質量較低，業務數據的含義在單位的各個部門間存在不一致的解釋，從而造成數據無法進行分析。

1.2 技術方面

已經意識到數據治理工作的重要性，但是并沒有將其提到戰略高度，技術部門的注意力重點仍然是業務系統建設和運維。

現有分析功能多為相應業務系統的子模塊，與業務系統耦合性較強，缺乏對全業務分析的支持。

各個業務系統產生數據量大且種類多，現有技術不具備大規模并行處理或分布式處理能力，在分析能力上有“瓶頸”。

各個業務系統在同一類核心數據的定義上標準不統一，數據質量差，無法直接二次利用。

以上問題影響廣電媒體業務合理的、可持續的展開，阻礙了其在大數據時代的前進，是迫切需要解決的問題。

2.數據治理目標

在實際工作中，廣電媒體數據紛繁復雜，從數據來源上看既有生產辦公系統（如媒資、文稿、磁帶庫等系統）數據，也有從自有新媒體系統（網絡廣播電視臺、IPTV平臺、客戶端等）通過埋碼和日志方式采集的用戶行為數據，還包括通過網絡爬蟲抓取的互聯網數據和從數據源提供商采購的網絡數據和收視數據；從存儲容量上看既有常年變化不大的上百MB數萬行的人力資源數據，也有每年增長上百TB幾十億條記錄的機頂盒終端采集數據；從數據形式上看既有結構化的，也有半結構化的。根據這些數據的特點，數據治理需達到以下目標：

2.1 數據標準化

制定數據規范，使數據有準確的定義。

數據被完整記錄且精度滿足業務要求。

數據的成本和價值可計算。

數據有合理的存儲周期。

2.2 數據存儲和訪問規則化

形成統一內容和用戶的數據架構。

形成統一的數據存儲模型。

形成多渠道的數據訪問路徑。

數據易訪問且有安全機制。

2.3 數據責任化

數據有明確的責任方。

數據內容符合質量要求。

3.數據治理體系

當前，各廣電媒體信息化程度不同，數據規模和數據質量的不同，決定了開展數據治理的步驟也會不一致，圖1是筆者構想中的適用于大多數廣電媒體開展數據治理工作體系框架的一般途徑。為了有序實施數據治理，應采用規劃先行分步實施的原則，首先，依據各廣電媒體自身目標和規劃明確戰略方向；其次，制定適合自身業務特點的組織架構、制度規范和管理流程；最后，才是選擇可行的技術工具和實現方案。

圖1 數據治理體系框架

在戰略層面，數據治理既要以解決實際工作中數據不可知、不可用、不可控和弱關聯的問題為目標，也要結合當云計算、大數據、人工智能等技術快速迭代發展和媒體融合趨勢進行全局性規劃制定。

在機制層面，數據治理工作需要通過組織、制度、流程的完善和梳理加以落實，切實加強機制建設才能保證持續提升數據治理執行效果。

在實現層面，包括元數據管理系統、數據質量管理系統、數據調度與處理系統等，通過信息化系統的建設，將紙面上的規劃、制度和流程內化于技術平臺和工具中，用于輔助管理人員開發和維護，提升數據治理工作的效率。

4.數據治理機制

4.1 成立數據治理組織

健全的組織架構是開展數據治理工作的基礎，可有效保障數據治理工作在跨部門間的高效推進，組織中人員構成應包括管理、業務和技術三種類型，對應領導組、業務組、技術組三種角色。

領導組：由臺領導、技術和業務部門負責人組成，負責建立數據治理文化，制定數據治理的目標、規劃、制度、流程等，分配和確保數據治理工作中所需要的資源。

業務組：由業務骨干、業務部門系統管理員組成，負責明確數據需求，維護基礎數據的增、刪、改、查操作，在數據產生源頭保障數據的正確性和實效性。

技術組：由信息化部門的相關人員組成，包括開發人員、數據庫管理員、系統運維人員。系統開發人員負責開發和選用適用的平臺和工具；數據庫管理員負責數據的安全、備份和審計等工作；系統運維人員負責檢測數據質量和系統運維等工作。

4.2 規范數據治理制度

數據治理制度應作為單位強制執行規范，制度需闡明數據治理的目的、適用范圍、職責和具體內容，由管理辦法、技術規范和實施細則等部分組成。數據治理的制度范圍應包括數據標準、數據采集、數據審核、數據分析、數據發布、數據傳輸、數據存儲、數據維護、數據安全管理、數據質量監控、數據管理考核等在數據使用過程中的方方面面。所有制度的制定都應以有效實用和優化服務為目標，不斷提高數據的規范性、準確性、完整性和關聯性。規章制度最終可落地需要有一套行之有效的管控辦法，其中考核是是保障制度落實的根本，需建立明確的考核制度，建立相應的針對數據治理方面的考核辦法，定期加以考核整改。

4.3 完善數據治理流程

數據治理工作的主要業務流程可遵循本單位數據治理的規范制度和數據治理的內容分為發現、定義、應用、改進四個核心流程階段。其中發現流程獲取已有數據清單、數據當前的狀態、數據的生命周期以及數據當前支持維護能力；定義流程記錄數據的定義、數據間關系以及實施數據治理工作必須明確的規則、標準以及關鍵性能指標；應用流程是執行數據治理的過程，涵蓋了數據的交換、存儲、分析、處理等手段，以確保數據治理與發現和定義流程階段獲取的所有業務規則、工作流程、職能角色及職責相符；改進流程通過數據質量管理和安全保障等手段用于推動數據治理工作的有效性及價值，監測是否與定義的規則和標準相符。

圖2 數據治理工作流程圖

5.實現體系設計

數據治理所涉及的工具和平臺是與廣電媒體整體的數據架構體系密不可分的，圖3給出了一套面向融合業務環境下的廣電媒體數據框架圖，其中數據治理主要通過數據管理平臺來實現，該平臺貫穿數據業務始終。包括數據資產管理系統、數據質量管理系統和數據調度處理系統等，它們是數據治理能夠順利開展的技術保障。只有建立功能齊備的數據治理工具和平臺，才能從各個領域有效地進行數據的管理和治理，提高廣電媒體的數據價值。

數據資產管理系統：統一管理全媒體的數據資產，包括元數據、數據標準與數據模型等重要的數據內容，涵蓋數據生命周期管理功能，并提供可視化的數據查詢和展示功能，實現數據資產的快速與便捷查詢。

數據質量管理系統：落實數據質量檢測工作，實現數據質量問題的發現、跟蹤、治理、評價的全流程閉環管理，包括數據質量規則管理、數據采集核驗、數據質量問題發現、數據質量問題分析等模塊。

數據調度與處理系統：用于實現各系統間的互聯互通，相互協同與驗證，為數據平臺和業務應用提供數據統一、形式多樣的數據服務。在該系統中，還需要加強數據使用中訪問權限的安全性，保障數據不被泄露和非法訪問。

圖3 廣電媒體數據框架圖

總結

廣電媒體的數據治理是一個持續迭代的復雜的系統工程。對技術部門來說，需從戰略層面出發，認識到數據資產的重要性和數據治理工作對未來發展的巨大價值。通過數據治理進而提供數據服務，可以將技術管理變為技術服務；通過數據治理進而變現數據價值，可以從成本中心轉變為利潤中心。同時，數據治理過程涉及業務的方方面面，不僅是對數據價值充分梳理和挖掘的過程，也是內部管理職能優化和執行力強化的過程，還是提升核心競爭力、在現有業務系統基礎上醞釀跨界融合創新應用的契機。為此，需要在治理前期就應該規劃好各項規章制度和管理架構，切實建立一套可管可用的數據治理技術平臺，確保后續的各項治理工作能夠行之有效并且長期堅持。