廣播電視監測中開放式數據整合與處理體系的構建

張 超

（國家廣電總局 五五三臺，上海 201908）

一、前言

廣播電視監測應用大數據技術是大勢所趨，而傳統的數據接口技術手段已無法適應大數據應用的要求。通常，系統間的數據交換采用數據接口技術，接口是傳遞管理信息的協議、過程、消息格式和語義的集合。接口為系統內和系統間的功能調用和數據共享與傳遞提供了統一的表達方式。接口不僅要遵循標準化和規范化的要求，同時要滿足用戶長遠建設和發展的需要。

然而，在廣播電視監測工作中運用接口技術進行數據共享和分析時，產生了大量的問題。

（一）接口標準化要求

數據傳輸的標準化和規范化是數據接口構建的一個重要原則，然而現行的各種監測系統數據相關性不強，無法實時聯動所有的監測信息，比如系統中信道層指標測量、TR101290報警處理、碼流分析、頻譜監測、節目內容分析等檢測指標都是相對獨立的，缺少聯動。

隨著對安全播出要求的提高，廣播電視監測工作要提高異態響應速度，降低誤報率，這就需要從外部引進相關信息，例如節目傳輸狀態信息、節目上行信息、其他監測臺站的監測指標以及本地天氣信息等。這些數據無法按照我們預先設計的數據接口進行數據傳輸，而且這些數據隨著自身系統的變化而變化。

（二）數據源拓展

隨著廣播電視播出全鏈路各節點信息共享程度的加深，可利用的數據會逐步增加，每當有新的數據源加入時，就需要重新定制數據接口服務，將其引入現有系統中。

（三）數據清洗要求

系統接收到的數據中會出現無效的或殘缺的數據，這些數據可能導致后期進行的相關分析無法正常進行，這就需要對提取到的數據進行重新審查和校驗，以便刪除重復信息、糾正存在的錯誤，并保持數據的一致性。

（四）多維數據模型的需求

為滿足從不同角度、不同層次進行數據查詢和分析的需要，需要建立基于事實和維度的多維數據模型。接口僅實現事實數據的存取，維度的建立還需利用其他手段來完成。

有見于此，我們需要建立一種可由用戶實現定義的、開放式的數據處理體系。

二、開放式數據處理體系

（一）體系結構

廣播電視監測節點繁多，數據量龐大，為合理有效地利用數據，實現監測目標，我們設計了由兩個層次和三個應用程序構成數據處理體系。兩個層次又細分為服務器層次和客戶端層次。三個應用程序細分為服務器程序、數據處理程序和用戶管理程序。其中服務器程序對應兩個層次中的服務器層次，數據處理程序和用戶管理程序對應兩個層次中客戶端層次。服務器層次是我們構建的開放式數據處理體系的所有作業實際進行的層次，客戶端層次是對于要進行的作業下指令的層次。客戶端層次的用戶管理程序管理用戶的權限政策。數據處理程序是構想和下指令作業真正在進行時的具體內容設計。服務器層次的服務器執行客戶端層次的作業構想和指令。

（二）數據處理聯系和數據轉換服務

我們設計的開放式數據處理體系中，不同數據間關系的處理和轉換服務，需要通過數據提取、處理和相關數據轉換等操作實現。

隨著廣播電視監測流程的完善，我們可以從廣播電視傳輸的各個節點獲得監測數據。開放式數據處理體系采用標準化數據接口，可以隨時加入新的數據源。數據處理聯系對接入的各種數據源進行提取，從各種不同形態的源數據中提取出需要的數據，或者是從擁有相同源數據的系統中提取出需要的全部或部分數據。對已提取出的數據再通過數據轉換作業，制作出體系需要的目標數據。面對隨時在產生的龐大的監測數據，需要采取批量處理的方式對數據進行處理。通過排序引擎和高速提取引擎對所有源數據進行處理，并由本地數據倉庫進行儲存和管理。實時數據處理是對提取出的數據進行批量處理后，再對提取到的文件和數據進行加工。相關數據轉換通過數據處理引擎，實現數據篩選和清洗，最終實現數據轉換。

（三）數據模型設計

隨著廣播電視監測要求的提高，獲得的監測數據不只是簡單呈現，還要進行多層次、多角度的分析，通過建立各種數據模型，對監測數據進行再加工和深度分析，從而得出全面的監測結論。數據模型的建立過程就是對數據進行加工設計的過程。為方便用戶實現對數據的提取與加工，我們采用一種圖形化的數據加工作業設計，即使用者通過這個設計，對數據處理聯系和數據轉換服務采用何種方式執行任務進行加工。這種圖形化的數據加工作業設計體系中引入了面向對象的概念，即將用戶的構思、設計過程抽象成項目、功能模塊、數據文件和腳本等組成部分。

項目是數據模型設計中的一部分，是設計器向服務器下達指令，告訴它要執行什么工作的命令合集。項目由很多功能模塊組成，數據通過抽取模塊、轉換模塊、排序集合模塊、連接模塊和加載模塊的操作后，就完成整個數據加工的各個環節，最終達到使用者的要求。每完成一個功能模塊的操作，就是對數據進行一次加工，加工又會產生新的數據，為了保證整個加工過程的可追溯性，這些加工過程產生的數據文件都要保存，并且可訪問。在對數據進行加工服務工作時，對于反復出現的數據，可以將其指定為變量，通過自定義函數的方式實現運行的有效進行。通過函數的方式使整個模型設計中，數據加工設計的整體變換和修改更加便捷。

通常情況下，項目是按用戶預先的設計運行，設計器為用戶提供項目手動運行及按計劃任務運行，然而廣播電視監測工作有很多突發情況，有些時候用戶需要從某個特定的命令塊開始運行，這就要求我們建立的開放式數據處理體系有對實時監測數據進行臨時性的事后分析功能。為實現這一功能，就需要在實時監測數據分析項目中添加臨時性的分支任務模塊。實時數據因其實時性，在已超過其生命周期的任務模塊中無法使用，但用戶可以充分利用其他任務模塊產生的以往數據記錄執行后續的作業。

（四）用戶管理

用戶管理就是對用戶按業務上的關聯與否或者按可使用的功能進行管理的工具。廣播電視監測工作按照使用功能區分不同用戶，使用設計器進行數據處理的每個用戶與其他用戶一起執行各種任務。有些用戶的業務類似，也有的互相關聯。還有些用戶需使用設計器的所有功能，但有些用戶只使用特定的功能執行任務。

三、結語

隨著廣播電視監測系統所涉及的領域逐步擴大，在廣播電視監測中，采用開放式數據處理體系，制定了標準化數據接口，拓展了監測數據來源，構建了專業化的多維度模型，分析信息，發出相應的預警?；陂_放式數據處理體系的廣播電視監測系統已成為提高工作效率、減少人為因素干擾、降低誤報率的重要技術手段和今后的技術發展方向。

[1]丁勇扎西.資源共享網絡互聯實現方法研究[J].廣播電視信息，2012（04）：106-109.

[2]秦琨琨.廣播電視監測中信息化應用及安全防護[J].數字傳媒研究，2016（04）：63-66.

[3]高茳.廣播電視監測監管中云技術的應用探析[J].中國有線電視，2017（02）：145-147.

[5]蔡國賢.廣播電視監測技術的研究[J].黑龍江科技信息，2015（31）：15-16.

[6]趙國強.基于互聯網建立廣播電視監測服務平臺的構想[J].廣播電視信息，2014（03）：112-114.