廣電運營商大數據綜合運營平臺設計和實踐

張 衛

(浙江博通影音科技股份有限公司，浙江 杭州 310000)

廣電運營商大數據綜合運營平臺設計和實踐

張 衛

(浙江博通影音科技股份有限公司，浙江 杭州 310000)

對有線電視運營商大數據平臺設計思路、功能架構和應用場景進行分析，介紹了廣電大數據分析應用系統的構成及關鍵技術問題，并通過應用案例分析了廣電大數據系統的發展前景。對于有線電視發展大數據運營，有重要的借鑒意義。

廣電運營商；大數據；互聯網+；數據采集；數據分析

隨著互動媒體的發展以及服務競爭態勢的日益加劇，廣電運營商的互動媒體經營理念經歷了3次重要的變革，第一階段是廣電業務發展的初期，業務單一，僅僅圍繞承載廣播電視傳輸業務，確保安全播出開展各類服務；第二階段，三網融合政策的推廣促使各地紛紛開展基于有線數字電視機頂盒的互動點播業務，交互式服務使廣電的服務業態進一步豐富，服務種類更加多樣；第三階段，互聯網+和智慧城市的東風啟發了傳統廣電運營商擁抱互聯網的思維，個性化展現、多屏互動、電子支付、T2O(TV to Online,即電視電商聚合)越來越頻繁地成為互動電視業務界面的創新元素[1]。

眾多互聯網時代的新興媒體在業務發展過程中構筑了名副其實的大數據系統，并通過和大數據系統的良性互動進一步深入挖掘和引導了用戶需求，實現了服務創新和產業共贏。不知不覺間大數據成為互聯網時代商業模式創新的基石。

廣電行業在互動媒體業務運營的過程中，形成和累積了大量文件顆粒度大的視頻內容、海量的用戶服務數據、億萬次的個性化點播服務請求、海量的直播用戶收視數據……這些數據的加工處理已經融入到廣電媒體運營的方方面面，對廣電運營商制定營銷體系業務策略、開發新產品乃至創新商業模式等都提供了豐富的數據支撐[2]。大數據時代是廣電行業的發展紅利，廣電必須以大數據為引擎和催化劑，消除既有業務系統的數據孤島，通過整合各類不同維度的業務數據(直播電視、互動電視、互聯網電視、手機APP等)形成數據倉庫，并以此為基石，細分用戶群體，挖掘不同層次受眾的個性化需求，以大數據引領互動媒體服務運營，打造以大數據為基礎的精準營銷工具和決策平臺，以應對互聯網帶來的嚴峻挑戰。

廣電大數據平臺在具體業務開展及后續決策分析方面都將產生重要的作用及價值。

1 總體功能架構

廣電大數據平臺由大數據基礎平臺、大數據分析系統及智能推薦引擎組成。基于統一標準的數據接入規范，實現對廣電運營商用戶收視行為的廣泛采集，通過大數據分析系統對收視數據進行基礎分析和處理，利用智能推薦引擎為廣電運營商提供全面的業務精準營銷。總體功能架構如圖1所示。

圖1 總體功能架構

智能推薦引擎及大數據分析系統都是基于大數據基礎平臺實現。

大數據基礎平臺提供海量數據整合、數據存儲、數據計算的能力子系統。針對廣電的結構化、非結構化數據，提供大型的、并行的數據倉庫；提供對海量數據分析的能力；針對廣電產生流量的實時數據，提供流計算的能力。

智能推薦引擎基于海量聚合內容數據及用戶行為數據進行采集、清洗、集中處理和智能分析，以相關性推薦及個性化推薦為核心分析方向，面向多屏上層應用提供用戶相關性及個性化的數據推薦、搜索數據推薦服務以及實時的內容分析服務。

大數據分析系統可處理數據量在TB到PB級別的用戶規模，并支持彈性縮容、擴容，通過針對廣電行業數據分析展現，達到對用戶需求洞察、產品決策支持的能力[3]。

2 功能模塊分解

整體功能模塊分解如圖2所示。

2.1 大數據基礎平臺

基于HDFS2建立大數據平臺的數據倉庫，對大量數據進行存儲、維護、備份等管理；通過Sqoop對結構化數據進行轉換加載；通過Flume采集半結構化、非結構化數據進行采集轉換；在HDFS2的基礎之上建立Hbase查詢引擎、Hive分析引擎；通過Yarn調度實現MapReduce分布式離線計算；通過Storm實現在線流式計算；通過Spark實現集群的內存計算；通過BI提供對大數據基礎平臺運行狀況的監控及分析。

圖2 功能模塊分解

2.2 智能推薦系統

搜索推薦模型管理功能提供對搜索聯想詞推薦管理的功能；推薦模型管理功能提供對各類推薦模型的參數、配置、數據的管理；內容數據分析，提供在線標題、內容查看、分析的功能；用戶畫像管理功能提供對用戶畫像規則及參數的管理；數據源管理功能提供對相關媒體內容元數據，用戶行為原始數據、用戶基礎數據的數據清洗、抓取、聚合的管理；算法管理功能提供對各類算法的通用參數、獨立參數的管理，以及對算法組件增加的管理；推薦效果分析功能對推薦服務進行A/B Test分析，推薦調用統計、推薦服務調試等功能；系統管理功能對智能推薦引擎平臺的角色權限、推薦API等的管理功能。

2.3 數據分析平臺

數據分析平臺可根據客戶需求及實際情況，進行定制性分析，基本功能如下：直播業務分析，針對傳統業務頻道、節目進行收視份額數據、用戶UV、用戶忠誠度等分析；點播業務分析，針對新媒體業務的點播、時移、回看等進行數據的各類分析。

3 關鍵技術介紹

3.1 實時智能推薦技術

實時推薦系統如圖3所示。

圖3 實時推薦系統

開放API，將分析和挖掘系統相關功能以服務API的形式封裝和打包，對外提供訪問接口?；诹饔嬎愕膬热葙Y源分析與挖掘，為用戶提供基于自身需求的定制化服務和響應，充分挖掘數據蘊含的深層價值?；诜植际讲⑿杏嬎?，對數據做復雜的業務處理，實現海量內容資源離線分析與挖掘。

3.2 融合異構推薦算法模型

異構推薦系統如圖4所示。

圖4 異構推薦系統

本系統的算法模型設計，參考融合推薦框架。通過內容過濾、統計過濾、協同過濾機制，采用多種基礎算法(切詞算法、SVD等)、推薦模型(I2I KNNU2U KNN混合模型)的合理混合，進行推薦預測并輸出推薦列表，通過用戶反饋數據的交叉驗證，來評估推薦效果，并進一步優化推薦模型。

4 典型應用場景

4.1 影視劇內容評估優化

綜合數字電視、互聯網視頻網站、移動互聯網APP、社交網站等多個渠道形成對影視劇的收視情況的綜合評價，形成相關指導指數，構成相對于收視率更加全面的收視評價數據(見圖5)。

圖5 影視劇內容評估(截圖)

一方面，可以為影視制作單位提供可靠的收視依據，便于影視制作單位對收視情況的量化評估，同時也為后繼的影視劇生產和投資方向起到輔助決策的作用。甚至可以參照《紙牌屋》的制作模式，邊播邊拍，用戶和制作方良性互動，創作更多易為客戶接受的定制劇產品。

另一方面，可以為廣電運營商設置影視專區，對媒體內容的分類管理提供有效的決策依據。

同時，還可以為影視劇版權購買策略的制定提供重要的決策依據，對不同劇種的廣告銷售策略的定價提供數據支撐。

4.2 營銷策略優化

廣電大數據平臺將重構精確營銷模式，一方面綜合原有CRM系統、BI系統的同時還可以從諸如社交媒體數據、郵件數據、地理位置、物聯網信息、移動互聯網信息等不同維度增加對非結構化數據的采集、處理、挖掘和分析。個性化推薦界面如圖6所示。

圖6 個性化推薦界面(截圖)

根據大數據分析結果，在電視門戶、網站門戶、手機門戶等推薦位推薦相關的公共內容，產生收視排行榜，供用戶自由選擇收看。

分析每個用戶/客戶的消費能力、交往圈、習慣與愛好等，然后提供智能化服務與消費引導。提供定向推送廣告等服務，從而實現廣告的精準到達，大大提升廣告的點擊率和營銷效果。同時可以為用戶推薦個性化的節目內容，或者跟電商合作，推薦相關的電商產品?？筛鶕脩舻卿泤^域、時間的不同推薦不同的內容，可以在不同的屏上實現相同內容的推送，保證用戶體驗上的一致性。個性化推薦界面如圖6所示。

4.3 運營產品優化

根據大數據分析，形成反饋意見優化門戶等交互產品的設計，使設計更加人性化，更加符合用戶使用習慣，從而提升產品的價值(見圖7)。

圖7 運營產品優化

4.4 網絡運維資源優化

可以根據用戶的收視習慣優化網絡的配置，特別是邊緣網絡資源的配置，對于點播等互動業務比較頻繁的區域，可以增加IPQAM等邊緣網絡設備的數量，并盡量將相關設備下沉部署，對于那些互動業務訂購量不大、點播行為不活躍的地區，可以減少相關設備的投入，從而最大程度地實現網絡資源和業務成本的最優配比。

5 小結

廣電運營商經歷了從模擬到數字，從廣播到互動，從單一廣播電視業務到融合了寬帶、互動電視和移動視頻的全媒體業務的轉變，從媒體內容的生產、加工、消費和運營各個環節都實現了數字化，多年的運營累計了大量的用戶消費數據和業務運營數據，對于廣電運營商而言，通過對結構化和非結構化數據的挖掘分析，細分用戶群體，挖掘群體化消費需求，打造社交化媒體消費平臺，是優化廣電現有業務、開展精細化運營的必要手段，從而實現對用戶消費群體的細分，實現精確地定制產品和服務，將細分業務做深做細，將基礎業務做大做強，滿足日益個性化的用戶需求，有效應對互聯網競爭的大潮。

[1] 孫亮.基于大數據應用的互動電視增強業務研究[J].電視技術，2013，37(22)：7-9.

[2] 李銳.淺談廣電運營商的大數據分析及應用系統 [J].有線電視技術，2013(9)：19-22.

[3] 尹亞光，施玉海.大數據對媒體融合發展的支撐和促進[J].廣播電視信息，2015(12)：12-16.

責任編輯：許 盈

Design and practice of big data integrated operating platform owned by television cable network operators

ZHANG Wei

(ZheJiangBrightMediaTechnologiesInc.，Hangzhou310000，China)

The ideas focused on big data platform about its architecture designing, function modules defining, users scenarios planning and others are discussed, it introduces and analyzes the components and key technologies to build the platform which will show outstanding performance about the service analysis and reporting sector. The article also outlooks the future perspective about the cable network operators’ big data service based on the detail cases studying. And it is meaningful for the development of big data operating of television cable network.

television cable operators; big-data; Internet+; data mining; data analysis

張衛. 廣電運營商大數據綜合運營平臺設計和實踐[J].電視技術，2017，41(1)：42-46. ZHANG W. Design and practice of big data integrated operating platform owned by television cable network operators[J].Video engineering，2017，41(1)：42-46.

TN949

A

10.16280/j.videoe.2017.01.009

2016-05-27