淺談大數據技術在廣電領域的應用

文/高艷冬

在競爭日益激烈的全媒體時代下，要求廣電傳統媒體能在保證安全的前提下，與互聯網進行多維融合發展，提供更豐富的資源、更多樣的生產模式及更加快速權威的發布渠道。同時，面對海量的數據信息，對信息的處理和存儲、采樣分析、用戶畫像及可視化精準推送等功能，廣電媒體面臨著迫切需求，大數據技術的出現很好地解決了這個問題，推動了廣電傳媒的發展和轉型。研究大數據技術、分析大數據技術在廣電領域的應用，對于廣電傳媒而言，有著重要的意義。

1.大數據技術

互聯網催生了大數據應用的規模化環境，可以說，大數據技術是網絡時代的衍生品，它是以計算機技術和信息技術為基礎，實現對海量數據的收集、分析和處理，充分挖掘數據價值的一種技術。利用本地數據庫資源、互聯網的數據，實現數據源的提取，通常采用開源的分布式大數據技術架構，支持不同來源的異構數據的多種導入方式，實現海量數據的存儲，通過對數據進行清洗、過濾、壓縮等處理，實現大數據的預處理，利用數據索引功能和查詢功能，可以實現數據庫內的信息查詢，利用云計算實現對海量數據的匯總和分析。在廣電領域，大數據技術有著廣泛的創新應用，主要有新聞輿情分析與智能選題、用戶收視行為和效果分析、融媒體數據分析、產品精準推送、可視化展示等。

2.大數據技術的構成

2.1 大數據平臺構建技術

大數據平臺構建技術包含了許多技術，并非單一存在，例如，分布式數據庫、分布式文件系統、數據處理技術等，這些技術的應用，共同構成了大數據平臺。

首先，分布式數據庫技術。該技術主要是將網絡技術同數據庫技術相融合，主要形式有本地數據庫、網絡數據庫等，利用網絡技術，實現海量數據的存儲。從技術層面進行分析，通過分布式數據庫技術的實際應用，可以看出該項技術的核心在于CAP定理的使用，該技術保留了傳統數據的一些特性，不同于傳統數據庫之處在于，可以實現對數據庫信息的快速存取。當前，分布式數據平臺的使用，以Hadoop、Greenplum、Hbase和MongoDB較為常見。

其次，分布式文件系統技術。一個優秀的分布式文件系統，可以隨著數據規模的增加便捷地實現彈性橫向擴展，部署大量的服務器支撐分布式文件系統技術的應用，這也就滿足了海量數據的存儲要求，提升了存儲能力。為保證數據安全可靠使用，現今大多采用主/從雙節點方式，當主名稱節點工作時，從名稱節點實時備份，與主名稱節點數據同步，利用冗余存儲的方式，可保證存儲數據的安全性和可靠性。當前，分布式文件系統的使用，以Lustre、MogileFS、Hadoop、FreeNAS等較為常見。

最后，大數據處理技術。大數據處理技術應用十分廣泛，在不同行業有著不同的表現形式，經過總結分析，可以將大數據處理技術歸納為以下三種形式：批處理和分析、實時流處理、近實時分析。

2.2 大數據挖掘技術

大數據技術的核心和關鍵在于對數據的挖掘，大數據挖掘技術涉及數據挖掘、分析和倉儲三部分內容。

首先，大數據挖掘技術。大數據挖掘技術需要借助分布式計算平臺來實現，以此為基礎，實現對數據庫海量數據的挖掘，為數據分析工作提供數據支持。大數據挖掘技術是將網絡技術和傳統的數據挖掘技術相結合，利用計算平臺，對數據進行挖掘處理，遇到特殊情況，可以進行簡化操作，保證底層平臺的有效運行。

其次，大數據分析技術。大數據分析技術是以大數據存儲、管理和處理技術為基礎，有目的地處理數據，實現數據的分析，將數據轉換為報表。常見的數據分析技術有：日志分析技術、文件屬性分析技術、文本情感分析技術、自然語言處理技術等。

最后，大數據倉庫技術。大數據倉庫技術是指將搜集到的海量數據進行整合和存儲。

3.廣電大數據平臺概述

3.1 廣電大數據平臺的應用要求

廣電系統對于大數據平臺的使用有如下要求：

首先，業務方面的要求。廣電系統需要搜集的數據信息有：互聯網、電視、新媒體等用戶的行為數據、輿情數據等，將這些信息使用大數據平臺進行搜集并整合。大數據平臺在收集到用戶行為數據之后，需要對這些數據進行挖掘和分析，調查用戶的行為模式，了解用戶的喜好，可以為廣電系統提供新的運行模式。根據收集到的用戶數據，可以創建視頻模型，直觀顯示和分析收視情況。例如，根據不同的欄目和頻道信息，了解實時收看人數，實現視頻智能推薦、實時查詢等功能。除此之外，廣電大數據平臺還應該滿足如下要求：（1）提供實際案例的能力以及創建具有結構化數據處理能力的商業大數據平臺，數據平臺支持B/S模式，可以實現可視化的管理和開發；（2）根據MapReduce分布式數據計算框架和HDFS分布式數據存儲機制，實現海量數據的告訴訪問以及快速運算；（3）建立基于MPP架構和列存儲的數據庫，實現PB級的數據分析，建立HHDFS技術擴展與封裝的平臺，實現PB級的非結構化數據處理與分析。

其次，性能方面的要求。廣電大數據平臺的建設，需要實現數據的收集、整理、分析、查詢等方面的要求，因此，大數據平臺必須有靈活、可控、可擴容的機制，同時在性能方面還需要滿足如下要求：（1）數據加載速度方面，數據加載速度不能小于1TB/h；（2）數據處理速度方面，數據轉換的處理速度不能小于1TB/h；（3）復雜數據的統計計算方面，復雜指標的處理，統計和計算速度不能小于15s。

3.2 廣電大數據平臺的建設內容

廣電大數據平臺的建設包含如下內容：一是大數據平臺的建設；二是個性化門戶的建設。其中，以個性化門戶建設尤為重要，差異化策略是廣電行業競爭的重要策略。因此，廣電大數據門戶建設，必須注重個性化和差異化。

首先，構建大數據平臺。構建廣電大數據平臺時，需要考慮廣電行業的發展，未來可能出現的業務轉型需求，因此，大數據平臺需要支持結構化數據，利用計算機架構，體現出大數據平臺數據全面、技術先進、便捷開放的特點。廣電大數據平臺的建設內容有：研究平臺的搭建、運維平臺的構建、安裝操作系統、平臺部署、節點動態增減、MapReduce作業管理、平臺監控、參數調優、平臺配置、挖掘工具、系統算法等。

其次，廣電大數據個性化門戶建設。個性化門戶建設基于大數據平臺的建設，利用大數據平臺擁有的數據收集、整合、分析的能力，建立廣電企業個性化門戶。個性化門戶的建設，對于用戶數據的收集和分析十分重要，其中包括：用戶的訪問記錄、用戶聊天數據、論壇發帖等數據信息，將這些數據信息通過去格式化的方式進行整合、存儲，使用行為、關系、語義、視覺等不同的算法工具，對用戶數據進行處理，以此為基礎建設個性化門戶。大數據平臺下，利用強大的云計算能力，可以將廣電用戶根據不同標準進行分類，以此為基礎，實現內容的精準推薦，給予用戶個性化的選擇。通常情況下，個性化門戶建設需要注意以下內容：（1）用戶行為數據分析。廣電大數據平臺建設，主要在于利用大數據平臺，收集用戶數據，分析用戶喜好和行為，用戶行為數據主要有瀏覽業務數據、回看業務數據、點播業務數據、廣告業務數據、直播頻道業務數據、時移業務數據等；（2）點播、直播過程中的關聯推薦。所謂關聯推薦，是指根據大數據收集到的用戶數據進行分析，分析用戶的行為和喜好，建立用戶喜好模型，根據用戶喜好內容進行相關聯內容的推薦，向用戶推薦感興趣的內容，提升用戶的滿意度，同時根據用戶喜好，也可以提升廣告的投放精準度；（3）互聯網的用戶分析。互聯網時代下，互聯網和移動媒體十分普及，人們利用移動網絡、互聯網絡獲取感興趣的信息。因此，用戶數據的收集也離不開互聯網用戶數據，深入挖掘用戶喜好，從移動網絡、廣電網絡、互聯網絡三網相融合，收集用戶數據，為片源引進、廣告投放、內容制作、收視率評估等工作內容提供數據支持。個性化推薦的出現，是大數據應用的最好體現，大數據時代，根據用戶的實時數據和點擊行為，通過數據分析可以獲得用戶的喜好，向用戶推送感興趣的內容。近年來，各大媒體門戶網站或者移動媒體等都借助大數據的信息收集和分析能力，發覺用戶喜好，推送相關節目，提升用戶的滿意度。

4.大數據技術在廣電領域的應用

4.1 在廣電系統運維管理方面的應用

運維管理是大數據技術在廣電系統的應用方面之一。由于廣電領域涉及到許多非結構化的數據，這些數據的存在容易增加廣電系統運維的難度。隨著科技的不斷發展和進步，廣電行業面臨越來越多的數據信息，為了更好地對廣電系統進行運行管理和維護管理，需要廣電企業轉型，加強對大數據技術的應用，實現數字化的管理模式。具體而言，以數字化模式為基礎，建設大數據平臺，進行節目制作、數據存儲等內容。廣電系統由多個平臺構成，包括批量步數平臺、批量安裝操作、運維平臺、作業管理平臺等。大數據技術在廣電系統中的應用，當系統出現故障時，可以及時定位發生故障的位置，運維管理工作效率得到提升。此外，大數據技術的應用，可實現廣電系統運行情況的實時分析，可以及時了解系統的運行情況、負載情況，對系統問題做出科學預測，可以有效排除一些故障，做到早發現、早治理，為廣電系統的正常運行提供可靠保障。

4.2 在廣電業務運營管理方面的應用

廣電行業對于業務運營的要求主要有：對電視、互聯網、新媒體等數據信息進行收集、整合、分析，借助這些數據分析，對用戶的喜好和行為進行預測，根據預測結果開展各項業務。大數據技術的應用，可以將這些數據信息在大數據平臺整合分析，完成用戶偏好的合理預測，建立視頻模型。例如，根據用戶瀏覽數據，可以模擬用戶畫像，對用戶的年齡、喜好、內容等進行智能分類，根據不同分類給出智能推薦。此外，用戶的數量、收視時長等信息，可以成為決策數據，為廣電業務運營給出科學的指導。在實際運作過程中，使用MapReduce分布式計算框架，實現對用戶數據的快速訪問和高速運算。使用MPP架構數據庫，實現對PB級結構化數據的處理。使用HDFS技術，實現對PB級非結構化數據的處理。可以看出，大數據技術，使廣電系統可以更加精準地分析用戶的喜好，做到有針對性地投放推薦內容，滿足用戶需求，提升用戶滿意率。

4.3 在廣電用戶數據管理方面的應用

建設個性化門戶，需要做好用戶數據的管理工作，加強對用戶數據的利用，將用戶數據進行整合、分析，對用戶的偏好和行為做出科學預測。應用大數據技術，可以加強對廣電用戶數據的管理。首先，借助網絡，可以實現同用戶的溝通交流，獲得用戶數據。目前，廣電企業對于用戶數據的收集，以網絡用戶為單位，通過采樣模式實現數據的采集和分析，可以使用收集到的有限數據，反映用戶的收視情況。近年來，手機、平板的普及，移動設備的使用廣泛，必然會帶來一批移動用戶，面對這種情況，廣電企業應該加強互聯網、移動網絡、廣電網絡三網的互動和融合，實現數據信息的共享，使用大數據技術對用戶的共性和個性進行挖掘，引導廣電企業進行片源引入、收視率評估、內容制作等工作。大數據技術的應用，使許多收視數據被合理地收集和利用起來，加強了對用戶數據的分析和利用，用戶數據價值得到發揮，同時提升廣電企業決策水平。

4.4 在新聞輿情分析與智能選題方面的應用

通過探針和爬蟲手段，主動抓取主流新聞網站、論壇、博客、微博、微信、移動客戶端等網絡媒體的各種信息數據，通過對海量的數據的大數據分析，提取出隱含的巨大信息，提供關鍵性的市場數據，從而可實現輿情引導、輿情管控，支持新聞發現和傳播效果分析，實現對互聯網媒體的傳播效果分析挖掘，還可對熱點新聞推薦、熱點微博線索、相似事件關聯、熱點變化趨勢、輔助事前報道選題，支持用戶參入分析（閱讀/分享/評論等），用戶關注度及傾向性分析挖掘等。

結語

在媒體融合大潮中，廣電行業面臨著一場劃時代的創新革命，從媒體的內容形態、傳播途徑到發布接收方式都發生了顛覆性的變革，廣電媒體應該充分利用大數據技術，研發建設適應廣電應用的大數據技術平臺，實現從IT時代向DT時代的融合轉型。

參考文獻

[1]宋文娟.淺談大數據技術及在廣電系統中的應用[J].遼寧廣播電視技術，2014（4）：13-15.

[2]王巨森.大數據技術在廣電領域的應用探索[J].網絡安全技術與應用，2016（2）：9-10.

[3]林健.大數據技術在廣電領域的應用分析[J].視聽，2017（8）.

[4]檀杉.大數據技術在廣電領域的應用探索[J].現代工業經濟和信息化，2016，6（23）：79-80.

[5]劉欣榮，陳凱.大數據技術在廣電領域的應用探索[J].工程技術：引文版，2016（6）：00291-00292.

[6]李蕾.“大數據，”下廣電行業的應用研究[J].通訊世界，2017（13）：291.