足球賽事實時智能分析系統的研究

潘文宇 邢青

摘要：精彩的足球賽事給大眾文娛生活帶來很多樂趣，針對直播賽事中無法實時識別出精彩的點球、任意球、球員個人信息等問題，本文利用深度學習視頻識別處理技術，提出一種智能的賽事分析方案，探討了足球直播賽事智能分析的可行性，研究了智能分析方案的具體技術實現。

關鍵詞：智能視頻分析技術;實時分析;足球比賽

隨著人工智能技術的發展，基于深度學習的視頻流分析模型在識別、監測領域得到了廣泛應用。在體育賽事直播中，尤其是足球比賽中，觀眾一般只能通過足球解說人員獲取球員的個人介紹，包括對球員的球技、球員的任意球、點球等進行分析解說，因此觀眾獲得的僅僅是聽覺信息。提高觀眾的現場體驗感，將此類信息可視化是一個可行的方法。基于深度學習視頻處理技術可以識別和播報賽事中發生的行為事件（比如點球、任意球等）;識別場上的行為發生的球員，將球員的歷史數據與比賽進行中的事件進行關聯，智能化地對一場足球賽進行集錦剪輯等，做到關鍵信息的可視化、實時解說、實時展示。因此，本文提出一種足球賽事實時智能分析系統。

1 技術背景

首先，大數據是深度學習成功的重要路基。在如今的互聯網時代，數據量的累積是爆炸式的，越來越多的領域正持續積累著日趨豐富的應用數據，這對深度學習的進一步發展和應用至關重要。不過大數據收集是有成本的，并且標注成本已經開始水漲船高，樣本的好壞直接決定了模型的精確度，所以只有擁有一定技術實力的公司才能持續投入研究。在安防領域，像海康威視等有自主研發實力且在安防行業深耕多年的公司，運用大量真實視頻監控場景的視頻、圖片數據作為訓練樣本庫，數據量大且質量較好，通過超過百人團隊的數據組，對視頻圖像打標簽，積累了千萬級別的樣本數據，在使用這些數據量大且質量良好的樣本不斷訓練下，對安防監控場景下的人、車、物進行模式識別的模型也會越來越精確。

其次，高性能硬件平臺計算是引擎助力。深度學習模型需要大量的樣本，這就避免不了大量的計算，而以前的硬件設備不足以訓練出復雜的上百層的深度學習模型。2011年谷歌DeepMind用了1000臺機器、16000個CPU處理的深度模型大概有10億個神經元，而現在，只要用幾個GPU，我們就可以完成同樣的計算，并且迭代速度更快。因此，GPU、超級計算機、云計算等高性能硬件平臺的迅猛發展讓深度學習成為可能，強大的計算能力有助于深度學習算法快速實現驗證，并積累更多經驗進行模型修正，進一步提高模型精度。

2 總體設計

總體架構是以海量圖像和視頻、文本、音頻等多源異構數據存儲為基礎，引入先進的人工智能技術，容器技術、分布式計算、高性能存儲以及機器學習引擎為支撐，搭建的一套面向媒體行業的智能分析人工平臺。其主要包括基礎平臺層、學習引擎層和業務應用層，如圖所示：

總體架構圖

其基礎平臺層包括分布式存儲平臺、分布式計算平臺、容器編排系統、數據庫系統、計算引擎系統、服務管理發放、日志系統;學習引擎層包括視頻識別引擎、語音識別引擎;業務應用層包括球員識別、類型球識別、智能剪輯、信息可視化。

3 技術原理

3.1 基礎平臺層

（1）分布式存儲[1]平臺通過構建大規模彈性存儲系統，保證可靠性、可用性和性能的前提下，達到業務的快速拓展。分布式存儲通過緩存達到加速的目的，通過熱點數據的識別達到性能的高性價比。分布式計算平臺調度分布式系統的計算資源，包括普通的CPU和GPU資源。設定資源的算力能力和最優計算場景、調度優先級。比如推理時先選擇GPU，當GPU資源不滿足時選擇CPU以達到最大利用率地使用計算資源。當任務計算節點出現故障時，發送任務到其他節點繼續運算。

（2）容器編排系統支持多層安全防護、準入機制、多租戶應用支撐、透明的服務注冊、服務發現、內建負載均衡、強大的故障發現和自我修復機制、服務滾動升級和在線擴容、可擴展的資源自動調度機制、多粒度的資源配額管理能力。

（3）數據庫系統滿足元數據存儲，知識存儲，關系存儲以及不同維度的搜索需要。

（4）計算引擎系統包括離線批處理平臺和實時處理平臺。離線批處理平臺建立在公有云環境上，計算引擎采用Apache Spark 2.0，支持分布式彈性數據集的快速計算和緩存。在計算引擎基礎上部署了Spark Job Server，最大化地利用了集群的計算資源，簡化了任務提交方法，提升了任務提交響應，可通過Restful接口提交和管理離線批處理任務。平臺定期對Spark Job Server和計算引擎進行心跳、任務數、任務運行情況的測量和監控，確保發生系統故障或系統過載時能及時處理。

（5）實時處理平臺從數據管道實時訂閱數據流，并進行分布式實時處理，采用的核心技術主要包括Apache Storm及Apache Spark Streaming。

（6）服務管理發放主要針對計算資源、存儲資源進行管理。對于離線批處理平臺、實時處理平臺，需對計算資源進行集中整合，并且具備計算資源的按需伸縮能力。

（7）日志系統提供針對日志類數據的存儲、檢索與分析服務，用戶無須開發就能快捷完成數據定制化分詞、存儲、檢索、分析功能，幫助提升運維、運營效率，快速查找和定位問題，高效索引和搜索海量數據，建立海量索引處理能力。

3.2 學習引擎層

（1）原始的視頻圖像實際上是一種非結構化的數據，它不能直接被計算機讀取和識別，為了讓視頻圖像在足球賽事中更好地應用，使用視頻識別引擎對視頻圖像進行結構化處理。將視頻內容（人、物、活動目標）特征屬性自動提取技術，對視頻內容按照語義關系，采用目標分割、時序分析、對象識別、深度學習等處理手段，分析和識別目標信息，組織成可供計算機和人理解的文本信息的技術。主要包括以下內容：

①事件拆條：通過智能化技術將已播出的節目拆條成一條條獨立的條目，然后用于豐富和完善新聞資訊節目數據的信息通道，提高節目內容的生產效率以及拆條后的視頻質量。

②字幕提取：制定食品文件，對指定區域的字幕進行識別，識別出文字;支持中文、英文的字幕識別[3]。節目畫面中往往已經有編輯好的標題，可以直接用于拆條后素材片段的標題。使用字幕識別技術，拆條系統只需要框選需要識別的標題畫面，系統會自動將畫面識別成標題文字，簡單快捷。

③結構化標準：事件元數據管理[4]，所屬頻道、節目、播出時間;按日期、時間段分段管理，某日期/時間內拆條事件;事件預覽，時間視頻、內容、文本、標題等匹配預覽。

（2）語音識別引擎將音頻文件識別成文字[4]，以文本形式輸出，支持聲紋識別，并支持語音斷點識別。語音識別模塊通過對指定音頻通道的音頻基帶信號進行解析，按照語音斷句記錄每個識別語句的起始時碼、結束時碼和識別的文本，識別結果會在物理素材的同目錄下生成一個和物理素材同txt文檔。拆條系統將此識別結果封裝成字幕文件，并和素材的其他數據信息一同存入數據庫的素材信息表中。

利用視頻識別及語音識別服務，智能判定直播開始與結束。利用語音識別技術，識別不同人物語音，并據此對直播進行打點，實現快速拆條。

3.3 業務應用層

包括球員識別、類型球識別、智能剪輯、信息可視化。利用學習引擎層訓練提取的模型參數，對輸入的直播視頻流進行目標監測、圖像分割，獲取的信息通過大數據技術構建可視化模型[5]，直觀地展示處理結果。

4 結語

通過三層架構的視頻處理模型，對直播的足球比賽進行實時處理，以識別和播報賽事中發生的行為事件（比如點球、任意球等）;識別場上的行為發生的球員，將球員的歷史數據與比賽進行中的事件進行關聯，智能化地對一場足球賽進行集錦剪輯等，做到關鍵信息的可視化、實時解說、實時展示。日后的業務中會有更多的需求將被實現，利用智能視頻處理分析技術將極大地提高體育賽事的節目效果，同時節省了人力物力，將會取得良好的經濟效益和社會效益。

參考文獻：

[1]謝沖.海量矢量數據的分布式存儲及時空查詢[D].湖北：武漢大學，2019.

[2]張鈺，基于云架構的音頻采錄拆條系統的設計與實現[J].電聲技術，2017，41（2）：4853.

[3]王智慧，李佳桐，謝斯言，等.兩階段的視頻字幕檢測和提取算法[J].計算機科學，2018，45（8）：5053，62.

[4]張末.新一代硬盤播出系統的設計與實現[D].遼寧：東北大學，2012.

[5]胡立如，陳高偉.可視化學習分析：審視可視化技術的作用和價值[J].開放教育研究，2020，26（2）：6374.