監播系統中視頻關鍵幀抽取器的設計與實現

柯 磊，龐 龍

（1.攀枝花學院 交通與汽車工程學院，四川 攀枝花 617000；2.中國傳媒大學 信息工程學院，北京 100024）

經過多年發展，我國已經建立了初具規模的廣播電視信號實時監測系統，對于準確掌握全國廣播電視安全播出情況起到了至關重要的作用[1-2]。隨著廣播電視政府主管部門對播出秩序與宣傳工作的進一步加強管理，如何實現廣播電視節目內容與頻道的高效鑒別成為廣播電視監測工作者需要迫切解決的問題[3-4]。此外，除了傳統的電視節目，多種媒體平臺節目的出現也對全媒體監播提出了需求。

針對這個問題，本文創新性地研究出了一種集模擬信號采集、存儲和傳輸為一體的播出監控設備——模擬抽幀器，為全媒體監播系統的建立做出了貢獻。模擬抽幀器是以搭載Linux操作系統的ARM處理器S3C2440A為主體，配合JPEG2000編碼芯片ADV212、協處理器FPGA芯片EP3C25等器件搭建而成的硬件設備。模擬抽幀器以循環抽幀，響應調度的方式實現了對全媒體監播系統中模擬信號部分的多模式、多任務監播。

1 全媒體監播系統

“全媒體監播”可以理解為以電視信號監播為主，在經過簡單設備改進和網絡升級后可以實現對互聯網、手機等多種平臺視頻信息的監播。全媒體監播系統對平臺和設備的通用性與靈活性要求很高，能夠適應不同平臺，不同制式的視頻節目[5-6]。

如圖1所示，全媒體監播系統自下而上分為4個部分：

圖1 全媒體監播系統結構示意圖

1）數據采集系統主要由針對模擬信號的模擬抽幀器和針對數字信號的數字抽幀器組成。配置于電視、互聯網、手機前端，針對視頻節目進行數據采集、壓縮，最終以圖片形式存儲于硬盤中。每幀圖片有對應的城市代碼、頻道信息、時間信息、壓縮質量等屬性。數據采集系統能夠通過IP網絡與上層的網絡傳輸系統和調度控制系統進行交互，響應控制指令進行數據的采集和回傳。

2）網絡傳輸系統主要由網絡傳輸服務器、數據中心服務器和數據庫組成。網絡傳輸系統有二級結構，下層是網絡傳輸服務器，負責幀數據的回傳和抽幀器的控制，上層是數據庫和數據中心服務器，負責數據的匯總。

3）調度配置系統主要由2臺高性能服務器組成，分別作為調度控制和配置控制節點使用。調度控制通過訪問數據中心的網絡服務器信息，找到抽幀器連接的網絡服務器節點并發送實時數據回傳調度指令，通過網絡服務器轉發指令，將抽幀器上傳的數據回傳給調度控制節點。配置控制以同樣的方式連接網絡服務器，使用網絡服務器中轉配置指令。

4）數據分析系統主要由數據庫和控制分析系統組成，負責對采集到的數據進行圖像比對、水印比對、人工識別和數據挖掘等進一步處理，從而提煉出有價值的信息。這種分析和挖掘是基于客戶需求的，能夠將最終的數據以表格、柱狀圖、餅圖、曲線圖、報表等客戶要求的形式呈現出來。

本文主要研究的對象是全媒體監播系統中模擬抽幀器的優化設計及產品實現，作為全媒體視頻監播系統中的底層設備，其功能實現和穩定性關系到整個監播系統的正常工作，因此具有十分重要的意義。

2 硬件平臺設計

2.1 功能需求與設計指標

模擬抽幀器應該實現對播出前端的視頻節目進行數據采集、壓縮、存儲和上傳的功能，對其要求具體來說有以下4個方面：

1）循環抽取。抽幀器能夠配置在有線電視終端，對各路頻道播放的節目進行圖像采集和壓縮。圖像采集包括對整幅圖像（全屏圖）和圖像中臺標區域（臺標圖）的采集，圖像壓縮是指針對某一頻道的圖像信號，選擇奇場或偶場圖像進行壓縮。

2）本地存儲。抽幀器能夠將壓縮好的圖像文件存儲到本地的硬盤中，圖像文件中應該額外加入產生該圖像的抽幀器的城市代碼、頻點信息和時間信息（精確到毫秒）。

3）遠程控制。抽幀器能夠接收、解析和響應網絡服務器發送或轉發的調度指令，完成本機的工作模式、工作時間、監控頻道等參數的設定，并根據接收的配置參數進行穩定抽圖和圖像回傳。

4）應急響應。抽幀器能夠響應網絡服務器轉發的應急指令，并做出工作模式的緊急調整，實現對頻道節目的實時監控。應急模式結束后，抽幀器能恢復到原有的工作模式繼續工作。除了實現上述功能以外，抽幀器還要達到以下的技術指標：

（1）抽幀頻率。抽幀頻率是指抽幀器每秒采集的圖像幀的數目，頻率越高，抽幀器的處理速度越快，設備的實時監控性能越好。這里規定抽幀器的抽幀頻率不低于10 f/s（幀/秒）。

（2）存儲能力。考慮到監播的時效性和節目播放的特點，每臺抽幀器應至少能夠存儲7天共168 h的圖像數據。

2.2 基本工作原理

如圖2所示，假設抽幀器有n路模擬信號輸入，則數據采集模塊的輸入為n路模擬電視信號或模擬視頻信號，輸出為1路數字視頻信號。對于“n選1”的方法，筆者采用了多路視頻間插復用的技術。

從通道1信號某一場的起始位置開始統計，很好理解此時通道1產生的圖像數據P1可以被捕捉和輸出。我們假設一場圖像的時長為t，那么設備選中通道1的時長為t1=t。當通道1信號捕捉完畢后，設備自動切換到通道2進行信號捕捉，此時通道1利用這個時間間隙進行頻道切換操作，通道1將進入不穩定狀態。當通道2被選定時，其中的信號可能并沒有位于圖像場的起始位置，此時需要等待一段時間直到捕捉到圖像場的起始位置，然后開始通道2的圖像數據輸出，設備選中通道1的時長為t2＞t。當通道2信號捕捉完畢后，設備自動切換到通道3進行信號捕捉，此時通道2利用這個時間間隙進行頻道切換操作，通道2將進入不穩定狀態。以此類推，當通道n完成圖像數據的輸出后，信號將切換到通道1進行新一輪的數據采集，此時通道1已經利用設備對其他n-1路信號捕捉的時間完成了頻道切換。

圖2 多路視頻通道抽取的工作原理

事實上，與每一場圖像的時長相比，頻道的切換需要花費的時間更多，尤其是對于模擬電視信號，當圖像質量較差時，頻道切換時間甚至可能是一場圖像時長的十幾倍。所以采用這樣間插復用的方式之后，換臺操作本身基本不會影響到抽取效率。在通道數目，即n值的選擇上，n太大則成本太高；n太小則不能保證抽取效率。綜合考慮這些因素，最終n取為4。在后面的驗證部分，通過試驗結果證明了通道數選取的合理性。

2.3 系統方案設計

根據任務及要求，對抽幀器設備做如圖3所示的方案設計，該方案中抽幀器包含數據采集模塊、數據壓縮模塊、核心處理器、數據存儲模塊、網絡傳輸模塊和人機交互模塊共6個核心模塊。

圖3 抽幀器方案設計示意圖

抽幀器各模塊的功能及接口參數如下：

1）數據采集模塊：如果輸入為模擬電視信號，則對輸入信號進行中頻變換，轉化為CVBS信號后進行模數轉換產生數字視頻信號輸出；如果輸入為模擬視頻信號，則直接進行模數轉換產生數字視頻信號輸出。由于技術指標中要求抽幀速度不低于10 f/s，因此必要時采用多路信號源輸入并引入間插復用機制保證最終產生單路穩定的數字視頻信號。

2）數據壓縮模塊：負責將輸入的數字視頻信號按場抽取并壓縮編碼為固定格式的圖像。圖像壓縮可選用JPEG或JPEG2000等靜態圖像壓縮算法，也可采用MPEG，H.264等活動圖像壓縮算法，并把待壓縮圖像作為非預測幀進行編碼。由于要求輸出的圖像不是完整的一幀，因此該模塊應該支持對定制視頻格式的處理，同時可以對壓縮率、圖像輸出格式、圖像輸出區域進行控制，較靈活地實現視頻流到圖像幀的轉變。

3）核心處理器：核心處理器是整個設備的大腦，總體控制和協調各模塊的工作。一方面它能夠接收上層的配置信息對抽幀器的工作模式進行配置，接收上層的調度指令將圖像數據讀取并回傳；另一方面它能控制將圖像數據存儲到本地的存儲設備中，同時對存儲設備進行基本的增刪改查操作，實現其容量預警、扇區避讓等功能。除此之外，還負責根據工作模式和工作狀態的不同，向人機交互模塊發相應指令進行控制和響應。

4）數據存儲模塊：主要負責圖像數據的本地存儲，在核心處理器的控制下實現對本地文件的增刪改查。技術指標中規定該模塊需要保證至少7天148 h的數據存儲量。

5）網絡傳輸模塊

功能描述：主要負責抽幀器設備與上層設備的交互。一方面接收上層設備發送的配置信息和調度指令，交給核心處理器響應；另一方面在核心處理器的控制下將本地的圖像數據傳送至上層設備。另外負責訪問NTP服務器完成抽幀器的網絡校時。

6）人機交互模塊：包含指示燈、液晶屏、按鍵等人機交互控件，便于人們控制和調試抽幀器。

2.4 硬件平臺實現

設備的信號處理板由以下3個主要的功能模塊組成：數據采集模塊、處理器模塊、壓縮/存儲模塊。

1）在數據采集模塊中，模擬高頻頭FQ1216能夠從有線電視網絡中接收電視信號，進行頻點選擇和降頻后輸出CVBS信號。經過模數轉換芯片TVP5154轉換成數字信號，最后經過四選一的操作輸出單路數字視頻信號。

2）作為主處理器，ARM處理器S3C2440A需要管理、協調系統各模塊的工作，負責配置指令的接收和圖像數據的傳輸。同時，FPGA協處理器EP3C25能夠提供足夠的邏輯單元、內部存儲器、時鐘管理器等，協助主處理器完成系統功能的實現，增加了設計的靈活性。

3）由于抽幀器要求能夠獲得某幀圖像中奇場或偶場的圖像數據，因此在數據采集模塊中標準的數字視頻流會進行拆分和重新組合，形成包含行場同步信號的場視頻流，顯然這是一種用戶定制的非標準視頻格式，需要數據壓縮模塊提供相應的接口來進行處理和壓縮。正是基于這一點需求，筆者使用ADV212編碼芯片對輸出的圖像進行進一步的壓縮處理。

在本地存儲方面，選擇希捷公司的SATA串口硬盤ST9500420AS作為抽幀器圖像數據的主要存儲設備，存儲空間500 Gbyte，轉速7 200轉/秒，緩存16 Mbyte，完全可以滿足抽幀器讀寫和存儲的要求，抽幀器的硬件實現框圖及成果如圖4～圖5所示。

圖4 抽幀器的硬件平臺實現框圖

圖5 抽幀器的硬件平臺實現結果

3 驗證與設計結果

3.1 閉環功能測試

閉環功能的測試，即針對抽幀器功能的測試，這些功能與上層設備的干預無關，只與抽幀器自己的工作狀態有關。抽幀器的閉環測試是抽幀器設備穩定工作的基本保障，站在全媒體監播系統的角度來說，這也是整個系統穩定運行的保障。根據抽幀器的功能要求，閉環測試主要包括抽幀測試和存儲測試兩個方面。

抽幀測試主要包括對臺標圖的抽取和對全屏圖的抽取，二者的區別在于圖像的大小和區域不同。如圖6所示為臺標圖的示例，圖像大小為230×74，圖像格式為JPEG2000。

圖6 臺標圖抽取結果示例

如圖7所示為全屏圖的示例，圖像大小為718×289，圖像格式為JPEG2000。全屏圖一般為某幀圖像中的奇場或偶場，是每個頻道內容的直接體現，也是監播系統中主要分析和處理的對象之一。通過對抽幀器進行的全屏圖和臺標圖的抽取功能測試，事實證明抽幀器能夠進行流暢的圖像抽取工作。

圖7 全屏圖抽取結果示例

3.2 聯調功能測試

聯調功能是抽幀器和上層設備交互的測試。根據抽幀器的工作模式可以分為常規模式下圖像抽取與回傳和應急模式下圖像抽取與回傳。

1）常規模式下圖像的抽取與回傳

常規模式下，抽幀器根據配置文件可能工作于兩種狀態下：邊抽邊傳和定時抽取定時回傳。需要注意的是，常規模式下無論哪一種工作狀態，抽幀器始終與網絡服務器進行交互。

邊抽邊傳是指抽幀器每抽取一幅圖像，就回傳一幅圖像，同時將圖像保留至本地硬盤中做備份，7天之后刪除。這種方式的優勢在于實時性好，上層設備可以實時地對抽回的圖像進行分析和處理，并調整抽幀器的工作狀態。這種工作狀態往往適用于對一些直播型節目的監控，作為常規模式的主要工作狀態。

定時抽取定時回傳是指抽幀器以24小時為周期，在一定時間段內抽取圖像存至本地，在另一時間段內將圖像回傳至上層設備，本地保存的圖像7天之后刪除。這種方式能夠很好地利用凌晨的網絡空閑期進行圖像上傳，適用于工作時間網絡擁塞嚴重的場景，缺點是時效性不強。通過對兩種狀態下的抽幀器工作進行了功能性測試，結果證明抽幀器能穩定地在上述兩種工作狀態下工作。

2）應急模式下圖像的抽取與回傳

應急模式是指抽幀器接到臨時的調度指令，打斷原有的工作狀態執行新的監控任務。應急模式的發起者是調度中心，響應應急指令的抽幀器需要實時地將圖像回傳至調度中心進行監看。這種模式適用于有人舉報播放非法節目時的應急處理，能夠在第一時間采集會舉報對象的節目信息。發起應急模式的調度中心界面如圖8所示，圖中調度中心正在窗口2對ID號為1120的模擬抽幀器進行實時監控，監控頻道為CCTV1。

圖8 應急模式下抽取結果示例（截圖）

3.3 技術指標測試

1）抽幀頻率的測試

為了測試抽幀器的實際抽幀頻率，在應用程序中添加了定時器，并按表1中的內容進行測試。輸入為4路模擬電視信號，信號質量較好。

表1 抽幀速度測試結果

從表1中可以看出，在抽幀器工作30 min后，各種工作模式下的抽幀速度趨于穩定。其中閉環測試的全屏圖抽取模式和聯調測試的定時抽取定時回傳模式工作情況類似，都是由抽幀器抽取圖像存至本地，在這種情況下，抽幀器的抽幀速率可以達到10.2 f/s；而聯調測試的邊抽邊傳模式和應急模式工作情況類似，需要抽幀器完成圖像抽取、存儲和回傳的功能，此時由于和上層設備存在數據包的交互，抽幀速度基本控制在每2秒抽1幀。

這里需要說明的是，抽幀器的抽幀速度和模擬信號的質量有關，當信號非常好時，閉環測試下的全屏圖抽取平均速度可以達到接近11 f/s，但是當信號十分差時，全屏圖抽取平均速度可能降到6 f/s左右。為保證信號質量，在設計抽幀器設備時加入20 dB增益的信號放大器。經過測試證明，抽幀器的性能和功能均達到技術要求。

2）存儲量評估

抽幀器平均每幅圖的大小約為40 kbyte，那么抽幀器7天內產生的平均數據量為：（50 kbyte/幅×10幅/秒×86 400秒/天）×7天，約為288.4 Gbyte，抽幀器的硬盤容量為500 Gbyte，完全具備存儲抽幀器7天內采集數據的能力。

4 小結

我國目前已經建立了中央、省、市、縣的四級節目播出體系，而針對這種體系所建立的監播系統卻只能涵蓋到中央、省、市三級，對于縣級的監播一直處于空白。已有的監播系統采取的是“舉報回看”的方式，會導致監播的滯后性。針對這些問題，本文提出了一整套循環抽幀和遠程調度監播的方法，成功研制了硬件設備即抽幀器，實現了對監播數據的高效采集和快速響應和回傳，為我國建立新的監播體系做出了有益的探索。

[1] 黃忠寶.實用電視監播系統[J].電視技術，2001，25（8）：77-79.

[2] 王新舸，羅志強.代表幀及其提取方法[J].電視技術，2010，34（10）：26-28.

[3] 陳秀新，賈克斌，鄧智玭.融合時序特征和關鍵幀的視頻檢索方法[J].電視技術，2011，35（3）：21-24.

[4] 呂晨，溫淑鴻.基于I幀數據采集的廣電監播系統關鍵技術[J].電視技術，2012，36（18）：79-81.

[5] 龍清.基于顏色特征的電視圖像檢索[J].電視技術，2012，36（8）：68-71.

[6] 王海濤，馬建倉.廣播電視監播系統簡介[J].電聲技術，2007（12）：73-76.