基于幀處理時間模型的多視點視頻解碼延遲系統設計

王華君，李榮，徐燕華，孟德建

?

基于幀處理時間模型的多視點視頻解碼延遲系統設計

王華君，李榮，徐燕華，孟德建

摘 要：針對多視點視頻結構復雜、帶寬大小非常有限的問題，提出了基于幀處理時間模型的多視點視頻解碼延遲分析框架，該框架的譯碼器在具有多線程處理能力的多核處理器上實現。首先，假設解碼延遲系統每幀在一個獨立專用的處理器上被解碼；然后，利用有向無環圖(DGA)計算硬件解碼延遲；最后，在每次迭代中，計算解碼計時和解碼幀的數量，定義解碼時間間隔。在多視點視頻實驗中，對于雙核處器解碼計算量在60ms能得到500ms下的通信延遲值，對于四核處理器100ms解碼計算量也能得到500ms下的通信延遲值。實驗結果表明，一幀處理時間的上限值可以保證目標延遲值，該框架可以應用到最小通信延遲的多視點視頻編碼系統。

關鍵詞：多視點視頻編碼；解碼延遲；多線程處理；有向無環圖

0 引言

最近幾年，三維（3D）顯示技術的進步使得3D視頻在不久將來會形成一個新興和可持續的市場。3D視頻和自由視點視頻（FFV）是一類新的視覺媒體，它們相對于2D視頻擴大了用戶體驗并提供3D深度體驗和交互式視點選擇[1]。現在，這類視覺媒體開始進入消費市場，如娛樂和移動應用[2]。但3D視頻所需數據格式比2D視頻信號更加復雜。3D視頻的數據格式頻譜是從純粹的基于像多視點視頻（同一個場景的多個視點）的數據格式圖像到像3D網格和相應的紋理的計算機圖形學的數據格式[3]。一個廣泛采用的方法是將包含多視圖視頻和深度序列的數據格式作為額外的幾何信息，允許在虛擬攝像機生成額外的視點[4]。然而，多視點視頻的大小隨視點數目增長的同時，可利用的帶寬非常有限。

文獻[5]提出一種用于分析編碼延遲的多視點編碼（MVC）的框架，以此為基礎，本文提出了基于幀處理時間模型的多視點視頻解碼延遲分析框架，提供精確評價譯碼延遲的工具，用于分析MVC編解碼器處理過程對系統延遲的影響。

2 系統設計

2.1 MVC的通信延遲

MVC系統的結構圖和增加在兩端之間的通信延遲的元素如圖1所示：

圖1　MVC系統結構圖

對每幀而言，系統延遲是變化的，因為編碼處理過程使編碼和譯碼延遲發生變化，如不同類型的幀、預測結構等，和傳輸通道延遲的可變性。為了保持幀以恒定的速率顯示，通信延遲對所有幀必須有一個恒定的值。因此，通過先前的塊去中和延遲的可變性。接收端有一個解碼幀緩沖池，產生顯示延遲，它對每幀是可變的。實踐中，通信延遲可以表示為公式（5）：

在并行MPD模型，解碼器將接收到的幀的解碼任務分派給其中一個解碼器，而不必等待可利用的空閑處理器。即解碼的開始時刻為，使得公式（9）：

由（13）和（11）有公式（10）：

并且用（10）得公式（11）：

公式（11）用圖論求解，下面作簡要描述。對任何可行的MVC預測結構，可以提取一個有向無環圖（DAG）[8,9]，視頻幀是DAG的節點，預測依賴關系作為邊。每個有向邊緣連接一個參考節點（父節點）和一個來自參考節點的預測節點（孩子節點），如圖2所示：

圖2　圖中邊權重的重要性

DAG的每個邊有一個相關的權重值，它表示父節點對孩子節點解碼延遲的貢獻大小。如圖2所示，連接和的邊權重如公式（12）：

2.3 幀處理時間模型

根據幀在特定的處理器上的解碼時間定義一幀解碼過程的計算量包括I，P，B）。將一個I幀的解碼過程的計算量作為參考，這個參考在解碼過程中被作為非額外運動補償。然后，將作為P幀的解碼過程計算量，同樣，表示B幀的解碼計算量，P，B幀的計算量對是成比例的，計算如公式（13）：：

式（13）中，αP和αB是縮放因子。對一個K個處理器的解碼器，在給定的時間幀的數量增加時，并行計算將發生，幀的數量比K大。也依賴于解碼管理器如何對可用處理器分配幀。本文模型假設如下：如果幀同時在一個處理器中被解碼，計算這些幀的解碼處理時間是這些幀計算量的倍。即幀處理時間公式（14）：

2.4 MPD模型解碼延遲的迭代計算

假設每幀在一個獨立專用的處理器上被解碼，在每次迭代中，解碼計時圖是被計算并且在同時解碼幀的數量比處理器數目多條件下，定義解碼時間間隔。本文按照處理器使用情況更改幀處理時間。在一個處理器同時處理的情況下更新處理時間，迭代算法的流程圖如圖3所示：

圖3　計算并行MPD模型解碼延遲迭代算法的流程圖

迭代0次（初始化變量，假設每幀在一個獨立專用的處理器上被解碼）

就如何安排、設計針對學生、家長和教師的正確激勵機制，以實現學習成績最優化問題。Hanushek et al(2003)在教育的同伴效應研究中指出經濟機制起著重要作用[24]。有大量證據證實學生學習成績受他們同伴影響，學生成績依賴于對其他人行為的研究(不僅僅是他們的個性特性和社會背景)，這會導致個人最優行為和群體最優行為之間的差異，這一問題至今沒有被分析。

3）隨著時間推移，在處理器p中同時被解碼的幀的數量初始化值是

迭代次數K

4）通過來自迭代次數K-1的時間△t，在處理器P中解碼過程消耗的時間是如公式（15）：

那些幀中更新幀的處理時間為公式（17）：

6）返回1。

3 實驗與分析

實驗主要分析解碼延遲和MVC解碼器的參數對并行MPD模型的影響。測試方法如下：給定一個預測結構和通信延遲目標值，在那些參數的可能組合中找潛在目標值。為了在上面分析獲取的參數情況下，使用一幀在特定的處理器上的解碼時間表示處理器吞吐量。和處理器吞吐量（每個時間單元解碼幀的數量）成反比。

聯合多視點視頻模型JMVM是包括對訪問預測的IBP預測模式。計算3個或者5個視點的4幀預測結構。所有實驗均假設一個無限處理能力的MVC解碼器[5]。解碼器的幀處理時間參數已在普通PC機上估計出：2.40GHz的4核處理器，3.25GB內存。沒有考慮仿真的傳輸延遲值。解碼時間參數值如表1所示：

表1　MVC解碼器參數值

圖4　通信延遲結果

對不同JMVM預測結構的同一類型結果如圖5所示：

圖5　處理器數量和處理器吞吐量

證明了本文方法可以解決MVC解碼器的設計問題。例如，給定一個目標通信延遲值，一個預測結構和一個確定的處理器吞吐量，可找到最少數量的處理器在目標值下實現通信延遲。或給定處理器數量，可以計算出在保證目標通信延遲值下幀處理時間的最大值。另外帶有分層時間預測結構和IBP訪問預測的不同JMVM預測結構結果[10]。

4 總結

本文提出了一個針對多視點解碼器解碼延遲的系統分析框架。在實時應用系統中，精確估計解碼延遲對實現一個最小通信延遲是一個必要因素。該框架完成了MVC解碼器對通信延遲值影響的分析，能夠設計最小通信延遲解碼器，實驗結果表明了在多視點視頻編碼系統中的有效性。

參考文獻

[1] Smolic A. 3D video and free viewpoint video—from capture to display[J]. Pattern recognition, 2011, 44(9): 1958-1968.

[2] 林立翔. 基于HEVC的3D視頻編解碼研究[D]. 北京郵電大學, 2014.

[3] Battisti F, Bosc E, Carli M, et al. Objective image quality assessment of 3D synthesized views[J]. Signal Processing: Image Communication, 2014, 34(18): 1106-1012.

[4] 高利杰. 基于深度圖像的多視點立體圖像中的虛擬視點生成算法研究[D]. 山東大學, 2013.

[5] Carballeira P, Cabrera J, Ortega A, et al. A framework for the analysis and optimization of encoding latency for multiview video[J]. Selected Topics in Signal Processing, IEEE Journal of, 2012, 6(5): 583-596.

[6] Vetro A, Wiegand T, Sullivan G J. Overview of the stereo and multiview video coding extensions of the H. 264/MPEG-4 AVC standard[J]. Proceedings of the IEEE, 2011, 99(4): 626-642.

[7] 孫立峰, 蔡飛飛, 楊士強. 多視點視頻雙向實時轉碼技術的設計與實現[J]. 中國圖象圖形學報, 2014, 21(4)：1225-1231.

[8] Thulasiraman K, Swamy M N S. Graphs: theory and algorithms[M]. John Wiley & Sons, 2011.

[9] 田婷, 余勝生, 郭紅星, 等. 視頻解碼計算復雜度的線性建模理論及在線預測方法[J]. 計算機學報, 2012, 35(10): 2048-2062.

[10] Carballeira P, Cabrera J, Ortega A, et al. Comparative latency analysis for arbitrary multiview video coding prediction structures[C]. IS&T/SPIE Int. Conf. on Visual Communications and Image Processing, VCIP 2009, 27(14): 1257-1265.

Design of Multi-view Video Decoding Delay System by Using Frame Processing Time Model

Wang Huajun, Li Rong, Xu Yanhua, Meng Dejian
(School of Engineering, Taihu University of Wuxi, Wuxi 214064, China)

Abstract:For the issue that multi-view video has more complex structure and very limited bandwidth with the needing for the decoding delay analysis system, a framework of analysis of the decoding delay in multi-view coding (MVC) is proposed. The decoder of the framework achieves on multi-core processors capabilities of multi-threaded processing. Firstly, decoding delay system assumes each frame is decoded in a separate dedicated processor. Then, a directed acyclic-graph (DGA) is used to compute hardware decoding delay. Finally, the decoding timing and the number of decoded frames are calculated, and the decoding interval is defined. In multi-view video experiments, for dual-core decoder, the calculating cost in 60ms can get the delay value under 500ms. And for a four-core processor, the calculating cost in 100ms can also obtain the delay value under 500ms. Therefore the experimental results shows that a frame the upper limit of the processing time of a frame can guarantee target delay value, and the framework can be applied to multi-view video coding system of minimum communication delay.

Key words:Multi-view Video Coding; Decoding Delay; Multi-threaded Processing; Directed Acyclic-graph

收稿日期：（2015.07.17）

作者簡介：王華君（1979-），男（漢），江蘇宜興人，太湖學院，工學院，講師，碩士，研究方向：圖像處理、模式識別等，無錫，214064 李 榮（1978-），女（漢），江蘇淮安人，太湖學院，工學院，講師，碩士，研究方向：圖像處理、人工智能等，無錫，214064徐燕華（1979-），女（漢），江蘇無錫人，太湖學院，工學院，講師，碩士，研究方向：圖像處理、智能算法等，無錫，214064孟德建（1979-），男（漢），江蘇揚州人，太湖學院，工學院，講師，博士，研究方向：圖像處理、視頻處理等，無錫，214064

基金項目：江蘇省高校自然科學研究項目（14KJB520036）

文章編號：1007-757X(2016)02-0032-04

中圖分類號：TP391

文獻標志碼：A