基于幀間相關測量的視頻幀運動程度分類

岳宇辰

（陸軍裝甲兵學院 兵器與控制系，北京 100072）

0 引 言

壓縮感知理論的提出，有效地解決了頻帶較寬的數字圖像與視頻信號按傳統Nyquist-Shannon采樣定理進行數據采樣時，按照先采樣后壓縮的數據處理方式造成采樣資源嚴重浪費的問題[1]。它在采樣端合并了數據采樣與數據壓縮過程，尋找最少的測量系數線性表述信號，并利用圖像或視頻信號的稀疏性作為先驗，在重建端通過重建算法從測量值中實現重建原始信號的高概率重建[2,3]。視頻信號可以通過在采樣端將每個視頻幀分塊處理，然后再分別使用相同的測量矩陣獨立采樣[4]。此類方法雖然具有較快的重建速度與重建質量，但忽略了視頻幀間存在的強相關性。因此部分學者在測量域將運動估計和運動補償加入視頻壓縮感知過程，形成了基于多假設預測的視頻壓縮感知，在重建端先進行測量值的初始重建，再通過運動估計得到更高質量的預測輔助重建，但該方法忽略了視頻序列中的運動特性。文獻[5]通過自適應塊采樣的方式在一定程度上利用了視頻序列內不同區域的運動特性，但極大增加了采樣端的計算復雜度，反而背離了壓縮感知的初衷。綜上所述，為利用視頻序列的幀間相關性，簡單直接地獲取視頻幀的運動情況，本文提出一種基于幀間相關測量的視頻幀運動程度判斷方法，根據待重建視頻塊與其在參考幀中匹配塊測量值之差將待重建視頻塊劃分為近似靜止塊、緩速運動塊以及快速運動塊，為視頻幀有針對性的分類重建奠定基礎。

1 視頻塊運動程度判斷方法

視頻信號的測量值維數與視頻幀的采樣率呈正相關，使用相同的重建算法時，視頻序列測量值與重建質量同樣呈正相關，即隨著視頻幀的采樣率增加，視頻序列的測量值維數越高，重建質量越好。另外，雖然視頻存在幀間相關性，但視頻中各視頻幀的運動情況也不盡相同，采用相同的重建算法對視頻序列中每一幀的重建質量也會存在較大差異。綜上，可以總結出影響視頻幀重建質量的兩個因素為視頻幀采樣率和視頻幀運動程度。視頻幀重建質量常用峰值信噪比（Peak Signal to Noise Ratio，PSNR）進行客觀評價，其定義式為：

式中，MSE為均方誤差，定義M×N維圖像x的MSE為：

設xt,i是視頻序列X第t幀中的第i塊，它與前一幀中相同位置塊xt-1,i之間的殘差能量反映了幀Xt與Xt-1在此位置上的幀間相關性，表達式為：

式中，殘差能量E(xt-1,xt,i)很大程度上會受視頻序列亮度和對比度等信息的影響。為消除結果對視頻信息的依賴性，采用相對能量來表述視頻幀運動程度，即：

在重建端只能獲取視頻幀的測量值，于是采用測量域相對殘差能量描述視頻幀運動程度，公式為：

設定閾值τ1和τ2區分各視頻塊的運動程度，若e(yt-1,yt,i)＜τ1，則將xt,i劃分為近似靜止塊；若τ1＜e(yt-1,yt,i)＜τ2，則將xt,i劃分為緩速運動塊；若e(yt-1,yt,i)＞τ2，則將xt,i劃分為快速運動塊。

2 判斷條件有效性與分類閾值分析

首先通過實驗驗證提出的e(yt-1,yt,i)能發揮和e(xt-1,xt,i)相同的作用，可以用于視頻塊運動程度分類條件。通過實驗對比相同采樣率下e(xt-1,xt,i)與e(yt-1,yt,i)對相同視頻幀進行運動程度判斷結果。為保證較快的采樣速度與較多的采樣信息，設定采樣率為0.2，分塊尺寸為8×8，單位為像素，實驗對象為352×288的CIF格式的標準測試序列Hall、M&D、Tempete、Foreman、Coastguard、Stefan、Football以及Soccer的若干連續視頻幀，此時序列的每一幀都會被分為1 584個視頻塊。以序列的第10幀為例，運動程度判斷結入圖1（a）和圖1（b）所示，橫坐標視頻塊序號完全相同。

圖1 Foreman序列兩類方法判斷結果對比圖

e(xt-1,xt,i)和e(yt-1,yt,i)的判斷結果具有相似的分布狀態和變化趨勢，可以直觀看出兩種判斷方法能發揮相同作用。接下來通過實驗分析并計算運動程度判斷閾值τ1和τ2，實驗對象選用相同的標準視頻序列，以e(xt-1,xt,i)結果作為標準，對比驗證e(yt-1,yt,i)判斷結果的準確性。以8個實驗對象的第17幀和第18幀為例，計算并統計不同的判斷閾值τ1和τ2對8個視頻序列的第10幀，共12 672個視頻塊的分類結果，其中統計e(yt-1,yt,i)分類正確視頻塊數及正確分類概率，設定當通過e(yt-1,yt,i)得出的視頻塊分類結果與通過e(xt-1,xt,i)得出的分類結果相同，即劃分視頻塊類型一致且所處位置相同時，認為e(yt-1,yt,i)分類結果正確。通過多次反復實驗，得出當τ1=3×10-3，τ2=0.15時，e(yt-1,yt,i)對視頻塊分類的正確率達到最高，正確判斷近似靜止塊的平均概率為91.34%，正確判斷緩速運動塊的平均概率為92.74%，正確判斷快速運動塊的平均概率為95.38%。可見測量域相對殘差能量也可以按照視頻塊運動情況大概率做到正確分類，證明了e(yt-1,yt,i)條件的有效性。

3 結 論

本文提出的基于幀間相關測量的視頻幀運動程度分類方法可以在重建端快速判斷視頻塊的運動程度，計算復雜度低且正確率很高，有效提高了采樣效率，并且為后續視頻塊的分類重建打下了基礎。