利用反向投影的flash場景自適應視頻編碼算法

梁傳君，徐 亮

(新疆工程學院 計算機工程系，烏魯木齊 830011)

利用反向投影的flash場景自適應視頻編碼算法

梁傳君，徐 亮

(新疆工程學院 計算機工程系，烏魯木齊 830011)

針對閃光造成的光照變化會導致視頻幀之間巨大的強度差異問題，提出利用反向投影的flash場景自適應視頻編碼算法；根據直方圖差異提取閃光和非閃光幀，相應地為每個幀分配適當的編碼類型，并在加權預測(WP)參數集確定中采用運動向量導數，通過反向投影保證flash場景的全局一致性；實驗結果顯示，提出的算法在Lena、Peppers、Building、Baboon、Nestling 5個視頻上的峰值信噪比(PSNR)值分別可高達32.31 dB、34.14 dB、34.76 dB、34.94 dB、35.05 dB，非常接近原始圖像的PSNR；相比其他幾種加權預測算法，提出的算法在PSNR及計算復雜度方面均獲得了更加優越的編碼性能。

Flash場景；自適應編碼；加權預測；峰值信噪比；反向投影；計算復雜度

0 引言

在新聞發布會、體育比賽、新聞采訪等場合上閃光造成的光照變化會導致視頻幀之間巨大的強度差異[1]，這在運動估計和視頻編碼補償中很容易被認錯[2]。

基于幀的加權預測(Weighted Prediction Based on Frame, WPBF)是一種加權預測(Weighted prediction, WP)方法[3]，它僅能對具有全局亮度變化的場景進行編碼，例如有效地淡入和淡出，但不能編碼具有flash場景局部亮度變化的場景[4]。基于宏塊(Macroblock, MB)的方法用于解決局部亮度變化問題[5]，但是在執行運動估計(Motion Estimation, ME)中增加了計算復雜度[6]。有文獻基于宏塊概念擴展到多視點的視頻以解決視圖中光照和焦點的不匹配[7]。還有文獻采用二次搜索算法，第一次搜索中，使用平均刪除搜索計算窗口中的視差向量，第二次平均刪除搜索通過過濾參考量找出每個MB的最佳匹配，該算法也需要很高的計算復雜度，且僅適合多視點視頻編碼[8]。自適應稀疏域選擇算法(Adaptive sparse domain selection algorithm, ASDS)通過差值和修復非閃光幀來解決flash場景編碼的問題，然而閃光幀的客觀質量下降較嚴重[9]。

基于上述分析，為了解決閃光造成的光照變化會導致視頻幀之間巨大的強度差異問題，提出一種利用反向投影的flash場景自適應視頻編碼算法，根據直方圖[10]差異提取閃光和非閃光幀，相應地為每個幀分配適當的編碼類型，并在WP參數集確定中采用運動向量導數[11]。實驗結果表明，提出的算法在編碼flash場景中相比傳統算法具有更好的性能。

1 提出的自適應flash場景編碼算法

閃光燈的顯著特點是在很短的時間內同一場景幀之間的亮度突變。采用提出的基于MB的加權預測對閃光幀進行編碼工作，根據輸入場景中的閃光自適應改變編碼順序，以提高編碼的效率[12]。非閃光幀ft+2可以通過其他非閃光幀ft進行預測，因此ft+2不會產生大量的比特。算法流程圖如圖1所示。

圖1 提出的算法的流程圖

1.1 基于flash的自適應編碼順序

要達到這一效果，需要進行閃光場景檢測，因此可以改變預測結構中的編碼順序，從而更易于得到具有閃光燈效果的視頻序列的編碼增益。閃光燈檢測方法在視頻自動索引、瀏覽和檢索方面已被廣泛研究，研究表明[13]，可通過計算平均強度或直方圖與相鄰圖像之間比值，以完成對一個flash幀的定位。提出的算法通過改進文獻[13]提出的基于直方圖差異化(Histogram differentiation, HD)的方法，使其更加適用于視頻編碼。

對于編碼一個m幀的flash場景，兩個非閃光幀和m-2閃光幀應該考慮在內。令fFLS和fFLE分別代表一個flash場景的開始和結束幀，fFLS和fFLE之間的關系可以寫為：

Luma(fFLE)≈Luma(fFLS)

(1)

式中，Luma(f)表示所有像素p(x,y)的平均亮度值，幀f的大小為w和h時，可以表示為：

(2)

閃光時亮度水平開始從fFLS-1到fFLS有一個較大的增加，即Luma(fFLS-1)?Luma(fFLS)。隨后是一段恒定從fFLS到fFLS+m-3的高亮度水平，并結束于亮度水平從fFLS+m-3到fFLS+m-2一個較大的下降，即fFLS+m-3?fFLS+m-2。然后根據幀之間的直方圖差異，flash場景檢測的問題可以轉換為確定fFLS-1和fFLE+1。幀fa和幀fb之間的直方圖差異可以表示為：

(3)

其中，Hist(fa)x和Hist(fb)x分別表示fa和fb的第x位的歸一化亮度，每個直方圖劃為64位用于噪聲抑制和快速計算。因此，fFLS-1的直方圖Hist(fFLS-1)，fFLS的直方圖Hist(fFLS-1)從左偏移到右。fFLS+m-2的亮度水平Luma(fFLS+m-2)保持與閃光燈效果后fFLS-1的亮度水平Luma(fFLS-1)相似的水平，即Luma(fFLS+m-2)≈Luma(fFLS-1)。因此，fFLS-1和fFLS+m-2之間的直方圖差異HD(fFLS-1,fFLS+m-2)是非常小的，得到以下的關系：

HD(fFLS-1,fFLS+i-3)>k·HD(fFLS-1,fFLS+m-2),3≤i≤5

(4)

k是一個控制flash場景檢測器敏感度的整數。

為了檢測flash場景，采用一個n幀的滑動窗口，其第一幀是被編碼的當前幀fc。計算fc和滑動窗口中其他幀之間的直方圖差異HD(fc,fc+j)，1≤j≤n。如果存在滿足關系式(4)的fFLS+m-2(m

1.2 基于MB的運動向量加權預測

(5)

1.3 使用反向投影保證全局一致性

利用反向投影[15]保證全局一致性。設Xi為加權后的視頻幀，為了最小化Xi與當前B幀之間的距離，通過梯度下降法求解以下最小化問題：

(6)

式中，c>0為權衡參數。修正后的梯度下降方法為：

Xi+1=Xi-v[(Xi-Xi-1)+c(Xt-B)]

(7)

式中，v>0為步長參數，將優化后的X作為具有全局一致性的flash場景。

2 實驗結果

在兩個具有flash場景的720p視頻序列上進行實驗來評估各種加權預測算法的性能，測試序列均為25幀每秒。每個實驗分別執行100次，每次實驗使用不同的觀察序列，這些序列在每個實驗中通過特定過程生成。仿真實驗在配置為Win7操作系統、intel酷睿II處理器、1.86 GHz主頻、2.95 GB RAM的PC機上進行，使用MATLAB 7.1編程。除此之外，還在3個標準序列的每幀中間應用了合成的閃光燈，進行實驗來表明運動活動、flash持續時間和閃光燈強度在不同算法上的影響。將提出的算法與3種算法進行比較，分別為WPBF、二次搜索算法和ASDS。

為了比較算法的性能，使用峰值信噪比(Peak Signal to Noise Ratio, PSNR)[16]指標，PSNR定義如下：

(6)

式中，MSE為原視頻序列與估計視頻序列的均方誤差，且PSNR越高表明性能越佳。

在Lena、Peppers、Building、Baboon、Nestling 5個視頻上進行編碼實驗，計算幾種算法的PSNR值，測量結果如表1所示，分辨率增強因子設為2，PSNR值越高表示圖像的高頻成分越多。

表1 幾種算法的PSNR值 (dB)

從表1可以看出，提出的算法在Lena、Peppers、Building、Baboon、Nestling 5個視頻上的PSNR值分別可高達32.31 dB、34.14 dB、34.76 dB、34.94 dB、35.05 dB，非常接近原始圖像的PSNR，相比其他幾種算法，提出的算法在大多數情況下均能獲得最高的PSNR值，表明該算法的編碼效果更好。

表2所示為各個算法在實驗平臺保持一致情況下的平均運行時間。

表2 各個算法的平均運行時間比較

從表2可以看出，WPBF算法的運行時間最少，因為WPBF算法最簡單。通過對MATLAB中常見的視頻序列分別進行上述4種算法運算處理，提出的算法運行時間僅略高于WPBF，而少于其他幾種比較的算法。

綜合表1和表2中的數據可知，提出的算法在保證較高的編碼效率情況下，仍能保持較低的計算復雜度，可見其優越性。

3 結論

針對閃光造成的光照變化會導致視頻幀之間巨大的強度差異問題，提出一種利用反向投影的flash場景自適應視頻編碼算法。該算法根據直方圖差異提取閃光和非閃光幀，相應地為每個幀分配適當的編碼類型，并在加權預測參數集確定中采用運動向量導數，通過反向投影保證了全局一致性。在兩個具有flash場景的720p視頻序列上進行實驗來評估幾種加權預測算法的性能，在PSNR和平均運行時間方面對幾種算法進行比較，驗證了提出的算法的有效性。實驗結果表明，與傳統的加權預測算法相比，提出的算法在PSNR及運行時間方面獲得了更優越的編碼性能。

未來會將提出的算法應用于其他的flash場景，同時引入其他的編碼技術，從而更好地改善PSNR和降低算法執行時間。

[1] 孫中廷, 華 鋼, 徐永剛. 基于雙邊信息的分布式視頻壓縮感知模型研究[J]. 計算機測量與控制, 2015, 23(10): 3545-3548.

[2] Zhang Z, Hou J, Ma Q, et al. Efficient video frame insertion and deletion detection based on inconsistency of correlations between local binary pattern coded frames [J]. Security & Communication Networks, 2015, 8(2): 311-320.

[3] 李 鵬, 彭宗舉, 李持航,等. 基于紋理特性與空域相關的高效視頻編碼幀內分級快速算法[J]. 計算機應用, 2016, 36(4): 1085-1091.

[4] Lim S W, Moon J H. Weighted Prediction considering Global Brightness Variation and Local Brightness Variation in HEVC[J]. 2015, 20(4): 489-496.

[5] 王鳳隨, 王冠凌, 瞿成明,等. 基于宏塊多相關性的多視點視頻編碼方法[J]. 計算機工程, 2015, 41(2): 258-262.

[6] Strelow D W. Motion Estimation from Image and Inertial Measurements[J]. International Journal of Robotics Research, 2015, 24(5): 463-482.

[7] 王鳳隨, 沈慶宏, 都思丹. 多視點視頻編碼快速幀間模式選擇算法[J]. 計算機應用, 2014, 34(1): 167-170.

[8] 孫新領, 馬紹惠, 徐平平. 基于SIR粒子濾波和局部搜索算法的運動目標跟蹤方案[J]. 湘潭大學自科學報, 2016, 38(2): 84-88.

[9] 盧 迪, 林 雪. 一種改進自適應權重稀疏區域立體匹配算法[J]. 哈爾濱理工大學學報, 2016, 21(1): 83-88.

[10] 童學鋒, 李書萌, 沈廣策,等. 基于直方圖對無損數據隱藏的立體圖像編碼[J]. 同濟大學學報(自然科學版), 2015, 43(8): 1226-1233.

[11] 張雨濃, 勞穩超, 丁瑋翔,等. 基于ARIMA與WASDN加權組合的時間序列預測[J]. 計算機應用研究, 2015, 32(9): 2630-2633.

[12] Wang Z, Dong S, Wang R, et al. Dynamic macroblock wavefront parallelism for parallel video coding [J]. Journal of Visual Communication & Image Representation, 2015, 28(3): 36-43.

[13] Wu C J, Wang Q, Li H, et al. DWI-associated entire-tumor histogram analysis for the differentiation of low-grade prostate cancer from intermediate-high-grade prostate cancer [J]. Abdominal Radiology, 2015, 40(8): 3214-3221.

[14] Li S, Fu J, Liu P, et al. An Information Hiding Approach Based on Integer Transform Coefficient and Virtual Space Encoding for H.264/AVC [J]. Circuits, Systems, and Signal Processing, 2015, 34(11): 3573-3594.

[15] 駱巖紅, 李公平, 文 茜,等. 基于投影缺失正弦圖的CT圖像重建研究[J]. 計算機應用研究, 2015, 32(2): 609-612.

[16] 黃 璇, 楊曉梅. 基于低秩及全變分的視頻超分辨率重建[J]. 計算機應用研究, 2015, 32(3): 938-941.

Adaptive Video Coding Algorithm for Flash Scene Using Back Projection

Liang Chuanjun, Xu Liang

(Department of Computer Engineering, Xinjiang Institute of Engineering, Urumqi 830011, China)

Aiming at the huge intensity difference between video frames caused by the illumination change of flash, adaptive video coding algorithm based on flash scene is proposed in this paper. The flash and non flash frames are extracted according to the histogram difference, corresponding coding types are allocated for each frame correspondingly, and the motion vector derivative is used in the weighted prediction (WP) parameter set determination. And the back projection is used to keep the global consistency of flash scene. The experimental results show that the peak signal to noise ratio (PSNR) achieved by the proposed algorithm on the five videos Lena, Peppers, Building, Baboon and Nestling can arrive at 32.31 dB, 34.14 dB, 34.76 dB, 34.94 dB and 35.05 dB, respectively, which is nearly to PSNR of the primary images. And compared with the traditional weighted prediction algorithm, the proposed algorithm achieves better coding performance in terms of PSNR and computational complexity.

flash scene; adaptive coding; weighted prediction; peak signal to noise ratio; back projection; computational complexity

2017-01-13；

2017-02-21。

新疆維吾爾自治區高校科研計劃青年教師科研啟動基金項目(XJEDU2014S074)；新疆工程學院科研基金項目(2015xgy101712)。

梁傳君(1980-)，女，碩士，講師，主要從事算法設計、圖像處理等方向的研究。

1671-4598(2017)07-0243-03

10.16526/j.cnki.11-4762/tp.2017.07.060

TP391

A