一種自適應采樣率視頻壓縮感知方案

左覓文，常 侃，施靜蘭，覃團發

（廣西大學 計算機與電子信息學院，廣西 南寧 530004）

一種自適應采樣率視頻壓縮感知方案

左覓文，常 侃，施靜蘭，覃團發

（廣西大學 計算機與電子信息學院，廣西 南寧 530004）

為了進一步提高視頻壓縮感知方案的重構圖像質量，提出了一種新的自適應采樣方案。在該方案中，根據不同圖像塊的稀疏度自適應分配采樣率。在對各圖像塊分類判決時，首先判斷圖像塊在離散余弦變換域的稀疏度，其次結合該圖像塊與其參考幀之間的時域相關性，確定圖像塊的分類。實驗結果表明，與現有的自適應采樣率分配方案相比，該算法可獲得0.5 dB左右的峰值信噪比增益。

視頻圖像處理；壓縮感知；自適應采樣率；稀疏度

近年來，Candès和Donoho等人提出了壓縮感知（Com?pressive Sensing，CS）理論[1]。該理論突破了香農定理的瓶頸，可以用遠低于奈奎斯特采樣定理要求的速率采樣信號，同時又可以完美恢復信號[2]。壓縮感知理論被提出后，在許多領域受到了高度的關注，如醫學圖像、遙感成像、視頻編碼等。

這幾年，壓縮感知理論在視頻編碼中的應用得到了迅速的發展。視頻壓縮感知（Compressive Video Sensing，CVS）方案，一般都是發端簡單，收端較為復雜。為了獲得高重構質量，許多的重構算法被提出，常見的信號重建算法有：凸優化算法、全變差范數算法、貪婪算法等。然而在追求高重構質量的同時，同樣希望能夠降低采樣率，所以在發端怎樣合理的分配采樣率成為了關注的焦點。目前國內外已有學者提出了不同的自適應采樣率方案，例如蔣業文等人提出的通過離散小波變換域對圖像每級分解時的每個子帶中應用分塊采樣的自適應采樣率方案[3]，但是算法復雜度過高；Garrett Warnell提出的自適應采樣方法，將圖像分為前景和背景，根據關注度的不同分配不同的采樣率[4]，但是這種方法犧牲背景的重構質量，對整個視頻幀重構質量的提高沒有起到太大的作用；基于時域相關性，練秋生等人又提出了新的一種自適應采樣的方法[5]，根據非參考幀與參考幀的時域相關性大小來分配不同的采樣率，但是這種方法忽略了單幀圖像里不同塊的稀疏度不同，從而造成了對圖像塊分配采樣率不夠準確。

為了解決文獻[5]中的缺陷，本文提出了一種基于稀疏度的圖像塊分類判決的方案。首先判斷在離散余弦變換域（Discrete Cosine Transform，DCT）內各圖像塊的稀疏度，然后在測量域判斷圖像塊的時域相關性大小，結合圖像塊的稀疏度與時域相關性大小，將圖像塊分為平滑近似塊、普通近似塊、紋理近似塊、平滑變化塊、普通變化塊、紋理變化塊，依次分配由低到高的采樣率。實驗結果表明，在相同的采樣率甚至是更低的采樣率下，本文算法比文獻[5]算法獲得更高質量的重構圖像。

1 現有的變采樣率分塊CVS方案

基于時域相關性以及分塊測量方式[6]，文獻[5]提出了一種基于變采樣率的多假設預測分塊視頻壓縮感知方案。在該方案中，對參考幀采用固定的高采樣率S3進行測量；對非參考幀采用變采樣率進行測量，根據當前幀與參考幀的時域相關性大小將其圖像塊劃分為3類：近似不變塊、緩慢變化塊和快速變化塊。其中，時域相關性的大小用測量域的殘差能量與參考塊能量的比值來作為判決準則

給近似不變塊、緩慢變化塊和快速變化塊分別分配采樣率S1，S2，S3，其中S1＜S2＜S3。對應的采樣點數為M1，M2，M3。非參考幀的總采樣率計算如下

式中：K1，K2，K3分別表示近似不變塊、緩慢變化塊以及快速變化塊的數量；K表示幀內圖像塊的總個數，且滿足K=K1+K2+ K3；n2表示非參考幀總像素數點。

在接收端，對參考幀直接進行獨立重構。重構非參考幀時，首先對近似塊進行預處理——采用參考幀中對應位置塊的測量值將其測量值補齊至M個采樣點；其次，對非參考幀進行多假設預測[7]，并對接收端經過預處理后的測量值與真實測量值的殘差進行重構。

上述方法利用時域相關性進行分類判決，但是這種方案忽略了一幀圖像內不同圖像塊的空域復雜度。事實上，圖像塊越稀疏，所需要的采樣率就越低。僅考慮時域相關性有可能造成對圖像塊分配采樣率不準確：對稀疏度低的近似塊分配的采樣率過低，影響重構效果；對稀疏度高的緩慢變化塊（或者快速變化塊）分配的采樣率過高，浪費資源。針對該問題，本文提出了一種新的自適應采樣率視頻壓縮感知方案。

2 提出的自適應采樣率CVS方案

2.1 方案總體框架

視頻信號中，一幀圖像里不同圖像塊是具有不同稀疏度的，越稀疏的塊，重構圖像所需要的采樣點數就越少。在塊分類判決操作中結合時域相關與圖像塊的稀疏度，可以更為合理地分配采樣率。基于該思想，本文提出一種自適應采樣率CVS方案，該方案框圖如圖1所示。

圖1 提出的自適應采樣率視頻壓縮感知框圖

由圖1可見，與文獻[5]的方法不同，本文方案在圖像塊的分類判決操作中（圖1中非參考幀采樣端虛線框部分）結合了幀內圖像塊的稀疏度，將圖像塊分為6類，分別是：平滑近似塊、普通近似塊、紋理近似塊、平滑變化塊、普通變化塊、紋理變化塊。2.2節將對6類圖像塊的分類方法進行說明。

2.2 圖像塊的分類標準

2.2.1 塊的稀疏度判斷

判斷圖像塊在DCT域的稀疏度[8]。用閾值t1來判定DCT系數的大小，系數模值大于t1的系數定義為較大系數，系數模值小于等于t1的系數定義為較小系數。在CS重建中，小系數可以近似忽略而對結果沒有太大的影響，因此小系數可以近似視為0。換而言之，較小系數越多，約等于0的系數越多，圖像塊稀疏度也就越高，所需采樣率越低；反之，較大系數越多，約等于0的系數越少，圖像塊稀疏度就越低，所需采樣率越高。定義稀疏度大的塊為平滑塊，稀疏度適中的塊為普通塊，稀疏度小的塊為紋理塊。統計圖像塊中較大系數的個數N來判斷圖像塊稀疏度的大小。

式中：t2和t3為判斷稀疏度大小的閾值。

2.2.2 塊的變化程度判斷

首先，按照式（1）求出圖像塊測量域的殘差能量與參考塊能量的比值E，然后通過閾值t4來判斷圖像塊變化程度，即

2.2.3 塊的分類判決

結合塊的變化程度與稀疏程度將其分為6類：平滑近似塊、普通近似塊、紋理近似塊、平滑變化塊、普通變化塊、紋理變化塊。

依次給它們分配由低到高的采樣率λ1，λ2，λ3，λ4，λ5，λ6。

2.3 算法流程

在發送端，對非參考幀的自適應采樣流程如下（見圖2）：

步驟1，對圖像分塊，分成m個n×n大小的圖像塊，并且令i=1。

圖2 算法流程

步驟2，對第i塊圖像塊進行DCT變換，并計算該塊的N值。

步驟3，根據式（3）判斷該塊的稀疏程度。

步驟4，根據式（1）和式（4）來判斷該塊的變化程度。

步驟5，根據式（5）來來判斷塊的種類并根據式（6）對該塊分配采樣率。如果塊的種類為平滑近似則對該塊進行λ1采樣，轉向步驟11，否則執行步驟6。

步驟6，如果塊的種類為普通近似則對該塊進行λ2采樣，轉向步驟11，否則執行步驟7。

步驟7，如果塊的種類為紋理近似則對該塊進行λ3采樣，轉向步驟11，否則執行步驟8。

步驟8，如果塊的種類為平滑變化則對該塊進行λ4采樣，轉向步驟11，否則執行步驟9。

步驟9，如果塊的種類為普通變化則對該塊進行λ5采樣，轉向步驟11，否則執行步驟10。

步驟10，如果塊的種類為紋理變化則對該塊進行λ6采樣。

步驟11，如果i≥m則結束整個壓縮采樣過程，否則，令i＝i+1，重新執行步驟2。

在接收端，塊的判決分類為6種，分別為：平滑近似塊、普通近似塊、紋理近似塊、平滑變化塊、普通變化塊、紋理變化塊（圖1中非參考幀重構端虛線框部分），并對平滑近似塊、普通近似塊、紋理近似塊進行預處理——采用參考幀中對應位置塊的測量值將其測量值補齊至λ6個采樣點。對非參考幀的重構方法與文獻[5]中的VS-MH算法保持一致。

3 實驗結果

為了驗證本文提出的自適應采樣率方案的重構效果，本文分別用文獻[5]中的VS-MH算法與本文算法（簡稱為VS-MH-E）對QCIF格式的susie以及CIF格式的foreman，news，oastguard這4組標準視頻序列進行仿真比較實驗，同時列出了原始固定采樣率算法MH[7]的結果作為比較基準。本文將參數設定如下：閾值t1，t2，t3，t4分別取經驗值為4，16，30，0.003，采樣率分別為λ1=3%，λ2=4%，λ3=5%，λ4=20%，λ5=30%，λ6=50%。為了獲取相近的采樣率，VS-MH的閾值分別為l1=0.003，l2=0.15，S1=5%，S2=20%，S3=50%。為公平起見，在VS-MH-E以及VS-MH中，塊的大小均固定為8×8，參考幀的采樣率都固定為50%，重構參考幀與殘差時均采用BCS_SPL算法[8]。

表1給出了VS-MH-ST圖像塊分類的情況。由表1可知：在序列susie，foreman，news，coastguard中，本文的方法合理的將圖像塊分成6種屬性。susie，foreman，news序列里都是以人物為主，包括頭發、眉毛等變化比較突變的細節部分，所以最后判斷出來會有一小部分紋理近似塊和紋理變化塊。這是與客觀事實符合的。而coastguard這個序列里幾乎3/4都是水面，相對頭發、眉毛等細節要平滑些，幾乎沒有很突變的細節部分，并且本文紋理屬性塊的劃分取決于閾值t3的大小，在實驗中t3所取的經驗值相對比較大，所以造成最后塊判決分類中沒有紋理近似塊與紋理變化塊。

表1 VS-MH-E中判決塊分類的結果%

當圖像塊是具有近似屬性的塊，但同時又有紋理特性，本文方法就會相應地提高此塊的采樣率，從而達到更好的重構效果；當圖像塊是具有變化屬性的塊，但同時又有平滑特性，本文的方法就會稍微降低此塊的采樣率，這樣可以節省一部分采樣率并且也不會太影響重構的效果。表2給出了兩種方法的非參考幀質量，由表可知本文方法中，susie和news都能在比文獻[5]方法更低的采樣率下，將重構質量分別提高了0.59 dB和0.12 dB；foreman和coastguard序列在與文獻[5]方法相同的采樣率下，分別將重構質量提高了0.44 dB和0.43 dB。其中susie和foreman序列中紋理變化塊是5個序列中比較多的，按照本文的方案，將紋理變化塊的采樣率提高比較多，從而這兩個序列整個圖像的重構質量提高的幅度也是最大的。而coastguarad中的普通變化塊比例高達44.7%，本文方案對普通變化塊的采樣率也有小幅提高，最后重構質量提升的幅度也是比較大。而news序列中的塊大多集中在平滑近似塊和平滑變化塊，所以提升采樣率的塊比較少，從而重構質量提升比較小。

表2 非參考幀重構質量比較dB

圖3和圖4分別為news，susie序列部分的主觀質量重構效果圖。可以看到news序列中人物與背景相接處這個突變區域的重構質量有了明顯的提高，而susie序列中眼睛，嘴巴這些突變部位的塊效應明顯降低，可見本文方案對稀疏度較小的塊提升采樣率是有效的。由實驗仿真結果可以看出本文方案極大程度地抑制了塊效應的產生，提升了圖像的重構質量。

4 小結

本文在自適應采樣率方案中引入了圖像的稀疏度，結合當前幀與參考幀的時域相關性將圖像塊分為6類，提高了圖像塊采樣率分配的合理性。根據實驗結果可知，提出的方案可以獲得比現有自適應采樣率算法更高的重構圖像質量，從而證明本文提出算法的有效性。下一步的工作重點將圍繞著任意總采樣率下的分塊采樣率的最優分配問題展開。

圖3 news序列的局部重構結果

圖4 susie序列的局部重構結果

[1]CANDESE，ROBER J，TAO T.Roubust uncertainty principles：ex?act signal reconstruction from highly incomplete frequency infor?mation[J].IEEE Trans.Information Theory，2006，52（2）：489-509.

[2]石光明，劉丹華，高大化，等.壓縮感知理論及其研究進展[J].電子學報，2009，37（5）：1070-1081.

[3]蔣業文，于昕梅.基于DWT的多尺度分塊變采樣率壓縮感知圖像重構算法[J].中山大學學報，2013，52（3）：30-33.

[4]WARNELL G，REDDY D，CHELLAPPA R.Adaptive rate com?pressive sensing for background subtraction[C]//Proc.ICASSP 2012.[S.l.]：IEEE Press，2012：1477-1480.

[5] 練秋生，田天，陳書貞，等.基于變采樣率的多假設預測分塊視頻壓縮感知[J].電子與信息學報，2013，35（1）：203-208.

[6] GAN L.Block compressed sensing of natural images[C]//Proc.15th International Conference on Digital Signal Processing（DSP 2007）.Cardiff，UK：IEEE Press，2007：403-406.

[7]TRAMEL E，FOWLER J.Video compressed sensing withmultihy?pothesis[C]//Proc.IEEE Data Compression Conference（DCC 2011）.Snowbird，UTah：IEEE Press，2011：193-202.

[8]張淑芳，李凱，徐江濤，等.基于壓縮感知的圖像自適應編碼算法[J].天津大學學報，2012，45（4）：319-324.

[9] MUN S，FOWLER J.Block compressed sensing of images using directional transforms[C]//Proc.International Conference on Im?age Processing（ICIP 2009）.Cairo，Egypt：IEEE Press，2009：3021-3024.

責任編輯：時 雯

Adap tive Rate Com pressed Video Sensing Schem e

ZUO Miwen，CHANG Kan，SHI Jinglan，QIN Tuanfa
（School of Computer and Electronic Information，Guangxi University，Nanning 530004，China）

To improve the performance of compressed video sensing（CVS），a new adaptive sampling rate scheme is proposed in this pape.In such a scheme，the sampling rate is allocated according to the sparsity of each image block.Firstly，the sparsity in discrete cosine transform（DCT） domain for each block is estimated.Then，the classification of image block is determined according to both temporal correlation and spatial sparsity.Experimental results show that compared with the existing adaptive rate CVS methods，this proposed one can get about 0.5 dB Peak Signal to Noise Ratio（PSNR）increment.

video image processing；compressed sensing；adaptive sampling rate；sparsity

TN919.8

A

10.16280/j.videoe.2015.02.018

左覓文（1991—），女，碩士生，主要研究方向為壓縮感知、視頻編碼；

常 侃（1983—），博士，副教授，碩士生導師，主要研究方向為壓縮感知、視頻編碼與傳輸；

施靜蘭（1990—），女，碩士生，主要研究方向為壓縮感知、稀疏表示；

覃團發（1966—），博士，教授，主要研究方向為無線多媒體通信、網絡編碼、視頻編碼和圖像檢索。

2014-03-02

國家自然科學基金項目（61261023）；廣西自然科學基金項目（2011GXNSFD018024；2013GXNSFBA019272）；廣西教育廳科學研究項目（201203YB001）

【本文獻信息】左覓文，常侃，施靜蘭，等.一種自適應采樣率視頻壓縮感知方案[J].電視技術，2015，39（2）.