H.264標準壓縮視頻的超分辨率重建

黃 哲，陳 浩，張 曄

(1.哈爾濱工業大學圖像與信息技術研究所，哈爾濱 150001，huangzhe.hit@gmail.com;2.北京宇航系統工程研究所，北京 100076)

H.264標準壓縮視頻的超分辨率重建

黃 哲1，2，陳 浩1，張 曄1

(1.哈爾濱工業大學圖像與信息技術研究所，哈爾濱 150001，huangzhe.hit@gmail.com;2.北京宇航系統工程研究所，北京 100076)

為利用低分辨率壓縮圖像序列來重建高分辨率圖像序列，提出一種在凸集投影(POCS)方法框架下基于整數DCT域量化噪聲模型的針對H.264標準壓縮視頻的超分辨率重建方法.首先建立壓縮視頻的降質退化模型，然后根據H.264標準中的整數DCT變換和量化過程建立整數DCT域的量化噪聲模型，最后在凸集投影算法的框架下給出了基于整數DCT域量化噪聲的超分辨率重建算法.實驗表明該算法的超分辨率重建結果的主觀質量提高明顯，峰值信噪比可達到30 dB，一般迭代5次即可得到良好結果，算法復雜度較低.

超分辨率重建;整數DCT變換;量化噪聲;H.264壓縮視頻

圖像超分辨率重建是指利用一系列低分辨率圖像來恢復原始高分辨率圖像的重建過程.基于多幀圖像的超分辨率算法最早由Tsai和Huang［1］提出;Stark［2］和 Petti［3］等將凸集投影(POCS)理論應用到圖像超分辨率重建當中;Schultz和Stevenson［4］建立了基于最大后驗概率(MAP)準則的超分辨率重建方法.這些方法在解決傳統圖像超分辨率重建問題時都取得良好的效果.

因原始視頻的數據量十分龐大而難于存儲和應用，所以壓縮視頻成為視頻在應用中的主要形式，也形成了多種視頻壓縮標準，如MPEG和H.26X系列標準等.壓縮過程勢必引入下采樣、模糊和量化噪聲等降質過程.為解決這些問題，提高壓縮視頻的還原質量，針對壓縮視頻的超分辨率重建逐漸成為研究熱點.初期的研究將傳統的超分辨率重建方法應用于壓縮視頻，但因沒有考慮壓縮過程的降質特點而存在諸多弊端［5－6］.后來涌現出很多針對壓縮視頻的超分辨率重建方法，如Gunturk［7］和 Segall［8］等提出在貝葉斯框架下的基于最大后驗概率(MAP)準則的重建方法;Altunbasak和 Patti等［9－10］利用壓縮過程中的量化噪聲提出基于凸集投影(POCS)理論的重建方法.這些方法多數是針對以8×8 DCT變換為核心的MPEG等視頻壓縮標準.如今以4×4整數DCT變換為核心的H.264標準已逐漸成為主流，可針對H.264標準的超分辨率重建研究卻很少.

本文充分考慮H.264標準的特點，首先建立視頻在壓縮過程中的降質模型;其次分析H.264標準中整數DCT變換和量化的特點，建立整數DCT域量化噪聲模型;然后提出在凸集投影(POCS)理論框架下的整數DCT域壓縮視頻超分辨率重建算法;最后進行仿真實驗，分析實驗結果和算法性能.

1 模型的建立

1.1 壓縮視頻模型

研究如何利用壓縮后的低分辨率序列來重建原始高分辨率序列的基礎之一，就是建立高分辨率原始視頻和低分辨率壓縮視頻的關系，即壓縮視頻模型.

本文將所有圖像均用一維向量表示.原始大小為pM×pN的高分辨率圖像用(p2MN)×1的向量f表示，其中p為伸縮因子;經過下采樣、模糊等降質過程后得到大小為M×N的低分辨率圖像用(MN)×1的向量g表示;將g壓縮后得到大小為M×N的解壓縮圖像，用(MN)×1的向量表示;通過超分辨率重建算法得到大小為pM×pN的高分辨率重建圖像，用(p2MN)×1的向量^f表示.可由壓縮碼流獲得，所以壓縮視頻超分辨率重建就是一個利用低分辨率解壓縮圖像來恢復高分辨率重建圖像^f的過程.

1.2 整數DCT變換和量化的噪聲模型

其中CfXCTf是二維正向變換核，Ef是尺度因子矩陣，符號?表示兩個矩陣中的對應點相乘，d=c/b ≈ 0.41［11］.

H.264標準為在減少整數DCT變換環節中的非整數運算的同時保證變換的正交性，將b，c和d的值重新分配，就得到了最終的4×4整數DCT變換，即

上述整數DCT變換就是H.264編碼器中采用的主要變換方式，是傳統DCT變換的近似，在保證其正交性的同時擁有和傳統DCT變換幾乎一樣的壓縮性能，并避免了大量的非整數運算.其反變換為

因為該變換是正交的，所以有如下關系:

H.264標準中的量化部分采用的是尺度量化器，其基本的正向量化和反向量化分別為

其中Yij是碼塊經過整數DCT變換后在系數矩陣Y中(i，j)處的系數;Y′ij是Zij經反向量化后得到的整數DCT系數矩陣Y′中(i，j)處的系數;Qstep為量化步長，由QP值決定，Rround函數表示取整操作.取整操作使量化后的結果丟棄了小數部分，在減少數據量的同時帶來的后果是Y′ij≠Yij，造成了整數DCT系數的失真，即信息的丟失.這種信息的丟失，可以認為是在原有整數DCT系數上面加或者減去一個絕對值小于0.5Qstep的噪聲，因此，用引入加性量化噪聲Ndij的方式來表示，即:

其中Ndij表示由于量化而引入到整數DCT域每個系數上的加性量化噪聲.

由(4)和(5)得

其中ndQ表示整數DCT域量化噪聲的一維向量，nQ是表示空域量化噪聲的一維向量，且ndQ=T(nQ).

將(6)帶入(1)得

上述推導給出了整數DCT域和空域的量化噪聲模型，以及原始高分辨圖像和解壓縮端得到的低分辨率圖像的關系.可以看出壓縮端的運動估計并不出現在原始高分辨圖像和解壓縮低分辨率圖像的關系式中，因此本文將整數DCT域量化噪聲降質模型作為后續超分辨率重建方法的基礎.

將前文對碼塊矩陣的整數DCT變換和量化轉換為對碼塊向量的操作.如果將碼塊矩陣X用16×1的一維向量x表示，整數DCT變換域系數矩陣Y用16×1的一維向量y表示，則(2)和(3)通過矩陣變換可以表示為

其中TDCT為16×16的整數DCT變換矩陣，TIDCT為16×16的反向整數DCT變換矩陣.

量化和反量化可以表示為

其中z為16×1的一維向量.

2 基于量化噪聲模型的POCS超分辨率重建算法

POCS算法中的初始值理論上可以是任意值，足夠致密的有效解集中任意解都是可以接受的重建結果，但初始值和限制集的選擇直接決定了算法的收斂速度和重建效果.下面，本文就根據前面的整數DCT域量化噪聲模型推導限制集，并給出相應的投影算法來完成超分辨率重建.

2.1 基于量化噪聲模型的限制凸集

下面來建立整數DCT域量化噪聲模型的限制凸集.因為Rround函數表示四舍五入的取整操作，可以得出

對于高分辨率原始圖像f經過下采樣后的低分辨率圖像g=Cf和它的低分辨率解壓縮圖像來說，它們對應的4×4的碼塊都應該滿足即g和在對應4×4碼塊上的差值經過整數DCT變換后每個變換域系數的值都在區間(－0.5Qstep，0.5Qstep)當中.式中(i，j)表示4 ×4碼塊在圖像中的位置.

這樣就可以構造一個如下的集合:

2.2 量化噪聲模型的POCS算法

在文獻［9－10］，［12］和［13］中提出的針對MPEG視頻壓縮標準中DCT變換及量化的凸集投影算法的基礎上，利用前文建立的針對H.264標準的視頻壓縮模型和整數DCT域量化噪聲模型，提出在凸集投影算法框架下的基于整數DCT域量化噪聲限制集的壓縮視頻超分辨率重建算法，表達式如下:

當每個碼塊對應的Δk(m，n)都已計算出來后就可得到Δk.在計算ΔDk(m，n)時，如果每一個Dk(m，n;i)(1≤i≤16)都在區間(－0.5Qstep，0.5Qstep)時，則放棄對這個碼塊的修正，保持其原始空域的值不變.通過上面的過程將Δk計算出后，就可以通過式(8)迭代計算出.當所有的Dk(m，n;i)都在區間(－ 0.5Qstep，0.5Qstep)時就停止迭代運算，此時的就是最后的超分辨率重建結果.迭代運算的起始值理論上可以設為空間中的任何一個向量，此處將低分辨率解壓縮的圖像的雙線性插值圖像作為，因為此方法一般得不到收斂的解，所以本算法認為經過若干次迭代之后，若^fk的質量不再明顯變化時就停止迭代，此時的^fk就是超分辨率重建結果.

3 實驗結果及分析

用實驗來驗證上述整數DCT域超分辨率重建方法的性能.首先，將CIF(352×288)大小的foreman序列中的一幀作為高分辨率原始圖像，對其下采樣得到4幅QCIF(176×144)大小的圖像，并構成一個低分辨率序列.然后用JM8.6軟件按照H.264標準的baseline檔次，QP值設為 28，對上述低分辨率圖像序列進行壓縮，其中第1幀作為I幀，其他3幀為P幀，壓縮比為27倍.解壓縮后得到4幀低分辨率序列，對其中的一幀進行雙線性插值得到一幅CIF大小的圖像f0.以f0作為起始點利用上述算法進行迭代得到最終的重建結果，如圖1所示，細節對比如圖 2，對mobile序列與上述相同的實驗，結果如圖3所示.

上面的實驗中重建結果的峰值信噪比(RPSN)相比雙線性插值算法有很大的提高，可以達到30 dB以上.同樣，重建結果相比雙線性插值算法在信噪比(SNR)方面具有明顯的優勢，提升均在5 dB以上.同樣可以看出視覺效果上細節信息更加豐富.同時本文算法通過較少迭代次數可得到穩定的重建結果，如圖4所示，兩組實驗均迭代5次即可得到穩定的重建結果.對foreman序列在不同QP值下用JM8.6軟件壓縮并用本文算法進行重建，其結果相對于雙線性插值算法重建結果的RPSN增量，如圖5所示.而SNR的增量也有同樣的趨勢.因此得出本文算法在QP較小的情況下，具有更優的重建效果.采用分塊操作盡可能化簡了運算中矩陣和向量的大小，節省了計算時間和所需內存.

圖1 foreman序列實驗結果

圖2 細節對比

圖3 Mobile序列實驗結果

圖4 RPSN隨迭代次數變化曲線

綜上所述，本文提出的基于整數DCT域量化噪聲的壓縮視頻超分辨率重建方法在峰值信噪比和信噪比方面相比傳統的插值算法有較大的提高，而且運算復雜度低，該算法中所使用的大量整數運算使其具有良好的優化前景.

4 結論與展望

圖5 RPSN增量與Qstep的關系

本文提出的基于整數DCT域量化噪聲的壓縮視頻超分辨率重建方法，針對H.264標準的壓縮視頻擁有較好的主觀重建效果，峰值信噪比較雙線性插值等方法有較大提高，收斂速度較快，對計算機資源消耗較小.但本文的算法仍有很多局限性，例如只考慮量化噪聲這一個壓縮視頻降質因素，并沒有考慮由于預測和運動補償等原因引起的降質過程;算法需要已知降質矩陣C，而通常這個矩陣也具有不確定性.在未來針對H.264標準的壓縮視頻超分辨研究當中，可以進一步引入運動補償等降質模型;同時也可以根據整數DCT域量化噪聲的統計模型建立在貝葉斯框架下的壓縮視頻超分辨算法.

［1］TSAI R，HUANG T.Advances in Computer Vision and Image Processing［M］.Greenwich:JAI Press Inc，1984:317－339.

［2］STARK H，OSKOUI P.High-resolution image recovery from image-plane arrays，using convex projections［J］.Journal of the Opt Soc of America， 1989，6(11):1715－1726.

［3］PATTI A J，SEZAN M I，TEKALP A M.Super-resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time［J］.IEEE Trans on Image Processing， 1997，6(8):1064－1076.

［4］SCHULTZ R R，STEVENSON R L.Extraction of high resolution frames from video sequences［J］.IEEE Trans on Image Processing，1996(6):996－1001.

［5］SEGALL C A，MOLINA R，KATSAGGELOS A K.High-resolution images from low-resolution compressed video［J］.IEEE Signal Processing Magazine， 2003，20(3):37－48.

［6］徐忠強，朱秀昌.壓縮視頻超分辨率重建技術［J］.電子與信息學報， 2007，29(2):499－505.

［7］GUNTURK B K，ANTUNBASAK Y，MERSEREAU R.Bayesian resolution-enhancement framework for transform-coded video［C］//IEEE Int.Conf.Image Processing.Thessaloniki，Greece:［s.n.］，2001:444.

［8］SEGALL C A，KATSAGGELOS A K，MOLINA R，et al.Bayesian resolution enhancement of compressed video［J］.IEEE Trans on Image Processing， 2004，13(7):898－911.

［9］PATTI A J，ALTUNBASAK Y.Super-Resolution image estimation for transform coded video with application to MPEG［C］//IEEE International Conference on Image Processing.Kobe，Japan:［s.n.］，1999:179 －183.

［10］ALTUNBASAK Y，PATTI A J，MERSEREAU R M.Super-resolution stilland video reconstruction from MPEG coded video［J］.IEEE Trans.on Circuits and System for Video Technology， 2002，12(4):217 －226.

［11］RICHARDSON IAIN E G.H.264 and MPEG －4 Video Compression［M］.England:John Wiley and Sons Inc，2003:189－190.

［12］CHAUDHURI S.Super-Resolution Imaging［M］//SEGALL C A，KATSAGGELOS A K，MOLINA R.The International Series in Engineering and Computer Science.Norwell:Kluwer，2001:211 －242.

［13］胡辛.壓縮圖像超分辨重建算法研究［D］.西安:西安電子科技大學，2006:37－38.

Super-resolution reconstruction of H.264 compressed video

HUANG Zhe1，2，CHEN Hao1，ZHANG Ye1

(1.Institute of Image and Information Technology，Harbin Institute of Technology，Harbin 150001，China，huangzhe.hit@gmail.com;2.Beijing Institute of Astronautical Systems Engineering，Beijing 100076，China)

To reconstruct high-resolution(HR)images from a sequence of low-resolution(LR)compressed images，this paper proposes a novel algorithm focused on super-resolution reconstruction of H.264 compressed video，which is based on the integer DCT transform-domain quantization noise.Firstly，models of compressed video and integer DCT transform-domain quantization noise are surveyed.Then the reconstruction algorithm under the POCS theory is proposed.Experimental results demonstrate that this algorithm has a great improvement in subjective visual quality and low computation complexity，in which PSNR can reach 30 dB and iterations are less than 5 times.

super-resolution reconstruction;integer DCT;quantization noise;H.264 compressed video

TN911.73

A

0367－6234(2010)05－0721－06

2009－03－24.

黑龍江省自然科學基金資助項目(ZJG04－0701).

黃 哲(1983—)，男，碩士研究生;

張 曄(1960—)，男，教授，博士生導師.

book=42,ebook=95

(編輯 張 宏)