基于人類視覺系統的視頻編碼方法
2009-01-01 00:00:00汪大勇孫世新舒劍欒素文
計算機應用研究 2009年1期
（1.電子科技大學 計算機科學與工程學院， 成都 610054；2.解放軍通信指揮學院， 武漢 430010）
摘 要：提出一種基于視覺特點的視頻編碼方法，通過利用人眼的視覺特征，找出其中的聚焦點和聚焦區域，并計算各個區域的權值，然后根據權值來確定各個運動補償塊以及碼率分配。在碼率分配部分，該方法通過計算不同區域的圖像復雜性和能量，依據聚焦區權重因子不等重地分配可用碼率資源。實驗證明，該方法較大程度改善了視頻編碼的壓縮效率，提高了碼率分配的靈活性和有效性。
關鍵詞：視頻編碼；人類視覺系統；聚焦點；聚焦區；碼率分配
中圖分類號：TP37；TN91981 文獻標志碼：A
文章編號：10013695(2009)01039203
Video coding method based on human visual system
WANG Dayong1，SUN Shixin1，SHU Jian1，LUAN Suwen2
(1.School of Computer Science Engineering， University of Electronic Science Technology of China， Chengdu 610054， China；2.Commanding Communications Academy of PLA， Wuhan 430010， China)
Abstract:This paper presented a video coding method based on human visual system. Through the use of the feature of the human visual system， detecting the fovea point and fovea region， computing the weight of fovea region， according to weight of fovea region to decide the size of motion compensated block and bit allocation.Proposed bit allocation strategy according to the complexity of region and the weight of fovea region. Software simulation results show that the method can improve the image quality both objectively and subjectively.
Key words:video coding; human visual system; fovea point; fovea region; bit allocation
網絡視覺服務，如網絡視頻廣播、視頻點播、視頻會議、遠距離醫學在21世紀將會非常流行。因此，網絡視頻通信最近成為一個非常活躍的領域。其中一個最大的挑戰是網絡帶寬不足以傳輸大量的數據。為了解決這個問題，在最近三十年人們在視頻壓縮方面做了大量的努力。
筆者根據人類視覺系統(HVS)來考慮視頻編碼。根據人類視覺系統特點可以用來提高視覺質量的評價標準。雖然一般認為人類的視覺系統還不能提供精確、一般和魯棒性的算法去測量視頻質量，但是使用一些合適的人類視覺系統的特征能夠對當前的視頻編碼算法有很大的改進。本文利用人類視覺系統的聚焦點特征，也就是說人類視覺系統是一個高空間變化系統，空間分辨率在聚焦點最高隨著離心率的增加而迅速下降。利用這種特征，許多外圍區域的高頻冗余信息可以被刪除而重建圖像和視頻質量沒有大的損失[1~5]。
1 人類視覺系統特征
11 聚焦點設置
本文的主要想法是聚焦點區域優先編碼。在編碼過程前要選擇聚焦點。最好聚焦點的選擇應該根據應用的需要來選擇。在此嘗試用一種靈活的設計方法以便能夠應用于不同的情況。
首先，要選擇多個聚焦點，其理由[6，7]如下：
a)固定點一般只在一個很小的區域內很小地移動。
b)許多觀察者在同一時間內觀察圖像。
c)圖像內可能存在多個點或區域吸引觀察者優先觀察。
d)某些聚焦點可以放在那些眼睛非常敏感容易失真的區域。
其次限制聚焦點的搜索區域。理論上在觀察圖像內的任何像素均可能成為聚焦點。事實上，測試所有可能的像素點要求很高的計算能力。同時，編碼聚焦點的位置需要許多的比特，將會導致編碼比特中很大的花費。另外，由于聚焦點小的變化將不會使視覺質量和系統編碼產生大的不同，不值得花費太多的比特數和計算能力去產生和編碼聚焦點的位置和計算該聚焦模型。這里首先設計將圖像用16×16塊來編碼，候選聚焦點被限制在這些塊的中間。由于這些原因，計算量被大幅度下降從而每個塊僅僅需要1 bit去編碼選擇信息的聚焦點。使用這種方法，原始圖像的1∕16×16二元圖將會產生。該圖像將會使用嫡編碼如算術編碼算法技術進一步地壓縮。
12 人類視覺系統模型
121 聚焦點的分辨率和敏感度
心理實驗用來測量視網膜離心率的對比度。下面的一個模型比較符合實驗數據[8]：
CT(f，e)=CT0exp[αf（e+e2）/e2]（1）
其中：f為空間頻率（圈/度）；e為視網膜離心率（度）；CT0為最小的對比門限；α為空間頻率延遲常量；e2為半分辨離心率常量；CT為可見對比門限。
最合適的參數值是α=0.106，e2=2.3，CT0=1/64。對比敏感度定義為對比門限的倒數：
CS(f，e)=1/CT(f，e)(2)
標準化后的對比度（亮度顯示對比度的強度）。其中:N=512和v=3，白色曲線顯示的截頻率。
對一個給定的分辨率e，式（1）可以用來計算它的臨界頻率或稱為截頻率fc，任何超過這個值的頻率成分均看不到。fc可以通過設置CT為10，f的解[9]為
fc(e)=e2 ln(1/CT0)/[α(e+e2)](cycles/degree)(3)
為了應用這些模型到數字圖像，需去計算在圖像中給定點x=(x1，x2)T（像素）的離心率。簡而言之，假設觀察的圖像是N像素寬和從聚焦點的到固定點的直線垂直于圖像平面。同時假設聚焦點的坐標為xf=(xf1，xf2)T（像素）和觀察距離v從眼睛到圖像平面的距離是已知的。那么從x到xf的距離是d(x)=‖x-xf‖2=(x1-xf1)2-(x2-xf2)2(像素長度)。離心率的計算[10]為
e(v，x)=tan-1(d(x)/Nv)(4)
使用式（4）可以將聚焦對比度和截頻率模型轉換到圖像像素域。在圖1中，展示一個像素點的標準的對比度在N=512和v=3。像素位置的截頻率也顯示出來了。對比度被標準化后它的離心率在0時最大值為1.0。可以看到隨著離心率的增加截頻率下降很快，而下降度下降得更快。在實際數字圖像中，最大可見分辨率總是被顯示的分辨率所限制，它近似于：
r=πNv/180(pixels/degree)(5)
根據取樣理論，最高頻率是顯示分辨率的一半：
fd(v)=r/2≈πNv/360(cycles/degree)(6)
聯合式（3）和（6），得到一個給定位置x的截頻率為
fm(v，x)=min(fc(e(v，x))，fd(v))(7)
最后，定義一個給定視覺距離v，頻數f和位置x的基于聚焦點錯誤敏感度為
Sf(v，f，x)=CS(f，e(v，x))/CS(f，0)，f≤fm(v，x)
0，otherwise(8)
其中：Sf被標準化后在離心率為0時最高值總是1.0。
122 空間聚焦權值模型
空間域權值模型通過適應幀預測算法用來調整后面對它的編碼和碼率分配。空間域權值模型通過標準化截頻率模型得到[11~13]：
WS(v，x)=fm(v，x)/fm(v，xf)γ(9)
其中：γ是一個參數被用來控制權值模型的形狀。對于一個固定視覺距離v0，權值模型可以被寫Ws(x)＝Ws(v0，x)。這個模型可以很容易適應多聚焦點。假設在圖像中有一個有K個聚焦點xf1，xf2，…，xfk的聚焦區域。對于每個點，可以分別計算權值模型WiS(x)。在最壞的情況下，觀察者將會把目光固定在相關點的最接近的聚焦點。這將會對于所有i的最大值Wis(x)。因此，對于x的最大權值由下式得到：
Ws(x)=max Wis(x)；i∈{1，…，K}(10)
實際上，沒有必要去計算每一個Wis(x)。因為對于一個給定的像素點x，最靠近它的聚焦點必定產生最大權值，因此可以得到最大權值：
Ws(x)=Wjs(x)j∈argmini∈{1，…，k}{‖x-xfi‖2}(11)
通過這種方法可以節省很多計算量。
13 聚焦點的選擇
舉一個例子說明在有人臉的視頻序列上自動選擇聚焦點的方法。人的臉可能是觀察者觀察得最集中的區域。一個人臉聚焦視頻編碼算法在許多特點的通信環境如視頻會議中對于增強視覺質量可能非常有用。本文的臉部探測算法類似于文獻[2]。它包含以下三步：
a）通過皮膚顏色信息去找到可能的臉部區域[2]。整個YCrCb顏色空間被分為皮膚顏色子空間和非顏色子空間。在圖像中的每個點均可以分配給其中的一個子空間。
b）通過一個二值模板匹配技術在人的皮膚顏色區域去探測人的臉部[17]。
c）確認探測的臉部和去掉錯誤的臉部探測區域。確認是基于人的臉部區域經常有一定數量的高頻成分，這是由于眼睛、鼻子和嘴巴存在著不連續性。對于每個探測的臉部區域，筆者計算里面像素的變化。僅僅區域像素變化超過某個門限值將會被確認為臉部區域[14]。
這個方法從I幀和P幀選擇聚焦點是不同的。對于I幀，首先探測臉部區域并將聚焦點放入這些區域。上述臉部探測算法雖然非常有效，但是并沒有提供臉部區域的精確邊界。由于聚焦點的小變化對視覺質量并沒有顯著的影響，這種粗糙的臉部探測算法足夠滿足這里的需要。圖2(a)是從“new”序列中抽取的I幀；(b)是這個幀中選擇的聚焦點。
對于P幀聚焦點的選擇，本文使用不同的方法，主要有兩個方面的原因：a）當前的P幀與以前的幀相比可以得到當前幀中更多的信息；b）P幀不是直接編碼。筆者僅僅關心當前幀和從前幀得到的預測的差別。假如局部區域的預測錯誤非常小，就沒有必要將任何聚焦點放入該區域，無論該區域是否固定。在這里集中于當前P幀中能夠讓人們從以前區域中提供新信息的區域。經常，這些區域的預測錯誤比其他區域要大。因此，主要從這些區域中選擇預測錯誤大于門限值的聚焦點。舉一個例子，圖3(a)中的P幀，（b）是基于錯誤門限的方法選擇聚焦點。
這種方法的缺陷是臉部區域將會失去聚焦點。為了解決這個問題，使用不等錯誤門限去決定P幀中的聚焦點。這基于的事實是觀察者的注意固定在人的臉部，在這些區域即使很小的變化也會被觀察到。因此，使用更小的錯誤門限值去發現發生在臉部區域的改變。圖4是使用這種不等錯誤門限的方法和圖3(b)所得到的結果。與圖3(b)相比較，圖4中的臉部區域多了一些聚焦點。當然，在這里可以根據應用的需要可以將門限值設大或設小，那么相應的聚焦點就會相應地增加或減少，不過一般還是將門限值設得盡可能小，這樣就可以產生盡可能多的聚焦點和聚焦區域，然后再后面的編碼中計算其權值，在權值大的地方使用小的塊來作運動估計并且在分配碼率時盡可能多分配，權值稍小的地方用稍大的塊作運動估計并且在分配碼率時相應地多分配一些，其他地方可以使用較大的塊作運動估計并且在分配碼率時相應地少分配一些，這樣既可以節省比特而視頻的質量也不會有明顯下降。
2 編碼設計及相應算法
21 聚焦點設置
聚焦點的選擇有兩種幀，分別為I幀和P幀。P幀中一般采用不等錯誤門限聚焦點選擇算法。一般情況下，無論I幀還是P幀，將門限值設得稍微小點，這樣就可以多產生一些聚焦點和聚焦區域，以便于使用本文方法進行處理，達到預期的效果。具體算法如前所述。
22 根據權值來決定作運動估計塊的大小
具體算法描述如下:
a)根據上式分別計算上一幀編碼圖像的各個聚焦區得權值，并根據需要設置一個權值閾值w。
b)如果該區域不是聚焦區，則對當前幀內該區域所有宏塊作16×16結構的運動估計。
c)如果ws(x)≤w，則對當前幀該聚焦區內所有宏塊作16×8，8×16，8×8結構的運動估計，然后依據本地重建圖像的MSE 判決來選擇具體的塊結構。
d)如果ws(x)＞w，則對當前幀該聚焦內所有宏塊作4×8，8×4，4×4結構的運動估計，然后依據本地重建圖像的MSE判決來選擇具體的塊結構。這里的w為用戶可設置的權值閾值，取值低，則編碼過程中采用較小塊結構的概率越大，從而編碼質量越高，產生的碼流越多，當然計算量也就越大。對于幀間編碼的DCT模塊，其塊變化結構依據運動估計部分的選擇為準，如對于作8×16結構運動估計的宏塊，其殘差的DCT運算也采用8×16 結構。其編碼器如圖5所示。
23 根據權值來決定碼率分配
通過分析輸出緩沖區中存儲空間的剩余量及前一幀圖像的實際編碼碼率，可以計算出當前幀期望的編碼碼率Rpre，定義給聚焦區和非聚焦區分配的碼率分別為Rf和Rother，則對不同區域碼率分配采用如下原則：
Rpre=Rf+Rother
Rf/Rother=ni=1MADif×wi(x)/M-mi=1MADiother(12)
其中：m1+m2+…+mn=m，m指將幀中圖像成相等的塊數，n指聚焦區的個數，mi指第i聚焦區所包含的塊數。由于宏塊的MAD值可以反映出對應位置圖像的復雜性及能量，方程組式(12)第二個等式中引入了wi部分的加權因子，是表示聚焦區和其他區域圖像復雜度的統計性比例系數，它的引入可以解決這一問題：聚焦區信息較為簡單時，有限的碼率已經可以保證較高的圖像質量，此時沒必要分配太多的碼率資源給它，可以留給或許復雜度遠高于它的其他聚焦區。wi(x)為用戶可設置的感興趣區重要程度的權重系數。化簡式(12)，可得到
Rf=[ni=1MADif×wi(x)×mi]/[ni=1MADij×wi(x)×mi+M-mi=1MADiother](13)
則分配給第i個區域的碼率為
Rif=[MADif×wi(x)×mi]/[ni=1MADif×wi(x)×mi]×Rf(14)
3 實驗結果
圖6給出了在“silent”序列中的幀和它相應選擇的聚焦點。可以看到臉部區域和相應的幀間的運動信息使用自動聚焦點選擇算法能夠很好地捕捉到這些點。
為了將本文提出的方法與其他文獻中的方法作比較，筆者采用CIF格式sean序列對系統的性能作了測試。編碼幀頻為15fp，強制I2VOP轉換間隔為15 ，運動估計搜索范圍[-32，31]，半像素度。圖7僅繪制出不同編碼方法sean重建測試序列聚區Y分量PSNR的時變曲線，顯然本文方法的性能要明顯優于MPEG4及SPCROI[3]。
4 結束語
本文提出了一種基于人類視覺的視頻編碼方法，在引入人類視覺的基礎上，將編碼視頻幀分為聚焦區和非聚焦區，分別對其采用不同的處理算法，與其他文獻相比，本文具有兩個方面的創新：
a)本文提出了基于人類的視覺系統提出了將圖像分為聚焦區和非聚焦區，并且計算每個聚焦區的權值，為后面的編碼做準備。
b)提出了根據權值來決定碼率分配方案，在計算圖像不同區域復雜度的基礎上，優先給復雜性高的聚焦區和宏塊劃分更多的碼率資源。仿真結果表明，本文方法能較大程度改善感聚焦區域的編碼質量，同時實現對感興趣區域及非感興趣區域編碼質量的精細控制，節省碼率同時視頻質量也沒有明顯損失。
參考文獻：
［1］WANG Zhou ，LU Ligang，BOVIK A C.Foveation scalable video coding with automatic fixation selection[J].IEEE Trans on Image Processing，2003，12(2):243254.
［2］WANG H，CHANG S F.A highly efficient system for automatic face region detection in MPEG video[J].IEEE Trans on Circuits， Syst， Video Technol，1997，7(8):615628.
［3］GARCIA C，TZIRITAS G.Face detection using quantized skin colorregions merging and wavelet packet analysis[J].IEEE Trans on Multimedia，1999，1(9):264277.
[3]ARAMVITH S， KORTRAKULKIJ H， KORTRAKULKIJ D， et al. Joint sourcechannel coding using simplified blockbased segmentation and contentbased ratecontrol for wireless video transport[C]//Proc of International Conference on Information Technology: Coding and Computing(ITCC). Washington DC:IEEE Computer Society， 2002:7176.
[4]VETRO A， SUN H， WANG Y. MPEG4 rate control for multiple video objects[J]. IEEE Trans on CSVT， 1999，9(1):186199.
[5]MPEG4 video verification model version 18.0， ISO/ IEC/ JTC1/WG11[S]. 1999.
[6]GEISLER W S， PERRY J S. A realtime foveated multiresolution system for lowbandwidth video communication[C]//Proc of SPIE. 1998:294305.
[7]ROBSON J G， GRAHAM N. Probability summation and regional variation in contrast sensitivity across the visual field[J]. Vis Res， 1981， 21:409418.
[8]BANKS M S， SEKULER A B， ANDERSON S J. Peripheral spatial vision: limits imposed by optics， photoreceptors， and receptor pooling[J]. J Opt Soc Amer， 1991，8:17751787.
[9]ARNOW T L，GEISLER W S.Visual detection following retinal damage:prediction of an inhomogeneous retinocortical model[C]//Proc of SPIE. 1996: 119130.
[10]PAPPAS T N， SAFRANEK R J. Perceptual criteria for image quality evaluation[M]//BOVIK A. Handbook of image and video processing.New York:Academic，2000:669684.
[11]KUNT M，LAMBRECHT C B.Special issue on image and video quality metrics[J]. Signal Process， 1998，70(3).
[12]LUBIN J. A visual discrimination mode for image system design and evaluation[C]//PELI E. Proc of Visual Models for Target Detection and Recognition. Singapore:World Scientific， 1995:207220.
[13]DALY S. The visible difference predictor: an algorithm for the assessment of image fidelity[C]//Proc of SPIE.1992:215.
[14]WATSON A B，HU J，McGOWAN J F. DVQ:a digital video quality metric based on human vision[J].J ElectronImag，2001，10(1):2029.
[15]WATSON A B， YANG G Y， SOLOMON J A，et al. Visibility of wavelet quantization noise[J]. IEEE Trans on Image Processing，1997，6(8):11641175.
[16]WANG Z， SHEIKH H R， BOVIK A C. Objective video quality assessment[M]//FURHT B，MARQUES O. The handbook of video databases:design and applications. Boca Raton， FL: CRC， 2003.
[17]張方，吳成柯，肖嵩，等. 一種基于感興趣區域視頻編碼新方法[J].電子學報， 2005，33(4):634637.
[18]肖嵩，張方，吳成柯. 基于小波SPIHT 的聯合信源信道編碼新方法[J].計算機學報，2003，26(3):281286.
