一種高清視頻低延時(shí)遠(yuǎn)程傳輸方法

蔣禮根，郝學(xué)元，顏曉紅

(南京郵電大學(xué) 電子科學(xué)與工程學(xué)院，江蘇 南京 210003)

一種高清視頻低延時(shí)遠(yuǎn)程傳輸方法

蔣禮根，郝學(xué)元，顏曉紅

(南京郵電大學(xué) 電子科學(xué)與工程學(xué)院，江蘇 南京 210003)

針對遠(yuǎn)程高清視頻傳輸延遲問題，提出了一種改進(jìn)的DCT系數(shù)量化方法。此方法通過一個(gè)自適應(yīng)取樣函數(shù)對DCT壓縮量化系數(shù)進(jìn)行了分塊取樣，再對DCT系數(shù)重構(gòu)量化后以百兆以太網(wǎng)的IP包進(jìn)行實(shí)時(shí)壓縮傳輸，且接收端通過IDCT變換進(jìn)行解壓，并加入均值為零的噪聲處理，解決了圖像壓縮的塊效應(yīng)問題，從而實(shí)現(xiàn)遠(yuǎn)程實(shí)時(shí)傳輸高清視頻，滿足了民用中對高清視頻遠(yuǎn)程實(shí)時(shí)傳輸?shù)囊蟆ｊP(guān)鍵詞: 低時(shí)延；塊效應(yīng)；DCT系數(shù)量化；以太網(wǎng)

DVI和HDMI都是數(shù)字化視頻接口技術(shù)。以分辨率2 048×1 152的高清視頻流為例，紅綠藍(lán)3種顏色構(gòu)成1個(gè)像素且每種顏色采用8 bit量化，每秒播放60幀，則1 s的數(shù)據(jù)量將達(dá)到約23 Gbyte以上[1]，因此數(shù)字化視頻接口協(xié)議標(biāo)準(zhǔn)規(guī)定其傳輸距離很短。要實(shí)現(xiàn)長距離傳輸，必須通過光纖網(wǎng)絡(luò)接口才能做到無損實(shí)時(shí)傳輸[2]，這樣成本很高。而通過普通百兆網(wǎng)絡(luò)傳輸，又存在延時(shí)大，視頻清晰度不高的問題，不滿足實(shí)時(shí)監(jiān)控的場景，特別是在電力，空管監(jiān)控場合要求視頻發(fā)送到接收的延時(shí)時(shí)間在100 ms內(nèi)，而普通的壓縮傳輸方法的延遲時(shí)間遠(yuǎn)大于100 ms。針對此問題，提出一種改進(jìn)的DCT系數(shù)量化方法，此算法先對高頻視頻流壓縮處理，通過一個(gè)自適應(yīng)取樣函數(shù)對DCT壓縮量化系數(shù)進(jìn)行了分塊取樣，對DCT系數(shù)重構(gòu)量化矩陣后以百兆以太網(wǎng)的IP包傳輸且接收端解壓并加入均值為零的噪聲處理，測試結(jié)果表明，此方法有效去除了視頻量化過程中的塊效應(yīng)問題，最終生成的數(shù)據(jù)流能滿足低延時(shí)高清傳輸?shù)囊蟆?/p>

1 系統(tǒng)整體方案設(shè)計(jì)

此系統(tǒng)設(shè)計(jì)對視頻流進(jìn)行實(shí)時(shí)壓縮到百兆內(nèi)進(jìn)行遠(yuǎn)程實(shí)時(shí)傳輸。此系統(tǒng)設(shè)計(jì)的流程是先將服務(wù)器輸出的視頻流進(jìn)行實(shí)時(shí)壓縮與重編，之后再將信號封裝為IP包格式，通過百兆以太網(wǎng)遠(yuǎn)程實(shí)時(shí)傳輸視頻流信號。接收端通過解壓縮，然后將其送到顯示器顯示。系統(tǒng)功能模塊如圖1所示。

圖1 系統(tǒng)模塊

2 二維整數(shù)DCT算法

絕大多數(shù)圖像的高頻分量較小，并且人的視覺對高頻信息丟失引起的圖像失真并不是很敏銳，通過DCT變換能使得圖像中分布較為均勻的能量向中低頻部分聚集，即使大部分能量集中于較少數(shù)的DCT系數(shù)上，因此傳輸后接收端在解壓時(shí)，只要將集中在中低頻區(qū)的能量進(jìn)行反變換，即可重構(gòu)出原始圖像的主要部分。但由DCT變換公式[3]知，DCT浮點(diǎn)數(shù)的運(yùn)算量極大，這與所要求的低時(shí)延性、低復(fù)雜度相矛盾，并且在接收端解碼浮點(diǎn)數(shù)運(yùn)算帶來精度問題。所以此系統(tǒng)采取二維整數(shù)DCT變換作為本幀內(nèi)壓縮算法。

實(shí)現(xiàn)一次二維DCT變換可以看作是實(shí)現(xiàn)兩次一維DCT變換，其中先按行進(jìn)行一維DCT變換，再按列進(jìn)行一維DCT變換，則二維DCT變換可用矩陣[4]表示為

Y=CXCT

(1)

其中：X為像素值；C為DCT變換矩陣。

在二維DCT變換中，為了減少計(jì)算量和降低復(fù)雜度使得矩陣C元素全部調(diào)整為整數(shù)，并將比例因子矩陣放到量化過程中，從而實(shí)現(xiàn)了變換和量化同時(shí)進(jìn)行，使其編碼速度大大提高。則經(jīng)過推導(dǎo)得二維整數(shù)DCT變換矩陣和變換矩陣Cint[5]分別為

(2)

(3)

其中：E表示比例因子。在此壓縮算法中，先把圖像劃分成多個(gè)4×4的像素塊，再分別對像素塊進(jìn)行二維整數(shù)DCT變換。

通過整數(shù)DCT變換算法，可以很有效地避免IDCT變換時(shí)浮點(diǎn)運(yùn)算帶來的精度誤差，這誤差會(huì)造成解碼后的數(shù)據(jù)失配，從而引起漂移，并且把運(yùn)算大大化簡為加法、減法及移位運(yùn)算。進(jìn)一步避免了除法運(yùn)算，極大地降低了運(yùn)算量和復(fù)雜度，即滿足了低復(fù)雜度壓縮算法的設(shè)計(jì)要求，為此系統(tǒng)遠(yuǎn)程傳輸視頻的低時(shí)延性提供了基礎(chǔ)。

3 改進(jìn)的DCT系數(shù)量化算法

3.1 圖像失真原因

采用整數(shù)DCT變換的壓縮算法， 接收端重構(gòu)圖像的失真是主要由整數(shù)DCT變換系數(shù)的量化過程引起的，經(jīng)典的整數(shù)DCT變換系數(shù)量化過程和重構(gòu)過程[6]為

FQ(u,v)=round(FD(u,v)/Q(u,v))

(4)

FR(u,v)=FQ(u,v)Q(u,v)

(5)

其中：FD(u,v)為量化前整數(shù)DCT變換系數(shù)；FQ(u,v)為量化后整數(shù)DCT變換系數(shù)；FR(u,v)為重構(gòu)整數(shù)DCT變換系數(shù)；Q(u,v)為量化過程的量化步長，round(*)為四舍五入函數(shù)。

則整數(shù)DCT變換系數(shù)量化誤差為

ρ(u,v)=FR(u,v)-FD(u,v)

(6)

采用整數(shù)DCT變換時(shí)，由于圖像中所有的像素塊(4×4)是相互獨(dú)立量化的，以致于鄰塊之間的量化誤差互不相關(guān)。所以對于鄰塊間的邊界像素，若鄰塊之間量化誤差連續(xù)性不強(qiáng)，則使原始光滑的紋理在鄰塊間邊界上發(fā)生較大波動(dòng)，即會(huì)產(chǎn)生塊效應(yīng)。

考慮到遠(yuǎn)程視頻百兆網(wǎng)絡(luò)信道帶寬的限制，本地DCT系數(shù)中高頻分量須進(jìn)行壓縮處理，所以在接收端接收量化誤差越小的像素塊反變換后就與本地此像素塊越接近，反之，圖像遠(yuǎn)程傳輸失真很嚴(yán)重。

3.2 改進(jìn)的DCT變換系數(shù)量化算法

現(xiàn)在已有很多可以降低方塊效應(yīng)的算法，比如文獻(xiàn)[6]雖然對塊效應(yīng)產(chǎn)生的根本原因進(jìn)行理論分析及論證，且提出一種迭代計(jì)算降低塊效應(yīng)的具體算法，但是此算法并不能很好地適用于實(shí)際應(yīng)用工程中，主要原因是此算法復(fù)雜度與像素塊元素?cái)?shù)呈指數(shù)形式增長，這與此系統(tǒng)所要求的低時(shí)延性相違背；可編程循環(huán)去塊濾波算法[7]通過重構(gòu)圖像后對圖像進(jìn)行去塊濾波來減少塊效應(yīng)，但是因?yàn)樵紙D像信息的丟失，此算法并不能很好地消除圖像的塊效應(yīng)，特別是圖像的真實(shí)細(xì)節(jié)處。

圖2 量化前像素塊1與鄰塊分布

(7)

其中：ρ1(u,v)，ρ2(u,v)，ρ3(u,v)，ρ4(u,v)，ρ5(u,v)為各像素塊的量化誤差；α為可調(diào)系數(shù)。

具體算法過程如下：

1)采用整數(shù)DCT變換且壓縮DCT系數(shù)；

2)采用邊緣檢測算法[8]檢測出整幅重構(gòu)圖像內(nèi)容的邊緣；

3)在重構(gòu)圖像內(nèi)容的邊緣中，在邊緣的塊效應(yīng)處計(jì)算當(dāng)前像素塊(4×4)及其他像素塊的量化誤差且根據(jù)式(7)確定取樣矩陣的n值大小(即取樣矩陣非0值的個(gè)數(shù)多少)；

4)通過取樣矩陣的n值把DCT系數(shù)劃分為2個(gè)區(qū)域(左上角和右下角區(qū)域)，重新調(diào)整左上角區(qū)域量化方法的量化公式為

(8)

(9)

所以每個(gè)DCT系數(shù)就會(huì)有2種可能的量化值，這樣可組成2n個(gè)互不相同的量化系數(shù)矩陣，對每個(gè)量化系數(shù)矩陣重構(gòu)FR′(u,v)，且更新計(jì)算4條邊的邊界誤差，當(dāng)4條邊界誤差平方和最小時(shí)，量化矩陣值為整數(shù)DCT變換的量化值，即

(10)

5)對所有重構(gòu)圖像內(nèi)容邊緣中的像素塊重復(fù)步驟3)和4)；

6)接收方對之前壓縮的DCT系數(shù)采用人為加入期望為0的噪聲處理。

經(jīng)過大量實(shí)驗(yàn)表明，雖然大大降低了塊效應(yīng)，但同時(shí)經(jīng)過整數(shù)IDCT變換可導(dǎo)致圖像的信噪比稍微下降，究其原因，整數(shù)DCT變換屬于酉變換，其擁有能量守恒的性質(zhì)。所以衡量兩者對圖像主觀質(zhì)量上的影響，加上由于F(0,0)、F(1,0)、F(0,1)、F(2,0)、F(0,2)的DCT系數(shù)的量化過程對塊效應(yīng)影響很大，為了滿足本系統(tǒng)高清視頻遠(yuǎn)程傳輸?shù)囊螅赃m當(dāng)選取n值不小于5。

3.3 重構(gòu)圖像比較與分析

圖3 重構(gòu)圖像塊效應(yīng)大小比較

此系統(tǒng)對標(biāo)準(zhǔn)視頻流序列News，F(xiàn)oreman采用幀內(nèi)模式編碼且使用H.264視頻編碼器，量化步長取10～20。根據(jù)塊效應(yīng)測度算法[9]，分別測量采用改進(jìn)量化算法和未采用改進(jìn)量化算法的塊效應(yīng)。圖3中取α=0.9，重構(gòu)圖像塊效應(yīng)大小由圖3可以看出，改進(jìn)量化算法可以有效地減少塊效應(yīng)，特別是當(dāng)量化步長較大時(shí)，改進(jìn)的量化算法可以得到很好的體現(xiàn)。

圖4 視頻的第10幀重構(gòu)圖像比較

圖4中取α=0.75且量化步長為20時(shí)視頻中的第10幀重構(gòu)圖像。其中，圖4a是未采用改進(jìn)量化算法的重構(gòu)圖像，即通過直接壓縮損失高頻信息，所以重構(gòu)圖像效果最差；圖4b是采用此改進(jìn)量化算法的重構(gòu)圖像，并且通過加入零均值噪聲解決圖像失真問題，大大改善重構(gòu)圖像效果；圖4c是采用文獻(xiàn)[6]的量化誤差迭代算法降低塊效應(yīng)重構(gòu)圖像；圖4d是采用文獻(xiàn)[7]的可編程循環(huán)去塊濾波算法重構(gòu)圖像。經(jīng)比較，從人肉眼隱約地觀察出圖4a的效果最差，但是從圖5可以肉眼詳細(xì)地看出此改進(jìn)量化算法效果好。

圖5 視頻的第10幀重構(gòu)圖像局部放大比較

圖5分別為圖4的各個(gè)重構(gòu)圖像的局部放大比較。可以通過肉眼清楚地看出此改進(jìn)的量化算法具有很好的效果。采用本文提出的方法可以大大降低塊效應(yīng)，使視頻的主觀質(zhì)量大大改善。

4 硬件仿真與測試

圖6 重量化壓縮算法數(shù)據(jù)輸出與解壓縮算法數(shù)據(jù)輸出(截圖)

將矩陣Y做反變換得到X體現(xiàn)了此整數(shù)變換沒有偏移的特性。由圖6數(shù)據(jù)輸出可知壓縮僅需6個(gè)時(shí)鐘周期，解壓僅需7個(gè)時(shí)鐘周期，若在1 s之內(nèi)壓縮、解壓2 048×1 152@60 Hz的圖像，則每秒處理26.542×106個(gè)4×4像素塊，再考慮FPGA高速處理的并行能力，理論上完全可以滿足在1 s內(nèi)完成2 048×1 152@60 Hz圖像壓縮和解壓縮。

圖8 實(shí)驗(yàn)初步測試效果

圖7 實(shí)驗(yàn)初步測試結(jié)構(gòu)圖

實(shí)驗(yàn)初步測試結(jié)構(gòu)圖如圖7所示，主機(jī)(顯示器的下方)上的視頻流分辨率設(shè)置為1 920×1 080@60 Hz，其壓縮比約為6∶1時(shí)，畫面清晰流暢且具有高達(dá)約36 dB的峰值信噪比效果如圖8所示，且其帶寬為1 920×1 080×60×1.344×3=501.645 312 MHz，采用DVI接口傳輸?shù)絟ost(發(fā)送方)上，再將其壓縮后以百兆網(wǎng)線向client(接收方)發(fā)送IP包，最后在client(接收方)接收后解析出視頻流信息后且經(jīng)過DVI接口發(fā)送給顯示器顯示。實(shí)驗(yàn)測試效果不僅滿足低時(shí)延性，而且也滿足高清晰視頻傳輸，極大地滿足了民用高清視頻遠(yuǎn)程實(shí)時(shí)傳輸?shù)囊螅壳笆袌錾辖^大部分同類產(chǎn)品無法滿足低時(shí)延性，用戶體驗(yàn)效果較差。

5 結(jié)論

針對遠(yuǎn)程高清視頻傳輸延遲問題，提出一種改進(jìn)的DCT系數(shù)量化方法且接收端通過IDCT變換進(jìn)行解壓，并加入均值為零的噪聲處理。該方法不僅可大大降低視頻的塊效應(yīng)且不能模糊圖像的真實(shí)細(xì)節(jié)，極大地改善了視頻的主觀質(zhì)量，還解決了高清視頻流遠(yuǎn)程傳輸實(shí)時(shí)性問題。并且對算法模塊進(jìn)行了仿真及實(shí)物驗(yàn)證，在遠(yuǎn)程視頻實(shí)時(shí)傳輸通信中具有實(shí)用性。

[1] 王哲，顏曉紅，郝學(xué)元. 一種延長DVI高清視頻傳輸距離的方法[J]. 電視技術(shù)，2014，38(11)：134-146.

[2] SCHLEPPLE N，NISHIGAKI M，UEMURA H，et al. Optoelectronic high-speed HDMI cable with compact optical sub-assembly and 4×3.4 Gbit/s plastic optical fibre link[J]. Electronics letters，2012，48(25)：1611 - 1613.

[3] YU S， SWARTZIANDER E E. DCT implementation with distributed arithmetic[J]. IEEE transactions on computers，2001，50(50)：985-991.

[4] 李清揚(yáng)，伍瑞卿，樊豐. H.264整數(shù)DCT變換與量化系統(tǒng)實(shí)現(xiàn)[J]. 電視技術(shù)，2006，30(8)：29-32.

[5] 韋長江，郝鵬威，石青云. 基于整型DCT變換的圖象編碼研究[J]. 中國圖象圖形學(xué)報(bào)， 2002，7(3)：287-291.

[6] 王曉玉，楊付正，萬帥. 有效降低方塊效應(yīng)的DCT系數(shù)量化方法[J]. 中國圖象圖形學(xué)報(bào)， 2011，16(2)：197-201.

[7] JANHUNEN J，JAASKELAINEN P，HANNUKSELA J， et al. Programmable in-loop deblock filter processor for video decoders[C]// Proc. 2014 IEEE Workshop on Signal Processing Systems (SiPS). [S.l.]：IEEE， 2014：1-6.

[8] LINDEBERG T. Edge detection and ridge detection with automatic scale selection[C]//Proc. 1996 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]：IEEE，1996：465-470.

[9] 楊付正，常義林，萬帥. 基于塊編碼視頻的無參考質(zhì)量評估[J]. 電子與信息學(xué)報(bào)，2006(4)：728-731.

蔣禮根(1990— )，碩士生，主研究圖像與通信；

郝學(xué)元(1976— )，高級工程師，主要研究方向?yàn)閳D像與通信；

顏曉紅(1963— )，博士生導(dǎo)師，主要研究方向?yàn)槲锢黼娮訉W(xué)。

責(zé)任編輯：閆雯雯

Method to solve low latency and remote transmission of high-definition video

JIANG Ligen， HAO Xueyuan， YAN Xiaohong

(CollegeofElectronicScienceandEngineering，NanjingUniversityofPostsandTelecommunications，Nanjing210003，China)

To solve the problem of real-time and remote transportation of high-definition video， an improved method of combining DCT coefficient quantization is proposed in this paper. This method is to block DCT coefficient of compression quantitative by an adaptive sampling function， to reconstruct the DCT coefficients quantification matrix and high-definition video is transmissed by 100 Mbit/s Ethernet in real-time compression and transmission， data of the receiver is transformed by IDCT and adding zero-mean noise processing to solve the blocking problem of image compression in order to solve the problem of real-time and remote transportation of high definition video and meet the demand of civilian.

low latency； blocking artifact； DCT coefficient quantization； Ethernet

蔣禮根，郝學(xué)元，顏曉紅. 一種高清視頻低延時(shí)遠(yuǎn)程傳輸方法[J].電視技術(shù)，2017，41(2)：93-97. JIANG L G， HAO X Y， YAN X H. Method to solve low latency and remote transmission of high-definition video[J]. Video engineering，2017，41(2)：93-97.

TN919.3

A

10.16280/j.videoe.2017.02.019

國家自然科學(xué)基金項(xiàng)目(11374162)

2016-02-23