SHVC中幀內(nèi)預(yù)測(cè)快速算法的研究

尹其文

(上海海事大學(xué) 信息工程學(xué)院，上海 201306)

SHVC中幀內(nèi)預(yù)測(cè)快速算法的研究

尹其文

(上海海事大學(xué) 信息工程學(xué)院，上海201306)

可分級(jí)高效視頻編碼(SHVC)可實(shí)現(xiàn)對(duì)視頻序列的分層編碼，正是因?yàn)閷?shí)現(xiàn)了分層編碼，編碼的時(shí)間復(fù)雜度也會(huì)大大增加，尤其是在幀內(nèi)預(yù)測(cè)過(guò)程中，需要從35種模式中通過(guò)率失真優(yōu)化(RDO)選出最佳預(yù)測(cè)模式。為了加速增強(qiáng)層(EL)幀內(nèi)預(yù)測(cè)模式的決策進(jìn)程，基于當(dāng)前預(yù)測(cè)單元(PU)與基本層(BL)相同位置PU，以及與BL中相同位置或EL中當(dāng)前PU空間上相鄰的PU的幀內(nèi)預(yù)測(cè)模式的相關(guān)性，提出幀內(nèi)預(yù)測(cè)模式快速?zèng)Q策算法。實(shí)驗(yàn)結(jié)果表明：在保證視頻質(zhì)量基本不變的情況下，相比較于SHVC的標(biāo)準(zhǔn)SHM-9.0而言，能減少大約40%～50%的時(shí)間。

SHVC；BL；EL；PU；相關(guān)性

0 引言

可伸縮視頻編碼已經(jīng)被研究并標(biāo)準(zhǔn)化20多年了，但是可伸縮視頻編碼從來(lái)沒(méi)有像非可伸縮視頻編碼一樣被廣泛商業(yè)化，即使對(duì)它的研究已經(jīng)很成熟，但在商用時(shí)還是處處受限，其主要的原因在于其實(shí)現(xiàn)的復(fù)雜度。非可伸縮視頻編碼實(shí)現(xiàn)起來(lái)較簡(jiǎn)單，并且易懂，不需要繁瑣的上采樣或下采樣的流程和多層編碼機(jī)制。相比非可伸縮視頻編碼，可伸縮視頻編碼的實(shí)現(xiàn)要困難得多。因?yàn)榭缮炜s視頻編碼提供了把視頻編碼成多層的機(jī)制，其中每一層是在相同場(chǎng)景下不同質(zhì)量的代表。BL代表最低質(zhì)量層，只有唯一的一個(gè)，通過(guò)參考BL可以編碼一個(gè)或者多個(gè)EL，往后每一個(gè)EL代表更高層次的視頻質(zhì)量，以此來(lái)一步步提升視頻的質(zhì)量。可伸縮視頻編碼的優(yōu)點(diǎn)在于不管是將視頻序列編碼成多少層，傳輸碼流的方式還是一樣的，將不同層的碼流融入進(jìn)一支碼流中，在解碼端，可以根據(jù)不同的網(wǎng)絡(luò)和硬件設(shè)備條件，來(lái)提取其中所需的碼流。但是正是因?yàn)閷⒁曨l編碼成多層，每一層都需要用到幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)，尤其是在幀內(nèi)預(yù)測(cè)時(shí)，每一個(gè)PU在進(jìn)行幀內(nèi)預(yù)測(cè)時(shí)都需要從35種模式中選出一種最佳預(yù)測(cè)模式，因此時(shí)間復(fù)雜度也大大增加。

高效視頻編碼(HEVC)[1-2]的第二版本主要分為：SHVC[3-4]、3D-HEVC、MV-HEVC，其中3D-HEVC更適用于深度圖的編碼，MV-HEVC更適合于多視點(diǎn)編碼，而SHVC是可伸縮編碼，可以廣泛應(yīng)用于網(wǎng)絡(luò)不穩(wěn)定、帶寬不夠或者終端設(shè)備差異性較大情況下的編碼，其應(yīng)用范圍相對(duì)于其他兩個(gè)來(lái)說(shuō)更廣。

在SHVC的發(fā)展過(guò)程中，吸取了以前的經(jīng)驗(yàn)教訓(xùn)，改變了常規(guī)可伸縮視頻編碼的模式，重復(fù)利用多個(gè)單層HEVC核和僅改變高層語(yǔ)法的HEVC*編碼器來(lái)實(shí)現(xiàn)可伸縮視頻編碼架構(gòu)。這樣一來(lái)，在可伸縮視頻編碼的架構(gòu)中，可以在技術(shù)改進(jìn)很小的情況下去實(shí)現(xiàn)可伸縮編碼。SHVC的編碼架構(gòu)中，BL使用的是HEVC編碼器或AVC[5-6]編碼器，在EL中使用的是HEVC*編碼器，所謂HEVC*編碼器，也就是對(duì)HEVC編碼器進(jìn)行了高層語(yǔ)法的改動(dòng)之后形成的編碼器，用于編碼除BL外的所有EL，這些高層語(yǔ)法改動(dòng)用以通知有關(guān)層依賴性的必要信息。因此，SHVC一問(wèn)世，就受到了廣大專家的推崇與認(rèn)可，其商用價(jià)值也是最被看好的。雖然SHVC目前還沒(méi)有大量應(yīng)用于實(shí)際當(dāng)中，但是其所采用的各項(xiàng)新技術(shù)已經(jīng)預(yù)示著SHVC將會(huì)成為取代HEVC的主流多媒體編碼標(biāo)準(zhǔn)。

1 相關(guān)工作

SHVC是目前視頻壓縮編碼研究中的一塊熱領(lǐng)域。它繼承了HEVC的35種幀內(nèi)預(yù)測(cè)模式，如圖1所示，其中包括33種角度模式、一種DC模式和一種PLANAR模式。對(duì)于每一層中的每一個(gè)PU，SHVC標(biāo)準(zhǔn)都會(huì)依次實(shí)施這35種模式(如圖1)，然后對(duì)其結(jié)果進(jìn)行率失真優(yōu)化(RDO)[7]選出該幀圖像的EL中此PU的最佳幀內(nèi)預(yù)測(cè)模式。這相比較于AVC或者HEVC來(lái)說(shuō)，復(fù)雜度大大增加，時(shí)間性能下降。因此，為了在保證視頻質(zhì)量和良好的用戶體驗(yàn)的基礎(chǔ)上，改善SHVC的時(shí)間性能，出現(xiàn)了一系列的幀內(nèi)預(yù)測(cè)快速算法。

圖1 35種幀內(nèi)預(yù)測(cè)模式

文獻(xiàn)[8-9]提出了對(duì)SVC幀內(nèi)預(yù)測(cè)的快速?zèng)Q策算法，算法總體思想就是根據(jù)BL和EL的相關(guān)性來(lái)減少EL幀內(nèi)預(yù)測(cè)的候選模式，但是由于SVC與SHVC的幀內(nèi)預(yù)測(cè)的模式不相同，SHVC的角度模式進(jìn)一步細(xì)化了，因此此類算法無(wú)法應(yīng)用于SHVC，但是此類算法利用BL與EL的相關(guān)性的思想可以加以借鑒。

文獻(xiàn)[10-11]提出了對(duì)HEVC的快速?zèng)Q策算法，應(yīng)用提出CU分割決策方案來(lái)跳過(guò)一些不必要的CU位深查詢。這類跳過(guò)算法是基于對(duì)當(dāng)前CU或時(shí)間或空間上相鄰的CU的位深的分析來(lái)提出的。SHVC中，可以利用BL的CU位深來(lái)快速選出EL的CU大小。

文獻(xiàn)[12-14]提出了針對(duì)SHVC幀內(nèi)預(yù)測(cè)的快速算法，文獻(xiàn)[12]是在EL中僅僅對(duì)同位BL的幀內(nèi)預(yù)測(cè)模式及其相鄰的幀內(nèi)模式進(jìn)行RDO來(lái)得出最佳預(yù)測(cè)方案，這種方案的明顯缺陷在于無(wú)法保證預(yù)測(cè)模式的多樣性，但是可以在EL中利用同位BL的幀內(nèi)預(yù)測(cè)模式的信息；文獻(xiàn)[13]和文獻(xiàn)[14]都提出了一種由粗到精的幀內(nèi)預(yù)測(cè)模式?jīng)Q策方案，都是首先按照某種算法從35種幀內(nèi)預(yù)測(cè)模式中選出幾種，然后對(duì)其進(jìn)一步精確化，最后得出最佳的模式。

總言之，以前的各種算法各有其優(yōu)缺點(diǎn)，都可以在時(shí)間性能上得到改善，但是可能會(huì)造成其他方面的缺陷，比如PSNR的大幅度降低，或者BD-rate的大幅度減小，又或者沒(méi)有充分利用空間上相鄰的PU的模式相似性，這些都會(huì)影響視頻本身的質(zhì)量或者沒(méi)有充分節(jié)省時(shí)間。

2 方案的提出

事實(shí)上，BL的圖像是按照一定的縮放因子從EL進(jìn)行下采樣獲得的，因此，BL與EL的圖像具有相似的紋理和結(jié)構(gòu)信息[15-16]。有理由相信，EL與BL的PU分割方式是非常相似的，因此，大膽推測(cè)EL與BL中同位置PU的幀內(nèi)預(yù)測(cè)模式(BLM)是相似的。表1的數(shù)據(jù)表明，這種推測(cè)是合理的，其中BLM-1表示與BLM模式左邊相鄰的模式，其他的以此類推。特別說(shuō)明，沒(méi)有將PLANAR模式和DC模式作為統(tǒng)計(jì)考慮的對(duì)象，因?yàn)樗鼈儾皇墙嵌饶Ｊ剑瑳](méi)有相鄰模式。

表1 空間可伸縮下EL的PU與BL中相同位置的PU的幀內(nèi)預(yù)測(cè)模式的相關(guān)性 (單位：%)

此外還用到了EL中與當(dāng)前PU空間上相鄰的PU的幀內(nèi)預(yù)測(cè)模式(ELM)的相關(guān)性，將其作為候選模式的其中一個(gè)要素，假定當(dāng)前PU左邊有兩個(gè)PU塊，幀內(nèi)預(yù)測(cè)模式分別為：ELM左、ELM左上，上邊有兩個(gè)PU塊，預(yù)測(cè)模式分別為：ELM上中、ELM上右。表2表明，其邏輯是合理的。

表2 空間可伸縮下EL的當(dāng)前PU與EL中空間相鄰的PU的幀內(nèi)預(yù)測(cè)模式的相關(guān)性 (單位：%)

另外，還用到了與BL中相同位置PU空間上相鄰的PU的幀內(nèi)預(yù)測(cè)模式(BLM)的相關(guān)性，作為候選模式的另外一個(gè)要素，同樣假定BL中同位置PU左邊有兩個(gè)PU塊，幀內(nèi)預(yù)測(cè)模式分別為：BLM左、BLM左上，上邊有兩個(gè)PU塊，預(yù)測(cè)模式分別為：BLM上中、BLM上右。表3表明，該邏輯是合理的。

表3 空間可伸縮下EL的當(dāng)前PU與BL中同位置空間相鄰的PU的幀內(nèi)預(yù)測(cè)模式的相關(guān)性 (單位：%)

基于對(duì)以上數(shù)據(jù)和其他各種快速算法的整理與分析，本文利用EL中當(dāng)前PU與BL中同位置PU，以及與BL中相同位置或EL中當(dāng)前PU空間上相鄰的PU的幀內(nèi)預(yù)測(cè)模式的相關(guān)性提出自己的算法，流程圖如圖2，提出的算法包括以下幾個(gè)步驟：

(1)根據(jù)PU的紋理與結(jié)構(gòu)信息，計(jì)算33種角度模式的Hadamard變換的絕對(duì)值差和(SATD)，然后根據(jù)SATD的大小排序得出SATD排序中較小的5種幀內(nèi)預(yù)測(cè)模式；

表4 空間可伸縮下視頻序列的R-D性能、時(shí)間復(fù)雜度減少以及比特率(SHM標(biāo)準(zhǔn)與本文提出的算法)

(2)對(duì)這5種幀內(nèi)預(yù)測(cè)模式的相鄰模式(相鄰模式最多可能10種)計(jì)算出SATD；

(3)對(duì)PLANAR、DC、BLM模式計(jì)算出SATD；

(4)找出同位BL的PU塊的左邊和上方相鄰PU塊的預(yù)測(cè)模式(BLM左、BLM左上、BLM上中、BLM上右)，計(jì)算出SATD；

(5)找出EL中當(dāng)前PU塊的左邊和上方相鄰PU塊的預(yù)測(cè)模式(ELM左、ELM左上、ELM上中、ELM上右)，計(jì)算出SATD；

(6)對(duì)上述5個(gè)步驟的結(jié)果的SATD進(jìn)行排序生成一個(gè)長(zhǎng)度為N的序列；

(7)對(duì)N個(gè)候選模式分別進(jìn)行RDO，RDO最小的即為最佳候選模式。

圖2 本文提出的幀內(nèi)預(yù)測(cè)算法流程圖

3 結(jié)果與分析

本方案仿真是實(shí)驗(yàn)室環(huán)境，采用Win10系統(tǒng)，4 GB內(nèi)存，CPU為i7-5500U的計(jì)算機(jī)，安裝的軟件是Microsoft Visual Studio 2010，從八大類序列中抽取了七大類(CGS一般用于色域可伸縮情況)，每類中抽取1～2個(gè)測(cè)試序列，所有序列均為4：2：0YUV序列，分別為BasketballDrive，最高分辨率為1 920×1 080； BQTerrace，最高分辨率為1 920×1 080；Cactus，分辨率為1 920×1 080；Kimono，最高分辨率為1 920×1 080；ParkScene，最高分辨率為1 920×1 080；PeopleOnStreet，最高分辨率為2 560×1 600；Traffic，最高分辨率為2 560×1 600。其中只有PeopleOnStreet和Traffic沒(méi)有2x配置文件，其他的均是采用了1.5x和2x兩種配置文件來(lái)進(jìn)行仿真的。特別說(shuō)明，其中最高分辨率指的是EL的分辨率，對(duì)其進(jìn)行下采樣之后可以得到相應(yīng)的BL的分辨率。

為了驗(yàn)證提出的算法的合理性，基于以上基礎(chǔ)，采用的代碼為SHM-9.0，嚴(yán)格按照J(rèn)CT-VC[17]提出的共同測(cè)試環(huán)境。

實(shí)驗(yàn)結(jié)果如表4所示。

注：(1)

(1)

Tproposed為本文提出算法的時(shí)間，TSHM為SHM-9.0標(biāo)準(zhǔn)算法的時(shí)間。

(2)

PSNR=PSNRproposed-PSNRSHM

(2)

PSNRproposed為本文提出算法的PSNR，PSNRSHM為SHM標(biāo)準(zhǔn)算法的PSNR。

從表4的結(jié)果可以看出，本文提出的算法與SHVC標(biāo)準(zhǔn)SHM-9.0相比，在保證視頻質(zhì)量基本不變或者降低很微小的前提下，實(shí)現(xiàn)時(shí)間大幅度減少。相比較于SHVC的標(biāo)準(zhǔn)SHM-9.0而言，對(duì)1.5x序列PSNR的平均降低控制在0.08 db內(nèi)，平均時(shí)間達(dá)到了45.9%的減少；對(duì)2x序列，PSNR平均降低了0.06 db，實(shí)現(xiàn)了平均時(shí)間43.7%的減少。

4 結(jié)論

本文提出的針對(duì)幀內(nèi)預(yù)測(cè)模式的快速算法，其原理是基于當(dāng)前PU與BL相同位置PU，以及與BL中相同位置或EL中當(dāng)前PU空間上相鄰的PU的幀內(nèi)預(yù)測(cè)模式的相關(guān)性。仿真結(jié)果表明：在保證視頻質(zhì)量基本不變的情況下，相比較于SHVC的標(biāo)準(zhǔn)SHM-9.0而言，能減少大約40%～50%的時(shí)間，這也證明了算法的有效性。

[1] SJOBERG R，Chen Ying.Overview of HEVC:high-level syntax and referencs picture managemant[J].Institute of Electrical and Electronics Engineers(IEEE),2012,22(12):1858-1870.

[2] ZHANG Y F，WANG H B，LI Z.Fast coding unit depth decision algorithm for interframe coding in HEVC[J].Data Compression Conference (DCC),2013,113:53-62.

[3] BOYCE J M，Ye Yan，Chen Jianle, et al.Overview of SHVC:scalable excetion of the hign efficiency video coding(HEVC) standard[J].IEEE Transactions on Circuits & Systems for Video Technology,2016,26(1):20-34.

[4] 盧鑫,林茂六，金雪松等.新一代可伸縮視頻編碼標(biāo)準(zhǔn)：背景、特征、技術(shù)及其應(yīng)用[J].電子測(cè)量與儀器學(xué)報(bào),2015,29(10):1415-1424.

[5] LI G L，CHEN M J，LI H J，et al.Efficient search and mode prediction algorithms for motion estimation in H.264/AVC[C].Kobe, Japan: Proceeding of IEEE International Symposium on Circuits and Systems(ISCAS),2005，5:5481-5484.

[6] LAUDE T, Xiu Xiaoyu，Dong Jie，et al.Scalsble extension of HEVC using enhanced inter-layer prediction[J].IEEE International Conference on Innage Processing,2015:3739-3743.

[7] ZHU X，HONG W，XU H，et al.Spatial quality index based rate perceptual-distortion optimization for video coding[J].Journal of Visual Communication & Image Representation,2016,291:423-434.

[8] SEGALL C A, SULLIVAN G J.Spatial scalability within the H.264 AVC scalable video coding extension[J].IEEE Transactions on Circuits and Systems for Video Technology, 2007,17(9):1112-1135.

[9] KHALEK A A,CARAMANIS C, HEATH R W.A cross-layer design for perceptual optimization of H.264/SVC with unequal error protection[J].IEEE Journal on Selected Areas in Communications,2012,30(7):1157-1171.

[10] ZHAO L，ZHANG L，MA S，et al.Fast mode decision algorithm for intra prediction in HEVC[J].ISCAS，2011,37:1-4.

[11] SHEN X L，YU L，CHEN J.Fast coding unit size selection for HEVC based on Bayesian decision rule[J].Picture Coding Symposium (PCS),2012,29:453-456.

[12] BAILLEUL R, COCK J D.Fast mode decision for SNR scalability in SHVC digest of technical papers[C].IEEE International Conference on Consumer Electronics,2014:193-194.

[13] FRAN?OIS E，SHI S，GISQUET C，et al.Non-SCE1:simplification of intra mode coding in SHVC[C].JCT-VC M0115 Apr.2013.

[14] Zuo Xuguang，Yu Lu.Fast mode decision method for all intra spatial scalability in SHVC[C].IEEE,2015:394-397.

[15] 雷海衛(wèi)，劉文怡，王安紅.3D-HEVC中深度圖幀內(nèi)預(yù)測(cè)模式判決過(guò)程的改進(jìn)[J].電子技術(shù)應(yīng)用，2016，42(10):116-119.

[16] 羅國(guó)成，余彪，劉進(jìn)，等.基于小波變換的新型幀內(nèi)模式預(yù)測(cè)快速選擇算法[J].微型機(jī)與應(yīng)用，2013,32(25): 32-34.

[17] SEREGIN V，HE Y.Common SHM test conditions and software reference configurations[S].JCT-VC P1009,Jan.2014.

Fast algorithm for intra prediction in SHVC

Yin Qiwen

(College of Information Engineering, Shanghai Maritime University, Shanghai 201306，China)

Scalable High Efficiency Video Coding (SHVC) can achieve hierarchical coding of video sequences，because of the realization of the hierarchical coding，the prediction of the time complexity will be greatly increased，especially in the intra prediction process，because of selecting the best mode from 35 models.In order to accelerate the intra prediction mode decision process in the enhancement layer (EL)，based on the correlation of the intra prediction mode among the current prediction unit (PU)，the PU in the same position of the base layer (BL) and the PU in Spatially adjacent of BL or EL，proposed the fast decision algorithm for intra prediction mode.The experimental results show that the time reduction of about 40%～50% can be achieved compared with SHVC standard SHM9.0 when the video quality is basically the same.

SHVC; BL; EL; PU; correlation

TP391

A

10.19358/j.issn.1674-7720.2017.21.013

尹其文.SHVC中幀內(nèi)預(yù)測(cè)快速算法的研究J.微型機(jī)與應(yīng)用，2017,36(21)：41-44.

2017-04-14)

尹其文(1992-)，男，碩士研究生，主要研究方向：視頻壓縮編碼，新一代可伸縮視頻編碼(SHVC)的幀內(nèi)預(yù)測(cè)算法的優(yōu)化。