摘要:針對(duì)遠(yuǎn)程桌面領(lǐng)域的環(huán)境需求,提出了一種結(jié)合圖像紋理復(fù)雜度與小波系數(shù)特征的漸進(jìn)式分層算法。首先根據(jù)紋理復(fù)雜度進(jìn)行每個(gè)圖像塊的比特分配來提高對(duì)目標(biāo)比特預(yù)算的利用率;然后分析圖像塊內(nèi)不同子帶特征重要性的順序優(yōu)化了高頻細(xì)節(jié)分量在漸進(jìn)式分層算法中的層級(jí)結(jié)構(gòu),并設(shè)計(jì)了一種根據(jù)小波系數(shù)特征逐層添加子帶傳輸?shù)臐u進(jìn)式分層算法;最后實(shí)現(xiàn)了每個(gè)圖像塊根據(jù)分配的比特以及選取的分層方式進(jìn)行漸進(jìn)式傳輸?shù)木幗獯a系統(tǒng)。測試表明所提出的漸進(jìn)式傳輸算法在不同圖像傳輸環(huán)境中能夠重建出質(zhì)量更佳的圖像,并且更加符合人眼的視覺感知特性。該算法對(duì)弱網(wǎng)有著更強(qiáng)的適應(yīng)性,在桌面遠(yuǎn)程視頻圖像傳輸處理領(lǐng)域表現(xiàn)更佳。
關(guān)鍵詞:漸進(jìn)式傳輸;分層設(shè)計(jì);紋理復(fù)雜度;小波系數(shù)特征;遠(yuǎn)程桌面
中圖分類號(hào):TN919.81文獻(xiàn)標(biāo)志碼:A文章編號(hào):1001-3695(2023)06-025-1758-06
doi:10.19734/j.issn.1001-3695.2022.11.0632
Progressive transfer algorithm combining texture complexity with
wavelet coefficient features
Wang Hui Gao Yuhang Xu Wenqi Che Junling Li Yongb
(a. School of Science,b.School of Communication amp; Information Engineering,Xi’an University of Posts amp; Telecommunications,Xi’an 710121,China)
Abstract:This paper developed a progressive hierarchical algorithm combining image texture complexity and wavelet coefficient characteristics to meet the requirements of remote desktop environment.Firstly,the algorithm allocated bits for each image block according to texture complexity in order to improve the utilization of target bit budget.Then,it optimized the hierarchical structure of high-frequency detail components in the progressive hierarchical algorithm by analyzing the order of the importance of different subbands features in the image block.And it also designed a progressive hierarchical algorithm that added subbands transmission layer by layer based on the wavelet coefficient characteristics.Finally,according to the allocated bits and the selected layering method,the paper implemented a codec system for progressive transmission of each image block.Simulation experiments show that the proposed progressive transmission algorithm can reconstruct better images in different image transmission environments,and is more in line with the visual perception characteristics of the human eye.The algorithm is more adaptive to weak networks and performs better in the field of desktop remote video image transmission and processing.
Key words:progressive transmission;layered design;texture complexity;wavelet coefficient characteristics;remote desktop
0引言
近年來,遠(yuǎn)程辦公逐漸成為一種常態(tài)化的辦公方式。與辦公室穩(wěn)定的網(wǎng)絡(luò)環(huán)境不同,移動(dòng)辦公場景下的廣域網(wǎng)經(jīng)常會(huì)出現(xiàn)網(wǎng)絡(luò)不穩(wěn)定或者網(wǎng)速較慢的情況。如果用戶在抖動(dòng)或延時(shí)較大的弱網(wǎng)環(huán)境下接入桌面,易出現(xiàn)操作延時(shí)、卡頓等問題。為保證畫面?zhèn)鬏數(shù)牧鲿承裕糜诖四康牡娜魏尉幗獯a器都需要能夠提供有效的壓縮來降低網(wǎng)絡(luò)帶寬負(fù)載,并以低延遲的運(yùn)行來實(shí)現(xiàn)與遠(yuǎn)程內(nèi)容的有效交互[1]。視頻圖像質(zhì)量的可分級(jí)編碼技術(shù)(SVC)[2]是低速信道信息交換領(lǐng)域的一項(xiàng)非常重要的技術(shù),通常根據(jù)圖像信息規(guī)律將圖像分為幾個(gè)碼流層,在傳輸前期提供原始圖像的近似結(jié)果,后續(xù)逐步疊加傳輸細(xì)節(jié),從而實(shí)現(xiàn)圖像的漸進(jìn)式顯示,有效降低傳輸負(fù)載。因此,在遠(yuǎn)程用戶管理大量圖像時(shí),特別是通過低速網(wǎng)絡(luò)通道,漸進(jìn)式傳輸算法的研究具有重要的現(xiàn)實(shí)意義[3]。
離散小波變換(DWT)的頻域可分級(jí)特性可以給漸進(jìn)式傳輸提供良好的分層基礎(chǔ)。DWT可以將信號(hào)的能量集中在其頻域的低頻分量上,通過低頻分量上少數(shù)系數(shù)的變換即可還原得到圖像的近似結(jié)果。DWT技術(shù)也因此被廣泛應(yīng)用于圖像的可分級(jí)編碼傳輸領(lǐng)域[4]。目前已經(jīng)有許多針對(duì)DWT系數(shù)進(jìn)行層級(jí)信息劃分的學(xué)術(shù)研究。Chapman等人[5]提出了使用嵌入式小波零樹編碼(EZW)算法的漸進(jìn)式傳輸算法,該算法采用小波系數(shù)逐次逼近量化的方法實(shí)現(xiàn)了碼流的漸進(jìn)式特性并且提高了算法的壓縮效率。在EZW的思想上,Said等人[6]提出的分層小波樹集合分割算法(SPIHT)以及文獻(xiàn)[7]中的SPIHT提升算法,其基本思想是在位平面上進(jìn)行多次分割進(jìn)一步提高壓縮比,同時(shí)對(duì)內(nèi)存的需求也相對(duì)較高。作為JPEG2000[8]的基本編碼算法,優(yōu)化截?cái)帱c(diǎn)的嵌入式塊編碼算法(EBCOT)[9,10]沒有采用零樹的思想,而是選擇采用基于碼塊的編碼方法,因此擁有更高的編碼效率且支持隨機(jī)訪問和存儲(chǔ),其計(jì)算復(fù)雜度相對(duì)于上述其他算法更高。
與上述幾種針對(duì)靜態(tài)圖像的漸進(jìn)式傳輸不同,遠(yuǎn)程桌面領(lǐng)域屏幕傳輸?shù)膬?nèi)容往往包含許多不同類型的局部信息,比如實(shí)時(shí)產(chǎn)生的文本信息以及視頻和照片信息。客戶端要保證在不同碼率條件下接收到的畫面具有高流暢性和低延遲性,則要降低內(nèi)存需求,這就要求漸進(jìn)式傳輸編碼算法具有更高的壓縮增益。與上述小波編碼器不同, Malvar[11]提出一種基于小波變換的快速編碼算法(PWC),該算法的系數(shù)排序方案不依賴于零樹或基于父子小波關(guān)系,而是對(duì)量化后的小波系數(shù)進(jìn)行重排序的位平面編碼,與此同時(shí)采用自適應(yīng)Run-Length/Rice(RLR)編碼器進(jìn)行熵編碼,可以在相對(duì)較低的計(jì)算要求下實(shí)現(xiàn)嵌入編碼并產(chǎn)生良好的壓縮增益,其性能在一定應(yīng)用情景下甚至優(yōu)于JPEG編碼,同SPIHT算法性能相當(dāng)。文獻(xiàn)[12]中通過用創(chuàng)建重新排序地址表的優(yōu)化算法代替PWC中的多個(gè)嵌套重新排序算法,有效地提高了重排序速度。然而該算法沒有考慮到圖像內(nèi)部特征差異以及子帶小波系數(shù)分布特點(diǎn)在編碼過程中產(chǎn)生的信息冗余,在層級(jí)信息分配優(yōu)化方面存在一定的提升空間。
綜上分析,本文依據(jù)PWC編碼原理提出了一種結(jié)合圖像紋理復(fù)雜度與小波系數(shù)特征的漸進(jìn)式編碼算法。為實(shí)現(xiàn)不同特征量的圖像塊分別選取最優(yōu)分層方式的目的,引入了圖像紋理復(fù)雜度和小波系數(shù)特征這兩個(gè)因素作為屏幕內(nèi)容圖像局部特征量的量化指標(biāo):紋理復(fù)雜度作為不同圖像塊之間特征量的劃分指標(biāo),小波系數(shù)特征作為每個(gè)圖像塊內(nèi)不同子帶之間特征量的劃分指標(biāo)。結(jié)合上述屏幕內(nèi)容的特征量提出了基于圖像塊優(yōu)化質(zhì)量感知的比特分配方案以及漸進(jìn)式分層算法,最后測試并實(shí)現(xiàn)了PWC算法和本文算法的壓縮編碼系統(tǒng),對(duì)比驗(yàn)證了本文算法的有效性。
1基于小波變換的漸進(jìn)式算法(PWC)
基于小波變換的漸進(jìn)式傳輸編解碼流程如圖1所示。該分層編碼算法的基本原理是根據(jù)子帶當(dāng)前層量化后的系數(shù)經(jīng)過子帶系數(shù)重排序算法和位平面編碼得到本層送入RLR熵編碼器的傳輸數(shù)據(jù)。這種方法的優(yōu)勢是復(fù)雜度低、壓縮效率高且可以得到緊湊質(zhì)量劃分的分層結(jié)果。
2結(jié)合屏幕內(nèi)容特征量的漸進(jìn)式傳輸算法
本文提出的漸進(jìn)式傳輸算法關(guān)鍵問題是如何針對(duì)不同內(nèi)容特征的圖像塊設(shè)計(jì)分層方式,以達(dá)到在一定碼率條件下全局失真度最小的目的。為了解決這個(gè)問題,需要根據(jù)圖像塊的紋理復(fù)雜度優(yōu)化目標(biāo)比特的分配,同時(shí)結(jié)合小波系數(shù)優(yōu)化高頻細(xì)節(jié)分量在漸進(jìn)式傳輸中的分層結(jié)構(gòu)。
2.1結(jié)合圖像塊紋理復(fù)雜度的目標(biāo)比特分配
紋理復(fù)雜度可以描述一個(gè)圖像局部特征信息量的大小。由于紋理復(fù)雜度高的區(qū)域其信息熵更大,熵編碼產(chǎn)生的碼流必然更大,如果想提高質(zhì)量,必定會(huì)犧牲碼率這個(gè)條件。所以根據(jù)紋理復(fù)雜度進(jìn)行分層方式選擇的目的是尋找一個(gè)可以控制碼流傳輸?shù)钠胶恻c(diǎn),使同等碼流傳輸下不同紋理復(fù)雜度的圖像塊分別選擇更適合的分層方案,產(chǎn)生質(zhì)量接近的分層傳輸結(jié)果,從而使整體重建的圖像更加符合人眼感知系統(tǒng)對(duì)圖像質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)。在視頻圖像處理領(lǐng)域,可以依據(jù)紋理復(fù)雜度來分配目標(biāo)比特[13],降低碼率控制的差錯(cuò)來提高圖像質(zhì)量。傳統(tǒng)的紋理復(fù)雜度檢測方法通常采用不同方向上梯度提取的方式來獲得圖像的邊緣信息。Scharr[14]梯度檢測算子掩碼的設(shè)計(jì)中通過放大較弱邊緣的權(quán)重系數(shù)來增大像素值間的差異,相比Sobel[15]算子,可以在同等計(jì)算復(fù)雜度下檢測出更加精確的邊緣信息。因此本文采用Scharr算子對(duì)圖像塊亮度分量的梯度進(jìn)行檢測,并給出基于圖像塊的紋理復(fù)雜度的計(jì)算方法。
Scharr算子卷積整個(gè)圖像進(jìn)行梯度檢測,每個(gè)像素值經(jīng)過卷積運(yùn)算獲取水平和垂直方向的邊緣信息。以分辨率為1 920×1 080的屏幕內(nèi)容圖像MissionControlClip3(第1幀)為例進(jìn)行邊緣信息的獲取測試,如圖2所示。
2.1.1圖像塊紋理復(fù)雜度的計(jì)算
2.1.2根據(jù)紋理復(fù)雜度進(jìn)行圖像塊的比特分配
首先需要對(duì)固定圖像質(zhì)量下不同圖像塊紋理復(fù)雜度和比特需求的相關(guān)性進(jìn)行檢驗(yàn),以確定權(quán)重分配的模型關(guān)系。統(tǒng)計(jì)完全傳輸圖2(a)不同紋理復(fù)雜度圖像塊所需的比特,并進(jìn)行散點(diǎn)圖分析,結(jié)果如圖3所示。
從圖3中觀察到,傳輸一幀圖像,不同復(fù)雜度的圖像塊與所需比特之間呈明顯的線性關(guān)系。因此可以在保證目標(biāo)碼率不變的情況下給不同的圖像塊合理分配比特,從而使整體圖像質(zhì)量得到提升。然而,由于紋理復(fù)雜度越低的圖像塊包含的信息量較少,人眼對(duì)其質(zhì)量差異并不敏感;紋理復(fù)雜度很高的圖像塊雖然包含較多的信息量,但是受紋理掩蓋效應(yīng)影響,人眼很難分辨其細(xì)節(jié)信息,對(duì)其質(zhì)量差異依舊不敏感。人眼對(duì)包含信息較為豐富且紋理遮蓋效應(yīng)較微弱的中等紋理復(fù)雜度的圖像塊更加敏感。對(duì)于人類視覺注意機(jī)制的特性,文獻(xiàn)[16]提出了對(duì)原始圖像進(jìn)行顯著性檢測的圖像處理方法,以達(dá)到提升主觀質(zhì)量的目的。因此需結(jié)合視覺敏感度這一測度為顯著性更大的圖像塊分配更多的比特。具體視覺敏感度信息的獲取需要設(shè)計(jì)合適的主觀感知實(shí)驗(yàn)[17],然后在實(shí)驗(yàn)結(jié)果的指導(dǎo)下進(jìn)行比特分配權(quán)重的計(jì)算。
視覺敏感度—紋理復(fù)雜度的實(shí)驗(yàn)設(shè)計(jì)如下:
選取三幅包含人、物以及背景內(nèi)容的圖像作為測試圖像,在每幅圖像中選取10個(gè)具有代表性的不同復(fù)雜度的圖像塊,每個(gè)圖像塊根據(jù)下文提出的漸進(jìn)式分層算法解碼4個(gè)碼流層從而得到4個(gè)不同PSNR的圖像。通過非本研究方向測試人員20人進(jìn)行敏感度打分,設(shè)置滿分為5分(1—質(zhì)量接近無損;2—質(zhì)量損失幾乎察覺不到;3—有質(zhì)量損失;4—質(zhì)量明顯損失;5—質(zhì)量損失嚴(yán)重)。
將20人的打分結(jié)果取平均值,標(biāo)準(zhǔn)化處理后進(jìn)行統(tǒng)計(jì)分析,得到10個(gè)紋理復(fù)雜度圖像塊和視覺敏感度的關(guān)系如圖4所示。最后采用最小二乘法實(shí)現(xiàn)紋理復(fù)雜度和敏感度的多項(xiàng)式擬合,精度為R2=0.925 8。
2.2結(jié)合子帶小波系數(shù)特征進(jìn)行子帶重排序的分層算法
2.2.1分層算法理論依據(jù)
本文采用的離散小波變換是時(shí)域和頻域的局部變換,該變換具有多尺度變換的特性,可以更加有效地從信號(hào)中提取特征信息。小波變換的多分辨率分析理論[18]中闡述:可以將一個(gè)函數(shù)表示為一個(gè)低頻成分與不同分辨率下的高頻成分。如圖5所示:低頻系數(shù)子帶LL分量為圖像的近似,高頻系數(shù)子帶HL、LH、HH分別表示圖像沿水平方向、垂直方向以及對(duì)角線方向的細(xì)節(jié)分量,所以小波分解的系數(shù)特點(diǎn)和圖像的特征密切相關(guān)。由小波變換理論可知,小波系數(shù)是小波基與信號(hào)的內(nèi)積。絕對(duì)值較大的小波系數(shù)含有圖像的重要奇異特性,絕對(duì)值小的則為不重要系數(shù)。由于圖像小波變換后能量守恒,根據(jù)小波包分解的特性,能量的大部分集中于低頻部分,所以不同的子帶系數(shù)表征圖像的能力各不相同。對(duì)不同子帶系數(shù)進(jìn)行統(tǒng)計(jì)分析得出結(jié)論:子帶能量隨小波分解的級(jí)別增加而增加;在每一級(jí)三個(gè)高頻子帶中,對(duì)角線分量(HH)的能量往往最小,水平方向(HL)和垂直方向(LH)的分量能量與圖像本身沿不同方向上的特征量相關(guān)。特征量多的子帶其特征重要性更高,在編碼器中應(yīng)該優(yōu)先傳輸。
為了更加靈活地實(shí)現(xiàn)比特分配方法,生成更精細(xì)的傳輸層級(jí)選擇,本節(jié)提出了一種逐層添加子帶的漸進(jìn)式分層算法。該分層算法在圖像塊級(jí)別和比特平面級(jí)別之間新增了子帶添加分層級(jí)別(Lel),每層包括上層子帶數(shù)據(jù)和本層新增子帶數(shù)據(jù)。分層過后的數(shù)據(jù)作為位平面編碼的輸入,然后進(jìn)行RLR熵編碼得到該層壓縮碼流。第N層壓縮編碼的碼流是該層所有子帶的第N個(gè)位平面通過熵編碼器得到的數(shù)據(jù);第N層解碼結(jié)果是該層所有子帶的前N個(gè)位平面解碼的結(jié)果。
漸進(jìn)式分層算法的關(guān)鍵步驟是要對(duì)子帶添加順序進(jìn)行重排序,添加順序必須符合兩個(gè)要求:
a)避免比特面重復(fù)編碼,減少信息冗余;
b)符合該圖像塊子帶特征重要性順序。
子帶的比特深度也就是每個(gè)子帶最大系數(shù)絕對(duì)值的位長,反映了能容納該子帶所有系數(shù)絕對(duì)值的最大位平面數(shù)量。在進(jìn)行獨(dú)立子帶位平面編碼的測試中觀察到,部分子帶包含的信息量較小,前幾個(gè)位平面即可完全包含所有小波系數(shù)信息,繼續(xù)傳輸后續(xù)位平面會(huì)產(chǎn)生一定的信息冗余。因此位平面數(shù)量可以反映子帶的信息量,通過子帶比特深度進(jìn)行子帶的逐層添加可以有效減少信息冗余。
同時(shí)在分層設(shè)計(jì)中要考慮子帶的特征重要性順序,優(yōu)先傳輸更重要的信息以提高圖像的主觀質(zhì)量。這里需要進(jìn)行子帶特征重要性和子帶比特深度的相關(guān)性證明,以此來進(jìn)行更加合理的添加順序排序。測試對(duì)檢驗(yàn)圖像各個(gè)子塊的9個(gè)高頻子帶的比特深度進(jìn)行統(tǒng)計(jì)排序,同時(shí)利用子帶能量大小的排序代表子帶特征重要性的排序,進(jìn)行Kappa一致性檢驗(yàn),檢驗(yàn)系數(shù)為0.64,結(jié)果高度一致。根據(jù)多次圖像測試結(jié)果顯示,子帶的比特深度與表征圖像特征的重要性相關(guān),因此可以通過子帶比特深度作為子帶特征量的量化指標(biāo)進(jìn)行子帶重排序的依據(jù),同時(shí)不會(huì)違背子帶特征的重要性順序。
子帶系數(shù)重排序方法準(zhǔn)則:
第一排序準(zhǔn)則:位平面數(shù)量;
第二排序準(zhǔn)則:子帶重要性順序。
例如:當(dāng)幾個(gè)子帶(HL2、HH1、HL3、HL)預(yù)測位平面均為6時(shí),排序?yàn)镠L3、HL2、HL1、HH1。
設(shè)計(jì)逐層添加子帶的漸進(jìn)式分層算法的核心思想是:保證子帶重排序后排序靠前的子帶優(yōu)先放入分層傳輸系統(tǒng),在分層傳輸過程中保證重要信息傳輸?shù)耐暾裕慌判蚩亢蟮淖訋Ш蠓湃敕謱觽鬏斚到y(tǒng),減少非重要信息的冗余。該漸進(jìn)式分層算法可以根據(jù)系數(shù)子帶的特點(diǎn)選取有效的比特面放入相應(yīng)的層中,使得最終得到的碼流層可以保證每個(gè)子帶均達(dá)到最大有效位平面數(shù)量的疊加。其優(yōu)化目的是避免位平面編碼后的數(shù)據(jù)重復(fù)送入熵編碼器生成傳輸碼流,在弱網(wǎng)環(huán)境下能夠控制每層傳輸?shù)臄?shù)據(jù)量,有效降低傳輸比特的同時(shí)保證傳輸質(zhì)量,在實(shí)際應(yīng)用中可以更好地適應(yīng)網(wǎng)絡(luò)環(huán)境的變化。
2.2.2漸進(jìn)式分層算法步驟
2.2.3漸進(jìn)式分層結(jié)構(gòu)說明
從結(jié)果數(shù)據(jù)不難看出,不論是紋理復(fù)雜度較低還是紋理復(fù)雜度較高的圖像塊,相比于原算法,本文提出的逐層添加子帶的漸進(jìn)式分層算法在同等比特情況下PSNR均表現(xiàn)得更好。在低比特傳輸環(huán)境下,該算法比原算法需要更少的比特即可重建同等質(zhì)量(PSNR)的圖像。該分層算法可以在數(shù)據(jù)上實(shí)現(xiàn)圖像質(zhì)量的漸進(jìn)式顯示,同時(shí)實(shí)現(xiàn)碼流數(shù)據(jù)的漸進(jìn)式增長。在給定每個(gè)圖像塊分配的比特情況下,使得選取傳輸層數(shù)進(jìn)行碼流控制的過程更加靈活且準(zhǔn)確。
2.3分層算法完整流程
3算法性能測試
3.1測試準(zhǔn)備
為了驗(yàn)證所提出算法的有效性,設(shè)計(jì)實(shí)現(xiàn)了結(jié)合紋理復(fù)雜度和小波系數(shù)特征的漸進(jìn)式分層系統(tǒng)。該系統(tǒng)將圖像劃分為64×64的圖像塊,將圖像轉(zhuǎn)換為YUV顏色空間并對(duì)亮度(Y)分量進(jìn)行基于分塊的3級(jí)Haar小波變換,將子帶數(shù)據(jù)放入分層編碼器進(jìn)行壓縮。選用PWC算法作為比較對(duì)象。采用分辨率為512×512的Barbara、Lena兩個(gè)標(biāo)準(zhǔn)圖像以及1 920×1 080的四個(gè)標(biāo)準(zhǔn)屏幕內(nèi)容圖像作為測試對(duì)象,進(jìn)行不同目標(biāo)碼率的漸進(jìn)式傳輸實(shí)驗(yàn),從客觀質(zhì)量和主觀質(zhì)量進(jìn)行對(duì)比分析。表3為測試選用屏幕內(nèi)容圖像數(shù)據(jù)集的信息介紹。
由于本文算法可以生成更精細(xì)的傳輸層級(jí)選擇,每個(gè)圖像塊可以選取不同的層數(shù)進(jìn)行傳輸,實(shí)現(xiàn)了更加靈活的比特分配,而PWC算法截取的碼流層較為固定,所以對(duì)比測試中目標(biāo)比特選取的是PWC算法每層經(jīng)過熵編碼器壓縮后的碼流長度,在此目標(biāo)比特下進(jìn)行兩種算法重建質(zhì)量的比較。恢復(fù)圖像客觀質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)采用像素亮度分量的峰值信噪比 PSNR。
3.2RD性能對(duì)比
從表4數(shù)據(jù)結(jié)果可以看出,對(duì)于屏幕內(nèi)容為文檔、網(wǎng)頁的圖像Sc(1)、Sc(2),本文算法比PWC算法的PSNR平均提高了2 dB左右;對(duì)于屏幕內(nèi)容包括視頻、文字、三維圖的混合圖像Sc(3)、Sc(4),本文算法比PWC算法的PSNR平均提高了3 dB左右;對(duì)于普通圖像Barbara和Lena,本文算法比PWC算法的 PSNR平均提高了5 dB左右。意味著給定目標(biāo)碼率,能夠壓縮得到質(zhì)量更好的圖像。
3.3主觀質(zhì)量對(duì)比
選用相同PSNR的普通圖像作為兩種分層算法主觀質(zhì)量的比較,如圖8所示。通過測試可以看出,本文提出的分層算法在人眼關(guān)注度高的復(fù)雜區(qū)域比如人臉面部,重建效果優(yōu)于原算法。同時(shí)測試結(jié)果顯示對(duì)于文本內(nèi)容本文算法的重建效果不佳,因此本文算法在包含圖像信息更豐富的屏幕內(nèi)容傳輸中能夠發(fā)揮更顯著的作用。
4結(jié)束語
本文提出了一種結(jié)合紋理復(fù)雜度和小波系數(shù)特征的漸進(jìn)式分層算法。在PWC算法基礎(chǔ)上,根據(jù)紋理復(fù)雜度計(jì)算出對(duì)一幀圖像內(nèi)不同圖像塊進(jìn)行目標(biāo)比特分配,利用小波系數(shù)和子帶特征量的相關(guān)性設(shè)計(jì)不同圖像塊內(nèi)高頻細(xì)節(jié)分量在漸進(jìn)式分層算法中的層級(jí)結(jié)構(gòu)。考慮屏幕內(nèi)容特征量的漸進(jìn)式分層算法使得不同圖像塊可以根據(jù)特征量選擇不同的分層方式,在分配到每個(gè)圖像塊的比特限制下傳輸達(dá)到最佳重建質(zhì)量的傳輸層數(shù)。通過PWC算法的性能對(duì)比,本文提出的分層算法在給定目標(biāo)碼率的條件下可以達(dá)到更高的客觀質(zhì)量PSNR,同時(shí)符合人眼關(guān)注度的主觀質(zhì)量也更高,層級(jí)重要性信息分配方面整體優(yōu)于對(duì)比算法。
總之,結(jié)合紋理復(fù)雜度和小波系數(shù)特征的漸進(jìn)式分層算法能夠更好地適應(yīng)網(wǎng)絡(luò)帶寬環(huán)境,使圖像得到高效壓縮的同時(shí)保證高質(zhì)量傳輸。本文提出的思想可以在遠(yuǎn)程桌面圖像傳輸領(lǐng)域以及其他弱網(wǎng)環(huán)境的圖形傳輸領(lǐng)域發(fā)揮重要的作用。未來的工作中,會(huì)從屏幕文本內(nèi)容的規(guī)律和特性出發(fā),采用文本內(nèi)容識(shí)別劃分技術(shù)[19],結(jié)合本文提出的漸進(jìn)式分層算法研究更加高效的漸進(jìn)式編碼算法。
參考文獻(xiàn):
[1]Komatsu R,Kuribayashi S I.Impact of network quality deterioration on user’s perceived operability in remote desktop environments[C]//Proc of the 17th International Conference on Network-Based Information Systems.Piscataway,NJ:IEEE Press,2014:540-544.
[2]張文豪.可分級(jí)與高效視頻編碼中關(guān)鍵技術(shù)的研究[D].北京:北京郵電大學(xué),2010.(Zhang Wenhao.Research on scalable video coding and high-performance video coding[D].Beijing:Beijing University of Posts and Telecommunications,2010.)
[3]Burguera B,Bonin-Font F.Progressive hierarchical encoding for image transmission in underwater environments[C]//Proc of OCEANS,Hampton Roads.Piscataway,NJ:IEEE Press,2022:1-6.
[4]Dong Cunhui,Ma Haichuan,Liu Dong,et al.Wavelet-based learned scalable video coding[C]//Proc of IEEE International Symposium on Circuits and Systems .Piscataway,NJ:IEEE Press,2022:3190-3194.
[5]Chapman C,Sanei S,Dilmaghani R,et al.Progressive transmission of medical images using embedded Zertree wavelet encoding[C]//Proc of IEEE International Workshop on Biomedical Circuits and Systems.Piscataway,NJ:IEEE Press,2004:S3/3-9.
[6]Said A,Pearlman W A.A new,fast,and efficient image codec based on set partitioning in hierarchical trees[J].IEEE Trans on Circuits amp; Systems for Video Technology,1996,6(3):243-250.
[7]Vargic R,Kacˇur J,Csóka F.Enhanced hierarchical mask creation for image coding using saliency maps[C]//Proc of the 4th International Conference on Control,Decision and Information Technology.Piscataway,NJ:IEEE Press,2017:288-293.
[8]龐子安.JPEG2000位平面編碼器并行優(yōu)化[J].電子世界,2021(18):133-135.(Pang Zi’an.Parallel optimization of JPEG2000 bit planar encoder[J].Electronics World,2021(18):133-135.)
[9]Taubman D.High performance scalable image compression with EBCOT[J].IEEE Trans on Image Processing,2000,9(7):1158-1170.
[10]Dharavath K,Bhukya S.A novel approach for improving image compression ratio[C]//Proc of the 3rd IEEE Global Conference for Advancement in Technology.Piscataway,NJ:IEEE Press,2022:1-4.
[11]Malvar H S.Fast progressive wavelet coding[C]//Proc of DCC’99 Data Compression Conference.Piscataway,NJ:IEEE Press,1999:336-343.
[12]Zhong Cuixiang,Huang Minghe.Progressive wavelet coding of images using linear indexing technique[C]//Proc of International Conference on Computational and Information Sciences.Piscataway,NJ:IEEE Press,2011:3-6.
[13]Wang Miaohui,Ngan K N,Li Hongliang.An efficient frame-content based intra frame rate control for high efficiency video coding[J].IEEE Signal Processing Letters,2015,22(7):896-900.
[14]Seghir Z A,Hachouf F.Image quality assessment scheme based on gradient similarity and color distortion[C]//Proc of the 12th International Symposium on Programming and Systems.Piscataway,NJ:IEEE Press,2015:1-8.
[15]Wu Tao,Wang Lunwen,Zhu Jingcheng.Image edge detection based on Sobel with morphology[C]//Proc of the 5th IEEE Information Technology,Networking,Electronic and Automation Control Confe-rence.Piscataway,NJ:IEEE Press,2021:1216-1220.
[16]孫慶文,邱衛(wèi)根.基于小波變換和Retinex算法的顯著性檢測[J].計(jì)算機(jī)應(yīng)用研究,2018,35(6):1910-1913.(Sun Qingwen,Qiu Weigen.Saliency detection based on wavelet transform and Retinex[J].Application Research of Computers,2018,35(6):1910-1913.)
[17]公衍超,王玲,劉穎,等.視頻主觀觀測實(shí)驗(yàn)啟發(fā)的 HEVC 感知幀內(nèi)碼率控制[J].通信學(xué)報(bào),2021,42(8):90-102.(Gong Yanchao,Wang Ling,Liu Ying,et al. HEVC perceptual intra-frame rate control inspired by video subjective observation experiment[J].Journal on Communications,2021,42(8):90-102.)
[18]Dumitrescu C,Rǎboacǎ M S,Manta I.Image compression and noise reduction through algorithms in wavelet domain[C]//Proc of the 26th IEEE International Symposium for Design and Technology in Electro-nic Packaging.Piscataway,NJ:IEEE Press,2020:215-220.
[19]Yang Xuehang,He Wenhao,Yin Fei,et al.A unified video text detection method with network flow[C]//Proc of the 14th IAPR International Conference on Document Analysis and Recognition.Piscataway,NJ:IEEE Press,2017:331-336.