基于自適應采樣的多假設預測殘差重構算法研究

安文 劉昆 王杰

基于自適應采樣的多假設預測殘差重構算法研究

安文1劉昆1王杰2

為保證遙感視頻序列的高質量重構,本文結合視頻序列的高時空冗余特點,在基于塊的分布式視頻壓縮感知(Distributed video compressed sensing,DVCS)框架的基礎上提出了一種基于自適應采樣的多假設預測殘差重構模型及基于變采樣率的多假設預測殘差重構算法.首先對目標幀進行預測,根據各塊預測精度的不同自適應地分配采樣率;然后用變采樣率多假設預測殘差重構算法重構出目標幀;最后利用雙向運動估計對重構結果進行修正.仿真結果表明該算法能夠在降低采樣率的同時保證良好的主客觀重構質量;相同采樣率條件下,重構精度比MC-BCS-SPL算法提高大約7dB,比MH-BCS-SPL算法提高大約1dB.

遙感視頻成像,壓縮感知,自適應采樣,多假設預測,雙向運動估計

目前,遙感視頻成像衛星對圖像分辨率的要求日益提高,使得遙感傳輸的數據量劇增,為了降低存儲、處理和傳輸的成本,需要在編碼端對信源信號進行壓縮處理,并在解碼端對原信號解壓縮重構.壓縮感知(Compressed sensing,CS)理論[1?2]能夠打破Shannon-Nyquist采樣定理的限制,自2006年由Donoho、Cand′es及Tao等提出以來,得到了國內外眾多學者的廣泛關注[3?4].該理論的核心是采樣和壓縮同時進行,當信號稀疏或在某一組基下稀疏時,可以利用維數遠小于信號的測量值和稀疏性或低秩性等先驗信息高概率地重構原信號[4?6].

遙感視頻信號可以視為在時間維度上連續的圖像信號,視頻壓縮感知(Compressed video sensing,CVS)框架分為視頻信號的壓縮測量和視頻信號的重構兩個過程.衛星上的測量資源,信號發射功率有限,因此要求測量過程盡可能簡單,壓縮率盡量高;而遙感信號重構時能夠利用大量的計算資源,可以通過迭代求解高復雜度的優化問題.這種“編碼簡單,解碼復雜”的特點使得CS理論與分布式視頻編碼(Distributed video ceding,DVC)相結合,形成了一種新的視頻壓縮技術— 分布式視頻壓縮感知(Distributed video compressed sensing,DVCS)[7?11].文獻[7?8]提出的差分重構模型是利用兩幀的測量值和它們的差分信息進行聯合重構.考慮到相鄰兩幀間的差別通常是由運動引起的,文獻[12]提出了殘差重構模型,首先使用CS重構算法進行獨立幀內重構,再聯合前后參考幀采用運動估計和運動補償預測出邊信息(Side information,SI),最后復原殘差,但該模型對待重構幀（CS幀）的估計不夠準確,為了保證重構效果,必須在運動估計和補償環節進行大量迭代,重構效率極低.文獻[13?14]利用傳統視頻編碼中的多假設(Multiple hypotheses,MH)概念構造出各塊的候選塊集合,并利用Tikhonov正則化求解病態優化問題,得到多假設預測的稀疏權重,預測出非關鍵幀的SI,有效地提高了預測精度.上述模型對所有塊分配同樣的采樣率,忽略了視頻場景中不同區域的運動和紋理特征,對視頻幀的相關性利用不夠充分.為克服該缺陷,文獻[15]將幀內區域劃分為前景和背景,根據關注度的不同自適應地分配測量率.文獻[16]提出的自適應測量策略目的在于減少測量硬件數量,但重構效果不夠理想.文獻[17?18]能夠根據視頻幀間相關度的不同自適應地分配測量率,但這些自適應測量方案的總測量率是不可控的,不能在給定目標采樣率的條件下實現測量率的自適應分配,由于現實遙感數據傳輸的帶寬有限,因此這種總測量率不可控的測量方案并不實用.文獻[19]雖然意識到了該問題,但測量率的舍入誤差使得圖像塊采樣率分配的自適應性不強.

為了在固定測量率下,盡可能提高視頻信號的重構質量,本文提出了一種總測量率可控的自適應采樣多假設預測視頻壓縮感知模型.首先對目標幀進行預測,根據各塊預測精度的不同自適應地分配測量率.預測精度高的塊分配低測量率,預測精度低的塊分配高測量率.然后利用參考幀和測量值對目標幀進行變采樣率下的多假設預測,得到邊信息,并用SPL(Smoothed projected landweber)算法[20]重構自適應采樣預測的殘差以得到目標幀.由于幀間運動的存在,在參考幀內的平行位置附近直接抽取參考塊進行多假設預測并不能一直保持與待重構塊的高度相關性,尤其是在幀間包含復雜快速運動的情形中.為了進一步利用視頻幀間的時空相關性,通過雙向運動估計修正已重構的目標幀.利用已重構的相鄰關鍵幀對目標幀進行雙向運動估計[21],并將估計結果和已重構的目標幀作為幀間多假設預測的參考幀,對目標幀再次進行變采樣率下的多假設預測,得到邊信息,并進行變采樣率殘差重構以得到高質量的目標幀.Matlab環境下的仿真結果表明,本文提出的運動估計修正的變采樣率多假設預測視頻壓縮重構模型能夠在降低采樣率的同時保證良好的重構效果.

1 多假設預測

多假設預測的核心思想是對當前待重構塊的大量近似塊進行線性組合,通過優化算法找到最佳線性組合,并將其作為待重構塊的預測.多假設預測的算法模型可以寫為

其中,xt,i∈RB2×1表示第t幀圖像xt中第i塊的矢量表示;Ht,i∈RB2×K是參考幀中搜索窗內的所有參考塊按列排成的矩陣;wt,i∈RK×1表示Ht,i各列的最佳線性組合系數.該問題可以視為一個簡單的Least-squares(LSQ)問題來優化求解,但事實上 xt,i是不可知的,解碼端只能獲取 xt,i的測量值yt,i,將問題(1)轉化到測量域

其中,Φ∈RM×B2表示隨機測量矩陣.JL引理(Johnson-Lindenstrauss Lemma)表明問題(3)與問題(1)的解一致.由于M?B2,為保證式(3)的正確求解,必須進行正則化,最常用的是Tikhonov正則化,在式(3)中引入wt,i的2懲罰項,即

其中,λ為衡量正則化效果的尺度因子,Γ為Tikhonov 矩陣,Γ=diag{‖yt,i? Φ h1‖2,‖yt,i?Φh2‖2, ···, ‖yt,i? ΦhK‖2}, h1, h2,···, hK表示Ht,i的列.Γ的含義是對近似程度高的參考塊賦予大的組合系數,對近似程度低的參考塊賦予相對較小的組合系數.最優線性組合系數為

目前常用的多假設預測模型包括幀內多假設預測模型和幀間多假設預測模型.幀內多假設預測模型利用待預測塊附近2wd×2wd的搜索窗口內所有B×B的圖像塊作為候選塊,如圖1,因此需要先重構出當前目標幀,并將初始重構幀作為參考幀.幀間多假設預測模型將已重構的兩個相鄰關鍵幀作為參考幀,在參考幀中以與待預測塊相同位置的塊為中心,在其附近設置2wd×2wd的搜索窗口,并將窗口范圍內所有B×B的圖像塊作為候選塊,如圖2所示.

圖1 幀內多假設預測的候選塊示意圖Fig.1 Sketch map of candidates in intraframe multi-hypothesis prediction

圖2 幀間多假設預測的候選塊示意圖Fig.2 Sketch map of candidates in interframe multi-hypothesis prediction

2 自適應采樣率多假設預測DCVS

2.1 框架描述

本文提出的自適應采樣多假設預測殘差重構系統的框架如圖3所示.其中表示重構的關鍵幀,表示重構的非關鍵幀.

1)編碼端

將原始視頻分為關鍵幀(K幀)和非關鍵幀(NK幀),每個圖像組(GOP)包含一個K幀和一個NK幀.為簡化編碼過程,所有幀均使用基于塊的測量矩陣進行采樣.關鍵幀用高采樣率進行壓縮采樣.非關鍵幀要先進行幀間多假設預測,然后根據各個塊的預測結果自適應地分配采樣率:預測精度高的塊分配低采樣率,預測精度低的塊分配高采樣率.

2)解碼端

關鍵幀利用幀內多假設預測殘差重構算法獨立地進行重構;非關鍵幀利用變采樣率下的幀間多假設預測殘差重構算法進行聯合重構,并用雙向運動估計修正已重構的非關鍵幀.

2.2 自適應采樣

視頻幀中不同的塊具有不同的運動、紋理特征,因此在同樣的采樣率下不同塊的多假設預測精度也各不相同,給所有的塊分配同樣的采樣率不能充分利用采樣資源和傳輸帶寬.為此這里使用了一種根據多假設預測精度自適應分配采樣率的采樣方案.

將非關鍵幀xt∈RH×W的采樣率SRNK劃分成固定采樣率SRNK0部分和自適應采樣率SRNKa部分.其中,預采樣系數0＜C≤1,當C=1時表示非自適應采樣.然后對xt進行分塊,每塊大小為B×B,那么一幀圖像可以被分為P塊.

圖3 本文提出的自適應采樣多假設預測殘差重構系統的框架Fig.3 The multi-hypothesis residual reconstruction framework based on adaptive sampling

對各圖像塊xt,i(i=1,2,···,P)以采樣率SRNK0進行預采樣

預采樣矩陣Φ0為全維隨機采樣矩陣的前q0行,q0=[SRNK0×B2],這里[·]表示四舍五入的取整算子.整幀圖像xt的預采樣的數據量為

能夠進行自適應分配的采樣數為

則塊xt,i的采樣數據量為

相應的采樣率SRt,i=qt,i/B2.根據相鄰關鍵幀和預采樣進行初步的多假設預測,預測結果為在測量域衡量預測精度

et,i越大,說明該塊的預測誤差越大,需要的自適應采樣率更高,因此可以把預測精度et,i作為xt,i的自適應采樣系數,即at,i=et,i.

這種基于采樣數的自適應采樣有效削弱了采樣率分配時的舍入誤差,且不會對整幀的采樣率造成太大影響,整幀采樣率被約束在[SRNK?1/B2,SRNK+1/B2]范圍內.

2.3 變采樣率多假設殘差重構

本文所用的單幀重構算法以文獻[12]中的BCS-SPL算法為基礎,為削弱塊效應(Blocking artifacts),該算法在重構目標幀時將測量矢量按順序排列成測量矩陣,一次性完成對整幀圖像的重構.該算法并不能直接用于變采樣率下的殘差重構,這是因為各個塊的測量率不同,測量矢量長度不等,不能作為一個測量矩陣直接完成對整幀圖像的重構.如果對各個塊進行獨立的殘差重構,無疑會割裂圖像的空間相關性(Spacial correlation),不能充分利用幀內的相關信息,并且不可避免地會出現塊效應.為解決該問題,本文提出了一種變采樣率下的殘差重構模型.

首先根據相鄰關鍵幀和采樣矢量yyyt,i對塊xxt,i進行多假設預測,預測結果為由第2.2節可知yyt,i長度越短說明xxt,i的預測越準確,xxt,i與間的差異越小,可以將預測的一部分測量值作為xxt,i的測量值,這相當于增加了xxxt,i的測量率,能夠有效提高其重構質量.設長度最長的測量為 yyt,max,其長度qmax=max{qt,i},對應的測量矩陣Φt,max為全維隨機采樣矩陣的前qmax行.用對進行采樣,并用最后qmax?i個測量值將yyy補長到qmax,即t,i

這樣就保證了各個圖像塊具有相同長度的測量矢量和相同維度的測量矢量,能夠用BCS-SPL算法進行殘差重構,提高目標幀的重構質量.

2.4 雙向運動估計

在對非關鍵目標幀進行幀間多假設預測時僅僅在參考幀中以待預測塊為中心的附近小范圍內進行了搜索,并不能一直保證候選塊與待預測塊間的高度相關,尤其是視頻中含有大量劇烈運動時.為了充分利用視頻序列的時空相關性,將運動估計幀作為參考幀,參與到非關鍵幀的多假設預測重構過程,為了提高運動估計精度,使用雙向運動估計和補償算法[21].首先利用前后相鄰關鍵幀xt?1,xt+1對xt進行雙向運動估計,塊xt,i的運動矢量為

其中,μ為運動估計中的權重系數.塊xt,i中像素點s處的像素預測值為

3 實驗設計與性能分析

本文選用4組CIF格式的標準測試序列foreman、stefan、bus和 fl ower的前31幀測試本文提出的自適應采樣多假設預測殘差重構模型,其中奇數幀為關鍵幀(K幀),偶數幀為非關鍵幀(NK幀).分塊測量矩陣選用Gauss隨機測量矩陣,且分塊大小為16×16;稀疏表示字典選用DCT完備字典;進行多假設預測時,搜索窗口為7;進行雙向運動估計時,匹配塊大小為16×16,搜索窗口為8,運動估計的權重系數為0.005;使用SPL算法[15]進行重構,λ=6.重構效果的評價指標有反映客觀重構質量的峰值信噪比(Peak signal to noise ratio,PSNR),反映主觀視覺質量的結構相似性指數(Structural similarity,SSIM)和反映計算復雜度的重構時間(Time).實驗的硬件平臺為主頻2.8GHz的Intel i5-2300 CPU計算機,軟件平臺為Windows XP2002,32位操作系統和MATLAB7.7.0仿真實驗軟件.

3.1 確定預采樣系數C

在對NK幀進行預采樣時,預采樣系數C越小,初步多假設預測就越不準確,非關鍵幀采樣率的自適應分配誤差越大,重構精度下降;但預采樣系數C越大,用于自適應分配的采樣率越小,不能充分反映不同塊之間預測精度的差異,也不能充分利用采樣資源以體現自適應采樣的優勢,重構精度也會下降,因此需要在預測精度和塊間精度差異之間進行折衷.為了獲取合適的預采樣系數,本文對4組序列在C∈{0.3,0.4,0.5,0.6,0.7,0.8,0.9,1.0}時進行了測試,采樣率為SRK=0.6,SRNK=0.2.表1給出了不同預采樣系數下,各個測試序列NK幀的平均重構PSNR和SSIM.從表1可以看出,C=0.8或0.9時能夠獲得最好的重構效果;C＜0.8時,隨著C減小,重構效果變差;C＞0.9時,重構效果也變差,實驗結果與分析結果一致.在下面的仿真實驗中取C=0.8,以保證自適應采樣對采樣資源和傳輸帶寬的最佳利用.

3.2 采樣率的幀間配置

K幀進行獨立的幀內多假設殘差重構,并作為NK幀多假設預測的參考幀,必須獲取足夠的采樣數據量才能保證整個序列的重構質量.然而僅僅通過K幀或NK幀的采樣率并不能說明整個序列的壓縮率,因此本文用平均采樣率SRa來衡量序列的壓縮率.設每個圖像組(GOP)包含P幀圖像,其中1幀關鍵幀,P?1幀非關鍵幀.

關鍵幀和非關鍵幀的采樣率可以寫為

表2給出了P=2,SRa∈{0.3,0.4,0.5,0.6},ΔSR∈{0,0.05,0.1,0.15,0.2,0.25}時關鍵幀和非關鍵幀的采樣率.從表2可以看出,在同樣的平均采樣率下,ΔSR越大,SRK越大,SRNK越小.SRK越大意味著關鍵幀的重構越準確,越能保證非關鍵幀的預測精度,但SRNK的減小會削弱非關鍵幀的預測精度,因此整個序列的重構結果還需要進一步討論.

在P=2,SRa∈{0.3,0.4,0.5,0.6},ΔSR∈{0,0.05,0.1,0.15,0.2,0.25}時測試4個序列的重構效果,如表3所示.從表3可以看出,在相同的平均采樣率下,ΔSR越大,序列的平均重構效果越好,這也說明了為什么關鍵幀需要更高的采樣率以保證序列的重構質量.值得注意的是,當SRa=0.3時,ΔSR=0.25并不能獲得最佳的重構效果,這是因為此時NK幀的采樣率過低,固定采樣率部分SRNK0更低,初步多假設預測精度不夠,采樣率的分配不合理,重構誤差大,所以視頻序列的平均重構質量下降.這與第3.1節的分析一致.

表1 各測試序列在不同C下NK幀的平均重構PSNR(dB)和SSIMTable 1 Average PSNR(dB)and SSIM of each video with diあerent C

表2 不同SRa和ΔSR下K幀和NK幀的采樣率Table 2 Sampling rates of K frames and NK frames with diあerent SRaand ΔSR

表3 測試序列在不同ΔSR下的平均重構性能比較:PSNR(dB);SSIMTable 3 Average reconstruction quality of each video using diあerent ΔSR:PSNR(dB);SSIM

3.3 算法性能分析

在視頻序列的重構中,關鍵幀采用文獻[14]提出的BCS框架下基于幀內多假設預測的SPL算法進行獨立的幀內重構;非關鍵幀分別選用本文提出的自適應采樣多假設預測殘差重構算法(ASR-MHBCS-SPL)、文獻[20]提出的基于運動估計的殘差重構算法(MC-BCS-SPL)和文獻[13]提出的基于幀間多假設預測的殘差重構算法(MH-BCS-SPL)進行重構.表4(a)和表4(b)給出了4組測試序列的NK幀在上述3種重構算法下的PSNR值、SSIM值和平均單幀重構時間T.

由表4(a)可以看出,ΔSR=0,SRK=SRNK時,不論是在高平均采樣率還是低平均采樣率下,本文提出的算法ASR-MH-BCS-SPL在主、客觀評價標準下的重構質量都優于MC-BCS-SPL算法和MH-BCS-SPL算法.ASR-MH-BCS-SPL算法重構的平均PSNR值比MH-BCS-SPL算法高大約1.1dB,最多高1.963dB;比MC-BCS-SPL算法高1.5～6dB,平均高大約6dB,最多高5.981dB.而且隨著平均采樣率SRa增大,本文提出算法的優勢更為明顯,這是因為SRa增大意味著K幀的采樣率增加,重構精度更高,能夠為NK幀提供更準確的參考;而且NK幀的采樣率更高,使得多假設預測更準確,測量率的分配更合理.

當ΔSR=0.25,SRK＞SRNK時,可以得出類似的結論.ASR-MH-BCS-SPL算法重構的平均PSNR值比MH-BCS-SPL算法高大約0.6dB,最多高1.624dB;比MC-BCS-SPL算法高4～9dB,平均高大約7.6dB,最多高9.895dB.值得注意的是,當SRa=0.3時,ASR-MH-BCS-SPL算法的重構效果比MH-BCS-SPL算法差,這是因為NK幀的采樣率太低,固定采樣率部分SRNK0更低,初步多假設預測精度不夠,采樣率的分配不合理,所以ASR-MH-BCS-SPL算法的性能弱于MH-BCSSPL算法.

本文所提出算法ASR-MH-BCS-SPL在重構效率上存在明顯不足,單幀平均耗時225s,約是MCBCS-SPL算法的7倍,MH-BCS-SPL算法的3倍,這是因為算法使用了多次多假設預測算法來提高重構精度.

圖4給出了Foreman序列第30幀圖像在SRK=0.5,SRNK=0.1時3種重構算法下的重構結果對比.可以看出在相同采樣的采樣率下,本文提出的算法有更好的主客觀重構質量,尤其是在一些細節(如眼睛)和運動部分(如嘴巴)的重構上.

表4 (a)ΔSR=0時不同測量率下各視頻重構算法的性能比較:PSNR(dB);SSIM;T(s)Table 4(a) Reconstruction performance of each video using diあerent algorithms when ΔSR=0:PSNR(dB);SSIM;T(s)

表4 (b)ΔSR=0.25時不同測量率下各視頻重構算法的性能比較:PSNR(dB);SSIM;T(s)Table 4(b) Reconstruction performance of each video using diあerent algorithms when ΔSR=0.25:PSNR(dB);SSIM;T(s)

3.4 算法應用于遙感視頻重構

遙感凝視成像衛星在對目標區域進行觀測時,會在衛星相對于目標的過頂時間窗口內進行姿態調整,使目標始終處于衛星視頻相機的視場中心,以獲取該區域內的序列圖像,故圖像各幀之間的相關性非常強.為檢驗算法在遙感視頻序列上的適用性,對一段avi格式的海港遙感視頻(單幀分辨率為480像素×480像素)進行自適應采樣,并利用本文提出的自適應采樣多假設預測殘差重構算法(ASR-MHBCS-SPL)、文獻[20]提出的基于運動估計的殘差重構算法(MC-BCS-SPL)和文獻[13]提出的基于幀間多假設預測的殘差重構算法(MH-BCS-SPL)分別進行重構,仿真參數保持不變.

表5給出了不同采樣率下,該視頻序列前30幀的平均重構PSNR值,SSIM值和平均時耗T,可以看出不管ΔSR是否等于零,ASR-MH-BCS-SPL算法的主客觀重構性能都優于MC-BCS-SPL算法和MH-BCS-SPL算法,但重構時間較長.比較表5和表4(a),表4(b)可以發現遙感序列的平均單幀重構時間長于測試序列,這是因為遙感視頻幀的像素點數大于測試序列的緣故.

圖5顯示了SRa=0.3,ΔSR=0.25時第10幀圖像在不同算法下的重構結果,目標艦船用圓圈標出.仿真結果表明本文提出的算法適用于遙感視頻序列的重構,而且重構效果優于MC-BCS-SPL算法和MH-BCS-SPL算法,減弱了邊緣模糊現象并消除了塊效應,即使在平均采樣率為0.3的低采樣率下,PSNR值仍高達35dB以上.

3.5 算法復雜度分析

通過上述仿真實驗可以看出,本文提出的基于自適應采樣的多假設預測殘差重構算法在主客觀評價標準下優于MC-BCS-SPL算法和MH-BCSSPL算法,但耗時過久,本節將細致分析三種算法各個環節的重構質量和時耗.

仿真序列使用Foreman序列的前31幀,采樣率為SRK=0.6,SRNK=0.2.其余仿真參數同第3節的初始設置.根據算法的關鍵環節、將ASRMH-BCS-SPL算法分成自適應采樣環節,變采樣率下的多假設預測殘差重構環節,雙向運動估計環節、用雙向運動估計進行補償的環節、分別記為A1,A2,A3,A4;將MC-BCS-SPL算法分成采樣環節、幀內多假設預測殘差重構環節、運動估計環節、基于運動估計的殘差重構環節,分別記為C1,C2,C3,C4;將MH-BCS-SPL算法分成采樣環節、幀間多假設預測殘差重構環節,分別記為H1,H2.表6給出了三種算法各個環節的平均時耗T和涉及到重構環節的平均重構PSNR,SSIM.

圖4 不同算法對foreman序列第30幀圖像的恢復效果Fig.4 Reconstruction of the 30th frame in the foreman video using diあerent algorithms

表5 遙感視頻在不同算法,不同采樣率下的重構性能:PSNR(dB);SSIM;T(s)Table 5 Reconstruction performance of the remote sensing video using diあerent algorithms and diあerent sampling rates:PSNR(dB);SSIM;T(s)

圖5 遙感視頻序列中第10幀圖像的恢復效果Fig.5 Reconstruction of the 10th frame in the remote sensing video

表6 三種算法各個環節的時耗和重構性能:T(s);PSNR(dB);SSIMTable 6 Time and reconstruction quality of three algorithms in every step:T(s);PSNR(dB);SSIM

比較C2和C4可以看出,多假設預測殘差重構環節比殘差重構環節耗時,時耗約是殘差重構環節的3.5倍;比較A2,A4和H2與C2可以看出,幀間多假設預測殘差重構環節的時耗遠大于幀內多假設預測殘差重構環節;比較A3和C3可以看出,雙向運動估計環節的耗時遠大于文獻[20]中的運動估計環節,這是因為雙向運動估計算法需要對圖像塊進行多次遍歷匹配.ASR-MH-BCS-SPL算法比較耗時的根本原因是三次幀間多假設預測,每個涉及幀間多假設預測的環節時耗都在68s左右;由于自適應采樣過程中也進行了幀間多假設預測,因此編碼階段時耗會遠大于其他兩種算法,比較A1和C1,H1可以看出,A1環節時耗的數量級遠高于C1,H1.

比較C2和H2可以看出,幀間多假設預測殘差重構的重構效果遠遠優于幀內多假設預測殘差重構;比較A2和H2可以看出基于自適應采樣的幀間多假設預測殘差重構算法的重構效果優于恒定采樣率下的幀間多假設預測殘差重構算法,平均PSNR值比后者高1.267dB;比較A2和A4可以看出,雖然用雙向運動估計可以改善算法的性能,但時耗會增大,為降低算法復雜度,也可以不用雙向運動估計算法進行補償,或者換用簡單的、效率較高的運動估計算法進行補償.更有效的降低算法時耗的方法是研究一種不用幀間多假設預測就能把運動估計用于重構結果補償的算法,這也是以后的研究方向之一.

4 結論

本文以基于塊的分布式視頻壓縮感知框架為基礎,提出了一種自適應采樣的多假設預測殘差重構模型及相關算法.首先將視頻流拆分為關鍵幀和非關鍵幀,均采用基于塊的壓縮測量方式進行測量,關鍵幀以高測量率直接采樣,并利用幀內多假設預測殘差重構模型進行獨立重構;然后將非關鍵幀的測量率分成固定部分和自適應部分,并用已重構的相鄰關鍵幀和預采樣對待重構非關鍵幀進行幀間多假設預測,并根據各塊的預測精度自適應地分配測量率:預測精度高的塊分配低測量率,預測精度低的塊分配高測量率;接著利用相鄰關鍵幀和自適應測量值進行變采樣幀間多假設預測,得到邊信息并進行殘差重構;最后利用雙向運動估計修正重構結果,以獲得高質量的重構幀.仿真結果表明,該算法能夠在降低采樣率的同時保證良好的重構效果,不論是在主觀評價標準還是客觀評價標準下,重構質量都優于MC-BCS-SPL算法和MH-BCS-SPL算法;并且該算法適用于遙感視頻的壓縮重構;然而由于使用了多次多假設預測算法,本文提出的算法花費的時間代價較高,文中細致分析了三種算法各個環節的重構質量和時耗,雖然在擁有巨大運算力的解碼端,重構時間能夠進行大量縮減,但如何在保證重構精度的同時提高算法的重構速度仍然是下一階段重點研究的問題.

1 Donoho D L.Compressed sensing.IEEE Transactions on Information Theory,2006,52(4):1289?1306

2 Candes E J,Wakin M B.An introduction to compressive sampling.IEEE Signal Processing Magazine,2008,25(2):21?30

3 Ren Yue-Mei,Zhang Yan-Ning,Li Ying.Advances and perspective on compressed sensing and application on image processing.Acta Automatica Sinica,2014,40(8):1563?1575(任越美,張艷寧,李映.壓縮感知及其圖像處理應用研究進展與展望.自動化學報,2014,40(8):1563?1575)

4 Shen Yan-Fei,Li Jin-Tao,Zhu Zhen-Min,Zhang Yong-Dong,Dai Feng.Image reconstruction algorithm of compressed sensing based on nonlocal similarity model.Acta Automatica Sinica,2015,41(2):261?272(沈燕飛,李錦濤,朱珍民,張勇東,代鋒.基于非局部相似模型的壓縮感知圖像恢復算法.自動化學報,2015,41(2):261?272)

5 Waters A E,Sankaranarayanan A C,Baraniuk R G.SpaRCS:recovering low-rank and sparse matrices from compressive measurements.In:Proceedings of the 2011 Neural Information Processing Systems(NIPS).Barcelona,Spain:IEEE,2011.1089?1097

6 Fowler J E,Mun S,Tramel E W.Multiscale block com

pressed sensing with smoothed projected landweber reconstruction.In:Proceedings of the 19th European Signal Processing Conference.Barcelona,Spain:IEEE,2011.564?568

7 Willett R M,Marcia R F,Nichols J M.Compressed sensing for practical optical imaging systems:a tutorial.Optical Engineering,2011,50(7):1?13,Article No.72601

8 Thompson D,Harmany Z,Marcia R.Sparse video recovery using linearly constrained gradient projection.In:Proceedings of the 2011 IEEE International Conference on Acoustics,Speech,and Signal Processing(ICASSP).Prague,Czech Republic:IEEE,2011.1329?1332

9 Baron D,Duarte M F,Wakin M B,Sarvotham S,Baraniuk R G.Distributed compressive sensing[Online],available:http://www.arxiv.org/abs/0901.3403,February 17,2016

10 Zhang B J,Lei Q,Wang W,Mu J S.Distributed video coding of secure compressed sensing.Security and Communication Networks,2015,8(14):2416?2419

11 Liu H X,Song B,Tian F,Qin H,Liu X.Optimal-correlationbased reconstruction for distributed compressed video sensing.Journal of Visual Communication and Image Representation,2015,31:197?207

12 Chen J,Su K X,Wang W X,Lan C D.Residual distributed compressive video sensing based on double side information.Acta Automatica Sinica,2014,40(10):2316?2323

13 Tramel E W,Fowler J E.Video compressed sensing with multihypothesis.In:Proceedings of the 2011 Data Compression Conference(DCC).Snowbird,UT,USA:IEEE,2011.193?202

14 Chen C,Tramel E W,Fowler J E.Compressed sensing recovery of images and video using multihypothesis predictions.In:Proceedings of Conference Record of the 46th Asilomar Conference on Signals,Systems,and Computers(ASILOMAR).Praci fi c Grove,CA,USA:IEEE,2011.1193?1198

15 Warnell G,Reddy D,Chellappa R.Adaptive rate compressive sensing for background subtraction.In:Proceedings of the 2012 IEEE International Conference on Acoustics,Speech,and Signal Processing(ICASSP).Kyoto,Japan:IEEE,2012.1477?1480

16 Srinivasarao B K N,Gogineni V C,Mula S,Chakrabarti I.VLSI friendly framework for scalable video coding based on compressed sensing[Online],available:arxiv.org/abs/1602.07453,April 5,2016

17 Lian Qiu-Sheng,Tian Tian,Chen Shu-Zhen,Guo Wei.Block compressed sensing of video based on variable sampling rates and multihypothesis predictions.Journal of Electronics and Information Technology,2013,35(1):203?208(練秋生,田天,陳書貞,郭偉.基于變采樣率的多假設預測分塊視頻壓縮感知.電子與信息學報,2013,35(1):203?208)

18 Li Ru-Chun,Li Lin,Chang Li-Ping.Block compressed sensing of video based on variable sampling rates.Application of Electronic Technique,2015,41(10):147?149,153(李如春,李林,常麗萍,基于變采樣率壓縮感知的視頻壓縮研究.電子技術應用,2015,41(10):147?149,153)

19 Zuo Mi-Wen,Chang Kan,Shi Jing-Lan,Qin Tuan-Fa.Adaptive rate compressed video sensing scheme.Video Engineering,2015,39(2):66?70(左覓文,常侃,施靜蘭,覃團發.一種自適應采樣率視頻壓縮感知方案.電視技術,2015,39(2):66?70)

20 Mun S,Fowler J E.Residual reconstruction for block-based compressed sensing of video.In:Proceedings of the 2011 Data Compression Conference(DCC).Snowbird,UT,USA:IEEE,2011.183?192

21 Choi B D,Han J W,Kim C S,Ko S J.Motion-compensated frame interpolation using bilateral motion estimation and adaptive overlapped block motion compensation.IEEE Transactions on Circuits and Systems for Video Technology,2007,17(4):407?416

Research on Multi-hypothesis Residual Reconstruction Algorithm Based on Adaptive Sampling

AN Wen1LIU Kun1WANG Jie2

To guarantee an adequate quality reconstruction of remote sensing video and to make use of the character of mass information redundancy in video,this paper proposes a kind of adaptive sampling and multi-hypothesis residual reconstruction model and algorithm based on the framework called distributed video compressed sensing(DVCS).Firstly,the current frame is predicted,then sampling rates are adaptively allocated according to the precise degrees of the blocks in the predicted frame.Afterwards,the current frame is reconstructed using the variable sampling rates multi-hypothesis residual reconstruction algorithm.Finally,the reconstructed frame is revised by bilateral motion estimation technic.Simulation shows that the proposed model and algorithm can assure low sampling rate and high reconstruction quality simultaneously,and that the model can oあer a PSNR gain of around 7dB higher the MC-BCS-SPL algorithm,and a gain of around 1dB than higher the MH-BCS-SPL algorithm when the sampling rates are same.

Remote sensing video,compressed sensing(CS),adaptive sampling,multi-hypothesis prediction,bilateral motion estimation

An Wen,Liu Kun,Wang Jie.Research on multi-hypothesis residual reconstruction algorithm based on adaptive sampling.Acta Automatica Sinica,2017,43(12):2190?2201

2016-05-10 錄用日期2016-12-10

May 10,2016;accepted December 10,2016國家自然科學基金(61271440)資助

Supported by National Natural Science Foundation of China(61271440)

本文責任編委楊健

Recommended by Associate Editor YANG Jian

1.國防科學技術大學航天科學與工程學院 長沙 410073 2.63810部隊文昌571300

1.College of Aerospace Science and Engineering,National University of Defense Technology,Changsha 410073 2.PLA 63810 Unit,Wenchang 571300

安文,劉昆,王杰.基于自適應采樣的多假設預測殘差重構算法研究.自動化學報,2017,43(12):2190?2201

DOI10.16383/j.aas.2017.c160376

安 文 國防科技大學航天科學與工程學院碩士研究生.主要研究方向為壓縮感知遙感成像．本文通信作者.

E-mail:anven91@sina.com

(AN Wen Master student at the College of Aerospace Science and Engineering,National University of Defense Technology.Her main research interest is remote sensing imaging based on compressed sensing.Corresponding author of this paper.)

劉 昆 國防科學技術大學航天科學與工程學院教授.主要研究方向為飛行器設計與控制,微小衛星光學有效載荷.

E-mail:liukun-open@163.com

(LIU Kun Professor at the College of Aerospace Science and Engineering,National University of Defense Technology. His research interest covers fl ight vehicle design and control,optical payload of microsatellite.)

王 杰 國防科學技術大學碩士研究生.主要研究方向為壓縮感知遙感成像.

E-mail:18670387476@163.com

(WANG Jie Master student at National University of Defense Technology.His main research interest is remote sensing imaging based on compressed sensing.)