多視點稀疏測量的圖像繪制方法

蘭誠棟 林宇鵬 方大銳 陳建

隨著當代計算技術和多媒體技術的飛速發展,追求用戶高質量體驗的沉浸式視頻取得了長足的發展[1?2].一個多媒體系統,其提供的顯示和追蹤技術如果可以用來在時間和空間上忠實地再現現實世界的感覺和行為,就被稱為沉浸[3].在視覺領域,沉浸感就是指借助設備顯示技術,能夠讓參與到虛擬環境中的人們產生身臨其境的臨場感.2016年,多媒體產品工業界對于虛擬現實VR 技術產生濃厚興趣,Facebook、谷歌、微軟、蘋果等大公司都開展了相關技術研發,并發布了相關VR 產品.視頻呈現的歷史,正是追逐更強沉浸式體驗的技術發展過程.

為了增強沉浸感和互動性,需要將現實世界的三維場景的全部信息進行記錄,并且能夠為用戶進行無失真的重現.計算機視覺領域中,場景的表示與重建技術是該問題主要的解決方案[4?5].

依據原始圖像的數量可以將三維重建方法分為單視點圖像三維重建和多視點圖像三維重建.單視點圖像三維重建方法是基于單幅2D圖像提取場景深度信息來構建立體視覺圖像[6?7].由于多視點圖像中包含更強的場景深度線索―視差,基于圖像的繪制技術(Image-based render,IBR)成為一種近年來較為熱門的三維重建方法.該方法拍攝圖像用于采集光線,通過繪制對這些光線進行重組[8?9].

采集和重建是實現IBR 渲染技術的主要方法.目前通用的方法需要的攝像機數量較多,采集數據量大,帶來壓縮和存儲的巨大壓力,同時設備及帶寬成本高昂;若是減少攝像機數量,則會導致重建內容產生跳躍性,圖像出現重影和模糊現象.

對IBR 技術調研可知,最先有Chai 等[10]在2000年分析了全光函數的頻帶并找到最優的全光函數平均采樣率.在此基礎上,Zhang 等[11]將IBR 的譜分析擴展到了更加通用的情況,包括非Lambertian和遮擋場景.他們利用一個表面全光函數首次研究了同心拼接的譜分析,初步分析了非Lambertian反射和遮擋場景.然而,該方法在對全光函數進行分析時,并沒有指出在何種條件下全光函數為帶限信號.針對該問題,Do等[12?13]的論文指出:除非場景表面是平的,否則全光函數的頻帶不是帶限的.Zhou 等[14]擴展了對非Lambertian 反射的光譜分析.通過將反射解析光場作為紋理信息,建立了一個新的非Lambertian反射場景模型.2014年,Gilliam 等[15]首次提出了有限斜面的全光譜表達式,并以此為基礎對復雜場景進行合成.

2000年～2014年的研究大多將信號變換到傅里葉頻域進行處理,通過全光函數建模,利用奈奎斯特采樣定理推導最優的采樣率,方法較為傳統.近年來,許多新技術被應用于通過稀疏視點圖像估計稠密視點圖像的應用中.

2015年,Vagharshakyan等提出了一種重建密集采樣光場的方法[16].通過一個由多視點校正相機采集得到的稀疏圖像對光場進行重建,而不需要對場景深度進行精確的估計,所需的中間視圖利用極化平面圖像在剪切域里的稀疏性進行合成.

2016年,Heber 等[17]利用卷積神經網絡來預測光數據(Light field,LF)的深度.該方法根據2D超平面的方向學習LF和相應4D深度場以表示端到端的映射.然后通過應用更高階的正則化在后處理步驟中進一步細化所獲得的預測.

2016年,Kalantari等[18]基于深度學習的方法使用兩個卷積神經網絡進行視差和顏色估計,LF的4個角視圖用于合成中間視圖.

2017年,Unde等[19]提出了基于迭代加權L1范數最小化的圖像的塊壓縮感知框架重構算法和基于塊的相關圖像和視頻幀聯合重建算法,編碼復雜度低,具有良好的壓縮性能.

2017年,Ansari等[20]提出了一種基于提升的、可分離的、圖像匹配的小波聯合框架,并將其應用于圖像的重建.

2018年Vagharshakyan等[21]基于壓縮感知框架的重建方法,利用剪切波更靈活地對傅里葉頻譜進行濾波,以低于奈奎斯特采樣定理的采樣率進行稀疏視點的圖像重建,效果較好.

最新前沿方法[21]利用剪切波作為稀疏基,通過隨機測量矩陣獲得低維測量信號,基于壓縮感知求解方法重建稠密多視點圖像,此時,測量信號包含了原始稠密多視點圖像盡可能多的信息熵[22].現實VR 場景圖像重建等應用場景中,需要通過攝像機采集稀疏視點圖像,并將它們作為壓縮感知框架中的低維信號.顯然,低維信號需要與測量矩陣相對應,若是采用隨機測量矩陣,無法采集相應的低維測量信號.本文提出構建稀疏視點測量矩陣,基于該測量矩陣自適應構建稠密視點圖像的稀疏基,并使之滿足壓縮感知框架中獲取唯一精確解的條件.

1 基于壓縮感知的多視點測量與稀疏基構建

1.1 壓縮感知算法框架

根據壓縮感知理論,設原始信號為變量x,測量矩陣為Φ,采樣后的信號為y,則:

如果原始信號x是稀疏信號,則可通過求解以下式子獲得信號x近似無失真的重建信號:

但是原始信號x通常不滿足稀疏性,我們假設存在一個基Ψ,使得:

其中,s是稀疏的,則將式(3)代入式(1)得:

顯然,上面的公式需要先確定采樣矩陣Φ和稀疏基Ψ,再通過稀疏表示求解方法獲得.

1.2 動機與思路

由式(6)可知,稀疏感知算法能夠從觀測值y中,通過稀疏優化求解方法,估計出原始信號x.由Candes-Romberg-Tao定理[23]可知,式(6)中傳感矩陣ΦΨ必須滿足RIP(Restricted isometry property)條件才能求得唯一解.由隨機測量矩陣文獻[24]可知,隨機測量矩陣與確定信號基(如小波基、傅里葉基)之間很大概率是不相關的,低相關性保障了RIP條件的滿足.并且,隨機測量矩陣使得觀測數據的不確定性最大,表明數據含有的信息熵最大.因此,采用了壓縮感知框架重建多視點圖像的前沿方法[21],觀測矩陣Φ采用隨機測量矩陣,Ψ取剪切波基.然而,在稠密多視點圖像或視頻的應用場景中(如光場重建,VR 無縫漫游等),相鄰視點的間距小至幾厘米,一個幾十平米的空間就需要成百上千的攝像頭進行拍攝,顯然,這導致成本高昂且數據量巨大.因此,需要通過采集稀疏視點圖像用于估計出稠密視點圖像.

如圖1所示,假設奇數視點為稀疏視點,偶數視點為待估計的虛擬視點,所有視點為稠密視點.其中,定義SVEPI表示由稀疏視點獲得的對極平面圖像(Epipolar-plane image,EPI),DVEPI表示由稠密視點得到的EPI.前沿方法將稠密視點映射成壓縮感知框架中的原始信號x,并認為稀疏視點圖像為測量信息.但是,在隨機測量矩陣條件下,測量信號值包含了所有稠密視點信息,而SVEPI 信息僅僅來源于稀疏視點信號,兩者不一致.如果將SVEPI作為測量值,顯然會導致估計的原始信號不準確.因此,需要重新構建稀疏視點測量矩陣,使得測量值與稀疏視點采集的信息一致.同時,新的測量矩陣與稀疏基應滿足壓縮感知方法獲取唯一精確解的RIP條件.

圖1 基于壓縮感知框架的稠密多視點圖像重建原理Fig.1 Principle of dense multi-view image reconstruction based on compressed sensing framework

由圖1可看出,稀疏視點信號僅僅是抽取稠密視點圖像的局部位置信息,因此,首先將稠密視點圖像按序列重組方式轉化成向量,然后通過測量矩陣線性操作(在抽取信息位置設置1,如圖2中矩陣Φ的顏色塊;其他位置設0,如圖2中矩陣Φ的白色塊),使得原始信號經過設計的稀疏視點測量矩陣,獲得與稀疏視點采集信息相一致的測量值.此外,基于設計的稀疏測量矩陣,為了使壓縮感知框架能夠求解出唯一精確解需最大化滿足RIP條件.由于RIP常數衡量了測量矩陣Φ與基矩陣Ψ乘積中任意兩列之間的正交程度,提出構建稀疏基函數的列相關性代價函數作為RIP條件約束,同時設計基函數Ψ線性表示系數的稀疏約束項,求解獲得能夠基于測量矩陣自適應的最優稀疏基矩陣.

2 多視點稀疏測量的圖像繪制算法

2.1 多視點信號的對極平面圖像構建

圖2 構建稀疏視點測量矩陣與自適應稀疏基函數Fig.2 Constructing sparse viewpoint measurement matrix and adaptive sparse basis function

由于對極平面原理,不同視點拍攝的同一場景對象,都會呈現在EPI圖像的某一斜線上,該斜率與視差有關,并直接取決于對象與拍攝視點之間的景深.因此,可以利用對極平面圖像(EPI)將不同視點中相應對象的信息聚集到同一圖像,使得進一步的處理能夠更易于利用視點間的相關性.基于以上分析,我們選擇采用EPI來作為壓縮感知框架中輸入信號的表示方式.對極平面圖像首先由Bolles等[25]提出.與自然圖像相比,EPI 具有特定的斜線紋理結構,如圖3所示.EPI構建方法如下所述.

設K個視點圖像分別為I1,I2,I3,···,IK.定義矩陣Am是第m行都為1,其他行都為0的矩陣,矩陣Am的大小等于圖像大小,表示如下:

則,EPI 圖可以表示為:

其中,T代表矩陣轉置,m代表多視點圖像的第m行,K是代表多視點圖像總個數.

2.2 多視點間隔采樣的測量矩陣構建

由前述可知,壓縮感知框架中的隨機測量矩陣并不能適用于現實場景的運用,為了實現攝像機位置與觀測矩陣相對應,提出了采用等間隔采樣矩陣作為測量矩陣的方法.

我們對EPI圖的重建是基于分塊進行的,測量矩陣的設計原則如下:能夠從原始信號EPI 分塊向量中提取出對應視點位置采集到的信息.我們將稀疏測量矩陣Φ定義為:

圖3 EPI 及其頻譜示意圖Fig.3 EPI and its spectrum diagram

采用等間隔矩陣后,便可以設計出與矩陣相對應的攝像機擺放位置,也是采用等間隔擺放的方式,同時,因為是測量矩陣的間隔采樣特性,測量值維度小于原始信號,攝像機數量可以相應減少.

2.3 雙約束代價構建與求解

不失一般性,我們設被測信號為x,測量矩陣為Φ和稀疏基Ψ,由前面可知,在多視點圖像采集和重建中,測量矩陣Φ是設定已知的,相關方法通常利用正則性約束稀疏求解[26?27].我們的任務是設計最優的稀疏基Ψ,使其滿足兩個條件.條件1:被測信號盡量被分解成稀疏的系數s;條件2:能夠利用稀疏優化求解方法獲得精確解.

為了滿足條件1,我們構建稀疏約束正則項:

其中,y為采集獲得的信號,我們使用EPI圖的分塊重組成列向量賦值y,Φ賦值為已知的間隔測量矩陣,ε為稀疏度,Ψ為待求解矩陣變量.

為了滿足條件2,我們引入傳感矩陣D=ΦΨ,根據測不準定理可知[24],當時,L0范數問題等價于L1范數問題,且它們有唯一解.我們所設計的最優稀疏基Ψ,必須使得相關系數系數μ(D)最小.根據相干性的定義有,設dddi,dddj為列歸一化的原子,則:

此外,根據Welch定理[21]可知,相干系數存在下界.設D ∈RM×K,其中M

顯然,根據相干性的定義,我們只需要使得矩陣G上的元素逼近Welch下界,由于D是列向量歸一化矩陣,因此,G對角線元素都為1.我們構建相干約束正則項為:

綜上所述,我們計算求解多視點EPI 分塊稀疏基的代價函數為:

其中,λ為平滑因子,可由用戶設置.

由于有兩個變量,為了求解式(15),需要分為兩個階段.

第一階段,假設Ψ為已知,s為未知變量.這時,相干性正則項為常量,在最小化代價函數中不起作用,因此,求解代價函數(15)等價于求解函數:

我們用正交匹配追蹤算法(Orthogonal matching pursuit,OMP)求解.

第二階段,我們利用求解獲得的s設定為常量,將Ψ設定為變量,則求解(15)等價于:

由于共軛梯度法是求解優化問題的常用方法,且具有簡單高效的特點,本文利用共軛梯度法求解式(17).設:

通過矩陣求導可得:

代入共軛梯度法求解,從而獲得原始信號:

2.4 算法流程

綜上所述,多視點稀疏測量約束的圖像繪制算法如圖4所示,首先輸入采集的稀疏多視點圖像,利用EPI模型將不同視點的對應信息集中表示,構建稀疏視點測量矩陣,通過建立稀疏性和傳感矩陣列獨立性的雙約束代價求解稀疏基,將獲得的稀疏基和構建的測量矩陣代入壓縮感知框架求解稀疏系數,最后估計出稠密多視點圖像.其中,雙約束代價的稀疏基求解算法如下:

圖4 圖像繪制算法流程Fig.4 Image rendering algorithm flow

任務:通過求解下式,找到最好的稀疏基矩陣用于表示低維數據樣本yyy:

初始化:設置稀疏基矩陣Ψ(0)∈Rn×K,稀疏視點測量矩陣Φs,設J=0.

重復以下兩個階段直到收斂或滿足退出條件:

1)系數求解階段:使用OMP正交匹配追蹤算法求解下式,計算稀疏表示系數s.

2)基函數更新階段:固定前一階段獲得的s,利用共軛梯度法,求解下式,

同時更新J值,即J=J+1.

3 實驗

為了驗證本文提出算法的有效性,本實驗通過Matlab實現了多視點稀疏測量的圖像重建算法,并利用了斯坦福提供的公共測試序列[28]分析算法的適用性.

基于分塊的稀疏求解方法常用于圖像恢復[29],因而,我們對EPI圖像進行分塊處理.針對分塊大小的選擇,分別測試了由2×2、4×4、8×8三種塊大小訓練生成的稀疏表示基的重建誤差.其中,稀疏表示基的向量個數非常重要,需要測試基向量個數變化對于重建結果的影響.因此,該參數測試實驗分析了不同分塊情況下,重建誤差隨著基向量個數變化的曲線情況,如圖5所示.其中,重建誤差用原始圖像與重建圖像的均方根誤差衡量.

從結果可以看出,對于2×2的分塊大小,基向量個數的變化對于重建誤差沒有很大影響;對于4×4和8×8的分塊大小,相同基向量情況下,重建誤差隨著塊增大逐漸變小,但誤差減小的幅度逐漸趨于平緩;8×8分塊具有更低的重建誤差.因此,本文采用8×8作為實驗的分塊大小.

為了驗證本文算法的有效性,對比測試了三種算法:基于傅里葉基的壓縮傳感矩陣算法[9]、基于小波基的壓縮傳感矩陣算法[19]以及本文提出的基于多視點稀疏測量約束的壓縮傳感矩陣算法.算法的參數設置如表1所示:1)三種算法的輸入為相同的8組斯坦福公共測試序列;2)壓縮傳感矩陣分別采用了傳統的基于傅里葉基的壓縮傳感矩陣、前沿方法的基于小波基的壓縮傳感矩陣、本文提出的基于多視點稀疏測量約束的壓縮傳感矩陣,該部分是導致三種算法差異的主要參數;3)采樣點數均為原采樣點數量的一半;4)測量均使用本文提出的多視點間隔測量矩陣.

圖5 基向量個數與重建誤差的關系Fig.5 The relationship between the number of base vectors and reconstruction error

實驗結果如圖6主觀質量對比圖所示,其中圖6(a)為原始圖像,為了便于分析圖片細節,用方框截出來部分圖片放大進行分析;圖6(b)為基于傅里葉基的還原結果,圖6(c)為基于小波基的重建結果,圖6(d)為基于本文重多視點稀疏測量約束方法的重建結果.在與原始圖像的對比中可以看到,基于小波基的重建結果整體圖像較為模糊,有重影等現象存在,這與理論結果相符;基于小波基的重建圖像整體清晰度高于基于傅里葉基的重建結果,但是圖像邊緣位置容易模糊,且有少部分圖像出現重影;基于本文方法的重建結果整體圖像最為清晰,邊緣部分基本上無失真還原,無重影現象.

表2和表3顯示了用PSNR 和SSIM兩種方法評價的重建客觀質量結果.從中可以清晰地看到,基于傅里葉基方法的重建圖像PSNR、SSIM值最差,基于小波基的方法對于PSNR、SSIM有所提高,而用本文方法重建出來的PSNR、SSIM結果最好,這與主觀圖像實驗結果相符.

表1 算法參數說明Table 1 Algorithm parameter description

圖6 主觀質量對比圖((a)原始圖像;(b)傅里葉頻域濾波;(c)小波基稀疏重建;(d)本文重建方法)Fig.6 Subjective quality comparison chart((a)Original image;(b)Fourier frequency domain filtering;(c)Wavelet base sparse reconstruction;(d)Reconstruction method)

表2 重建圖像客觀質量PSNR (平均值)比較Table 2 Comparison of objective quality PSNR (average)of reconstructed images

表3 重建圖像客觀質量SSIM(平均值)比較Table 3 Comparison of objective quality SSIM(average)of reconstructed images

4 結語

本文描述了一種從給定的稀疏視點通過相應的測量矩陣訓練稀疏表示基,優化求解原始EPI圖分塊,進而重建稠密視點圖象的方法.本文算法構建了均勻間隔采樣的稀疏視點測量矩陣,并基于該矩陣約束訓練稀疏基,進而求解基于多視點稀疏測量約束傳感矩陣的壓縮感知框架,重建稠密多視點圖像.通過仿真實驗結果表明,本文提出的方法在給定少量視點情況下,重建稠密視點圖象是非常有效的.提出的重建算法可應用于虛擬視點合成、多視點視頻壓縮后處理以及虛擬現實等.