一種高圖像質量的虛擬視點繪制方法及GPU加速

陳璐瑤，陳思潔，岑 寬，朱 威，2

1(浙江工業大學 信息工程學院，杭州 310023) 2(浙江省嵌入式系統聯合重點實驗室，杭州 310023)

1 引 言

隨著科學技術的進步和生活水平的不斷提高，人們對影音娛樂的需求愈發的多樣化[1]，一些新的視頻技術逐漸走進我們的生活.自由視點視頻[2，3]是一種允許用戶自由改變觀看視角的交互式視頻技術，能為用戶提供新穎的沉浸式的視覺體驗.近年來，它在體育賽事直播、視頻會議、3D電視、遠程教育等領域中已經得到了應用[4].傳統的多視點視頻需要稠密的多路彩色視頻，會消耗巨大的傳送帶寬和存儲資源，而且由于視點個數不能無限制增加，視點間的角度切換過渡不自然，用戶體驗不佳.因此，新一代的自由視點視頻采用有限視角的彩色視頻搭配對應深度視頻的形式，使用虛擬視點繪制技術以獲得任意角度的視點，同時也大幅減少視頻數據量.

虛擬視點繪制是一種根據單個或多個已知的參考視點圖像來繪制空間中另一個位置虛擬視點所看到圖像的技術，根據其實現原理的不同可以分為基于模型的繪制(Model-based Rendering，MBR)和基于圖像的繪制(Image Based Rendering，IBR)[5].基于模型的繪制技術需要進行三維建模，過程較為復雜，不適合用于實時高的應用場合.在基于圖像的繪制技術中，基于深度圖的繪制技術(Depth Image Based Rendering，DIBR)僅根據參考視點的深度信息和相機內外參數來繪制虛擬視點圖像，具有較好的圖像質量和較快的繪制速度，是目前虛擬視點繪制領域的研究熱點.

原始的DIBR方法存在空洞、偽影等問題，嚴重影響了圖像質量.目前已經有不少相關文獻對空洞問題進行了研究，總體來說，雙參考視點合成[6-9]能比單視點繪制[10-15]獲得更好的圖像質量，應用也更為廣泛.文獻[13]提取歷史幀中的背景信息用于填補空洞，但是需要等待多幀數據才能得到穩定的效果，也不適用于動態背景的情況.文獻[14]將卷積神經網絡應用于繪制圖像的修復，但需要大量數據提前進行訓練且計算量較高.文獻[16]研究了利用多個參考視點消除空洞的方法，但增加視點個數也影響了計算性能.除此之外，目前大多數的研究還是在CPU平臺上進行.DIBR方法由于每個像素點都要分別計算，在CPU串行計算的條件下，計算量較大，很難滿足實時性的要求.如文獻[9]采用雙視點融合和迭代逐層縮小空洞，取得了不錯的效果，但其在CPU上每幀耗時約30秒，遠未達到實時性要求.文獻[17-19]已經將GPU加速應用到DIBR方法上，使得虛擬視點繪制速度得到顯著提高，但其還存在單視點繪制圖像質量不佳或虛假邊緣處理方法不完善等問題.文獻[20]則僅對部分繪制過程進行了GPU加速，加速效果還不足以滿足實時處理需求.

為了實現自由視點視頻的實時交互顯示，本文提出了一種高圖像質量的虛擬視點繪制方法并對其進行GPU加速.針對傳統DIBR方法存在的圖像質量問題，本文通過對虛擬視點深度圖中值濾波來改善小空洞問題，設計了基于邊緣檢測的空洞膨脹方法消除虛假邊緣，還進行了雙視點亮度校正并融合雙視點圖像，最后通過考慮深度的插值方法填補剩余空洞.針對傳統DIBR方法存在的計算性能問題，本文設計了GPU加速解決方案，主要計算環節均在GPU上運行，主機設備之間僅來回拷貝一次數據，使虛擬視點繪制的處理速度達到實時處理的需求.

2 DIBR原理

L.McMillan[21]提出的三維圖像變換(3D Image Warping)方法是DIBR技術的核心.根據針孔相機模型，可以推導出圖像上一點的像素坐標和其對應的空間點的世界坐標的關系如式(1)所示，式中，(u，v)為空間點的像素坐標，Zc為該點的深度值，(Xw，Yw，Zw)為該點的世界坐標，M為相機的投影矩陣，由相機的內參矩陣和外參矩陣相乘得到.

(1)

3D Image Warping方程就是利用了這個關系，將參考視點中的像素點逐一映射到三維空間中，再從三維空間中將該點映射到虛擬視點圖像中.在這一過程中，只需用到參考視點、虛擬視點相機的投影矩陣，以及參考視點的深度信息.投影矩陣由相機的內外參數構成，可以通過相機標定事先得到.深度信息可以通過深度相機直接獲取，或通過雙目相機進行深度估計等方式得到.虛擬視點映射過程如圖1所示.

圖1 三維圖像變換過程示意圖Fig.1 Process of 3D image warping

3 本文提出的虛擬視點繪制方法

微軟研究院提供的“Ballet”和“Breakdancers”多視點加深度自由視點測試序列[22]，共有8個參考視點，每兩個視點物理間隔20cm.本文通過對外參矩陣進行線性插值，在每兩個參考視點中間插入40個虛擬視點，使得用戶視點可以在8個參考視點組成的視野范圍內無縫的過渡切換.為實現虛擬視點的實時繪制并解決傳統DIBR方法中存在的空洞等問題，本文首先對參考視點深度圖進行邊緣檢測并向前映射，向前映射過程中需要將邊緣標記一同映射到虛擬視點，同時還要處理重疊問題；然后對虛擬視點深度圖進行中值濾波，再根據處理后的深度圖進行反向映射得到虛擬視點的彩色圖像；接著對空洞掩模圖中被標記的虛假邊緣位置進行膨脹處理，再融合兩幅經過亮度校正的虛擬視點圖像以填補大空洞；最后通過考慮深度的快速插值的方法填充剩余的空洞.在每一個環節中，圖像的各個像素是在不同線程中獨立計算的，當整幅

圖2 本文提出方法的流程圖Fig.2 Flow chart of the proposed method

圖的所有像素計算完成，方法進入下一個處理環節.本文提出方法的流程如圖2所示.

3.1 重疊處理

視角移動后，部分前景將與原來的背景像素位置重合.此時前景理應將背景遮擋，但若不加處理，由于計算順序問題，可能導致背景像素將前景像素覆蓋，造成如圖3(a)所示的圖像問題.該問題需要在向前映射的過程中處理，通常采用Z-Buffer算法，即開辟一個緩存用于保存映射到同一個像素的n個像素點，通過排序保留深度值最小的像素，如式(2)：

d=min(d1，d2，…，dn)

(2)

為了節省內存、簡化計算，本文方法在處理每一個像素時，若目標像素位置已經存在像素值，則比較兩者深度值大小，并保留深度值較小的像素.由于在并行操作時存在數據競爭現象，比較過程需要重復5次以保證結果正確.

圖3 重疊問題處理前后對比圖Fig.3 Comparison of dealing with the problem of overlapping

3.2 空洞填充

使用DIBR技術繪制虛擬視點經常會產生空洞.根據產生原因的不同，空洞可以分為小空洞和大空洞兩種類型.其中，小空洞呈不規則的裂縫狀或小塊狀，產生的原因有三種：一是由于像素值為整數，坐標在映射過程中產生了舍入誤差；二是由于視點轉換后圖像所需的像素點數量可能會增大；三是由于深度圖采集時的誤差造成深度信息的不連續.這三種原因導致了在映射過程中有部分虛擬視點像素沒有被映射到，從而形成裂紋般的細小空洞.

對于小空洞，本文方法先將參考視點深度圖向前映射到虛擬視點深度圖，接著對虛擬視點深度圖進行中值濾波，消除大部分細小空洞，再根據處理后的深度圖反向映射得到虛擬視點彩色圖像.中值濾波對于細小空洞這類椒噪聲有良好的平滑作用.濾波前后的虛擬視點深度圖如圖4所示.

大空洞面積較大，產生原因是遮擋導致的圖像信息缺失.由于視角的移動，原本被前景遮擋的背景信息顯露出來，或者原本在參考視點拍攝范圍之外的景象進入新的視點，導致了這部分圖像信息的缺失.因此，大空洞會出現在前景的邊緣和整幅圖像的邊緣，形狀也與前景形狀和視點移動方向有關.對于大空洞，本文方法將不同方向的兩個參考視點映射到同一個虛擬視點，再進行圖像的融合，從而互補了各自缺失的圖像信息，保留場景的原始特征.具體的融合方法如式(3)：

(3)

式中，IL和IR分別表示左右參考視點映射到虛擬視點之后的像素值，α為左參考視點與虛擬視點間的距離占兩個參考視點總間距的比例，即距離越小權重越大.圖像融合效果如圖5所示，可見在圖像融合之后，大部分空洞能被有效填充.

圖5 融合前后虛擬視點圖像Fig.5 Virtual viewpoint image before and after image fusion

3.3 偽影消除

偽影問題是指圖像中出現本沒有的形態特征，虛擬視點繪制中的偽影問題主要有兩個，一個是虛假邊緣問題，另一個是亮度差異[8，17]問題.一般來說，彩色圖像的物體邊緣會存在2至3個像素的平滑過渡現象，而深度圖的前景邊緣往往十分銳利.這種邊緣寬度的差異導致前景外輪廓的部分像素的深度值錯誤，被映射到背景上，形成一條虛假的邊緣，其寬度一般在1-2個像素.

對于虛假邊緣問題，傳統的空洞膨脹處理方法能有效解決，但也導致了部分空洞面積增大，使得后期需要更多的插值處理.當空洞出現在前景邊緣時，傳統方法還會導致前景邊緣像素損失.文獻[8]提出了一種基于深度信息的不對稱膨脹方法，能夠解決前景邊緣損失的問題，但仍存在不必要的膨脹處理.為此，本文設計了一種基于邊緣檢測的虛假邊緣處理方法.本文在向前映射之前，首先用3×3大小的模板膨脹參考視點的原始深度圖，再用Canny算子檢測邊緣并標記邊緣像素，得到前景的外輪廓信息，如圖6(b).接著把標記信息也映射到虛擬視點圖像中，如圖6(c).然后對空洞掩模圖進行選擇性的膨脹處理，若將要膨脹的像素位于之前被標記的邊緣位置處，則進行處理，否則不改變該像素的值.用符號⊕表示膨脹處理，本文空洞膨脹方法可如式(4)：

(4)

其中，holeMap表示空洞掩模圖，edgeMap表示三維映射后的邊緣標記圖，elem為5×5大小的矩形模板.最終虛假邊緣標記結果如圖6(d)所示，可見本文方法能有效減少不必要的膨脹處理，同時保護前景邊緣不會損失.該方法對最終圖像質量的提升會在后續插值處理之后表現出來，詳見3.4節.

圖6 本文空洞膨脹方法的中間過程圖Fig.6 Process of proposed hole extension method

由于不同參考視點由不同位置的不同攝像機拍攝，其無論是內部的感光元件還是外部的光照環境都存在一定的差別，導致兩個視點得到的圖像在亮度、色彩上面也存在一定的差異.這個問題導致了兩個視點圖像融合后，其填充區域與周邊存在一定的色彩差異，形成偽影.

對于亮度差異問題，本文在圖像融合時，參考了文獻[8]的亮度校正方法，將兩幅圖像轉換到HSV顏色空間，求取兩幅圖公共部分的像素的亮度比值的均值，然后以一個視點為參考，對另一個視點圖像的亮度進行縮放，再轉換回RGB空間.采用上述方法處理偽影的前后對比如圖7所示.

圖7 不同方法處理偽影問題效果對比圖Fig.7 Comparison of different methods for the problem of ghost artifacts

3.4 剩余空洞的插值

圖像融合之后得到的虛擬視點圖像一般已經沒有了因遮擋產生的大空洞，但還可能剩余一些空洞.現有基于樣本的圖像修復方法[23-25]比較耗時，為了達到計算實時性，本文提出了一種較為快速的空洞插值方法：對于每個空洞像素，分別向上下左右4個方向搜尋到最近的非空像素值，然后計算4個像素值的加權平均值為插值結果，權重與像素距離成反比，如式(5)：

(5)

式中，n為采樣點的數量，I代表像素值，d為采樣點與當前像素的距離.

但是，當兩個參考視點與虛擬視點的空間位置相距較遠時，可能會出現兩個參考視點圖像信息也無法完全填充大空洞的情況，導致空洞出現在前景邊緣.注意到因遮擋產生的大空洞缺失的都是背景信息，若空洞產生在前景邊緣，由于前景背景差異大，這種插值方法以及基于樣本的圖像修復方法[23]會使得前景的色彩混雜到背景空洞中，效果并不理想，如圖8(b)所示.于是本文進一步對上述方法進行了改進：在插值前判斷插值采樣點的深度值，對4個采樣點的深度值進行排序，然后對相鄰的每兩個深度值求差，若差值大于閾值THd，則舍棄較小一側的所有點，保留深度值較大的背景像素點，再進行插值.本文中THd取值為10，插值效果如圖8(d)所示.與圖8(c)相比，經過3.3小節所述的空洞膨脹，圖8(d)的前景邊緣沒有損失，具有更豐富的圖像細節，可見本文的膨脹方法具有保護前景邊緣的作用.本文方法計算較為簡單，在并行運算時無須迭代，一次處理就能填充完畢，滿足視頻實時播放的要求.此外，本文方法還可以通過增加更多方向的采樣點從而獲得更好的效果.

圖8 插值效果對比圖Fig.8 Comparison of different inpainting methods

4 虛擬視點繪制的GPU加速

CUDA是針對英偉達GPU的通用并行計算架構，它提供了一個兩層的線程層次結構，由線程塊和網格組成.若干個線程塊組成一個網格，由核函數啟動.CUDA可以組織三維的網格和塊，每個線程都會被分配一個唯一的索引號，用于區分線程.這種編程模型為矩陣運算而設計，二維的網格和塊就可以看作一幅二維圖像，每一個線程就對應處理圖像中的一個像素點或一塊區域，如圖9所示.

圖9 線程組織方式示意圖Fig.9 Organization of threads

CUDA采用了單指令多線程(SIMT)的架構，每32個線程為1個線程束，是基本的執行單元[26].因此，在組織線程的時候，既要盡量保證一個線程塊中的線程數為32的整數倍，還要盡可能避免線程束分化，從而提高性能.由于涉及到硬件資源的分配，線程塊的大小會影響性能.以流處理器占用率最大化為原則，可以使用官方API函數來計算得核函數的最佳線程塊大小，然后根據圖像分辨率和線程塊大小計算得網格的大小.

由于DIBR方法中每一個像素點都要計算，且各個像素點的運算之間沒有數據關聯，使得DIBR方法使用多線程運算時有相當高的并行度[17].本文采用了二維索引的方式組織線程，每個線程僅處理一個像素點，以獲得最高的并行度.此時同一指令的不同像素之間是并行計算的，線程的索引號與像素坐標一致，但從程序整體來說，各項操作之間還是順序執行.本文方法的數據流如圖10所示.為了避免數據在CPU內存和GPU內存之間多次拷貝，提高運行速度，本文將主要計算皆放在GPU上運行.首先將CPU讀取的左右參考視點彩色圖和深度圖從CPU內存拷貝到GPU內存；再按第3節所述方法對兩參考視點分別進行相同的處理，過程中產生深度邊緣標記圖、虛擬視點深度圖、空洞掩模圖、虛擬視點彩色圖等中間數據；最后經過圖像融合和空洞插值得到虛擬視點繪制結果，并將其拷貝回CPU內存.

圖10 本文方法數據流圖Fig.10 Data flow diagram of proposed method

并行計算也會引入新的問題，在處理重疊問題和亮度校正時，存在多個線程同時修改同一個數據的競爭現象.數據競爭會導致計算結果不可預料.CUDA提供的原子操作可以保證多線程對同一數據的訪問是互斥的，本文將其用于亮度校正時對亮度比值的累加，保證結果正確.但由于原子操作缺少對double數據類型的支持，對于重疊問題本文采用多次比較深度值大小并進行線程同步的方式處理.原子操作會使得計算強制串行化，會犧牲一定的性能，但整體下降有限.此外，本文還使用了OpenCV提供的CUDA模塊，使用GpuMat類來存儲和操作圖像數據.相比于使用CUDA原生的API，這樣能便于內存管理，在編程上更加方便.

5 實驗結果與分析

為驗證本文方法的有效性，實驗選取了5個自由視點視頻序列進行測試，并與現有方法進行了圖像客觀質量對比.“Ballet”、“Breakdancers”和“BookArrival”序列的分辨率為1024×768，為室內場景，同時包含多個靜止和運動的物體.“PoznanHall2”和“PoznanStreet”序列的分辨率為1920×1088，其中“PoznanHall2”序列為室內場景，包含兩個行人，其相機是運動的，“PoznanStreet”序列為戶外場景，存在自然光照，有多輛運動的汽車.

5.1 圖像質量評價

峰值信噪比(Peak Signal to Noise Ratio，PSNR)和結構相似度(Structural Similarity Index，SSIM)是常用的圖像客觀質量評價標準，值越高說明圖像質量越好.PSNR的計算方法如式(6)所示：

(6)

式中，MSE是兩圖像之間的均方誤差，n是每個采樣值的比特數.SSIM的計算方法如式(7)所示：

(7)

式中，μx和μy分別代表圖像x和圖像y的均值，σxy為x和y的協方差，σx2和σy2代表方差，c1=(k1L)2和c2=(k2L)2為常數，L為像素值的動態范圍，k1=0.01，k2=0.03.實驗采用PSNR和SSIM評價各序列虛擬視點圖像和真實相機拍攝圖像的相似度，記錄各序列所有幀測試結果的平均值，見表1.表中視點編號欄，中間為虛擬視點編號，其余為兩參考視點編號.

表1 本文方法在不同視頻序列下的圖像客觀質量評價Table 1 Objective quality evaluation of images in differentvideo sequences

對于表1中測試序列，本文方法的PSNR范圍為30.7433 dB到34.2147dB，SSIM范圍為0.849到0.8813，整體表現良好.其中，“Ballet”序列的指標整體上要好于“Breakdancers”和“BookArrival”序列，這主要是由于該序列具有更高質量的深度圖和較為單調的背景紋理.實驗進一步同現有方法進行對比，如表2所示.本文方法的SSIM比文獻[15]稍低，但圖像質量總體上好于文獻[12]和文獻[15]中的單視點方法；對于雙視點方法，本文方法的PSNR也高于文獻[1]和文獻[7]中的雙視點方法，SSIM與文獻[7]基本持平.因此，本文方法具有較好的客觀圖像質量.

表2 本文方法與其它文獻方法的圖像客觀質量對比Table 2 Comparison of objective quality of images in thispaper and other paper methods

圖11是本文方法的虛擬視點圖像與真實圖像的主觀對比.將圖片放大來看，可見虛擬視點圖像中的部分細節有所損失，存在一些插值造成的模糊痕跡.但整體來看，虛擬視點圖像與實際圖像相比沒有明顯瑕疵，具有一致的主觀質量.總體來說，本文方法穩定性強，得到的虛擬視點圖像主客觀質量都較好.

圖11 虛擬視點圖像與真實圖像對比圖Fig.11 Comparison of virtual view images and real images

5.2 GPU加速評價

本小節實驗在2個硬件平臺上進行了計算性能測試，平臺1為Intel i7-8550U和Nvidia MX150，平臺2為Intel E5-2678和Nvidia Titan Xp.本文方法在處理“Ballet”序列時，各階段具體時間如表3所示.由于三維映射計算過程較為復雜，除性能較強的GPU平臺2之外，三維映射及中值濾波環節都占據了50%以上的總耗時.Canny邊緣檢測在GPU平臺上也是耗時較多的環節，由于在CPU上調用了已經過優化的OpenCV庫函數，邊緣檢測的加速效果并不明顯.從總時間來看，“Ballet”序列在兩個平臺上進行GPU加速后都能進行流暢的自由視點視頻播放.

表3 本文方法各階段的平均耗時情況(ms)Table 3 Average time of each step of the proposed method

實驗對所有序列進行了加速比測試，結果如表4所示，表中不包含數據拷貝的時間.從表中可以看出，分辨率相同的序

表4 算法對不同序列的單幀平均處理時間對比Table 4 Comparison of average processing time of singleframe for different sequences

列處理時間相近，而“PoznanHall2”和“PoznanStreet”序列由于分辨率更高，耗時比其它幾個序列要更長，且時間之比約等于像素數量之比(2.66倍)，可見圖像分辨率大小是影響本文算法處理速度的主要因素.由于更多的核心數量、更高的核心頻率和更高的顯存帶寬，GPU2帶來的加速效果要明顯好于GPU1，加速比在平臺1上達到35倍左右，在平臺2上則達到210倍左右.對于不同的序列，本文方法的加速效果比較穩定.

6 總 結

為了實現自由視點視頻的實時交互顯示，本文提出一種高圖像質量的虛擬視點繪制方法并進行GPU加速.該方法主要使用中值濾波改善小空洞問題，通過基于邊緣檢測的空洞膨脹以消除虛假邊緣的影響，且減少了不必要的膨脹操作，保護了前景邊緣；采用基于HSV顏色空間的亮度校正，使得兩視點融合填充的大空洞顯得較為自然；最后還利用考慮深度信息的快速插值方法，有效改善前景邊緣處的空洞插值效果.本文方法獲得的虛擬視點主觀客觀圖像質量良好.此外，本文進一步采用CUDA編程技術對虛擬視點繪制方法進行GPU并行加速，將主要計算環節都放在GPU內進行，并在每個環節為每個像素單獨分配線程，實現像素級的并行處理，使繪制方法達到實時處理的要求.