虛擬現實屏幕內容視頻的編碼處理

文/徐媛媛 朱艷麗

1 引言

虛擬現實技術(Virtual Reality, 簡稱VR)通過使用具有交互性的軟件和硬件來模擬生成一個具有真實感和沉浸感的三維環境，使得用戶有身臨其境的體驗。基于此，VR技術在游戲、電影、教育、醫療等眾多領域有著廣泛的應用，例如可以通過VR實現虛擬購物、就醫、以及觀看演唱會等。由于價格及便利性的優勢，面向普通消費者的主要是頭戴式虛擬現實設備.用戶可以通過頭戴式顯示器(Head Mounted Display, 簡稱HMD)，透過光學鏡片在距離很近的屏幕上觀看虛擬場景。

隨著VR用戶的增加，VR應用內容逐漸豐富。同時，伴隨云技術的興起，設備之間進行屏幕內容分享的需求也在急劇增加，并相應的產生了如云游戲、無線屏幕顯示、鏡像屏幕、以及屏幕虛擬化等應用。在這些應用中，屏幕分享通常需要以屏幕內容視頻的形式在VR設備之間進行實時地傳輸，并引發了相關屏幕內容視頻編碼的研究。

關于屏幕內容編碼的研究得到了學術界和工業界的廣泛關注，尤其是在提高編碼效率上。高效視頻編碼（HEVC）中的屏幕內容編碼擴展標準文獻[1,2]提出幾項新的編碼工具，例如幀內塊復制、調色板模式、自適應色彩變換、自適應運動矢量精度等。在文獻[3]中，作者將屏幕內容分成色彩和結構兩分量而不使用變換來提高壓縮性能。根據屏幕內容含有較少種類顏色的特性，文獻[4]使用了一種基于色彩表和色彩索引圖的編碼方式。在[5]中，研究者根據混合屏幕內容的特點，提出了同時采用色度采樣編碼器和全色度編碼器的編碼方式，取得了較好的編碼效果。文獻[6]設計了與全色度HEVC結合的誤差限自適應的有損字典編碼方案。除了有損屏幕內容編碼，文獻[7,8]為無損屏幕內容幀內編碼提出了一個模板匹配預測的編碼方法，達到了很好的壓縮效果。

雖然已有的屏幕內容編碼方法在提高壓縮性能已經取得了很大進展。然而，上述屏幕內容編碼方法并未考慮虛擬現實的屏幕內容特性。為此，本文提出了有效區域和無效區域的劃分方法，并進一步提出了對無效區域像素進行處理的方法，來提高頭戴式虛擬現實屏幕內容視頻的幀內編碼壓縮性能。實驗結果驗證了該方法的有效性。

2 虛擬現實屏幕內容視頻介紹

在內容分布上，VR HMD屏幕內容視頻與普通屏幕內容視頻有不同的特點。如圖1(a)和圖1(b)所示，首先普通屏幕內容視頻通常是單視圖的，而HMD屏幕內容視頻中具有左眼和右眼兩個視圖。為了得到立體感，VR HMD會為左、右眼提供同一場景不同視角的兩幅圖像。大腦將融合這兩幅圖像感知深度信息，從而得到一個立體的圖像。其次，VR HMD的屏幕有效區域呈桶型，屏幕除去桶型有效區域的剩余部分則為無效區域，而普通屏幕內容視頻通常不存在無效區域。

編碼過程中，有效區域邊界處的圖像塊包括實際有效區域像素和無效區域像素。與均勻的塊相比，這些非均勻塊在離散余弦變換（DCT）和量化后產生更多DCT高頻分量，從而導致比特率增加。通常的編碼方案是為高頻分量較少或高頻分量幅值較小這種情況設計的（例如Z字形掃描、DCT變換系數），高頻分量的量化亦會導致解碼恢復的圖像在區域邊緣有振鈴效應。因此，筆者要對無效區域的處理方法進行研究來提高虛擬現實屏幕內容視頻的編碼效率。

3 無效區域與有效區域劃分算法

根據屏幕內容中左右眼視圖對稱的特性，先將屏幕內容區域一分為二，只對其中一個區域進行有效性區域劃分，然后鏡像映射到另外一個區域中。VR HMD為了糾正光學鏡片的枕型失真將有效區域預先處理為桶型。視場越大、觀測范圍越大，有效區域的桶型失真越嚴重。可以看出，未經處理的無效區域的像素值統一編碼處理成了固定像素。基于這個觀察，筆者提出采用基于閾值的圖像分割法進行無效區域與有效區域的劃分。如果將無效區域記為C0，有效區域記為C1，用x(i,j)表示位于位置(i,j)的原始像素值用x(i,j)表示位于位置(i,j)的原始像素值,用f表示無效區域的像素值，那么區域劃分算法可以用如下公式表示：

圖1：不同類別的視頻序列舉例

圖2：無效區域劃分和編碼處理方法

如果像素值與無效區域像素值比較接近，那么該像素屬于無效區域，否則屬于有效區域。筆者無需對所有像素值進行比較。如圖2所示，對于每一行的所有像素來說，筆者只需要分別從圖像幀的最左邊、最中間的像素分別向右、向左搜索獲得邊界點A和B。類似的，從圖像幀的最中間、最右邊的像素分別向右、向左搜索獲得邊界點C和D。對于圖像上方和下方的某些行的所有像素都屬于無效區域，這個時候就不用記錄邊界點。

表 1：編碼處理前后的編碼效率對比

圖3：編碼處理前后的視頻序列

4 對于無效區域的編碼處理方法

編碼過程中，有效區域邊界處的圖像塊包括實際有效區域像素和無效區域像素。與均勻的塊相比，這些非均勻塊在離散余弦變換（DCT）和量化后產生更多DCT高頻分量，從而導致比特率增加。通常的編碼方案是為高頻分量較少或高頻分量幅值較小這種情況設計的（例如Z字形掃描、DCT變換系數），高頻分量的量化亦會導致解碼恢復的圖像在區域邊緣有振鈴效應。

另外，由于雙視圖中無效區域像素值均為固定值，導致在有效區域桶型邊緣使用幀內塊復制模式進行塊預測效率不高。由于左右眼視圖存在視差，已經編碼重建的左眼視圖含有不規則有效區域，使得左眼視圖的參考塊或右眼視圖的待編碼塊處于桶型邊緣時含有部分無效區域的樣本值。待編碼的圖像塊與參考圖像塊之間的這種不匹配導致額外的預測誤差，降低了編碼效率。

本文采用改變無效區域的樣本值的方案來提高不規則編碼塊的編碼效率。筆者發現，如果編碼單元內部的相關性較大，說明該編碼單元具備了高效壓縮的可能，從而編碼比特率也就越低。因此，筆者提出了一種利用有效區域邊緣的像素值對無效區域進行編碼處理的方法。本文提出的編碼處理方法是按行進行的。如圖2所示，以圖像的邊界、圖像的中線以及4個邊界點，可以將每一行無效區域的像素按照位置分為四段。從左至右，這四段區域的無效區域像素值分別可以用邊界點A右邊、邊界點B左邊、邊界點C右邊、以及邊界點D左邊的像素值進行編碼處理。通過這種編碼處理方式，可以讓無效區域其像素值與其余區域內容更為相關來減少DCT高頻分量。

5 實驗結果

筆者通過錄制VR應用得到了測試VR HMD的測試序列。首先按照文中提出的區域劃分算法對測試序列進行無效區域與有效區域劃分，然后使用提出的無效區域處理方法對無效區域像素值進行改變。圖3(a)和(b)分別顯示了編碼處理前后的視頻序列。編碼處理后的視頻已經觀察不到桶型的邊界了。

本文使用HEVC屏幕內容編碼的參考軟件模型HM-16.9+SCM-8.0對編碼處理前后的視頻序列進行編碼來驗證編碼處理算法的有效性。在編碼時，量化參數QP的取值分別為22,27,32,37，使用了全幀內編碼模式。測試結果如表1所示。從表中可以看出，經過編碼處理以后，視頻的碼率會發生下降，而有效區域的重建質量卻得到了提升。在QP取值為37的情況下，編碼處理后碼率節約了6.2%，而有效區域的PSNR卻提高了多達2.77dB。這些說明了本文提出的編碼處理算法能有效地提升虛擬現實屏幕內容視頻編碼的壓縮性能。

5 結論

與普通的屏幕內容視頻不同，頭戴式虛擬現實設備的屏幕內容畫面分為桶性有效區域和不規則無效區域，視頻壓縮性能會受到區域間的不規則邊界的影響。為了提高頭戴式虛擬現實屏幕內容視頻的幀內編碼壓縮性能，本文提出了有效區域和無效區域的劃分方法，并進一步提出了對無效區域像素進行處理的方法。實驗結果驗證了編碼處理后該類視頻的編碼效率有所提高。