基于VR的視頻圖像處理效果優化仿真研究

王 婧，高 博

(福建農林大學，福建 福州 350000)

1 引言

VR(Virtual Reality，虛擬現實)技術是新一代視頻顯示技術，將用戶放置在球形區域中心，可以自由選擇觀看周圍360度的視頻場景，不受空間和時間的限制，具有身臨其境的感覺。VR視頻是一種新型的視頻載體，它具有聲音和圖像對齊的特點，給用戶一種深入式沉浸感。與傳統視頻圖像相比，虛擬現實需要更高的比特率，同時也會占用更多網絡帶寬和存儲空間，在給予用戶優質體驗的同時，如何優化視頻質量和低比特率的視頻編碼是VR視頻快速發展的關鍵之一，同樣這也是本文的重點。

早期的視頻圖像處理系統主要基于仿真系統[1]，技術成熟、成本低廉，但傳輸距離短、抗干擾能力差，存儲不方便，無法進行復雜數字處理。而現階段，高分辨率數字視頻圖像處理系統已廣泛應用，通常采用數字信號(Digital Signal Process，DSP)作為處理器[2]，但DSP較為適用復雜算法內，程序本質是串行執行，難以滿足高速信號實時處理的要求，處理速度有限，要求及時性的系統中不適用。相比之下，FPGA(Field Programmable Gate Array，現場可編程門陣列)在實時圖像處理占有很大速度優勢[3]。根據現場可編程門陣列的內部結構和分布式算法，使各功能塊可以同時工作，更有利于高速數字信號處理，但是處理效果依舊不夠理想。

因此，本文提出基于VR的視頻圖像處理效果優化，在中值濾波算法基礎上，添加閾值建立極值中值濾波算法，對視頻圖像中的噪聲波點去除，是VR圖像更切合現實背景。

2 虛擬現實技術

虛擬現實技術系統由檢測模塊、反饋模塊、傳感器模塊、控制模塊、建模模塊和三維模塊組成，系統組成如圖1所示。

圖1 虛擬現實技術的系統構成

在這六個模塊中，檢測和反饋模塊是連接傳感器模塊以及用戶的橋梁，控制模塊在傳感器模塊和三維模塊之間起連接作用，而建模模塊則是通過用戶的操作直接生成三維模塊，它們之間的關系是相互聯系、相互補充的。其中，圖像作為虛擬現實技術中最為關鍵載體，能夠通過視覺影響使用者對環境感知[4]，增強視頻圖像處理效果能夠進一步加強虛擬真實感。

3 視頻圖像數字化

圖像是二維數據，數據在內存中只能一維存儲，所以在本次設計中，視頻圖像數字化多采用量化方法。此處做出對應的假設，安排在M×N數據組中，利用等距采樣獲取出一幅近似連續圖像f(x，y)，那么即可得出

f(x，y)

(1)

其中每個元素就是一個離散變量，而式(4)的右側則代表數字視頻圖像，數據組中每個元素即被描述成為相對應的像素條件。

在實際計算過程中，令Z和R分別表示為實整數集和實數集，采樣時將其轉換為網絡格式作為圖像平面，并根據笛卡爾坐標系計算確定每個中心點的網格圖像。

如果式中x和y同樣也被表示為Z集合中實整數，而且f(·)是給點對(x，y)賦予灰度值的函數，那么f(x，y)就可以代表一幅完整的空間數字化圖像，其中賦值過程也可以稱之為量化過程。如果計算得知圖像中灰度值也取為整數，就是指Z集合代替了R集合，這樣f(x，y)就可以直接表述為數字圖像，并且該圖像是坐標值與灰度值都取整數的二維函數[5]。

圖像數字化處理過程中，首先對處理圖像大小M、N以及像素的離散灰度計數G進行判定，在計算中經常將這些量都取為2的整數冪，這樣圖像數字化處理表達式便可寫為

(2)

如果把圖像離散灰度取值范圍定在0和10之間，以均勻狀態分布，那么根據下式即可得出儲存一張數字視頻圖像需要的bit

b=M×N×K

(3)

如果M=N，那么就可以得出

b=N2k

(4)

比如M=N=1024、G=256=28=2k，那么就有b=N2K=8Mb。

4 視頻圖像處理效果優化

4.1 單向多級中值濾波算法分析

中值濾波是將數字圖像中某一點值替換為該點鄰域內的中值[6]，而中值取值結果則根據以下方法計算：

假設定義一組數據x1，x2，x3…，xn，將其按照大小順序對這n個數值進行排列得出

xi1≤xi2≤xi3≤…≤xin

(5)

其中，當n為奇數時便有

(6)

n為偶數時

(7)

根據上式計算結果即可得知，圖像效果將和3×3窗口下的簡單鄰域平均法得到的結果相似，將y描述為序列x1，x2，x3…，xn的中值[7]。

在計算過程中，假設將x(m，n)描述為有噪聲混雜的原始視頻圖像以及在坐標為(m，n)處像素點灰度值。首先選取出矩形窗口為L=2N+1，其中N代表了非負整數，將這個窗口劃分成為等同的四個子窗口，流程如下描述

W1(m，n)={x(m，n+i)，-N≤i≤N}

(8)

W2(m，n)={x(m+i，n)，-N≤i≤N}

(9)

W3(m，n)={x(m+i，n-i)，-N≤i≤N}

(10)

W4(m，n)={x(m+i，n+i)，-N≤i≤N}

(11)

根據計算可獲得圖2MLM濾波器示意圖：

圖2 MLM 濾波器

W1，W2，W3，W4代表沿著水平或垂直進行旋轉的一維圖像窗口，然后令Z1(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)分別是4個窗口W1，W2，W3，W4的中值，這樣便有：

Z1(m，n)=med[x(i，j)∈W1(m，n)]

(12)

Z2(m，n)=med[x(i，j)∈W2(m，n)]

(13)

Z3(m，n)=med[x(i，j)∈W3(m，n)]

(14)

Z4(m，n)=med[x(i，j)∈W4(m，n)]

(15)

將Umax(m，n)和Umin(m，n)描述為四個中值Z1(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)的最大值以及最小值，即可得出：

Umax(m，n)

=max[Z1(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)]

(16)

Umin(m，n)

=min[Z1(m，n)，Z2(m，n)，Z3(m，n)，Z4(m，n)]

(17)

根據上式，單項多級中值濾波的輸出形式就有

y(m，n)=med[Umin(m，n)，Umax(m，n)，x(m，n)]

(18)

4.2 基于閾值的極值中值濾波算法圖像效果優化

本文通過加入閾值構造極值中值濾波算法，增強濾波窗口的圖像像素排序[8]，通過預判斷將圖像區域劃分為圖像邊緣細節區域、平坦區域和噪聲影響區域，優化過程如下：

首先，對窗口W[xi，j]內的像素點排序，找出max(W[xi，j])點和min(W[xi，j])點，也即極大值與極小值點。然后，將該點xij與max(W[xi，j])點、min(W[xi，j])對比，根據對比結果可知，如果兩點不一致，那么就傳輸原值，不經過濾波處理，反之如果這兩點取值相同，那么就采用預判斷算法進行處理。

設f(x，y)為圖像(x，y)點處的灰度值，g(x，y)為(x，y)鄰域內像素點的灰度值。選擇一個算子Y作用在g(x，y)和f(x，y)上，得Y=Y(f，g)之后根據不同的Y作進一步處理。這里Y的形式如下式所示

(19)

其中可得出

(20)

經過計算，式中i取值便如圖3所示。

圖3 i取值分布

在圖3中，將點f(x+1，y)設為點(x，y)鄰域內的第0點，依次圍繞點(x，y)一周，直到點f(x+1，y-1)為第7點。

根據上述可得知T表述為常數閾值，而圖像中噪聲污染程度以及圖像之間的分布變化、對比度都會直接影響T值的取值結果。面對分布變化大的圖像，計算時T值結果就需要高一些，反之如果圖像視覺效果良好，并沒有很大噪聲污染，分布變化也沒有被拉的過大，那么計算過程中T值就需要取低值，不然會出現因閾值取值結果不精準，而導致的失誤情況。

如果最終選擇的閾值結果太高，在處理圖像時會誤認為噪聲是有用的信號點，大部分噪聲仍會保留在處理過程中，從而降低濾波處理效果和視覺效果；反之，如果閾值太小，則相應的會出現這種情況，將有用的信號點作為污染噪聲處理，使圖像更加模糊，信噪比會降低視覺效果。

根據上述計算結果，便可以進一步獲取出以下判定：

1)如果任何像素的灰度值等于或接近它，即Y=0時，可將該點作為一個孤立噪聲點進行中值濾波。

2)當1到4個像素灰度值等于或非常接近它時，即1≤Y≤4時，該點將被視為一個邊緣細節節點，將不經處理而輸出。

3)當有超過4個像素的灰度值等于或非常接近它時，即Y≥4時，可以認為該點位于一個平坦區域中，不處理該點。這樣，整個計算過程可以表示為：

(21)

5 仿真研究

5.1 評價指標

5.1.1 紋理特征分析

圖像灰度共生矩陣是紋理統計分析主要方法之一，利用灰度二階統計量描述圖像中灰度分布。將灰度共生矩陣ρ(d，φ)定義為從灰度為i點離開某個固定位置點上灰度為j的概率。此處選取d=1，而φ的取值分別為0°，45°，90°，135°，這樣即可建立對比度以及熵的表達式：

(22)

根據計算得出k=i-j。在視頻圖像處理優化過程中，對比度是圖像紋理溝槽測量的主要因素。凹槽越深，圖像之間的對比度就越大。熵是對圖像信息的度量。如果圖像沒有紋理，則熵值幾乎為零。如果有許多精細的紋理，那么熵值會更大。

5.1.2 噪聲比

視頻圖像處理后評價的指標是圖像中含有噪聲對比(Contrast to Noise Ratio，CNR)，便有

(23)

式中，μt和μb分別被描述為圖像中噪聲目標區域以及背景區域的均值，而σt和σb則表述為噪聲目標和背景的標準方差取值，根據計算取值如果CNR越高，那么就證明該圖像沒有達到效果最優。

5.2 實驗結果分析

將提出的基于VR的視頻圖像處理效果優化仿真與基于仿真系統、基于DSP和基于FPGA的視頻圖像處理方法作比較，以驗證提出的基于 VR的視頻圖像處理效果優化仿真在使用后，對于視頻圖像處理質量的優化程度。

本文使用的實驗材料來自某開源信息庫，計算機實驗環境如表1所示。

表1 計算機實驗環境參數設置

通過基于仿真系統、基于FPGA、基于DSP以及本文方法處理后，仿真結果如圖4所示。

圖4 圖像優化處理對比圖

根據圖4可知，本文處理效果最優，因為本文算法可以計算得出最適用的閾值，其它算法雖然可以完成優化目的，但由于圖像優化標準值難以計算，式中不能達到滿意效果。

本文對圖像處理時，針對產生視覺效果差、壓縮比率低等問題做出了解決，為得出得出視覺效果最優圖像，現對比本文方法的優化效果的具體參數，不同方法的對比結果如表2所示。

表2 性能對比結果

如表2可知，在更細致的性能對比過程中，本文方法的優化效果明顯高于其它方法，其對比度為4.21，噪聲比為145.1，皆低于其它方法，說明本文方法可以有效調整對比度參數，防止丟失細節，減少刺眼強度。

當圖像中出現較多“毛刺”現象時，其中所存壞像素點較多，圖像質量優化就會失效，從而不能準確地得到視頻圖像效果，因此，對比經過三種方法處理后的“毛刺”現象顯現程度，可以反映不同方法的優化效果。對比結果如圖5所示。

圖5 不同方法的辨識效果對比結果

如圖5所示，對視頻幀中含有“毛刺”現象的圖像像素數據進行含壞像素點處理時，本文方法的含壞像素點顯現程度高于其它兩種方法，最為接近實際值，最高可達500，說明本文方法對“毛刺”現象辨識效果較強且可適用于多個視頻幀應用，實際應用效果得到保證。

6 結論

1)提出基于VR的視頻圖像效果優化方法，對“毛刺”現象的優化效果其最為接近實際值，最高可達500，更加貼合真實生活環境，解決視覺效果差、壓縮比率低等問題。

2)本文方法優化后的對比度為4.21，噪聲比為145.1，可以有效防止丟失細節，減少刺眼強度，完成視頻圖像優化，得出視覺效果最優圖像。

3)由于計算過程中濾波閾值需要精準取值，對計算結果有不容更改的硬性要求，不能廣泛適用于各類計算機中，如何提高容錯率是下一階段研究的重點課題。