三維視頻信號的增強(qiáng)處理

崔 磊，楊興全

1.哈爾濱人民防空辦公室；2.東北農(nóng)業(yè)大學(xué)成棟學(xué)院

三維視頻信號的增強(qiáng)處理

崔 磊1，楊興全2

1.哈爾濱人民防空辦公室；2.東北農(nóng)業(yè)大學(xué)成棟學(xué)院

視頻是現(xiàn)階段人們生活當(dāng)中不可缺少的一部分，視頻將原先由文字表達(dá)的內(nèi)容轉(zhuǎn)變?yōu)榱擞善矫鎴D像生動的表達(dá)出來的一種技術(shù)，給人們帶來了真實(shí)的視覺體驗(yàn)，而隨著視頻技術(shù)的不斷發(fā)展，目前處于視頻處理領(lǐng)域的熱點(diǎn)是三維視頻技術(shù)的發(fā)展，本文就將針對三維視頻進(jìn)行相應(yīng)的分析，并對其信號的增強(qiáng)處理進(jìn)行探討。

三維視頻；信號；增強(qiáng)處理

1．國內(nèi)外研究情況

1.1 三維視頻視覺質(zhì)量

三維視頻的視覺質(zhì)量主要是為觀看雙目圖像的時候視覺系統(tǒng)對所呈現(xiàn)的立體影像質(zhì)量的一種綜合性的評價(jià)。這種評價(jià)分為兩種情況，一種是三維視頻的視覺質(zhì)量與所顯示的雙目圖像是有直接的關(guān)系的，而圖像中的視覺失真就會直接的影像到三維視頻的視覺質(zhì)量。而另一方面三維視頻不僅包括傳統(tǒng)的按照紋理清晰度和真實(shí)度來決定圖像質(zhì)量，還包括以視覺三維場景的自然度的深度質(zhì)量。

在三維視頻系統(tǒng)當(dāng)中，三維的場景其光信息會經(jīng)過很多個環(huán)節(jié)，最后才能夠進(jìn)入人們的眼中，而這些環(huán)節(jié)按照物理信號到圖像信號的轉(zhuǎn)換，一般可以歸納為三個類別，分別是圖像的采集、圖像的處理以及圖像顯示三個類別，這些環(huán)節(jié)都有可能損壞到理想的雙目視覺信號。圖像的采集一般是通過傳感器將光信號轉(zhuǎn)換為圖像信號的，而圖像處理則是對圖像信號進(jìn)行相應(yīng)的操作，比如說對表達(dá)形式的轉(zhuǎn)換就是一種操作，而圖像的顯示則是利用了一部分光學(xué)器件以及相應(yīng)的光路設(shè)計(jì)將圖像的信號再重新轉(zhuǎn)換為了光信號。

由于圖像采集中，不同的視點(diǎn)相機(jī)存在鏡頭光學(xué)畸變以及成像板光電特性的差異，因此不同的視點(diǎn)圖像之間就有可能會存在幾何變形和色彩上的差異。而且多個攝像機(jī)之間如果協(xié)調(diào)控制不準(zhǔn)確的話還有可能會引起雙目信號的時間出現(xiàn)異步的情況，此外，對于深度測距來說，一般情況也會出現(xiàn)一定的錯誤，也會影響到真實(shí)場景的三維空間關(guān)系。如果在圖像采集的過程當(dāng)中出現(xiàn)了信號失真的情況，可以通過采集后處理進(jìn)行相應(yīng)的校正。

傳統(tǒng)意義上的三維視屏圖像處理主要包括數(shù)據(jù)的壓縮、深度生成、數(shù)據(jù)的傳送以及視點(diǎn)的合成這四個主要的部分，而在深度生成這一環(huán)節(jié)中有可能會出現(xiàn)錯誤的深度值，尤其是在物體邊緣這些相對較為特殊的區(qū)域中，對視頻進(jìn)行壓縮會丟失之前的數(shù)據(jù)，從而出現(xiàn)圖像模糊等圖像失真的情況出現(xiàn)，而在之后的傳輸過程當(dāng)中，數(shù)據(jù)的丟失會造成重建圖像中一部分區(qū)域的信息缺失，由于視點(diǎn)合成是采用了像素映射的原理，所以相機(jī)視點(diǎn)重建紋理圖像中的失真會相應(yīng)的傳遞到合成視點(diǎn)圖像當(dāng)中。

1.2 三維視頻視覺質(zhì)量研究

與傳統(tǒng)的二維視頻視覺質(zhì)量研究相比，三維視頻視覺質(zhì)量的研究有很多和二維視頻視覺質(zhì)量研究相似的地方，三維視頻視覺質(zhì)量研究有兩個主要的分支，分別是主管質(zhì)量評價(jià)和客觀的質(zhì)量評價(jià)。主管質(zhì)量評價(jià)主要是利用所謂的觀看者作為工具，主要的工作就是收集分析這些觀看者對三維視頻的綜合質(zhì)量評價(jià)以及受控的綜合質(zhì)量進(jìn)行相應(yīng)的判定，從而產(chǎn)生主觀的實(shí)驗(yàn)數(shù)據(jù)。主觀質(zhì)量評價(jià)主要是以嚴(yán)格受控的實(shí)驗(yàn)流程來消除個體之間差異以及主觀測量的波動性，因此重復(fù)的代價(jià)是比較高的，所以說主要用于提供客觀質(zhì)量評價(jià)研究所需要的主觀樣本數(shù)據(jù)。而客觀質(zhì)量研究一般是以定性的視覺特征作為主要的基礎(chǔ)，從而建立視覺質(zhì)量評價(jià)計(jì)算的方法，從而實(shí)現(xiàn)自動分析圖像失真輕度、估算視覺質(zhì)量的目的。這種評價(jià)也在一定程度上降低了重復(fù)的成本，因此，主觀質(zhì)量評價(jià)為客觀質(zhì)量評價(jià)提供了相應(yīng)的理論依據(jù)和驗(yàn)證的數(shù)據(jù)，而客觀質(zhì)量評價(jià)則在一定程度上體現(xiàn)了主觀質(zhì)量評價(jià)的實(shí)際應(yīng)用價(jià)值。

此外，為了更好的設(shè)計(jì)主觀實(shí)驗(yàn)方法和客觀的評價(jià)計(jì)算模型，主觀質(zhì)量評價(jià)和客觀質(zhì)量評價(jià)都要以定性或者是定量的視覺特性作為理論指導(dǎo)，尤其是對樂觀質(zhì)量評價(jià)，客觀質(zhì)量評價(jià)一般都是以若干個非常重要的視覺特性模型來作為整個評價(jià)方法核心的，所以說建立一個視覺特性相對應(yīng)的計(jì)算模型是視覺特性模型領(lǐng)域的一項(xiàng)基礎(chǔ)性的研究。

2．視頻信號的增強(qiáng)處理

2.1 深度生成

深度生成是目前三維視頻系統(tǒng)當(dāng)中最不熟悉的環(huán)節(jié)之一，因?yàn)樯疃葦?shù)據(jù)的準(zhǔn)確性和視點(diǎn)合成的圖像質(zhì)量是有著非常密切的關(guān)系的，可是從目前的情況來看，還是很難自動有效的獲取準(zhǔn)確的深度數(shù)據(jù)，現(xiàn)階段對于深度估計(jì)的主要方法就是立體匹配，但是立體匹配卻存在一個不大不小的理論缺陷，那就是對于紋理相對較為平坦的區(qū)域，這時的圖像特征是比較弱的，而且立體匹配也很難通過分析圖像特征來找準(zhǔn)確的匹配點(diǎn)，而隨后出現(xiàn)的全局優(yōu)化的方法就以深度的空間相關(guān)性為假設(shè)，有效的利用強(qiáng)特征區(qū)域視差信息對相鄰弱特征區(qū)域的視差信息進(jìn)行了修正，有效的緩解了立體匹配存在的理論缺陷。隨著光程相機(jī)等一些物理測距的方式被逐漸的引入到深度生成當(dāng)中之后，物理測距不再依賴場景的紋理內(nèi)容，因此就可以很好的彌補(bǔ)立體匹配在理論上存在的不足，但是物理測距也是有一些問題存在的，比如說，由于物理測距所采集的深度圖像的空間分辨率一般情況下是小于問題圖像的空間分辨率的，而且兩者的視點(diǎn)也是不同的，因此一定要建立一個合適的深度圖像上采樣方法。由于受到環(huán)境的影響，所采集的深度圖像上一般都會有很大的噪聲存在，因此需要采取一定的方法來提升采集深度數(shù)據(jù)的穩(wěn)定性。

2.2 視點(diǎn)合成

視點(diǎn)合成也會出現(xiàn)不同類型的視覺失真，比如說邊緣的破損，物體的變形等等，因此抑制不同類型的合成失真將會直接的提高合成視點(diǎn)的圖像質(zhì)量，現(xiàn)階段已經(jīng)提出的方法有：一是提高交叉驗(yàn)證的方法來確保數(shù)據(jù)的可靠性來排除可疑投影點(diǎn)的；二是對深度圖像進(jìn)行時域?yàn)V波，從而達(dá)到降低合成視點(diǎn)中時域噪聲的作用。除了能夠提高合成視點(diǎn)圖像質(zhì)量之外，視點(diǎn)合成還能夠用于調(diào)節(jié)雙目視差以及場景深度感的作用。

[1]A,Kubota.A.Smolic.M.Magnor,M.Tanimoto,T.Chen and C Zhang,"Multiview imaging and 3DTV,”IEEE SignalProcessing Magazine,vol.24,no,6、pp.10-21,Nov,2007.

[2]L.Onural."Signal processing and 3DTV,""IEEE Signal Processing Magazine,vol.27,no.5,pp.144-142.Sept.2010.