三維視頻信號(hào)的增強(qiáng)處理

崔 磊，楊興全

1.哈爾濱人民防空辦公室；2.東北農(nóng)業(yè)大學(xué)成棟學(xué)院

三維視頻信號(hào)的增強(qiáng)處理

崔 磊1，楊興全2

1.哈爾濱人民防空辦公室；2.東北農(nóng)業(yè)大學(xué)成棟學(xué)院

視頻是現(xiàn)階段人們生活當(dāng)中不可缺少的一部分，視頻將原先由文字表達(dá)的內(nèi)容轉(zhuǎn)變?yōu)榱擞善矫鎴D像生動(dòng)的表達(dá)出來的一種技術(shù)，給人們帶來了真實(shí)的視覺體驗(yàn)，而隨著視頻技術(shù)的不斷發(fā)展，目前處于視頻處理領(lǐng)域的熱點(diǎn)是三維視頻技術(shù)的發(fā)展，本文就將針對(duì)三維視頻進(jìn)行相應(yīng)的分析，并對(duì)其信號(hào)的增強(qiáng)處理進(jìn)行探討。

三維視頻；信號(hào)；增強(qiáng)處理

1．國內(nèi)外研究情況

1.1 三維視頻視覺質(zhì)量

三維視頻的視覺質(zhì)量主要是為觀看雙目圖像的時(shí)候視覺系統(tǒng)對(duì)所呈現(xiàn)的立體影像質(zhì)量的一種綜合性的評(píng)價(jià)。這種評(píng)價(jià)分為兩種情況，一種是三維視頻的視覺質(zhì)量與所顯示的雙目圖像是有直接的關(guān)系的，而圖像中的視覺失真就會(huì)直接的影像到三維視頻的視覺質(zhì)量。而另一方面三維視頻不僅包括傳統(tǒng)的按照紋理清晰度和真實(shí)度來決定圖像質(zhì)量，還包括以視覺三維場(chǎng)景的自然度的深度質(zhì)量。

在三維視頻系統(tǒng)當(dāng)中，三維的場(chǎng)景其光信息會(huì)經(jīng)過很多個(gè)環(huán)節(jié)，最后才能夠進(jìn)入人們的眼中，而這些環(huán)節(jié)按照物理信號(hào)到圖像信號(hào)的轉(zhuǎn)換，一般可以歸納為三個(gè)類別，分別是圖像的采集、圖像的處理以及圖像顯示三個(gè)類別，這些環(huán)節(jié)都有可能損壞到理想的雙目視覺信號(hào)。圖像的采集一般是通過傳感器將光信號(hào)轉(zhuǎn)換為圖像信號(hào)的，而圖像處理則是對(duì)圖像信號(hào)進(jìn)行相應(yīng)的操作，比如說對(duì)表達(dá)形式的轉(zhuǎn)換就是一種操作，而圖像的顯示則是利用了一部分光學(xué)器件以及相應(yīng)的光路設(shè)計(jì)將圖像的信號(hào)再重新轉(zhuǎn)換為了光信號(hào)。

由于圖像采集中，不同的視點(diǎn)相機(jī)存在鏡頭光學(xué)畸變以及成像板光電特性的差異，因此不同的視點(diǎn)圖像之間就有可能會(huì)存在幾何變形和色彩上的差異。而且多個(gè)攝像機(jī)之間如果協(xié)調(diào)控制不準(zhǔn)確的話還有可能會(huì)引起雙目信號(hào)的時(shí)間出現(xiàn)異步的情況，此外，對(duì)于深度測(cè)距來說，一般情況也會(huì)出現(xiàn)一定的錯(cuò)誤，也會(huì)影響到真實(shí)場(chǎng)景的三維空間關(guān)系。如果在圖像采集的過程當(dāng)中出現(xiàn)了信號(hào)失真的情況，可以通過采集后處理進(jìn)行相應(yīng)的校正。

傳統(tǒng)意義上的三維視屏圖像處理主要包括數(shù)據(jù)的壓縮、深度生成、數(shù)據(jù)的傳送以及視點(diǎn)的合成這四個(gè)主要的部分，而在深度生成這一環(huán)節(jié)中有可能會(huì)出現(xiàn)錯(cuò)誤的深度值，尤其是在物體邊緣這些相對(duì)較為特殊的區(qū)域中，對(duì)視頻進(jìn)行壓縮會(huì)丟失之前的數(shù)據(jù)，從而出現(xiàn)圖像模糊等圖像失真的情況出現(xiàn)，而在之后的傳輸過程當(dāng)中，數(shù)據(jù)的丟失會(huì)造成重建圖像中一部分區(qū)域的信息缺失，由于視點(diǎn)合成是采用了像素映射的原理，所以相機(jī)視點(diǎn)重建紋理圖像中的失真會(huì)相應(yīng)的傳遞到合成視點(diǎn)圖像當(dāng)中。

1.2 三維視頻視覺質(zhì)量研究

與傳統(tǒng)的二維視頻視覺質(zhì)量研究相比，三維視頻視覺質(zhì)量的研究有很多和二維視頻視覺質(zhì)量研究相似的地方，三維視頻視覺質(zhì)量研究有兩個(gè)主要的分支，分別是主管質(zhì)量評(píng)價(jià)和客觀的質(zhì)量評(píng)價(jià)。主管質(zhì)量評(píng)價(jià)主要是利用所謂的觀看者作為工具，主要的工作就是收集分析這些觀看者對(duì)三維視頻的綜合質(zhì)量評(píng)價(jià)以及受控的綜合質(zhì)量進(jìn)行相應(yīng)的判定，從而產(chǎn)生主觀的實(shí)驗(yàn)數(shù)據(jù)。主觀質(zhì)量評(píng)價(jià)主要是以嚴(yán)格受控的實(shí)驗(yàn)流程來消除個(gè)體之間差異以及主觀測(cè)量的波動(dòng)性，因此重復(fù)的代價(jià)是比較高的，所以說主要用于提供客觀質(zhì)量評(píng)價(jià)研究所需要的主觀樣本數(shù)據(jù)。而客觀質(zhì)量研究一般是以定性的視覺特征作為主要的基礎(chǔ)，從而建立視覺質(zhì)量評(píng)價(jià)計(jì)算的方法，從而實(shí)現(xiàn)自動(dòng)分析圖像失真輕度、估算視覺質(zhì)量的目的。這種評(píng)價(jià)也在一定程度上降低了重復(fù)的成本，因此，主觀質(zhì)量評(píng)價(jià)為客觀質(zhì)量評(píng)價(jià)提供了相應(yīng)的理論依據(jù)和驗(yàn)證的數(shù)據(jù)，而客觀質(zhì)量評(píng)價(jià)則在一定程度上體現(xiàn)了主觀質(zhì)量評(píng)價(jià)的實(shí)際應(yīng)用價(jià)值。

此外，為了更好的設(shè)計(jì)主觀實(shí)驗(yàn)方法和客觀的評(píng)價(jià)計(jì)算模型，主觀質(zhì)量評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)都要以定性或者是定量的視覺特性作為理論指導(dǎo)，尤其是對(duì)樂觀質(zhì)量評(píng)價(jià)，客觀質(zhì)量評(píng)價(jià)一般都是以若干個(gè)非常重要的視覺特性模型來作為整個(gè)評(píng)價(jià)方法核心的，所以說建立一個(gè)視覺特性相對(duì)應(yīng)的計(jì)算模型是視覺特性模型領(lǐng)域的一項(xiàng)基礎(chǔ)性的研究。

2．視頻信號(hào)的增強(qiáng)處理

2.1 深度生成

深度生成是目前三維視頻系統(tǒng)當(dāng)中最不熟悉的環(huán)節(jié)之一，因?yàn)樯疃葦?shù)據(jù)的準(zhǔn)確性和視點(diǎn)合成的圖像質(zhì)量是有著非常密切的關(guān)系的，可是從目前的情況來看，還是很難自動(dòng)有效的獲取準(zhǔn)確的深度數(shù)據(jù)，現(xiàn)階段對(duì)于深度估計(jì)的主要方法就是立體匹配，但是立體匹配卻存在一個(gè)不大不小的理論缺陷，那就是對(duì)于紋理相對(duì)較為平坦的區(qū)域，這時(shí)的圖像特征是比較弱的，而且立體匹配也很難通過分析圖像特征來找準(zhǔn)確的匹配點(diǎn)，而隨后出現(xiàn)的全局優(yōu)化的方法就以深度的空間相關(guān)性為假設(shè)，有效的利用強(qiáng)特征區(qū)域視差信息對(duì)相鄰弱特征區(qū)域的視差信息進(jìn)行了修正，有效的緩解了立體匹配存在的理論缺陷。隨著光程相機(jī)等一些物理測(cè)距的方式被逐漸的引入到深度生成當(dāng)中之后，物理測(cè)距不再依賴場(chǎng)景的紋理內(nèi)容，因此就可以很好的彌補(bǔ)立體匹配在理論上存在的不足，但是物理測(cè)距也是有一些問題存在的，比如說，由于物理測(cè)距所采集的深度圖像的空間分辨率一般情況下是小于問題圖像的空間分辨率的，而且兩者的視點(diǎn)也是不同的，因此一定要建立一個(gè)合適的深度圖像上采樣方法。由于受到環(huán)境的影響，所采集的深度圖像上一般都會(huì)有很大的噪聲存在，因此需要采取一定的方法來提升采集深度數(shù)據(jù)的穩(wěn)定性。

2.2 視點(diǎn)合成

視點(diǎn)合成也會(huì)出現(xiàn)不同類型的視覺失真，比如說邊緣的破損，物體的變形等等，因此抑制不同類型的合成失真將會(huì)直接的提高合成視點(diǎn)的圖像質(zhì)量，現(xiàn)階段已經(jīng)提出的方法有：一是提高交叉驗(yàn)證的方法來確保數(shù)據(jù)的可靠性來排除可疑投影點(diǎn)的；二是對(duì)深度圖像進(jìn)行時(shí)域?yàn)V波，從而達(dá)到降低合成視點(diǎn)中時(shí)域噪聲的作用。除了能夠提高合成視點(diǎn)圖像質(zhì)量之外，視點(diǎn)合成還能夠用于調(diào)節(jié)雙目視差以及場(chǎng)景深度感的作用。

[1]A,Kubota.A.Smolic.M.Magnor,M.Tanimoto,T.Chen and C Zhang,"Multiview imaging and 3DTV,”IEEE SignalProcessing Magazine,vol.24,no,6、pp.10-21,Nov,2007.

[2]L.Onural."Signal processing and 3DTV,""IEEE Signal Processing Magazine,vol.27,no.5,pp.144-142.Sept.2010.