基于多圖像融合的裸眼3D視頻技術(shù)研究

安玲玲 于雷

摘? 要： 裸眼3D視頻的制作是裸眼3D顯示和播放中的最為重要的環(huán)節(jié)，現(xiàn)有柱狀透鏡式的裸眼3D視頻在制作過程中，必須在同一時刻對多個視點圖像進行拍攝，成本較高，并且制作視頻流程較復(fù)雜。以人眼多視點觀察的相關(guān)理論為研究基礎(chǔ)，提出一種圖像匹配算法，由單個視點圖像生成多視點圖像，并對多視點圖像進行融合處理，實現(xiàn)將雙目視頻轉(zhuǎn)換為可在柱狀透鏡裸眼3D顯示器上播放的3D視頻，從而降低3D視頻制作的復(fù)雜度和成本。測試結(jié)果表明，該算法的視頻轉(zhuǎn)換效果符合預(yù)期指標(biāo)，具有較好的推廣價值。

關(guān)鍵詞： 裸眼3D; 雙目視頻; 多視點圖像融合; 圖像匹配

中圖分類號：TP311? ? ? ? ? 文獻標(biāo)志碼：A? ? ?文章編號：1006-8228（2018）12-04-04

Abstracts： The production of naked eye 3D video is the most important part of the naked eye 3D display and play. The existing columnar lens type naked eye 3D video must be photographed at the same time， and the cost is high and the video process is more complex. Based on the related theory of eye multiple view observation， an image matching algorithm is proposed， which generates multiple view images from a single point of view image， and converts multiple view image into a 3D video that can be played on a columnar naked eye 3D display， and could reduce the complexity and cost of 3D video production. The test results show that the video conversion effect of the algorithm meets the expected target and has good popularization value.

Key words： naked eye 3D; binocular video; multiple view image fusion; image matching

0 引言

裸眼3D顯示技術(shù)無需佩戴如3D眼鏡等輔助工具即可觀察到3D圖像，其中應(yīng)用最為廣泛的是柱狀透鏡式技術(shù)。目前，采用基于雙目攝像頭來實現(xiàn)3D視頻拍攝與制作的方式逐漸成為主流。因此，如何將雙目視頻高效地、低成本地轉(zhuǎn)為裸眼3D視頻就成為研究焦點所在[1]。本文提出一種基于圖像匹配算法（Sum of absolute differences，SAD），由單個視點圖像生成多視點圖像，并對多視點圖像進行融合處理，實現(xiàn)雙目視頻到可播放的3D視頻的轉(zhuǎn)換，能夠有效降低3D視頻制作的復(fù)雜度和成本[2]。

1 柱狀透鏡裸眼3D顯示技術(shù)原理

柱狀透鏡技術(shù)是當(dāng)前裸眼3D顯示的主流，其原理是將微柱透鏡加在普通LCD液晶屏上，并將LCD屏像素劃分成R、G、B三種子像素[3]。在圖像顯示的過程中，受柱狀透鏡的影響，各個RBG子像素都將產(chǎn)生不同角度的折射。由于人的左右眼之間存在一定的位置差，因此各個像素折射到人眼中的圖像就會呈現(xiàn)出立體感。但與此同時，柱狀透鏡也會放大各子像素的間距，從而對立體顯示的效果產(chǎn)生不良影響[4]。

2 基于SAD算法的多視點圖像生成

通過擴大顯示器可視點的范圍，可以改善柱狀透鏡3D設(shè)備的觀看角度和觀看效果，前提是視差圖也要隨之大幅增多[5]。基于SAD算法來生成多視點圖像，可以實現(xiàn)將雙目圖像的左右視差圖轉(zhuǎn)成多個視差圖，能夠有效降低視差圖的拍攝成本。

2.1 SAD算法

左右眼圖像是有一定微小差別的，視差圖在完成轉(zhuǎn)換之前，必須先采用圖像識別算法將左右眼圖像中同一景物的具體位置加以定位，并以此計算視差數(shù)據(jù)，然后結(jié)合實際需求將視差進行調(diào)節(jié)，最終轉(zhuǎn)換為多視點圖像。SAD算法是應(yīng)用較為廣泛的區(qū)域匹配算法[6]，該算法的原理如下：找出基準(zhǔn)圖像的待匹配點，并以此作為中心像素來構(gòu)建矩形窗口，窗口尺寸為W×W，采用窗口內(nèi)的像素灰度值表示各像素。通過在配準(zhǔn)圖像內(nèi)按照視差范圍沿極線方向進行搜索，得到與基準(zhǔn)點相同尺寸的矩形窗口，并按照次序與匹配點相比較，直到找出最大的相似點即為最佳匹配，兩點坐標(biāo)之差即為所求視差。

通過SAD算法可以得出圖像內(nèi)某個窗口的具體位置，如果想要實現(xiàn)多點轉(zhuǎn)換，則必須將全圖像像素視差加以提取，利用圖像掃描獲取和記錄視差數(shù)據(jù)，最終獲得雙目圖像的視差分布矩陣。具體流程如圖1所示。

2.2 多視點圖像生成處理

目前主流的裸眼3D顯示器至少是八個視點，但是雙目圖像僅為一個視點，因此需將雙目圖像轉(zhuǎn)為多視點圖像。觀察者所處的位置不同，在屏幕中觀察到的圖像視點也有所不同，從而導(dǎo)致人眼所見的物體景深存在差別[7]。要生成多視點圖像，就必須采用相應(yīng)算法來得到圖像景深信息，再推導(dǎo)出場景內(nèi)各物體前后分布信息，然后將視野內(nèi)位置較遠(yuǎn)的物體進行平移，最終達(dá)到變換物體視角的效果。

在雙目圖像中，兩眼視圖間存在一定的視差，空間三維場景的具體分布已蘊含其中，通過對雙目圖像的視差矩陣進行分析提取，理論上可得到整個空間物體的分布情況和距離標(biāo)準(zhǔn)平面的深度，由此計算出在屏幕前不同視點之間的物體遮擋變化差值，即可對各個視點與標(biāo)準(zhǔn)視差的具體關(guān)系加以分析，通過一定的映射公式推導(dǎo)出各視點之間的位移偏移大小，最后再對圖像進行調(diào)節(jié)，從而完成多視點合成。

景深信息提取具體算法流程如下。

⑴ 對輸入的視差按次序排列，相同景深的物體視差相差無幾，變化較小;但不同層次的物體視差就會有很大變化。

⑵ 通過設(shè)定變化率閾值來查尋具有較大景深變化率的位置并截斷數(shù)據(jù)。

⑶ 將截斷的數(shù)據(jù)加以保存并取得各視差的位置坐標(biāo)。

⑷ 對數(shù)據(jù)處理過程完畢與否加以判斷：若尚未處理完成，則返回⑵、⑶步驟;，若已經(jīng)處理完畢，則輸出數(shù)據(jù)。

為了獲得更為逼真的視角，在圖像中的深度信息提取完成之后需要對圖像內(nèi)的物體加以遮擋調(diào)節(jié)。最終的多視點合成圖像流程如圖2所示。

3 多視點圖像融合處理

多視點圖像產(chǎn)生后，必須重排像素才可，在柱狀透鏡式裸眼3D顯示設(shè)備上播放[8]。通過提高可觀看視點數(shù)，就能夠擴大3D顯示設(shè)備可觀看的角度范圍，所以需將各視點圖像融合并重排像素。

多視點圖像融合算法的原理是，基于光柵的裸眼顯示3D視頻技術(shù)，通過該算法來抽取已生成的多視點雙目圖像子像素，再依據(jù)裸眼3D顯示器的光柵像素表排列，最終產(chǎn)生適于光柵顯示的裸眼3D立體圖像。

3.1 視點圖像的融合原理

為使觀察者處于不同位置觀看3D顯示器時均可獲得上不同的視點圖像，根據(jù)柱狀透鏡的分光特性需要對多視點圖像進行融合拼接，最后形成在柱狀透鏡寬度下視點的全覆蓋。柱狀透境所包含的八個視點圖像各自含有兩個左右視差圖像，RGB三個像素點包含于各個視差圖像之中[9]，多視點圖像融合實際上就是將各個視點像素次序重排的過程。視點數(shù)量直接影響裸眼3D顯示器的分辨率，對八視點裸眼3D圖像來說，其顯示分辨率將減小十六倍。此外，柱狀透鏡傾斜還將造成圖像錯亂，使得像素分布也必須隨透鏡傾斜的角度來排列[10]。

3.2 多視點像素排列算法

通過對課題研究中具體使用的顯示器參數(shù)進行建模推導(dǎo)，得出該算法的像素映射如圖3所示。

圖3中，X是坐標(biāo)為（x，y）的子像素與透鏡邊緣的水平距離位移，PX是透鏡位于像素行方向的寬度分量大小。假設(shè)顯示器的視點數(shù)用N'表示，視點和子像素（x，y）之間的RGB分量用N表示，顯示器的RGB像素寬度為Ph，則有：

綜上所述，RGB子像素（x，y）的橫縱坐標(biāo)均為已知，n，α，N，參數(shù)的大小取決于所用立體顯示器。此RGB子像素所顯示圖像是由自視點N的RGB分量而來，再通過計算裸眼3D顯示裝置的相關(guān)參數(shù)，就能夠得出子像素排列分布的具體情況。

4 八視點視頻轉(zhuǎn)裸眼3D視頻流程

八視點視頻的左右圖像所包含的十六個視頻數(shù)據(jù)均產(chǎn)生于相同的視點視頻，因此具有相等數(shù)量的圖像幀。要實現(xiàn)八視點視頻到裸眼3D視頻的轉(zhuǎn)換，必須提前依照視點自左向右的次序?qū)⒁曨l數(shù)據(jù)進行排序，再按順序?qū)?shù)據(jù)進行讀取并調(diào)節(jié)視頻分辨率以滿足顯示器的需求，然后構(gòu)建十六個與顯示器具有相同分辨率的數(shù)據(jù)塊以保存全部圖像數(shù)據(jù)，最后將像素重排即可得到裸眼3D視頻。

課題研究中自行制作的視頻最終播放在裸眼3D顯示器上的顯示效果如圖4所示。在該角度下觀看圖像融合轉(zhuǎn)換后的視頻，能夠較為明顯的觀察到雙目視差的立體圖像。

5 結(jié)束語

本文針對當(dāng)前柱狀透鏡式裸眼3D視頻制作的弊端，提出一種圖像匹配算法，由單個視點圖像生成多視點圖像，并對多視點圖像進行融合處理。測試結(jié)果表明，該算法的視頻轉(zhuǎn)換效果符合預(yù)期，具有較好的推廣價值。下一步將針對以下三點開展研究：①當(dāng)視角較大時，會出現(xiàn)較為明顯的錯位平移，可以采取相應(yīng)補償措施，減小甚至消除位移偏差;②SAD算進行視差搜索的過程中可以針對圖像尺寸靈活設(shè)定窗口，并優(yōu)化掃描步長，從而提升圖像匹配的精確程度;③可以優(yōu)化圖像視差，增強控制精確度，從而提高3D視頻顯示的立體效果。

參考文獻（References）：

[1] 孫博.裸眼3D顯示技術(shù)的現(xiàn)狀與發(fā)展[J].科技傳播，2017.9（21）：58-59

[2] 潘繼水.基于多視點轉(zhuǎn)換的裸眼3D技術(shù)研究[J].電子測試，2017.14：134-135

[3] 陳東.高清裸眼3D電視圖像信號處理技術(shù)研究[D].南昌大學(xué)，2017.

[4] 陳思羽.裸眼3D立體視覺設(shè)計及應(yīng)用研究[D].北京工業(yè)大學(xué)，2016.

[5] 蔣健.多視點裸眼3D視頻實時采集處理系統(tǒng)的軟件優(yōu)化[D].東南大學(xué)，2016.

[6] 張昊煜.多模式裸眼3D合成顯示SOC系統(tǒng)設(shè)計[D].浙江大學(xué)，2017.

[7] 徐遙令.一種裸眼3D電視系統(tǒng)的設(shè)計方案[J].電子產(chǎn)品世界，2016.23（11）：36-38

[8] 劉紅.基于障壁和漸變孔徑狹縫光柵的裸眼3D顯示系統(tǒng)設(shè)計[J].電子世界，2018.11：56-57

[9] 李柏霖.夾縫光柵裸眼3D立體顯示器的串?dāng)_研究[J].電子設(shè)計工程，2018.26（5）：44-47

[10] 趙悟翔.弱化莫爾條紋的LED裸眼3D顯示[J].電子技術(shù)與軟件工程，2017.23：83-84