基于多圖像融合的裸眼3D視頻技術研究

安玲玲 于雷

摘? 要： 裸眼3D視頻的制作是裸眼3D顯示和播放中的最為重要的環節，現有柱狀透鏡式的裸眼3D視頻在制作過程中，必須在同一時刻對多個視點圖像進行拍攝，成本較高，并且制作視頻流程較復雜。以人眼多視點觀察的相關理論為研究基礎，提出一種圖像匹配算法，由單個視點圖像生成多視點圖像，并對多視點圖像進行融合處理，實現將雙目視頻轉換為可在柱狀透鏡裸眼3D顯示器上播放的3D視頻，從而降低3D視頻制作的復雜度和成本。測試結果表明，該算法的視頻轉換效果符合預期指標，具有較好的推廣價值。

關鍵詞： 裸眼3D; 雙目視頻; 多視點圖像融合; 圖像匹配

中圖分類號：TP311? ? ? ? ? 文獻標志碼：A? ? ?文章編號：1006-8228（2018）12-04-04

Abstracts： The production of naked eye 3D video is the most important part of the naked eye 3D display and play. The existing columnar lens type naked eye 3D video must be photographed at the same time， and the cost is high and the video process is more complex. Based on the related theory of eye multiple view observation， an image matching algorithm is proposed， which generates multiple view images from a single point of view image， and converts multiple view image into a 3D video that can be played on a columnar naked eye 3D display， and could reduce the complexity and cost of 3D video production. The test results show that the video conversion effect of the algorithm meets the expected target and has good popularization value.

Key words： naked eye 3D; binocular video; multiple view image fusion; image matching

0 引言

裸眼3D顯示技術無需佩戴如3D眼鏡等輔助工具即可觀察到3D圖像，其中應用最為廣泛的是柱狀透鏡式技術。目前，采用基于雙目攝像頭來實現3D視頻拍攝與制作的方式逐漸成為主流。因此，如何將雙目視頻高效地、低成本地轉為裸眼3D視頻就成為研究焦點所在[1]。本文提出一種基于圖像匹配算法（Sum of absolute differences，SAD），由單個視點圖像生成多視點圖像，并對多視點圖像進行融合處理，實現雙目視頻到可播放的3D視頻的轉換，能夠有效降低3D視頻制作的復雜度和成本[2]。

1 柱狀透鏡裸眼3D顯示技術原理

柱狀透鏡技術是當前裸眼3D顯示的主流，其原理是將微柱透鏡加在普通LCD液晶屏上，并將LCD屏像素劃分成R、G、B三種子像素[3]。在圖像顯示的過程中，受柱狀透鏡的影響，各個RBG子像素都將產生不同角度的折射。由于人的左右眼之間存在一定的位置差，因此各個像素折射到人眼中的圖像就會呈現出立體感。但與此同時，柱狀透鏡也會放大各子像素的間距，從而對立體顯示的效果產生不良影響[4]。

2 基于SAD算法的多視點圖像生成

通過擴大顯示器可視點的范圍，可以改善柱狀透鏡3D設備的觀看角度和觀看效果，前提是視差圖也要隨之大幅增多[5]。基于SAD算法來生成多視點圖像，可以實現將雙目圖像的左右視差圖轉成多個視差圖，能夠有效降低視差圖的拍攝成本。

2.1 SAD算法

左右眼圖像是有一定微小差別的，視差圖在完成轉換之前，必須先采用圖像識別算法將左右眼圖像中同一景物的具體位置加以定位，并以此計算視差數據，然后結合實際需求將視差進行調節，最終轉換為多視點圖像。SAD算法是應用較為廣泛的區域匹配算法[6]，該算法的原理如下：找出基準圖像的待匹配點，并以此作為中心像素來構建矩形窗口，窗口尺寸為W×W，采用窗口內的像素灰度值表示各像素。通過在配準圖像內按照視差范圍沿極線方向進行搜索，得到與基準點相同尺寸的矩形窗口，并按照次序與匹配點相比較，直到找出最大的相似點即為最佳匹配，兩點坐標之差即為所求視差。

通過SAD算法可以得出圖像內某個窗口的具體位置，如果想要實現多點轉換，則必須將全圖像像素視差加以提取，利用圖像掃描獲取和記錄視差數據，最終獲得雙目圖像的視差分布矩陣。具體流程如圖1所示。

2.2 多視點圖像生成處理

目前主流的裸眼3D顯示器至少是八個視點，但是雙目圖像僅為一個視點，因此需將雙目圖像轉為多視點圖像。觀察者所處的位置不同，在屏幕中觀察到的圖像視點也有所不同，從而導致人眼所見的物體景深存在差別[7]。要生成多視點圖像，就必須采用相應算法來得到圖像景深信息，再推導出場景內各物體前后分布信息，然后將視野內位置較遠的物體進行平移，最終達到變換物體視角的效果。

在雙目圖像中，兩眼視圖間存在一定的視差，空間三維場景的具體分布已蘊含其中，通過對雙目圖像的視差矩陣進行分析提取，理論上可得到整個空間物體的分布情況和距離標準平面的深度，由此計算出在屏幕前不同視點之間的物體遮擋變化差值，即可對各個視點與標準視差的具體關系加以分析，通過一定的映射公式推導出各視點之間的位移偏移大小，最后再對圖像進行調節，從而完成多視點合成。

景深信息提取具體算法流程如下。

⑴ 對輸入的視差按次序排列，相同景深的物體視差相差無幾，變化較小;但不同層次的物體視差就會有很大變化。

⑵ 通過設定變化率閾值來查尋具有較大景深變化率的位置并截斷數據。

⑶ 將截斷的數據加以保存并取得各視差的位置坐標。

⑷ 對數據處理過程完畢與否加以判斷：若尚未處理完成，則返回⑵、⑶步驟;，若已經處理完畢，則輸出數據。

為了獲得更為逼真的視角，在圖像中的深度信息提取完成之后需要對圖像內的物體加以遮擋調節。最終的多視點合成圖像流程如圖2所示。

3 多視點圖像融合處理

多視點圖像產生后，必須重排像素才可，在柱狀透鏡式裸眼3D顯示設備上播放[8]。通過提高可觀看視點數，就能夠擴大3D顯示設備可觀看的角度范圍，所以需將各視點圖像融合并重排像素。

多視點圖像融合算法的原理是，基于光柵的裸眼顯示3D視頻技術，通過該算法來抽取已生成的多視點雙目圖像子像素，再依據裸眼3D顯示器的光柵像素表排列，最終產生適于光柵顯示的裸眼3D立體圖像。

3.1 視點圖像的融合原理

為使觀察者處于不同位置觀看3D顯示器時均可獲得上不同的視點圖像，根據柱狀透鏡的分光特性需要對多視點圖像進行融合拼接，最后形成在柱狀透鏡寬度下視點的全覆蓋。柱狀透境所包含的八個視點圖像各自含有兩個左右視差圖像，RGB三個像素點包含于各個視差圖像之中[9]，多視點圖像融合實際上就是將各個視點像素次序重排的過程。視點數量直接影響裸眼3D顯示器的分辨率，對八視點裸眼3D圖像來說，其顯示分辨率將減小十六倍。此外，柱狀透鏡傾斜還將造成圖像錯亂，使得像素分布也必須隨透鏡傾斜的角度來排列[10]。

3.2 多視點像素排列算法

通過對課題研究中具體使用的顯示器參數進行建模推導，得出該算法的像素映射如圖3所示。

圖3中，X是坐標為（x，y）的子像素與透鏡邊緣的水平距離位移，PX是透鏡位于像素行方向的寬度分量大小。假設顯示器的視點數用N'表示，視點和子像素（x，y）之間的RGB分量用N表示，顯示器的RGB像素寬度為Ph，則有：

綜上所述，RGB子像素（x，y）的橫縱坐標均為已知，n，α，N，參數的大小取決于所用立體顯示器。此RGB子像素所顯示圖像是由自視點N的RGB分量而來，再通過計算裸眼3D顯示裝置的相關參數，就能夠得出子像素排列分布的具體情況。

4 八視點視頻轉裸眼3D視頻流程

八視點視頻的左右圖像所包含的十六個視頻數據均產生于相同的視點視頻，因此具有相等數量的圖像幀。要實現八視點視頻到裸眼3D視頻的轉換，必須提前依照視點自左向右的次序將視頻數據進行排序，再按順序對數據進行讀取并調節視頻分辨率以滿足顯示器的需求，然后構建十六個與顯示器具有相同分辨率的數據塊以保存全部圖像數據，最后將像素重排即可得到裸眼3D視頻。

課題研究中自行制作的視頻最終播放在裸眼3D顯示器上的顯示效果如圖4所示。在該角度下觀看圖像融合轉換后的視頻，能夠較為明顯的觀察到雙目視差的立體圖像。

5 結束語

本文針對當前柱狀透鏡式裸眼3D視頻制作的弊端，提出一種圖像匹配算法，由單個視點圖像生成多視點圖像，并對多視點圖像進行融合處理。測試結果表明，該算法的視頻轉換效果符合預期，具有較好的推廣價值。下一步將針對以下三點開展研究：①當視角較大時，會出現較為明顯的錯位平移，可以采取相應補償措施，減小甚至消除位移偏差;②SAD算進行視差搜索的過程中可以針對圖像尺寸靈活設定窗口，并優化掃描步長，從而提升圖像匹配的精確程度;③可以優化圖像視差，增強控制精確度，從而提高3D視頻顯示的立體效果。

參考文獻（References）：

[1] 孫博.裸眼3D顯示技術的現狀與發展[J].科技傳播，2017.9（21）：58-59

[2] 潘繼水.基于多視點轉換的裸眼3D技術研究[J].電子測試，2017.14：134-135

[3] 陳東.高清裸眼3D電視圖像信號處理技術研究[D].南昌大學，2017.

[4] 陳思羽.裸眼3D立體視覺設計及應用研究[D].北京工業大學，2016.

[5] 蔣健.多視點裸眼3D視頻實時采集處理系統的軟件優化[D].東南大學，2016.

[6] 張昊煜.多模式裸眼3D合成顯示SOC系統設計[D].浙江大學，2017.

[7] 徐遙令.一種裸眼3D電視系統的設計方案[J].電子產品世界，2016.23（11）：36-38

[8] 劉紅.基于障壁和漸變孔徑狹縫光柵的裸眼3D顯示系統設計[J].電子世界，2018.11：56-57

[9] 李柏霖.夾縫光柵裸眼3D立體顯示器的串擾研究[J].電子設計工程，2018.26（5）：44-47

[10] 趙悟翔.弱化莫爾條紋的LED裸眼3D顯示[J].電子技術與軟件工程，2017.23：83-84