基于矩陣變換的立體視頻播放技術(shù)研究

陳志文，梁發(fā)云，何小明，陳海初，熊根良

(南昌大學(xué)裸眼立體技術(shù)與虛擬現(xiàn)實(shí)研究中心，江西 南昌 330031)

基于矩陣變換的立體視頻播放技術(shù)研究

陳志文，梁發(fā)云，何小明，陳海初，熊根良

(南昌大學(xué)裸眼立體技術(shù)與虛擬現(xiàn)實(shí)研究中心，江西 南昌 330031)

立體圖像按存儲(chǔ)方式不同分為立體圖片和視頻，把左右格式立體圖像準(zhǔn)確傳輸?shù)铰阊?D顯示器的亞屏幕，是3D播放的關(guān)鍵技術(shù)。針對(duì)不同存儲(chǔ)格式的立體圖像，使用矩陣變換及視頻融合算法，在FFmpeg函數(shù)庫基礎(chǔ)上構(gòu)建立體視頻播放器。實(shí)驗(yàn)表明該算法能將立體圖像正確映射到左右眼亞屏幕。

立體顯示；矩陣變換；3D播放器；立體度

1 引言

獲取立體圖像的成像系統(tǒng)是模擬人類的視覺設(shè)計(jì)的，用兩臺(tái)保持一定間距的攝像機(jī)同步采集場(chǎng)景，然后將圖像保存為圖片或視頻形式[1]。

立體圖像的存儲(chǔ)形式分為分別存儲(chǔ)的左右眼圖像文件或單文件的視圖組合形式。組合格式立體視頻左右眼視頻幀一一對(duì)應(yīng)，剪輯方便且播放時(shí)無需考慮幀不同步造成的畫面紊亂，應(yīng)用最廣泛。

與二維圖像的顯示方法不同，裸眼式3D顯示器使用左右眼圖像像素間隔排列亞屏幕方式在屏幕上顯示雙眼畫面，為了解決圖像快速融合的算法，滿足裸眼3D畫面的顯示要求，需要對(duì)圖像數(shù)據(jù)進(jìn)行適當(dāng)?shù)淖儞Q和處理[2]。為滿足工程應(yīng)用和網(wǎng)絡(luò)播放的需求，本文重點(diǎn)研究基于矩陣變換的立體圖像融合算法，并以圖像處理函數(shù)庫FFmpeg為基礎(chǔ)開發(fā)出適用的3D播放器。

2 裸眼立體顯示原理

裸眼3D技術(shù)是近幾年發(fā)展起來的光電顯示技術(shù)，觀看者無需佩戴眼鏡就可以感受到立體畫面的深度感和臨場(chǎng)感。在結(jié)構(gòu)上，裸眼立體顯示器采用LCD作為顯像層，使用柱狀透鏡(Lenticular Lens)技術(shù)、光屏障式(Barrier)技術(shù)或指向光源(Directional Backlight)等方法將具有視差的立體圖像對(duì)分別傳送到左右眼中，經(jīng)過大腦視覺神經(jīng)中樞處理產(chǎn)生立體效果[3]。

根據(jù)光學(xué)原理，左右眼的圖像在屏幕上按列交錯(cuò)排列。為了把左右視圖傳送到奇、偶列的像素上，可以使用視頻數(shù)字處理電路或者軟件方法對(duì)左右格式圖像進(jìn)行處理[4]，實(shí)現(xiàn)圖像和像素的對(duì)應(yīng)傳輸。立體圖像顯示原理如圖1所示。

Figure 1 Principle of stereoscopic image display圖1 立體圖像顯示原理

3 立體圖像處理

立體圖像包含了左右眼的全部信息，其存儲(chǔ)方式可分為左右眼圖像分別存儲(chǔ)的雙文件形式或左右圖像組合形式的單文件存儲(chǔ)，視頻立體圖像還需包含音頻信息。全寬左右圖像在進(jìn)行畫面融合時(shí)需要按列間隔重新采樣圖像，而半寬左右圖像在存儲(chǔ)前已完成間隔采樣。

以一幅分辨率為m×2n的全寬左右格式立體圖片為例，左右眼畫面的分辨率分別為m×n，可用像素矩陣式(1)和式(2)表示[5]。

(1)

(2)

在顯示器上播放時(shí)，經(jīng)過融合算法處理后的像素可以用矩陣式(3)表示。

P3D=

(3)

當(dāng)n為奇數(shù)時(shí)，k=n，n為偶數(shù)時(shí)，k=n-1。

令n維列向量：

0=(0,0,…,0)T,L1=(1,0,0,…,0)T,L2=(0,1,0,…,0)T,L3=(0,0,1,…,0)T,…,Lm=(0,0,0,…,1)T

當(dāng)n為奇數(shù)時(shí)，令：

A1= (L1,0,L3,0,L5, 0,…,Ln)

可以得到3D運(yùn)算公式:

(4)

n為偶數(shù)時(shí)，令：

A2=(L1,0,L3,0,L5, 0,…,Ln-1,0)

可以得到3D運(yùn)算公式:

(5)

圖2和圖3是左右畫面融合的示例。左右格式立體對(duì)由3D照相機(jī)拍攝后經(jīng)過剪輯合并而成，播放時(shí)左半部分映射到奇列組成的左眼亞屏幕，右半部分映射到偶列組成的右眼亞屏幕。融合之后的立體圖片寬度應(yīng)是左右格式圖片寬度的一半。

Figure 2 Left-Right picture圖2 左右格式圖片

Figure 3 Fusion of image圖3 融合后屏幕畫面

視頻文件在播放過程中，首先對(duì)文件進(jìn)行解碼。解碼過程是編碼的逆過程，按照各幀的解碼順序?qū)D像進(jìn)行解碼，解碼完成后放入緩存的數(shù)據(jù)為YUV格式[6]。YUV是RGB通過矩陣變換而得到的亮度信號(hào)和色差信號(hào)，本文中以YUV420存儲(chǔ)格式為例來研究立體視頻畫面融合算法。

對(duì)于分辨率為m×2n(畫面行數(shù)為m,列數(shù)為2n)左右格式的視頻畫面，其圖像可以用類似于P2DL和P2DR的m行、2n列矩陣P2D表示[7]，其融合矩陣可以用m行、2n列矩陣P3D表示。

根據(jù)矩陣初等變換定理，對(duì)s×t矩陣A作一次初等列變換，相當(dāng)于在A的右邊乘上相應(yīng)的t×t初等矩陣。對(duì)于2n階單位矩陣E:

E=diag(1,1,…,1)2n×2n

(6)

令2n維列向量:

S1=(1,0,0,…,0)T，S2=(0,1,0,…,0)T，

S3=(0,0,1,…,0)T，…，S2n=(0,0,0,…,1)T

此時(shí),

E=(S1,S2,S3,…,S2n)

(7)

要完成從P2D到P3D的列變換過程，應(yīng)將矩陣E進(jìn)行相同的列變換，即,

X=(S1,Sn+1,S2,Sn+2, …,S2n)

(8)

矩陣X上方及右方數(shù)字表示其對(duì)應(yīng)的行列在變換之前所處位置。將原始像素矩陣右乘這一變換矩陣X，即可求得像素融合矩陣P3D:

P2D·X=P3D

(9)

4 立體圖像播放軟件實(shí)現(xiàn)及安卓系統(tǒng)移植研究

FFmpeg是開源的,可以用來記錄、轉(zhuǎn)換數(shù)字音、視頻文件，并能將其轉(zhuǎn)化為數(shù)據(jù)流的C語言程序。FFmpeg在視頻格式轉(zhuǎn)換和播放軟件的開發(fā)中具有很大優(yōu)勢(shì)。本文以FFmpeg為核心設(shè)計(jì)的播放器輸出的視頻數(shù)據(jù)流為YUV格式，通過SDL(Simple DirectMedia Layer)平臺(tái)顯示。SDL是一個(gè)高效率的多媒體庫，在視頻播放、模擬器和很多視頻游戲中應(yīng)用廣泛[8]。使用FFmpeg處理音頻和視頻流的流程如圖4所示。

Figure 4 3D video processing flow圖4 立體視頻處理流程

在結(jié)構(gòu)體AVPicture中有兩個(gè)重要的數(shù)據(jù)：data[4]和linesize[4]。視頻文件經(jīng)過解碼處理后，解碼的數(shù)據(jù)以YUV420的格式存儲(chǔ)在以data[0]為首地址的內(nèi)存中，其中data[0]指向Y數(shù)據(jù)首地址，data[1] 指向U數(shù)據(jù)首地址，data[2] 指向V數(shù)據(jù)首地址。

Figure 5 Relationship between the data and YUV圖5 data與YUV數(shù)據(jù)關(guān)系

在進(jìn)行幀畫面融合時(shí)，先將Y數(shù)據(jù)映射到矩陣P2D(width×height)，右乘的矩陣X′應(yīng)為height階方陣，求出對(duì)應(yīng)的矩陣P3D，再將U、V數(shù)據(jù)分別映射到矩陣P2D(width/2 ×height/2)，右乘的矩陣X′應(yīng)為height/2階方陣,分別求出對(duì)應(yīng)的P3D。將YUV420格式轉(zhuǎn)換成RGB格式，使用SDL顯示出經(jīng)轉(zhuǎn)換之后的視頻數(shù)據(jù)即能夠?qū)崿F(xiàn)在裸眼立體顯示器上的正確顯示[9]。

Android系統(tǒng)軟件一般使用Java語言進(jìn)行開發(fā)。Java語言具有多平臺(tái)移植的優(yōu)點(diǎn)，同時(shí)也帶來了運(yùn)行效率低的缺點(diǎn)。在軟件開發(fā)中，一些效率敏感的部分使用Java的效果不理想。為了彌補(bǔ)這一缺點(diǎn)，JNI(Java Native Interface)應(yīng)運(yùn)而生，JNI是為編譯C/C++等本地語言而設(shè)計(jì)的編程接口，它能幫助我們從Java應(yīng)用程序中調(diào)用其他語言編寫的程序或方法[10]。

首先安裝cygwin或Linux操作系統(tǒng)。cygwin是Windows下仿Linux的運(yùn)行環(huán)境。將Android NDK(Native Development Kit)配置到cygwin中，NDK提供了眾多工具使開發(fā)者能快速開發(fā)C/C++的動(dòng)態(tài)庫，并能自動(dòng)將so文件和Java應(yīng)用打包成apk安裝文件。使用Java編寫JNI接口文件。用Javah命令將其轉(zhuǎn)換成h文件，命令為javah -classpath bin -d jni package_name，其中-classpath bin表示類的路徑，-d jni表示該頭文件存放的路徑，package_name表示完整的類名。編寫與該頭文件同名的c文件，該文件的作用是獲取視頻解碼數(shù)據(jù)，并實(shí)現(xiàn)3D運(yùn)算。編寫Android.mk文件，該文件對(duì)FFmpeg源代碼及該c文件的編譯方法做出定義，并定義生成的so文件名。完成上述工作后，打開cygwin，使用命令cd X:/prj_path進(jìn)入工程目錄，輸入命令ndk-build，系統(tǒng)將根據(jù)mk文件的配置調(diào)用各代碼文件并進(jìn)行編譯，最終將生成后綴為so的目標(biāo)文件。將該文件復(fù)制到工程目錄lib文件夾中。編寫Java代碼，該文件應(yīng)該聲明裝載最后將要生成的so文件：System.loadLibrary("lib_name");表示程序調(diào)用該動(dòng)態(tài)鏈接庫，調(diào)用Android API實(shí)現(xiàn)播放器的各種功能。編寫xml文件，對(duì)播放器界面進(jìn)行布局。

5 算法性能實(shí)驗(yàn)

根據(jù)上述播放器構(gòu)建方法和視頻畫面融合算法設(shè)計(jì)出裸眼立體播放器，代碼在VS 2010環(huán)境下編譯通過，圖6為左右格式視頻的平面播放效果。

Figure 6 Playing effect on flat-screen圖6 平面播放效果

經(jīng)過視頻幀融合之后在裸眼3D顯示器上播放的照片如圖7所示，該裸眼立體液晶顯示器由南昌興亞光電科技發(fā)展有限公司研制，其分辨率為1 280×1 024、獨(dú)立視區(qū)數(shù)為10個(gè)、立體度為20。

Figure 7 Fusion effect of 3D image圖7 立體畫面融合效果

6 結(jié)束語

左右格式立體圖像根據(jù)裸眼3D顯示器的亞屏幕像素排列要求，使用矩陣變換的融合算法完成畫面重組，并研究了將該軟件移植到安卓系統(tǒng)的可行性，該方法在本領(lǐng)域研究中具有一定的創(chuàng)新性，為3D技術(shù)的普及應(yīng)用和網(wǎng)絡(luò)播放提供了借鑒。

[1] Guo Lei, Li Hui-hui, Bao Yong-sheng. Image fusion[M].Beijing:Publishing House of Electronics Industry,2008.(in Chinese)

[2] Zhang Can-feng, Zhou Hai-fang. Research and implementation of the parallel algorithms of pixel-level image fusion for remote-sensing[J]. Computer Engineering & Science, 2010,32(9):34-38.(in Chinese)

[3] Wang Pan-feng，Du Yun-fei，Zhou Hai-fang，et al. A parallel fusion algorithm for remote sensing images based on complex wavelet transform[J]. Computer Engineering & Science, 2008,30(3):35-39.(in Chinese)

[4] McAllister D F. Stereo computer graphics and other true 3D technologies[M]. NJ:Princeton University Press, 1993.

[5] Cheng I, Basu A. Optimal aspect ratio for 3D TV[C]∥Proc of IEEE 3D TV Conference, 2007:1-4.

[6] Basu A, Sahabi H. Optimal non-uniform discretization for stereo reconstruction[C]∥Proc of the 13th International Conference on Pattern Recognition, 1996:755-759.

[7] Brown M Z, Burschka D, Hager G D. Advances in computational stereo[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003,25(8):993-1008.

[8] Cheng I, Basu A. Perceptually optimized 3D transmission over wireless networks[J]. IEEE Transactions on Multimedia, 2007,9(2):386-396.

[9] Pan Y, Cheng I, Basu A. Quality metric for approximating subjective evaluation of 3D objects[J]. IEEE Transactions on Multimedia, 2005,7(2):269-279.

[10] Meng Liang, Wu Lu-shen. Method of single pixel edges detection for 3D surface measurement[J]. Journal of Nanchang University(Engineering&Technology), 2005,27(3):7-9.(in Chinese)

附中文參考文獻(xiàn)：

[1] 郭雷, 李暉暉, 鮑永生. 圖像融合[M].北京：電子工業(yè)出版社,2008.

[2] 張燦峰, 周海芳.像素級(jí)遙感圖像融合并行算法研究與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與科學(xué)，2010,32(9):34-38.

[3] 王攀峰, 杜云飛, 周海芳, 等.基于雙樹復(fù)小波變換的遙感圖像并行融合算法[J].計(jì)算機(jī)工程與科學(xué), 2008,30(3):35-39.

[10] 孟亮, 吳祿慎.三維圖像測(cè)量中單像素級(jí)邊緣的檢測(cè)[J].南昌大學(xué)學(xué)報(bào)(工科版)，2005,27(3):7-9.

CHEN Zhi-wen,born in 1986,MS candidate,his research interests include optical display technology,and measurement & control technology.

Study of stereoscopic video playing technique based on matrix transformation

CHEN Zhi-wen,LIANG Fa-yun,HE Xiao-ming,CHEN Hai-chu,XIONG Gen-liang
(3D & VR Research Centre,Nanchang University,Nanchang 330031,China)

According to the way of storage, stereo image is divided into 3D pictures and video. It is the key technique of 3D display that transmitting left-right format stereoscopic image to the sub-screen of the naked-eye 3D display accurately. According to the different storage formats of stereoscopic image, using matrix transformation and video fusion algorithm, a 3D video player is designed based on FFmpeg library. The experimental results show that the algorithm can map the 3D images onto the left-right eye sub-screen correctly.

stereoscopic display;matrix transformation;3D player;stereo degree

2012-10-08;

2012-12-18

江西省教育廳重點(diǎn)科技資助項(xiàng)目(GJJ09012,GJJ11001)

1007-130X(2014)03-0513-04

TP317.4

A

10.3969/j.issn.1007-130X.2014.03.024

陳志文(1986-),男，江西高安人，碩士生，研究方向?yàn)楣怆婏@示技術(shù)和測(cè)控技術(shù)。E-mail:420075327@qq.com

通信地址：330031 江西省南昌市南昌大學(xué)前湖校區(qū)南昌大學(xué)裸眼立體技術(shù)與虛擬現(xiàn)實(shí)研究中心

Address:3D & VR Research Centre,Qian-hu Campus,Nanchang University,Nanchang 330031,Jiangxi,P.R.China