3D傳感器的設(shè)計(jì)與研究

王興鵬，梁發(fā)云，劉　敏

(1.南昌大學(xué) 裸眼立體技術(shù)與虛擬現(xiàn)實(shí)研究中心，江西 南昌 330031；2.南昌興亞光電科技發(fā)展有限公司，江西 南昌330031)

3D傳感器的設(shè)計(jì)與研究

王興鵬1，2，梁發(fā)云1，2，劉敏1，2

(1.南昌大學(xué) 裸眼立體技術(shù)與虛擬現(xiàn)實(shí)研究中心，江西 南昌 330031；2.南昌興亞光電科技發(fā)展有限公司，江西 南昌330031)

摘要:3D傳感器是獲取雙視圖畫面的重要手段，在3D圖像交互及機(jī)器人技術(shù)中有著重要的應(yīng)用前景。根據(jù)人眼仿生學(xué)原理設(shè)計(jì)3D傳感器結(jié)構(gòu)，并研究現(xiàn)場可編程門陣列FPGA對雙CMOS高分辨率圖像的采集與處理方法，通過同步數(shù)據(jù)采集和輪序存儲法完成3D圖像的獲取并實(shí)時(shí)顯示。

關(guān)鍵詞:3D傳感器；裸眼3D技術(shù)；視差；輪序法

新型光電顯示技術(shù)的不斷發(fā)展，使得裸眼3D技術(shù)成為未來主流顯示技術(shù)之一。裸眼3D技術(shù)使用雙視圖呈現(xiàn)三維場景，因此獲取符合人類立體視覺左右眼圖像的3D傳感器成為技術(shù)關(guān)鍵。

由于裸眼3D技術(shù)理論及其器件的完善[1-2]，為3D相機(jī)、3D攝像機(jī)配備了能實(shí)時(shí)監(jiān)控拍攝場景的3D液晶屏，極大地推動(dòng)了3D電影與電視的拍攝及其編輯技術(shù)的發(fā)展，截至2015年底，3D拍攝產(chǎn)業(yè)價(jià)值已經(jīng)達(dá)數(shù)十億元。

為了3D攝像器件的便攜化、集成化，也為了3D交互技術(shù)的持續(xù)發(fā)展，需要研究3D圖像傳感器光學(xué)技術(shù)及數(shù)據(jù)處理技術(shù)的理論與方法。本文根據(jù)人眼仿生原理著重探討3D傳感器圖像數(shù)據(jù)的實(shí)時(shí)采集與數(shù)據(jù)處理技術(shù)。

13D傳感器技術(shù)原理

眼睛是人類感光和成像的器官，雙眼間距使得視網(wǎng)膜圖像存在視差，經(jīng)過視覺中樞處理后獲得場景的三維坐標(biāo)(圖1)。研究表明，雙眼視網(wǎng)膜成像過程存在焦距調(diào)節(jié)和光軸會聚過程，使得眼睛注視焦點(diǎn)處的成像視差匹配良好，能獲得準(zhǔn)確的相對坐標(biāo)信息，而關(guān)注焦點(diǎn)之外的細(xì)節(jié)被視覺中樞忽略。與人眼直接觀看過程相比，3D傳感器拍攝圖像后，由于存在遠(yuǎn)離焦點(diǎn)的背景，使得圖像中遠(yuǎn)處物體的視差無法良好匹配，從而帶來觀看3D影視產(chǎn)生暈眩等不適感。筆者認(rèn)為目前3D拍攝的主要缺陷在于景深視差匹配上，所以致力于3D圖像傳感器的仿生學(xué)研究。仿生3D圖像傳感器的關(guān)鍵問題主要有景深視差光學(xué)原理、光軸會聚檢測與控制、圖像數(shù)據(jù)采集與處理三個(gè)方面，為了便于解決這些問題，首先需要完成基礎(chǔ)電路系統(tǒng)的研制，待完善圖像采集系統(tǒng)后，可為光學(xué)成像及會聚研究提供物質(zhì)基礎(chǔ)。

圖1　立體視覺原理

根據(jù)人眼相對位置，使用2只CMOS型圖像傳感器組成3D傳感器的基礎(chǔ)結(jié)構(gòu)，其光學(xué)鏡頭組暫未改變，因此不具備光學(xué)處理及會聚功能。建立如圖2所示的雙攝像頭系統(tǒng)[3-5]，兩個(gè)攝像傳感器主點(diǎn)連線的中點(diǎn)作為原點(diǎn)，x軸平行于兩相機(jī)主點(diǎn)連線，z軸平行于光軸方向，傳感器中心間距為B，則兩相機(jī)主點(diǎn)坐標(biāo)分別為(-B/2,0,0,0)和(B/2,0,0,0)。

圖2　3D圖像傳感器成像原理

設(shè)左右眼圖像的水平視差為p，攝像頭焦距為f，可得出空間坐標(biāo)系中任意一點(diǎn)Q(x,y,z)在左右圖像傳感器中的水平視差p為

(1)

左右圖像按亞屏幕分區(qū)顯示于3D顯示器屏幕上，此時(shí)觀看者能體驗(yàn)出圖像反映的景深，空間點(diǎn)正負(fù)視差對應(yīng)于遠(yuǎn)景和凸顯于屏幕外的近景。設(shè)人眼間距為e，人眼到屏幕的距離為l，左右視圖的水平視差為p，則對應(yīng)于正視差(圖3)的深度計(jì)算公式為

(2)

對應(yīng)于負(fù)視差(圖4)的深度計(jì)算公式為

(3)

圖3　正視差圖深度

圖4　負(fù)視差圖深度

為了保證3D傳感器的成像質(zhì)量，完備的3D傳感器設(shè)計(jì)時(shí)需滿足如下3個(gè)原則：

1)空間幾何位置嚴(yán)格對稱。

2)參數(shù)一致性。2只傳感器控制寄存器設(shè)置參數(shù)完全相同。

3)兩只圖像傳感器輸出時(shí)幀、行、像素時(shí)鐘完全同步，確保捕捉畫面的時(shí)間同步性。

23D傳感器數(shù)字圖像處理電路

目前CCD(Charged Coupled Device)和CMOS(Complementary Metal-Oxide Semiconductor)圖像傳感器技術(shù)發(fā)展很快，像素分辨率已經(jīng)達(dá)到千萬量級[6]。本文研制的3D傳感器使用2只CMOS圖像傳感器模擬人的雙眼，傳感器間距分別設(shè)置為40 mm、60mm、80 mm。CMOS圖像傳感器的接口通過限流電阻后再由FFC柔性導(dǎo)線連接到信號處理電路(圖5)。

圖5　3D圖像傳感器

CMOS圖像傳感器內(nèi)部由感光二極管組成的像素陣列，通過行列掃描電路把像素電壓聯(lián)通至放大器和AD轉(zhuǎn)換器，再通過圖像處理器后編碼為DVP或MIPI結(jié)構(gòu)的數(shù)字圖像[7]。傳感器還提供了串行相機(jī)控制總線(SCCB)來設(shè)置圖像傳感器的工作模式，通過控制寄存器能夠設(shè)定圖像的分辨率、幀頻、輸出格式等重要參數(shù)[8]。為了正確采集圖像輸出接口的數(shù)據(jù)，還提供了幀同步、行同步、像素時(shí)鐘等時(shí)序信號(圖6)。

圖6　CMOS圖像傳感器內(nèi)部結(jié)構(gòu)圖

由于CPU無法滿足2只CMOS型圖像傳感器的接口要求，所以系統(tǒng)設(shè)計(jì)時(shí)只能選擇FPGA或CPLD可編程邏輯器件。為了達(dá)到3D傳感器圖像采集的3個(gè)原則，滿足3D傳感器數(shù)字圖像處理過程中圖像數(shù)據(jù)量大、傳輸速度快、IO數(shù)量等要求，使用現(xiàn)場可編程門電路(FPGA)來組成3D傳感器數(shù)字圖像處理電路。

3D傳感器的數(shù)字圖像處理電路由現(xiàn)場可編程邏輯門陣列FPGA、2只CMOS圖像傳感器、動(dòng)態(tài)隨機(jī)存儲器SDRAM、電源、輸入輸出接口等組成。FPGA是核心控制芯片，對各個(gè)模塊工作進(jìn)行協(xié)調(diào)和控制。2只CMOS圖像傳感器模擬人類雙眼來同步采集左右眼圖像數(shù)據(jù)，SDRAM用于圖像數(shù)據(jù)幀緩存及輪序法處理。為了驗(yàn)證3D圖像傳感器的功能和效果，還設(shè)計(jì)了LCD/VGA顯示接口、圖像數(shù)據(jù)存儲的SD Flash接口和USB接口等(圖7)。

圖7　3D傳感器數(shù)字圖像處理電路框圖

3輪序法圖像信號處理

為了完整保留3D圖像信息，3D圖像傳感器的左右眼視圖應(yīng)同步輸出。根據(jù)設(shè)置的圖像分辨率，在行同步時(shí)鐘的控制下，每行先按像素時(shí)鐘輸出左傳感器RGB數(shù)據(jù)，再輸出右傳感器RGB數(shù)據(jù)，從而使3D傳感器數(shù)據(jù)輸出幀完全以左右格式進(jìn)行輸出，其輸出接口定義符合ARM等CPU和通用圖形芯片的標(biāo)準(zhǔn)接口協(xié)議。

使用硬件描述語言Verilog HDL設(shè)計(jì)邏輯電路，系統(tǒng)組成包括SCCB寄存器配置模塊、圖像數(shù)據(jù)同步采集模塊、FIFO行緩存模塊、SDRAM控制模塊和LCD顯示模塊。

SCCB寄存器配置模塊對左右CMOS圖像傳感器的寄存器同時(shí)進(jìn)行初始化配置，分別設(shè)置圖像數(shù)據(jù)的格式、分辨率、聚焦方式、曝光時(shí)間和圖像質(zhì)量等。初始化完成后左右CMOS圖像傳感器將輸出如圖8所示的像素時(shí)鐘PCLK、場信號VHYNC、行信號HREF、8位圖像數(shù)據(jù)DATA[7..0][9]。

圖8　CMOS圖像傳感器時(shí)序

FIFO行緩存模塊通過FPGA內(nèi)部存儲資源構(gòu)建4個(gè)容量為一行圖像數(shù)據(jù)的FIFO(First Input First Output)并命名為FIFO1，F(xiàn)IFO2，F(xiàn)IFO3和FIFO4。檢測幀脈沖上升沿，在每幀時(shí)間段內(nèi)對4個(gè)FIFO輪序操作，完成圖像數(shù)據(jù)采集和重編碼輸出。輪序法的處理步驟為在CMOS傳感器行同步和像素時(shí)鐘的節(jié)拍控制下，依次將左CMOS圖像傳感器的第一行圖像數(shù)據(jù)緩存到FIFO1中，同時(shí)將右CMOS圖像傳感器的第一行圖像數(shù)據(jù)緩存到FIFO2中，在此行時(shí)間段內(nèi)輸出模塊在倍頻像素時(shí)鐘控制下順序讀取FIFO3、FIFO4數(shù)據(jù)并輸出左右格式的行數(shù)據(jù)。第二行脈沖上升沿，把左CMOS圖像傳感器的第二行圖像數(shù)據(jù)緩存到FIFO3中，而右CMOS圖像傳感器的第二行圖像數(shù)據(jù)緩存到FIFO4中，這時(shí)將FIFO1和FIFO2的圖像數(shù)據(jù)按倍頻讀取并輸出。之后根據(jù)行脈沖計(jì)數(shù)的奇偶數(shù)值，輪序完成圖像傳感器圖像數(shù)據(jù)緩存和輸出，從而實(shí)現(xiàn)左右格式立體對圖像數(shù)據(jù)的重編碼輸出。

輪序法在3D圖像傳感器的采集、重組過程中發(fā)揮了極為重要的作用，由于圖像傳感器分辨率的不斷提高，使得像素脈沖頻率逐次提高，為了兼顧時(shí)序匹配和接口協(xié)議，使用多組存儲器作為數(shù)據(jù)中轉(zhuǎn)。

為了實(shí)時(shí)監(jiān)控圖像傳感器取景，筆者繼續(xù)對3D圖像傳感器輸出視頻實(shí)時(shí)顯示硬件算法進(jìn)行了研究。取景監(jiān)控畫面使用裸眼3D液晶屏作為顯示器件，由于3DLCD可兼容2D與3D顯示，因此監(jiān)控圖像的數(shù)字邏輯處理電路也需具備這兩種模式。

由于圖像傳感器輸出的幀頻、圖像分辨率與3DLCD的刷新率、物理像素分辨率不一致，所以傳感器圖像采集后需經(jīng)過比例縮放及插幀計(jì)算，再通過像素重組，使3DLCD能實(shí)時(shí)顯示2個(gè)圖像傳感器的左右格式和插值格式[10]。圖9、圖10為3D傳感器左右圖像在3DLCD上的左右對稱顯示和插值顯示。顯示環(huán)節(jié)充分利用了輪序法的優(yōu)勢，使用2組SDRAM輪序完成左右眼圖像的存儲和讀取，按實(shí)際幀頻把30 f/s(幀/秒)的傳感器圖像經(jīng)過插幀處理后傳送到60 f/s(幀/秒)的3DLCD輸入接口，完成左右圖像顯示和3D插值顯示。

圖9　左右立體對圖像顯示(照片)

圖10　裸眼3D顯示的列插值圖像(照片)

4總結(jié)與討論

根據(jù)人眼立體視覺原理探討了3D圖像傳感器的可行構(gòu)建方法，并設(shè)計(jì)研究了FPGA硬件電路和邏輯算法，使用輪序法分別完成3D圖像傳感器的輸出編碼、左右格式顯示方法和列插值3D顯示方法。輪序法在高速視頻圖像處理中發(fā)揮了重要的作用，使得多種視頻控制時(shí)序能協(xié)調(diào)工作，滿足采集、存儲、輸出和顯示等要求。

虛擬現(xiàn)實(shí)技術(shù)、三維場景顯示技術(shù)是第四次工業(yè)革命中的重要組成部分。作為臨場感圖像獲取的3D圖像傳感器和裸眼3D技術(shù)，在信息化、網(wǎng)絡(luò)化和3D遠(yuǎn)程交互中具有重要發(fā)展前景。 3D圖像傳感器的物理器件研制可為后續(xù)的3D圖像處理、景深解算與測量提供物質(zhì)基礎(chǔ)，也為裸眼3D技術(shù)提供圖像數(shù)據(jù)來源，從而促進(jìn)3D產(chǎn)業(yè)發(fā)展，推進(jìn)裸眼3D顯示器件的普及化應(yīng)用。

參考文獻(xiàn)：

[1]施建盛，梁發(fā)云，何輝. 雙CMOS仿生3D視覺傳感器電路設(shè)計(jì)[J].電視技術(shù)，2014，38(23)：48-51.

[2]LIANG F Y，LIU G，HE X M，et al.Optical character and calibration of 3D vision sensor[C]//Proc. Sixth International Symposium on Precision Mechanical Measurements.Guiyang：[s.n.]，2013：150-156.

[3]王愛紅，王瓊?cè)A，李大海，等. 立體顯示中立體深度與視差圖獲取的關(guān)系[J].光學(xué)精密工程，2009(2)：433-438.

[4]RYU S，SOHN K. Depth-based direct mode for multiview video coding[J]. Signal processing： image communication， 2012，6 (27)：571-578.

[5]SMOLIC A.3D video and free viewpoint video-From capture to display[J]. Pattern recognition， 2011，9(44)：1958-1968.

[6]梁發(fā)云，何小明，尤鵬飛，等. 雙鏡頭3D攝像系統(tǒng)的設(shè)計(jì)與標(biāo)定[J]. 電視技術(shù)，2013，37(13)：179-182.

[7]許鵬.智能門禁系統(tǒng)3D圖像傳感器設(shè)計(jì)研究[D]. 南昌：南昌大學(xué)， 2015.

[8]ZHANG B F，LI B，ZHU J C. Design of CMOS image sensor's initialization based on FPGA[C]//Proc. Second International Conference on Digital Manufacturing and Automation. Zhangjiajie：[s.n.]，2011： 393-396.

[9]梁發(fā)云，施建盛，何輝，等. 機(jī)器人雙目圖像采集系統(tǒng)設(shè)計(jì)研究[J]. 機(jī)械設(shè)計(jì)與制造，2014(8)：155-158.

[10]何輝.裸眼3D圖像信號處理技術(shù)研究[D].南昌： 南昌大學(xué)，2014.

Design and research of 3D sensor

WANG Xingpeng1，2，LIANG Fayun1，2，LIU Min1，2

(1.Nanchanguniversity， 3D&VRResearchCenter，Nanchang330031，China；2.NanchangProperaslaOptoelecSci-TechDevCo.，Ltd.，Nanchang330031，China)

Abstract:3D sensor is an important ways of obtaining stereoscopic images. So it has important application prospect in the 3D image interactive and humanoid robot. In this paper， designing 3D sensor structure according to the principle of human eye bionics， and studying acquisition and processing double CMOS high resolution images′ method on FPGA. Through the synchronous data acquisition and alternate sequence process to complete the 3D image acquisition and real-time display.

Key words:3D sensor；glasses-free 3D technology； parallax； alternate sequence process

中圖分類號：TP212

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.06.006

基金項(xiàng)目：國家自然科學(xué)基金項(xiàng)目(61263045；51265034)；江西省科技支撐計(jì)劃項(xiàng)目(20151BBE50091)；科技部創(chuàng)新基金項(xiàng)目(13C26213603102)

作者簡介：

王興鵬(1990— )，碩士研究生，主研微電子技術(shù)、視頻技術(shù)；

梁發(fā)云(1970— )，博士，副教授，碩士生導(dǎo)師，本文通信作者，主要研究方向?yàn)槁阊?D技術(shù)與虛擬現(xiàn)實(shí)技術(shù)。

責(zé)任編輯：閆雯雯

收稿日期：2015-12-04

文獻(xiàn)引用格式：王興鵬，梁發(fā)云，劉敏. 3D傳感器的設(shè)計(jì)與研究[J].電視技術(shù)，2016，40(6)：28-31.

WANG X P，LIANG F Y，LIU M. Design and research of 3D sensor [J].Video engineering，2016，40(6)：28-31.