集成成像三維數字重構技術研究

雷莉霞，張躍進，黃德昌

(華東交通大學信息工程學院，江西南昌330013)

集成成像三維數字重構技術研究

雷莉霞，張躍進，黃德昌

(華東交通大學信息工程學院，江西南昌330013)

集成成像三維重構技術作為一種真三維重構技術，成為當今三維成像與顯示領域的重要研究方向。以光線追跡方法為基礎，使用像素映射算法實現了三維場景的數字重構;同時使用對同名像點提取誤差具有較強魯棒性的統計重構算法對三維場景進行高精度數字重構，并開展了標準量塊的數字重構實驗，實現了量塊的高精度數字重構。

集成成像;數字重構;統計重構;像素映射

集成成像三維重構技術作為一種真三維重構技術，成為當今三維成像與顯示領域的重要研究方向［1］。然而，傳統的光學重構方法由于光學器件的限制很難獲得高質量的重構效果，而且現有的很多數字重構算法由于同名像點提取誤差的存在難以達到理想的重構精度。為此展開集成成像三維數字重構技術的研究具有潛在的理論和應用價值［2］。在當今的成像與顯示技術領域中，傳統的平面二維成像與顯示技術由于只能展現二維信息，已經不能滿足人們對三維(3D)成像與顯示的日益增長的需求［3］。三維成像與顯示技術能夠展現物體三個維度的信息，比之二維成像與顯示技術，由于體現了物體深度方向上的信息，能夠提高人們的視覺感受，使人們更加真實地感知物體，在電視技術、軍事、醫療、教育、等眾多領域中都凸顯出廣闊的應用前景。另一方面，液晶器件、高清晰度平板顯示的制造工藝以及光柵、透鏡等光學器件的加工工藝隨著現代科學技術的發展而取得了不斷的進步，從而推動了三維成像與顯示技術的飛速發展［4］。目前，三維成像與顯示技術已經成為成像顯示領域的一個研究熱點［5］。

集成成像技術除了在顯示領域中應用廣泛，應用于數字重構、測量、機器視覺等領域也能起到良好的效果［6］。由于該技術通過對三維信息進行多視角獲取獲得元素圖像陣列，把景物的三維信息存儲在這些平面二維圖像之中，因此經過一些光線追蹤計算，原三維景物可以被準確地重構出來，實現基于多視角三維信息的三維數字重構以及三維測量，使其在電視技術、軍事、醫療、制造業等諸多領域中獲得更為廣泛的應用［7］。

1 統計重構法三維物體數字重構原理

對空間三維物體進行拍攝獲取了元素圖像陣列后，需要對元素圖像陣列進行重構計算，從而重現景物。然而，傳統的三維物體集成成像重構算法很多都存在算法復雜的問題，相對簡單的重構算法又對元素圖像陣列中各子元素圖像中同名像點的坐標精度要求非常高，應用起來都有較大缺陷［8］。針對以上問題，將使用統計重構的方法對三維物體進行模型重構，分析成像誤差，即各元素圖像中像點坐標偏差對重構精度的影響，發現統計重構方法對同名像點提取精度的魯棒性很強［9］。最后以標準量塊為樣品，選取4個角點作為特征點，設計程序進行特征點的自動匹配，并進行重構運算，得到重構圖像中特征點的精確坐標，與標準值相比較驗證重構精度［10］。

集成成像的記錄過程如圖1所示，物方空間中1個3D物點O(x0，y0，z0)經過p×q(重構空間點對應的元素圖像點在第(p，q)個子元素圖像范圍)密接記錄透鏡陣列D(m，n)(透鏡陣列由m×n個子透鏡)記錄成像后，在元素圖像陣列像面上可以得到p×q個同名像點R(m，n)。

圖1 集成成像記錄原理圖

假設記錄透鏡陣列中第(m，n)個子透鏡的空間坐標為D(m，n)(x，y，z)=(xD(m，n)，yD(m，n)，zD(m，n))，它所對應的同名像點R(m，n)的坐標為(xR，yR，zR)，子透鏡D(1，1)的空間坐標為(x(1，1)，y(1，1)，z(1，1))，記錄透鏡陣列中子透鏡在x方向上的間隔為px，在y方向上的間隔為py，各子透鏡z坐標相同。又假設記錄透鏡陣列中各子透鏡的焦距均為f，z方向上坐標為z1，則由高斯公式可計算出同名像點距離記錄透鏡陣列的距離g，從而可以推得記錄的物點O所對應的的每個同名像點R(m，n)的空間坐標。反之，在已知透鏡陣列D(m，n)和同名像點R(m，n)的空間坐標的情況下，可以利用光線追跡的方法，反推出所記錄物點O的空間坐標。

在各點坐標準確的條件下，其中任何2個同名像點和它們所對應的記錄子透鏡中心的空間坐標都可以推算出待計算空間物點O，原理是任意2個同名像點都和待計算空間物點O組成1個三角形，而記錄子透鏡的中心各處于三角形的1條邊上，它們的連線與同名像點的連線平行，由相似三角形關系容易推算出O的坐標。在記錄透鏡陣列和所記錄的同名像點的坐標均無誤差的理想情況下，由p×q個同名像點計算得到的S個物點O(x，y，z)應該是完全重合的。S可由公式計算得到: S=(p×q)×(p×q-1)/2，p和q為空間點對應的元素圖像點。

但是，實際情況是幾乎不可能得到沒有誤差的坐標，所以得到的S個結果是有一定差異的。考慮對上述O點坐標的S個重構結果進行統計分析，可以認為S個結果中出現頻率最高的那個結果為所計算物點O的空間坐標，依次對原景物中每一個物點重復上述分析過程，就可以得到該景物表面所有點的空間坐標，從而實現了對景物的三維數字重構。

2 統計重構法標準量塊三維數字重構

選用長度為100 mm的標準量塊作為三維物體，進行基于統計重構方法的三維數字重構的實驗驗證。實驗使用精度為0.5μm的二維電動平臺和彩色面陣電荷耦合元件(CCD)構建成記錄相機陣列，CCD像素為1 024×768，CCD焦距為25 mm，將標準量塊放在CCD前方800 mm的位置，采用10 mm×10 mm的掃描間隔，進行10×10的逐個掃描，實驗裝置如圖2所示。掃描相機陣列記錄的10×10元素圖像陣列如圖3所示，將元素圖像陣列導入計算機，用MATLAB編程讀入元素圖像陣列，研究自動匹配算法，提取每個子元素圖像中標準量塊的4個角點作為特征點，編寫統計重構算法的程序對4個特征點進行統計重構，得到三維重構結果。

圖2 對標準量塊進行統計重構的實驗裝置

圖3 標準量塊的元素圖像陣列

其中自動匹配算法的編程思路和具體步驟如下:

1)分別讀入10×10個子元素圖像，由于物體較為簡單，將彩色圖像對應的三維R，G，B(R代表紅色，G代表綠色，B代表藍色)矩陣A轉換成二維灰度矩陣C，便于后續處理。

2)將轉換成的灰度矩陣C中每個像素點替換成該像素點灰度值與其上、下、左、右四鄰域內的灰度值的差值的平方和，形成新的矩陣B，矩陣B中的像素點表示該點在其四鄰域內灰度值的變化率。觀察矩陣B可以發現，背景集中或物體集中處矩陣B像素點的值較小，背景和物體邊界以及物體中灰度突變處矩陣B像素點的值較大(基本全為255)，邊界處形成3～4行(或3～4列)的大像素點。這樣，矩陣B可以方便地展現出背景和物體邊界以及物體中灰度突變的像素點。

3)對矩陣B進行掃描，在左上、右上、左下、右下4個方向分別進行掃描，分別找到四鄰域灰度變化率突增的4個提取的特征點。為了排除子元素圖像中一些噪聲的干擾，尋找四鄰域灰度變化率突增的點時，根據所選物體的幾何特征進行了進一步的條件設置:對左上方角點要求該點、該點正右方第20個像素點和該點正下方第20個像素點需同時大于250;對右上方角點要求該點、該點正左方第20個像素點和該點正下方第20個像素點需同時大于250;對左下方角點要求該點、該點正右方第20個像素點和該點正上方第20個像素點需同時大于250，對右下方角點要求該點、該點正左方第20個像素點和該點正上方第20個像素點需同時大于250。經過該設置條件，自動匹配特征點的算法精度得到大幅改善。

實驗所編程序發現，該自動匹配算法提取出的特征點的像素位置的誤差在±2個像素以內，精度基本符合要求。整個統計重構算法的程序流程圖如圖4所示。

圖4 統計重構算法程序流程圖

在MATLAB中運行上述程序，得到以下結果:A，B，C，D這4個特征點的X坐標、Y坐標的頻率分布圖如圖5所示，A，B，C，D這4個特征點的面型坐標圖如圖6所示。

圖5 標準量塊4個特征點計算結果的頻率分布圖

圖6 標準量塊4個特征點面型坐標圖

用統計重構方法對標準量塊進行三維重構后，得到量塊AB邊長度為124.6mm，CD邊長度為104.2mm，基本符合實驗要求。AB邊長度偏差24.6%，CD邊偏差4.2%。事實上，A，C，D這3個特征點的重構偏差是較小的，只有B點重構偏差較大，而且從頻率分布圖中可以看出，B點在被統計重構時，正確值的頻率也是比較高的。造成這種統計重構偏差的原因主要是因為所使用的自動匹配算法有一定的誤差，另外，實驗中CCD的采樣精度有限(0.2 mm)且相機陣列的橫向掃描位移較大(達到90 mm)，這使得相機在非正拍的時候，量塊后表面的頂點干擾了拍攝結果和同名像點的提取。所以如果使用更高精度的同名像點匹配算法，使用采樣精度較高的CCD，以上算法的精度將能夠得到提高。

驗證基于統計重構方法的三維數字重構只使用了較為簡單的量塊作為三維物體，而且只對少數特征點進行了提取和重構。實驗結果表明，在誤差允許的范圍內，基于統計重構方法的三維數字重構在精度上可以滿足要求，且對同名像點的提取誤差有較強的魯棒性。若需要重構出三維物體的所有表面物點，只需按照上述重構特征點的方法對所有同名像點依次進行統計重構計算即可;若需要對較為復雜的三維物體進行重構，只需使用相應的自動匹配算法，對復雜景物中的同名像點完成自動匹配，再按照本文所述重構特征點的方法進行統計計算，即可完成復雜三維物體的數字重構。從理論上分析，加上以上的實驗支持，這些需求是完全可以實現的，但由于時間關系，上述工作有待今后進一步完善。

3 總結

介紹了統計重構方法用于三維數字重構的基本思想，分析了成像誤差對三維重構精度的影響是非常小的，然后以標準量塊為樣品驗證了統計重構方法。在對標準量塊進行元素圖像陣列的記錄后，對得到的元素圖像陣列中量塊4個角點進行程序自動匹配，用統計重構方法重構計算出標準量塊的4個角點的精確坐標，計算角點間距，與標準值比較發現重構出的特征點坐標存在一定誤差，但在實驗允許的范圍之內。由此說明，使用統計重構方法對三維物體進行三維數字重構是可行的，且對同名像點的提取誤差有較強的魯棒性。

［1］JUNG S，HONG J，PARK JH，et al.Depth-enhanced integral-imaging 3D display using different optical path lengths by polarization devices ormirror barrier array［J］.Journal of the SID，2004，12(4):461-467.

［2］STERN A，JAVIDIB.Three-dimensional image sensing，visualization and processing using integral imaging［J］.Proceedings of the IEEE，2006，94(3):591-607

［3］焦小雪.集成成像三維顯示技術中光學記錄系統的研究［D］.天津:南開大學，2012.

［4］ORTIZ S，SIDDLECKIID，REMON L，et al.Three-dimensional ray tracing on delaunay-based reconstructed surfaces［J］.Appl.Opt.，2009，48(20):3886-3893.

［5］焦小雪，趙星，楊勇，等.基于最佳記錄距離的三維集成成像光學獲取技術［J］.光學精密工程，2011，19(11):2805-2811.

［6］王芳.集成成像三維顯示系統光學性能的研究［D］.天津:南開大學，2012.

［8］黎達.基于集成成像系統非匹配參數設計方法提升系統顯示性能的研究［D］.天津:南開大學，2012.

［7］HONG J，KIM Y，CHOIH，et al.Three-dimensional display technologies of recent interest:principles，status，and issues［J］.Appl.Opt.，2011，50(34):87-115.

［8］王瓊華，王愛紅.三維立體顯示綜述［J］.計算機應用，2010，30(3):579-581.

［9］BLUNDELL B.Volumetric three dimensional display systems［M］.New York:Wiley Inter-Science Publication，2000.

［10］BLANCHE P，BABLUMIAN A，VOORAKARANAM R，et al.Holographic three-dimensional telepresence using large-area photorefractive polymer［J］.Nature，2010(468):80-83.

Integrated Three-dimensional Digital Image Reconstruction Technique

LEILixia，ZHANG Yuejin，HUANG Dechang
(School of Information Engineering，East China Jiaotong University，Nanchang 330013，China)

Based on the ray tracingmethod，a digital reconstruction of the 3D scene ismade using pixelmapping algorithm.In addition，a high precision digital reconstruction of the 3D scene using the statistical reconstruction algorithm is implemented，which is robust to thematching errors of the homologous points.The reconstruction experiment of the standard gauge block ismade，and the digital reconstruction result of the gauge block is achieved.

integral imaging;digital reconstruction;statistical reconstruction;pixelmapping

TN911.73;TP391.41

A

雷莉霞(1977—)，女，碩士，講師，主研電視圖像技術、計算機建模與仿真;

?? 雯

2014-03-06

【本文獻信息】雷莉霞，張躍進，黃德昌.集成成像三維數字重構技術研究［J］.電視技術，2014，38(23).

江西省科技廳自然科學青年基金項目(20122BAB211040);華東交通大學校級基金項目(12XX02)

張躍進(1978—)，博士生，講師，主研電視技術、生物醫學工程;黃德昌(1983—)，碩士，助教，主研圖像技術、無線傳感網。