3D全息顯示的城市光子地圖系統設計

張鵬煒，蔣曉瑜，裴 闖，張智詮，呂家國

(1．66393部隊，河北 保定071000;2．裝甲兵工程學院，北京100072)

1 引言

數字城市是人類從工業社會轉變到信息社會的一個里程碑，數字城市建設是適應人類經濟社會發展的新的載體和形式，是經濟社會發展的必然要求。城市三維可視化數字地圖是數字城市建設的重要研究內容，對城市規劃、管理有重要意義。傳統的城市管理的地圖模式主要有:土質沙盤、紙質地圖、二維電子地圖、三維虛擬電子地圖、三維虛擬建模衛星地圖等［1－3］。但是，傳統土質沙盤不僅缺乏實時性和動態尺度可變性，而且其地物也不具備真實性和準確性，二維(三維)電子地圖和衛星地圖缺乏城市地域整體直觀性和準確性。因此，未來新型“地圖系統”應將融合傳統沙盤與衛星地圖的優勢，既具有土質沙盤的整體三維立體觀感、又具有衛星地圖的靈活性和真實性。同時，既能顯示城市廣闊地域、又能為局域的行動提供高度精確的局部地形、地物(如建筑)的幾何參數［4］。這不僅是數字化、信息化現代城市對下一代城市管理地理信息平臺的需要，同樣也是未來顯示技術發展的必然趨勢。近年來，隨著網絡通信、三維仿真、虛擬現實和計算機圖形學等技術的發展，電子地圖正向多媒體、三維等方向發展，之后出現了多媒體電子地圖、三維電子地圖等，其中三維電子地圖是電子地圖發展的重要方向之一［3，5］，是認識和表達空間地理信息的強有力工具。

盡管三維電子地圖在城市規劃與設計、建筑、環境監測等諸多領域有著廣泛的應用，但是它只能通過計算機屏幕、投影儀或者頭盔式顯示器查看［6］。而全息顯示是一種真正的三維顯示技術，它能產生所有的深度信息，比如雙目視差、運動視角、調節輻合等，不需要戴任何特殊的眼鏡［7－8］。它不會給人帶來視疲勞，且被視為最好的三維顯示技術［9］。

數字三維全息顯示是基于計算全息、空間光調制器和激光源的一項技術。其實現過程為:一個原始的三維物體首先用數學方法描述成一個三維模型;然后，通過計算物體發出的光與參考光之間的干涉條紋而生成三維模型的全息圖，即計算全息。計算全息圖再發射到空間光調制器上;最后，當擴束和準直的激光源照亮空間光調制器上的計算全息圖時，三維物體就會通過光的衍射重現。此時，在虛擬空間重現的三維物體不僅可以直接由裸眼看到，而且還是在真實的空間內［10］。本文介紹的城市光子地圖就是利用這種技術，共包括三個關鍵技術:獲取原始的三維點云數據，計算機生成全息圖，三維數據的數字全息顯示。其工作過程為:首先，通過運動恢復結構理論求得三維點云數據;然后，用計算全息的方法將點云數據制作成全息圖;最后，三維模型的全息圖用三維全息激光打印機打印在光敏聚合物上。

2 系統組成

如圖1所示，城市光子地圖可由三部分組成，即:獲取三維點云數據、計算機生成全息圖和三維全息顯示。三維數據的獲取環節，目前傳統的方法是對于地形地貌采用復雜、昂貴的三維數據傳感器(如激光雷達等)來獲取高程數據并采樣。本文所述的方法是基于無人機平臺航拍二維圖像序列，然后采用運動恢復結構(SfM，Structure from motion)理論，計算出三維地形點云數據。在三維計算全息圖生成環節，采用改進的Hogel(Holographic element)算法和中央并行處理系統，不僅克服遮擋、消除零級干擾，而且可以提高運算速度，從而實現全視差的全息圖。在三維全息顯示環節，由LCoS空間光調制器陣列及其光源系統構成的顯示系統可動態光學重現三維全息地圖;對于三維全息地圖的靜態重現，可通過將整個全息圖分成許多全息圖單元(hogels)，然后將這些全息圖單元利用激光錄制在特殊膠片上，產生成千上萬個點光;當光源從膠片頂部照射時，光點即可在空間形成貌似固態的立體圖像［11］。

圖1 城市光子地圖總體結構框圖Fig．1 Overall block diagram of city photonicsmap

3 系統原理

按照圖1所示結構框圖，共有三個主要的工作過程:運動恢復結構(SfM)算法、三維全息計算以及三維全息顯示。

3．1 運動恢復結構算法

在計算機視覺中，SfM是通過分析物體的運動得到三維結構信息的過程，算法流程如圖2所示。在“特征選取”環節，通常采用典型且魯棒性好的Harris角點探測算法［12］。特征點選定后，通過確定兩幀圖像之間特征點的位移值來跟蹤匹配特征點，即“特征匹配”［13］。當特征點的位移小于給定的閾值時，該特征點則進入跟蹤程序，否則剔除。“攝影重建”是三維場景的弱重構形式，這一步涉及到攝像機內部參數的估算，即:主點、主焦。通常選擇光心為主點，假定像素元為正方形，并且估計焦距值。在八點算法［14］中正則化轉換矩陣H是用K估算基礎矩陣F，極點T被當作FT的鄰域空間計算，選擇v和v4時，盡可能使F的旋轉向量發生一個較小的旋轉。“歐幾里得重建”是精確的三維場景重建，它包括了一定量級圖像重建出的三維信息［15］。求解線性三角測量問題要求拍攝兩幅圖像時的相機位置，而相機的位置變化可由飛機GPS測定的數據求得。使用真正的相機內參數值代替估算值，利用攝影重建算法，精確計算三維場景。在“極線校正”時，首先計算基礎矩陣F，通過該矩陣，極點e2可通過決定F的右鄰域空間找到，同時H2可運用式(1)求得。

圖2 SfM算法流程圖Fig．2 Flowchart of SfM algorithm

對于線性轉換而言，珔T'H ～F，H1=H2H。最后，由x1=H1x'1，x2=H2x'2將所有圖像進行坐標變換，再通過在像素網格外插入稠密坐標值的方法將z坐標歸一化，即“稠密匹配”。

3．2 3D 計算全息

計算全息是建立在數字計算與現代光學的基礎上的。傳統的全息術是用光學的辦法，用干涉記錄的方法制作全息圖。由于記錄媒質的非線性而造成像的失真以及制造過程對技術的苛刻要求，使得光學全息圖的質量和制作重復性存在很多問題。對此，科學家們提出了采用計算機生成全息圖(CGH，Computer－Generated Holograms)途徑，即用計算機上的數值計算模擬物理干涉全息成像的過程［16］。如圖3所示，計算全息圖制作可概括為四個基本階段。第一階段:為全息圖構建物體的數學模型;第二階段:計算數學全息圖，將全息圖樣本的相位和振幅用一個復雜的數字陣列表示;第三階段:為在物理介質上錄制全息圖而進行數學全息圖編碼，將計算全息圖轉換成一個數字陣列，使其能控制錄制全息圖的物理介質的光學特性;最后一個階段是制作計算全息圖。

圖3 計算全息的基本過程Fig．3 Basic process of CGH

與光學全息圖相比，計算全息圖同樣可以記錄光波的振幅和位相，且其主要優勢是:(1)能產生復雜的或者虛構物體的全息圖，因而具有很大的靈活性;(2)計算全息具有低噪聲、高重復性等方面的優點;(3)通過計算全息可以模擬許多光學現象，還可制作采用光學方法難以實現的復雜的空間濾波器。

3．3 3D 全息顯示

圖4 三維全息顯示系統結構簡圖Fig．4 Sketch of the 3D holographic display setup

3D全息顯示系統可由圖4所示結構組成，其主要部件是紅色的發光二極管光源、電尋址空間光調制器、光尋址空間光調制器和紅色氦氖激光源［17］。其工作過程為:計算機產生的全息圖首先被加載到電尋址空間光調制器上，電尋址空間光調制器被發光二極管照亮，經過高分辨光學透鏡將電尋址上的全息圖成像在光尋址空間光調制器上，當全息圖被記錄在光尋址空間光調制器上后，經過擴束、偏振的線性激光源照亮光尋址空間光調制器上的全息圖即可重構出三維物體的全息像［18］。

4 系統設計

基于上述理論原理，設計如圖5所示的城市光子地圖。k個攝像頭③由多個角度攝取三維地形地貌的二維圖像數據，然后由運動恢復結構算法(SfM)獲得該地形地貌的三維圖像點云數據。計算機④依據其三維點云數據，通過面向衍射的全息圖計算方法獲得全息條紋，由強激光⑥和聚焦透鏡⑤寫入銀鹽干板②。銀鹽干板②在再現光源①的照射下，衍射形成三維光子地圖。

圖5 三維全息城市光子地圖原理簡圖Fig．5 Schematic diagram of 3D holographic city photonicsmap

4．1 面向衍射純相位計算全息算法

傳統的全息圖計算是基于物光與參考光的干涉原理衍射形成三維圖像，完全模擬光學全息的物理過程。雖然采用快速傅里葉變換(FFT)算法，在處理離散表面圖像時具有優勢，但在處理具有離散體積圖像方面效果較差。而面向衍射的全息圖計算方法，計算僅發生在全息圖重構時的衍射環節，由三維場景的點陣信息逆向求解數字衍射光柵條紋，因此，簡化了計算過程。具體實施方法:①對三維地形的所有點逐一掃描，計算各點的衍射單元和基本衍射光柵，給衍射單元對應的光柵強度賦值，形成三維數字全息圖。由光柵的衍射特性可知，衍射角度不同，由迭代傅里葉變換算法獲得的基本數字衍射光柵的頻率也會不同，多角度的數字衍射光柵疊加即可形成光子地圖板的一個全息衍射單元。②將發生在全息面和衍射面之間的迭代運算所生成的數字衍射光柵取其相位，組成純相位性全息圖。可見，面向衍射的純相位計算全息算法，不僅可以提高基本衍射光柵的衍射效率，還解決了普通光學全息中共軛像難以分離的問題。

圖6所示為純相位基本數字衍射光柵迭代計算過程:由相位Φ的隨機函數生成全息面的隨機光柵f(x，y)，傅里葉變換到再現面的頻譜域F(u，v)，施加頻譜約束后對F'(u，v)進行逆傅里葉變換，加上空間幅值約束，返回到全息面。如此過程，反復迭代，直到再現面光柵的頻譜特性滿足要求，運算停止。取此時f(x，y)的相位Φ作為純相位基本數字衍射光柵。

圖6 純相位基本數字衍射光柵迭代計算簡圖Fig．6 Schematic diagram of iterative algorithm for digital phase diffraction grating

4．2 分配衍射單元的查表算法

由于三維地形全息圖可離散為衍射空間的多個光點，而光點的衍射單元與光子地圖的空間位置具有一一對應關系。如果預先計算出三維地形數據衍射單元的分配表，利用查表法計算對應光點的衍射單元全息圖，不僅可以解決逐個光點計算耗時長的問題，而且使計算效率和干涉條紋的生成速度也得到了提高。另外，分配衍射單元時如果采用低頻優先的原則，充分利用數字光柵的低頻部分，還可以進一步提高再現光的光能利用效率。具體計算過程如圖7所示。

圖7 查表法全息圖計算過程框圖Fig．7 Sketch of hologram calculation with table lookup

地形三維結構信息的離散空間光點，其空間坐標為(x，y，z)，強度為 M 。利用 x，z坐標進行衍射單元分配表查詢，得到衍射單元和光柵分配及系數λ;強度M與系數相乘決定衍射單元與光柵的幅值，利用空間光點坐標y作為衍射單元序列的行坐標;與4．1節中計算的純相位基本數字衍射光柵進行卷積運算，即可得到該光點的全息圖。遍歷三維地形的所有光點，從而獲得三維地形的全息圖數據。

5 實驗及結果分析

基于上述原理及設計方法，構建了三維地形航拍模擬實驗平臺及計算全息算法開發實驗驗證平臺，并進行了全息圖再現實驗。

如圖8所示，為獲取地形地貌多角度圖像信息，構建了攝像機移動平臺用于模擬無人機航拍，相機可以在沙盤上方按任意規劃的航線移動，獲得沙盤模型各個視角的圖像，為模擬實現基于航拍二維圖像序列構建三維地形數據，提供了實驗平臺。

圖8 三維地理數據采集實驗平臺Fig．8 platform of simulating aerial photography

圖9 為驗證本文系統設計算法搭建的基于LCoS的全息顯示系統。如圖所示。D1為半導體紅光激光器，中心波長為640 nm;D2為起偏器;D3為10×擴束鏡，用來得到近似均勻的平面光波;D4為矩形光闌;D5為空間光調制器;D6為檢偏器;L1為傅里葉透鏡，焦距fL1=150 mm;D7為空間濾波器;L2為放大透鏡，焦距fL2=100 mm。實驗采用Holoeye公司制造的反射型硅基液晶(LCoS)純相位型空間光調制器HEO1080P。LCoS與透鏡L1的距離為300 mm。

圖9 計算全息算法開發實驗平臺Fig．9 Developing experimental platform of CGH

5．1 模擬仿真數據的計算全息顯示

運用3DSMax軟件制作虛擬三維物體模型，如圖10(a)所示。模擬攝像機運動，從不同角度拍攝該三維物體的序列圖像，用視差圖像調制全息單元的基元全息圖，得到其全息圖，如圖10(b)所示。

具體實驗方法如下:①運用本文所研究的算法，對全息面的空間頻譜進行5×5采樣，25個基元全息圖進行迭代計算，可得25個衍射方向的再現光。②按照水平角度差20°，垂直角度差15°，分別拍攝三維物體的序列視差圖像，其中垂直方向5個視角、水平方向5個視角，共計25幅圖像。③利用視差圖像調制全息單元的基元全息圖，結果如圖10(b)所示。

④將所得的全息圖加載到空間光調制器中，模擬人眼在運動中觀察圖像效果，用CCD在距離再現像1200mm的不同角度拍攝其圖像，得到5個水平視角、2個垂直視角的再現圖像，如圖11所示。

圖10 虛擬三維物體及其全息圖Fig．10 Virtual3D objects and its hologram

圖11 多視角再現圖像Fig．11 Restoring image formulti perspective

模擬實驗結果表明，運用本文算法得到的全息圖能夠較清晰地再現三維物體各個視角圖像，具有較好的三位立體效果。但是，因為再現像質量與再現光特性、再現距離、空間調制器的大小和分辨率、成像透鏡焦距等多方面因素相關，而本實驗所用的空間光調制器的分辨率相對較低，所以圖11所示的圖像清晰度較差。

5．2 模擬航拍數據的計算全息顯示

利用圖8所示的實驗平臺對沙盤進行二維地理數據采集，經過SfM算法求出三維點云數據。為了降低計算和制作成本，僅對沙盤中主建筑物及其周邊進行數據采集和計算全息顯示。運用本文所述的系統設計方法，借助外國公司的打印設備，將本團隊計算的全息圖打印在銀鹽板上，制作了一張290 mm×290 mm的全息光子地圖樣板，如圖12所示。

圖12 基于逆向衍射技術制作的光子地圖板Fig．12 Experimental photonicsmap based on CGH with inverse diffraction

該光子地圖在專用光源的照射下能夠較清晰地顯示三棟建筑物的外觀及附近地面形狀，其中兩條白色光帶為受室內日光燈影響所致。受技術條件所限，目前本研究團隊僅能做到單色光全息計算與顯示。

6 結束語

本文基于全息顯示技術進行了3D城市光子地圖系統研究。通過分析了城市地圖的現狀及發展需求，針對目前用于3D顯示的技術短板，設計了一種3D全息顯示的城市光子地圖系統方案。在簡述系統原理的基礎上，提出了逆向衍射純相位計算全息算法和分配衍射單元的查表算法。最后，在自行搭建的實驗平臺上，對模擬仿真和實物拍攝的數據分別進行了全息計算與顯示，由仿真圖像再現和光子地圖樣板的視覺效果，驗證了本文所述系統設計的可行性。

［1］ Vincenzo Barrile，Giuseppe Armocida，Francesco Di Capua．GISapplication for urban archaeology:archaeological citymap［J］．Wseas Transactions on Environment and Development，2009，5(9)，567 －576．

［2］ D Hildebrandt，JKlimke，B．Hagedorn，et al．Service － oriented interactive 3D visualization of massive 3D city models on thin clients［C］．Proceedings of the 2nd International Conference on Computing for Geospatial Research＆ Applications，COM．Geo’11，2011:1 －10．

［3］ LUO You．Design and implementation of 3D urban electronic map system［J］．Geomatics＆ Spatial Information Technology，2011，34(5):171 －173．(in Chinese)羅優．3維城市電子地圖系統設計與實現［J］．測繪與空間地理信息，2011，34(5):171 －173．

［4］ Bo Mao．Visualisation and generalisation of 3D city models［D］．2011，KTH，1 －69．

［5］ Antti Nurminen．Mobile 3D citymaps［C］．IEEE Computer Graphics and Applications，2008，28(4)，21 －31．

［6］ WANG Yong，SUN Ke，SUN Shixiang．The status and development of 3D display technology［J］．Advanced Display，2012，(133):26 －29．(in Chinese)王永，孫可，孫士祥．3D顯示技術的現狀及發展［J］．現代顯示，2012，(133):26 －29．

［7］ Luigi Loreti，R Ceccarelli，A Loreti，et al．Real time 3D holographic display［C］．Proc．SPIE，8254，82540B － 1 －82540B－13(2012)

［8］ Tomasz Kozacki．On resolution and viewing of holographic image generated by 3D holographic display［J］．OPTICS EXPRESS，2010，18(26)，27119 －27129．

［9］ MA Jianshe，XIA Feipeng，SU Ping，et al．Survey on key techniques and systems of digital holographic 3D display［J］．Optics and Precision Engineering，2012，20(5):1141 －1148．(in Chinese)馬建設，夏飛鵬，蘇萍，等．數字全息三維顯示關鍵技術與系統綜述［J］．光學 精密工程，2012，20(5):1141－1148．

［10］ Hyun－Eui Kim，Nam Kim，Hoon Song，et al．Three － dimensional holographic display using active shutter for head mounted display application［C］．Proc．SPIE，2011，7863:78631Y－1－78631Y－7．

［11］ Xuewu Xu，SanjeevSolanki，Xinan Liang，et al．Full high－definition digital 3D holographic display and its enabling technologies［C］．Proc．SPIE，2010，7730:77301C －1－77301C －10．

［12］ Adel Fakih，John Zelek．Extending filter－ based structure from motion to large baselines［C］．Computer and Robot Vision(CRV)，2011，Canadian Conference on，IEEE，332－339．

［13］ Richard Roberts，Sudipta N Sinha，Richard Szeliski，etal．Structure from motion for scenes with large duplicate structures［C］．Computer Vision and Pattern Recognition(CVPR)，2011 IEEE Conference on:3137 －3144．

［14］ Ma Yi，Stefano Soatto，Jana Kosecka，et al．An Invitation to 3－D vision:from images to geometric models［M］．New York:Springer，2004．

［15］ Aamer Zaheer，Ijaz Akhter，Mohammad Haris Baig，et al．Multiview structure from motion in trajectory space［C］．Computer Vision(ICCV)，2011，IEEE International Conference on:2447－2453．

［16］ ZHENG Huadong．Study on the key techniques of three －dimensional display based on optoelectronic holography［D］．Shanghai:Shanghai University，2009．(in Chinese)鄭華東．數字全息三維立體顯示關鍵技術研究［D］．上海:上海交通大學，2009．

［17］ Fauzi A A，Kim B S－J，Kim C N，et al．Femtosecond three dimensional holographic lithography using CGH displayed on SLM［C］．Opto－Electronics and Communications Conference(OECC)，2012:685 －686．

［18］ Fahri Yaras．Hoonjong Kang，and Levent Onural．State of the art in holographic displays:a survey［J］．Journal of Display Technology，2010，6(10):443 －453．

［19］ Naoto Tsutsumi，Kenji Kinashi，Asato Nonomura，et al．Quickly updatable hologram imageswith high performance photorefractive polymer composites［C］．Proc．of SPIE，2012，8258:825816－1－825816－6．