基于數字化全息的虛實混合場景動態三維顯示

李 勇，何良波，詹建東，黃 凱

（1. 浙江師范大學 信息光學研究所，浙江 金華321004；2. 浙江省光信息檢測與顯示技術研究重點實驗室，浙江 金華321004）

1 引 言

全息三維顯示是一種理想的三維顯示技術，自全息術［1］提出以來就受到研究者的關注［2-3］。隨著技術的發展，全息術也由模擬走向數字。數字化全息的出現為全息圖的存儲、傳輸及復制提供了便利，它在虛擬現實（VR）、增強現實（AR）、混合現實（MR）中有廣闊的應用前景［4-6］。目前主要有計算機制全息與數字全息這兩種數字化全息。前者由Kozma 等［7］最早提出，Lohmann 等［8］首先實現。它使得由利用計算機創作的虛擬三維場景直接制作全息圖成為現實，實現了三維場景全息圖的全數字化制作。后者由Goodman 等［9］提出，采用光導攝像管探測器進行無透鏡傅里葉變換全息圖的數字化并利用快速傅里葉變換（FFT）實現了全息圖數字再現。Schnars 等［10］利 用CCD 進 行 了 光 學 全 息 圖 的 數字化。數字全息提供了一種真實場景三維信息數字化手段。

在MR、元宇宙等應用中常常需要將真實三維場景和虛擬三維場景混合顯示。常用的方法有先采用三維成像方法將真實場景數字化［11-12］，再與虛擬場景混合，然后制作CGH。這種方法在場景級別進行虛實混合，場景的幾何變換比較靈活，采集的三維場景尺度從厘米到百米級別甚至更大。三維數據采集及全息圖制作對計算能力的要求較高。另一種方法是光波復振幅或全息圖級別的虛實場景混合。用DH 記錄真實三維場景，然后與虛擬場景的CGH 混合。目前這種方法記錄的真實場景尺度從亞微米到10 cm 級別。由于是全息圖混合，對計算能力的要求低。Arima等［13］采用合成孔徑無透鏡傅里葉變換數字全息圖記錄，利用三步相移法從DH 中獲得包含真實物體三維信息的物光波復振幅并與虛擬建模物體的物光波復振幅在計算機中計算得到全息圖，實現了靜態單色場景的虛實混合全息三維顯示。Matsushims 等［14］利用相同的方法實現了彩色場景的虛實混合三維顯示。該方法在復振幅級別進行虛實場景混合，由于采用了相移法獲取物光波復振幅，不適合動態三維場景的采集。胡等［15］在混合場景的動態全息三維顯示方面進行了初步的探索。搭建再現像混合光學系統，將DH 和CGH 分別輸入不同的空間光調制器中，實現混合場景動態全息三維顯示。該方法利用光學系統混合再現像，對計算機運算能力要求低，但是存在未充分利用空間光調制器能力的問題。本文提出全息圖級別虛實場景混合方法，首先對獲取的數字全息圖根據設計需求進行處理，然后將處理后的DH 與CGH 進行混合，利用彩色全息三維顯示系統實現了彩色動態三維場景的虛實混合顯示。給出了理論分析和實驗驗證。

2 原 理

2.1 全息記錄及融合

設全息面上的物光復振幅分布為O（x，y），參考光復振幅分布為R（x，y），根據光學全息原理，全息面上的干涉光強為：

I(x，y)=|O(x，y)+R(x，y)|2=|O(x，y)|2+|R(x，y)|2+O(x，y)R*(x，y)+O*(x，y)R(x，y)=|O(x，y)|2+|R(x，y)|2+2O'(x，y)R'(x，y)·cos[φo(x，y)-φr(x，y)]. （1）

式中φo（x，y）與φr（x，y）分別為物光與參考光的相位，O'（x，y）與R'（x，y）分別為全息面上物光和參考光的振幅。式（1）的前兩項分別為物光與參考光的自相干項，屬于低頻成分，在再現時表現為再現像的零級。第3 項包含了物體的再現像與共軛像。實際中只需要記錄第3 項就能夠正確再現記錄的物體。對于再現像，零級為噪音。在DH 中可以通過濾波的方法濾除零級。而在CGH 中只需要計算第3 項，再加上直流偏置，保證最后的干涉光強非負。

采用點元法計算CGH 時，物光O（x，y）表示為：

式中Ai（xo，yo）為（xo，yo）處物點發出光波的幅為物點到全息面上（x，y）點的距離，k=2π/λ為波數，N為物點數。采用點光源作為參考光時：度，

式中A（xr，yr）為點光源的幅度，rr為點光源到全息面上（x，y）點的距離。將式（2）、（3）代入式（1）的第3、4 項得：

I′CGH（x，y）取值范圍為實數，也稱為雙極強度［16］全息圖。式（4）表明，物體的雙極強度CGH由組成物體各點源的雙極強度CGH 疊加而成。在DH 中只要將其做高通濾波，濾除零級，得到的就是雙極強度DH。將雙極強度DH 與CGH 相加再加直流偏置即可實現DH 與CGH 融合。

式中Im（x，y）為融合后的全息圖，Ioffset為偏置。

2.2 全息圖采樣率變換

實際中，采集全息圖的圖像傳感器像素間隔與顯示全息圖的空間光調制器（SLM）像素間隔難以做到一致。采用與參考光共軛的再現光照明，忽略積分項前的因子，無透鏡傅里葉變換全息圖的再現像復振幅表示為：

設圖像傳感器的像素間隔為Δ，SLM 的像素間隔為Δ′，則縮放因子α=Δ'/Δ。根據傅里葉變換的縮放性質，此時全息圖再現像復振幅為：

當α≠1 時，再現像將發生縮放。需要對DH進行重采樣，將DH 的采樣率變換到與SLM 的一致。根據采樣定理，采樣后全息圖的頻譜表示為：

式中G（jξ，jη）表示采樣前全息圖的頻譜。在不發生混疊時，采樣后全息圖的有效頻譜范圍為1/Δ。設以Δ′對全息圖進行重采樣，則其有效頻譜范圍變為1/Δ′。因此全息圖采樣率變換實際上是其有效頻譜范圍的變換。先將DH 做FFT，再在頻域補零（采樣周期變?。┗虿眉簦ú蓸又芷谧兇螅?，使頻域大小變為原來的1/Δ′，然后再做IFFT 就可以實現DH 采樣率的變換。

2.3 再現像幾何變換

在虛實混合三維顯示中，尤其是涉及到人機交互時，常常需要對場景中的物體進行縮放、旋轉及平移等幾何變換操作。由于采用了無透鏡傅里葉變換全息圖，再現像在其譜面附近。在全息圖的譜面進行幾何變換能夠實現全息圖再現像的縮放、面內旋轉與平移等操作。譜面的幾何變換表示為：

式（9）中（ξ′，η′）為變換后的坐標，s為縮放因子，θ為旋轉角度，Tξ與Tη分別為水平與垂直方向的平移量。譜面縮放后新的樣點值采用雙線性插值得到。

在2.2 節中的采樣率變換也是在頻域操作，需要注意的是采樣率變換通過在頻域補零或裁剪將頻域尺寸（頻域二維方向上的點數）進行變換；而再現像的縮放只改變像部分的尺寸，不能改變頻域尺寸。

3 實驗及結果分析

為驗證提出方法的正確性，對一臺索尼4K投影儀（像素間隔Δ'=4.06 μ m，像素數為4 096×2 160）進行了改造，拆除原來的光學系統，利用其3 片4K 的LCOS 搭建了彩色動態全息三維顯示系統。采用像素間隔Δ=3.5 μm，采樣點數為2 000×2 000 的CMOS 攝像機記錄真實場景的DH。

3.1 全息三維顯示系統

圖1 為彩色動態全息三維顯示系統結構示意圖，圖中Laser-R、Laser-G 及Laser-B 分別是波長為632，532，473 nm 的固態激光器，BE1～BE3 為帶空間濾波的擴束器，L1～L6是焦距為30 cm 的凸透鏡，BS1～BS3 是分束棱鏡，SLM 為空間光調制器，XBOX 為合色棱鏡。顯示系統由R、G、B三路再現子系統構成，每路激光器發出的光經過擴束、濾波再通過由兩個凸透鏡構成的變換裝置，將再現光變換到與記錄參考光共軛，然后通過分束棱鏡照射到SLM 上。顯示在SLM 上的全息圖將光調制后，反射光再通過分束棱鏡到達XBOX。通過XBOX 將三色再現像合成彩色像。顯示系統通過HDMI 接口與計算機連接，通過計算機將彩色全息圖序列送入SLM 實現彩色動態全息三維顯示。顯示系統的刷新率為30 Hz。

圖1 彩色動態全息三維顯示系統結構示意圖Fig.1 Structure diagram of color dynamic holographic three-dimensional display system

在搭建的系統中，拆除了LCOS 前的偏振片，使其成為相位型SLM。根據光學全息原理［17］，在其上顯示振幅型全息圖相當于將全息圖漂白成為相位型全息圖，大幅提高了全息圖的衍射效率。

3.2 實驗及結果分析

利用搭建的系統進行了虛實場景全息圖的融合、幾何變換實驗。將場景按R、G、B 三色分為3 個通道，每個通道分別處理。全息圖具體融合步驟如下：

（1）將采集到的DH 做FFT；

（2）設計濾波器掩模在頻域做高通濾波，濾除零級；

（3）由于α＞1，將頻域的數據水平與垂直方向分別裁剪到原來的1/α；

（4）對選中的物體進行幾何變換；

（5）對處理后的頻譜做IFFT，得到雙極強度DH；

（6）以雙極強度DH 為初值，進行雙極強度CGH 計算，實現DH 與CGH 融合；

（7）對融合后的全息圖歸一化得到最終的數字化全息圖。

首先采用CMOS 攝像機拍攝了實際物體的無透鏡傅里葉變換全息圖，拍攝參數如下：記錄波長為632 nm，物體尺寸約為7 mm×10 mm，記錄距離為350 mm。圖2（a）為制作數字全息圖的瓢蟲模型，圖2（b）為DH 局部放大圖。然后制作了由紅色與藍色數據組成的3D 人像、棋盤格及綠色的漢字“光”構成的CGH。棋盤格位于人像后方，為場景中深度最大的物體，尺寸為15 mm×15 mm。利用三維數據及顏色通道分別計算對應的R、G、B 三色CGH，再將預處理后的DH 與紅色通道的CGH 融合，將制作的彩色全息圖送入顯示系統進行光學再現。以毛玻璃承接再現像，采用單反相機拍攝。圖3（a）是融合后的數字化全息圖局部，圖3（b）是光學再現像。對再現像進行了尺寸測量，真實物體的再現像與實際尺寸符合，虛擬物體再現像與設計尺寸符合。DH 與CGH 融合操作（不包括CGH 計算）的時間為0.34 s。

圖2 實際物體（a）及其局部DH（b）Fig.2 Real object（a）and its partial DH（b）

圖3 混合場景彩色全息局部（a）及再現像（b）Fig.3 Partial hybrid color hologram（a）and the recon structed image（b）

接著進行了再現像的縮放實驗。在頻域分別將DH 記錄的物體及CGH 記錄的物體進行放大。圖4（a）是瓢蟲模型放大2 倍，圖4（b）是棋盤格與人像模型放大1.5 倍的再現結果。再現像未發現明顯失真。

圖4 再現像放大實驗結果。（a）瓢蟲模型放大2 倍；（b）棋盤格與人像模型放大1.5 倍。Fig.4 Experimental results of magnifying reconstructed image.（a）Ladybug model magnified by 2×；（b）Chessboard and portrait model magnified by 1.5×.

然后進行了場景中物體平移實驗。在頻域將指定的物體進行了移動。圖5（a）是漢字“光”水平向右移動5 mm 的光學再現像；圖5（b）是瓢蟲水平向右移動2.5 mm，豎直向下移動5 mm 的光學再現結果。移動位置達到設計要求。

圖5 物體平移實驗結果。（a）漢字“光”右移5 mm；（b）瓢蟲右移2.5 mm，下移5 mm。Fig.5 Experimental results of translating objects.（a）Chinese character "light" shifted 5 mm to the right；（b）Ladybug model shifted 2.5 mm to the right and 5 mm down.

最后進行了場景中物體隱藏面消除實現遮擋效果實驗。首先根據物體前后關系制作頻域二元掩模，透光為1，被遮擋部分為0。在頻域進行處理時，被遮擋物體的頻譜乘以被遮擋部分輪廓相對應的二元掩模，實現隱藏面消除。圖6 是物體有重疊場景的對比實驗結果。其中圖6（a）是未經掩模遮擋處理的光學再現結果，圖6（b）是經過掩模遮擋處理的光學再現結果。在實驗結果中可以清楚看到，未經掩模遮擋處理時，重疊部分處在后面的物體透過了處在前面的物體，導致重疊部分出現了不應存在的像。而圖6（b）中經過掩模處理的物體重疊場景，再現結果符合實際情況。

圖6 遮擋效果實驗結果。（a）無遮擋處理；（b）遮擋處理。Fig.6 Experimental results of occlusion.（a）Result without occlusion processing；（b）Result with occlusion processing.

4 結 論

虛實場景混合三維顯示是三維顯示技術發展的趨勢。本文提出了一種全息三維顯示中虛實場景混合及再現像面內幾何變換方法。初步的實驗結果驗證了該方法的有效性。在所提出的方法中，場景融合、再現像的幾何變換只需在全息圖中進行操作，大幅降低了全息圖重新制作的時間，在實時交互中有潛在的應用前景。目前的全息圖融合與處理是離線進行的，今后將設計算法，實現實時融合。