基于液晶空間光調制器的計算全息波前編碼方法

隋曉萌，何澤浩，曹良才，金國藩

（清華大學 精密測試技術及儀器國家重點實驗室，精密儀器系，北京100084）

1 引 言

現階段以平板顯示為主的顯示技術主要受限于顯示器件與顯示觀感。在顯示器件方面，LED 與液晶面板等應用廣泛，但其發展受元件加工技術瓶頸的影響，限制了顯示分辨率與視場角的進一步提升。在顯示觀感方面，基于雙目視差的顯示方案占據主流市場，但其無法提供真實三維觀感的聚焦離焦效果，并在長時間觀看后容易帶來視覺疲勞。現有前沿顯示技術研究以突破顯示器件參數與顯示觀感的上限為主要目標，其技術路徑可分為近眼顯示與裸眼顯示兩類。近眼顯示研究面向可穿戴顯示設備的市場需求，采用視差屏幕、視網膜投影等技術，現已陸續產生融合虛擬現實（VR）、增強現實（AR）與混合現實（MR）等概念的高級顯示設備［1］。裸眼顯示研究面向大場景沉浸式的顯示用戶需求，已產生激光投影、全景LED 顯示等技術方案，并成功用于北京冬奧會等超清顯示場景。兩種技術路徑均以實現具有超高數據量、真實觀感的三維顯示為終極目標［2］。

傳統的光學全息（Holography）技術包括記錄和重建兩個過程［3］。記錄過程利用光的干涉原理，將相干光擴束準直為平面波前并分束為物光與參考光，物光照射物體并記錄復振幅，參考光與物光發生干涉。物光波的振幅和相位攜帶著物體表面特征的相關信息，物光和參考光干涉產生的條紋則包含了物光波的振幅和相位并被記錄在感光材料上。重建過程利用光的衍射原理，使相干平面波照射感光材料，在特定的衍射深度重建出被記錄物體的振幅與相位。包含記錄與重建的光學全息在提出時便引起廣泛關注，在國防軍工、文化娛樂、工業生產等領域均有著廣泛的應用前景［4］。隨著計算機技術與數字化編碼器件的發展，傳統全息中的干涉記錄過程可以在計算機中通過數值計算實現，即計算全息技術（Computer-generated Holography，CGH）［5-7］。計算全息繼承了傳統光學全息技術中衍射重建真三維復振幅波前的優勢，并將繁瑣的全息光學實驗操作轉變為波前計算、波前編碼與波前重建3 個過程。波前計算即通過矩陣計算的方法實現物光波的數值化波前傳播，得到該復振幅波前在全息圖平面的數學描述。波前編碼將全息圖平面的復振幅分布編碼為與顯示媒介數值格式相匹配的計算全息圖。波前重建即計算全息圖的光學重建過程，全息圖被加載至波前調制器件［8-9］，通過相干光照射與衍射傳播重建出物光波前。計算全息使用計算機來模擬光學的全息記錄過程，極大地簡化了全息圖的生成步驟。同時計算全息技術使得全息三維重建擺脫了記錄介質的限制，使全息圖的數字化記錄、編碼與傳播成為可能。計算全息技術的產生為諸多傳統光學領域注入了新的活力，如計算全息的光鑷陣列［10-11］可以實現動態并行的光學操縱，基于計算全息設計的衍射光學元件［12］能夠實現更為精準靈活的光束整形，計算全息與光子晶體結合能夠實現海量數據的光學存儲與加密［13］。同時，計算全息也推動了前沿光學領域的研究，產生了很多新興方向，如超表面全息［14-15］、計算全息激光加工［16］、計算全息光場調控［17］等。

近年來，以空間光調制器為代表的動態光學編碼器件發展迅速，由此產生了數字化器件實時調制的動態重建物光波模式?，F有空間光調制器根據調制方式可以分為振幅型與相位型兩類。振幅型空間光調制器通過改變振幅透過率函數調制入射光的振幅，如數字微鏡器件（Digital Micromirror Device，DMD）通過高速數字式反射光開關陣列的時域響應形成多樣的振幅積分。相位型空間光調制器通過改變光程差調制入射光的相位，如硅基液晶（Liquid Crystal on Silicon，LCoS）通過液晶分子旋向調整有效折射率控制光程差［18］。為使全息圖數據格式能夠與編碼器件相匹配，物光波在全息圖平面的復振幅分布需要轉換為相應的振幅型全息圖或相位型全息圖。

振幅型全息圖的波前編碼通過計算機模擬光學全息的干涉記錄過程，將編碼物光波的干涉場轉換為振幅透過率函數。由于以DMD為代表的振幅型空間光調制器具有較高的刷新頻率（～10 kHz），振幅型全息圖也因此具有較高的時間帶寬，并允許在光學重建中犧牲部分時間帶寬從而實現擴展視場角［19］、抑制散斑［20］、引入運動視差［21］等效果。但由于振幅型全息圖在重建時參考光照明的全息圖為實函數，由全息圖衍射生成的圖像上方會出現未聚焦的共軛像引起的噪聲。為解決共軛像問題，振幅型全息圖的波前編碼與光學重建過程需要引入傾斜角度的物光照明［22］或單邊濾波［23-24］，從而分離或消除共軛像。

相位型全息圖的波前編碼是通過計算機模擬物光波衍射過程，將攜帶物體振幅信息的衍射場轉化為具有均勻強度分布的全息圖函數。以LCoS 為代表的大多相位型空間光調制器具有相對較低的刷新速率（～10 Hz），限制了相位型全息圖的動態效果與功能擴展。但相位型全息圖不受共軛像噪聲影響，重建光能利用率高，因而也成為全息顯示不可忽視的技術方向。由于全息圖振幅項均勻化，自然物體的相位型全息圖低頻成分受到抑制，重建時的圖像損失背景成分。為解決低頻成分的缺失問題，相位型全息的編碼需引入隨機物體相位或優化過程［25-27］。同時，由于復振幅全息圖可以通過一定的近似數學變換轉化為相位型全息圖，復振幅編碼的全息圖也可以通過相位型空間光調制器重建［28］。其中較為廣泛應用的此類復振幅編碼與轉換方法包括雙相位分解、誤差擴散等。

本文從基于液晶空間光調制器的全息圖編碼算法出發，從優化求解相位型全息圖方法與復振幅全息圖轉換編碼方法兩個方面對波前編碼原理進行分類，對其數學理論與研究進展進行概述，并對計算全息波前編碼方法的發展趨勢進行展望。

2 優化求解相位型全息圖方法

2.1 相位型全息圖的計算原理

相位型全息圖求解的基本問題可以描述為找到符合約束條件的全息圖函數H=Aei?，如圖1 所示，該函數經由衍射傳播能夠得到物函數h=aeiφ.全息圖函數的求解應滿足3個基本約束［29］：

圖1 相位型全息圖計算原理Fig.1 Principle of computation for phase-type holograms

(i)a2=Iobj， （1）

(ii)ΔH＜∞， （2）

(iii)A2=|E|， （3）

其中，條件（i）代表物體平面的強度約束，即全息圖重建強度等于目標物體強度；條件（ii）代表全息圖帶寬約束，即全息圖具有有限的帶寬分布；條件（iii）代表全息圖自身的強度約束，即相位型全息圖具有均一強度分布。由此可得，在全息圖平面與物平面之間僅有物體相位φ為浮動變量，相位型全息圖的求解可以轉變為計算能夠滿足約束條件的相位φ。

相位型全息圖的編碼能夠通過直接定義物體相位實現。1969 年，Lesem 等人提出了相息圖（Kinoform）［5］，使用隨機相位作為物體相位φ模擬光學散射，同時增強物體低頻成分的擴散。但在光學重建中，隨機相位引入散斑噪聲，降低重建質量。1996 年，Aagedal 等人提出使用特定二次球面相位作為物體相位從而使物光在傳播中匯聚并在全息圖平面滿足帶寬約束［30］，但在重建中二次相位在圖像周圍造成偽影，也為全息圖的高質量重建帶來一定干擾。

為解決直接定義物體相位引起的重建噪聲，優化算法被引入相位型全息圖的計算中。由于全息圖重建復振幅與重建強度之間的病態關系，存在多個有限帶寬的相位型全息圖其重建強度近似等于目標物體強度，因此全息圖的求解可以通過非凸優化實現。全息圖優化算法將相位型全息圖的計算過程轉換為逆問題求解，依據全息圖的約束條件與物體相位的浮動，優化得到該問題的一個局部最優解。目前較為廣泛應用的計算全息優化算法可以分為交替投影算法與非線性最小化算法。

2.2 相位型全息圖優化：交替投影算法

交替投影算法（Alternating Projection Iteration Algorithm）通過在不同約束構成的集合之間投影迭代來更新求解的全息圖函數。1972年，Gerchberg和Saxton 提出一種基于正逆傅里葉變換的交替投影算法［31］，簡稱為G-S 算法（圖2）。該算法將物函數置于空域，將全息圖置于頻域，算法在迭代過程中分別在空域與頻域施加相關約束條件。如圖2 所示，迭代投影由空域開始，分別輸入目標振幅與定義相位作為起始物函數；隨后對該物函數進行傅里葉變換得到其頻域復振幅分布，對該復振幅分布施加全息圖帶寬約束（ii）與強度約束（iii），并以約束后的復振幅分布作為全息圖；將全息圖進行逆傅里葉變換，從而得到新的重建物函數并對其施加物平面強度約束（i）使目標振幅替代重建振幅，完成一次循環。

圖2 G-S 迭代算法Fig.2 Principle of G-S algorithm

G-S 算法構成了計算全息交替投影算法的基本框架，其運算操作簡單，因而在其原理之上產生了許多修正與改進算法。1978 年，Fienup 等人基于G-S 的交替投影框架提出誤差下降算法（圖3）［32］。誤差下降算法在空域引入反饋約束機制：

圖3 誤差下降算法Fig. 3 Error-reduction algorithm

其中C代表滿足約束的物點集合，ρ為反饋系數。

誤差下降算法針對重建物函數中不同物點采取不同約束條件，能夠有效提升重建圖像質量并加快迭代收斂。

受誤差下降算法思路影響，后續迭代算法產生了一系列在優化過程中使用與輸出值相關的反饋約束或使用隨迭代次數發生變化的軟約束條件的方法［33］。其中，Wyrowski 等人提出在迭代中引入物函數平面的條件約束與全息圖平面的軟約束結合來使全息圖函數平緩過渡至滿足約束條件的局部最優解［34］。該算法在物函數平面預留信號區域與冗余區域，使用條件約束限定物函數的振幅替換區域：

其中，ang[ ]· 為取相位算符，Wsig為信號窗內的物點集合。條件約束的使用允許物函數中的冗余區域來容納重建噪聲，實現信號區域的高質量重建。同時，在全息圖平面引入隨迭代次數變化的軟約束：

Hn+1=ε|E|ei?+(1-ε)|H'|ei?， （6）

其中ε∈[0，1]為軟約束系數，隨迭代次數增加由0 漸變至1。

經由條件約束與軟約束的配合，以及迭代中能量守恒系數γ對物函數平面與全息圖平面能量關系的調控，混合約束的迭代傅里葉變換算法（圖4）能夠在實現較高精度的二維全息圖重建。二次相位等緩變初始相位的引入也使該算法的二維強度重建日趨完善，逐步實現消除散斑、抑制偽影的效果［35-36］。

圖4 混合約束的迭代傅里葉變換算法Fig.4 Principle of iterative Fourier transform algorithm with mix constraints

交替投影算法因其靈活性在三維物體的全息圖運算中也有廣泛的應用（圖5）。三維交替投影的全息圖優化算法可以分為相干疊加法、全局優化法與順序優化法。

圖5 交替投影算法優化三維物體全息圖Fig.5 Optimization of holograms for 3D objects using alternative projection iteration algorithms

相干疊加法在不同深度的物體層與其對應的全息圖平面之間交替優化，將優化后每一層物體的全息圖平面相干疊加并取出其相位分量［30］。相干疊加法能夠通過分層優化使物體滿足帶寬約束（ii），但強度約束（iii）會隨疊加發生改變。疊加類算法能夠最大程度保留物體深度信息，完整重建每一層物體的聚焦與離焦效果，適用于全息顯示。

全局優化法則將不同深度衍射波前的相干疊加操作嵌套在單次迭代優化過程中［37］，并在全息圖平面施加嚴格的帶寬約束（ii）與強度約束（iii）。全局優化算法中三維物體的零強度點與非零強度點共同組成物體的強度約束（i），因此該方法優化所得的相位型全息圖無法在聚焦深度處保留其余深度的離焦圖像，其重建效果與真實世界的觀感相悖。全局優化法由于能夠重建單一深度振幅信息并打破層間串擾，在光學存儲與加密［38］、光遺傳技術［39］等領域有著廣泛應用。

順序優化法將分層的三維物體沿深度依序完成衍射計算，由前一層優化相位與約束強度得到計算層的復振幅［40］。順序優化法在深度表現上與全局優化法類似，強度零點構成暗像素阻擋其他層光線的傳播。但由于全息圖按深度順序傳播，遠離全息圖的物體層受靠近全息圖的物體層重建誤差影響，重建圖像質量下降。因此在順序優化法的重建結果中，距離全息圖最近的物體強度具有較高的重建精度。

2.3 相位型全息圖優化：非線性最小化算法

非線性最小化算法由Zhang 等人于2017 年引入計算全息領域［41］，如圖6 所示，其優化原理為定義求解相位型全息圖逆問題的損失函數，通過求解損失函數對于全息圖的導數，搜索損失函數梯度下降的方向并尋找相對應的全息圖解。

圖6 非線性最小化逆問題模型Fig.6 Inverse problem for nonlinear minimization

相位型全息圖的求解可定義為優化問題：

其中I為全息圖重建強度，Iobj為物函數強度。非線性最小化算法的優越性表現在損失函數L的靈活選擇。由于全息圖重建存在目標值，l2范數能夠使物函數滿足強度約束（i），成為了較為廣泛應用的損失函數之一，其表達式為：

式中，γ為依據能量守恒控制全息圖重建強度的系數，其表達式為

除l2范 數 外，0-1 損 失、SSIM 損 失 函 數 等 也對特定的物體強度具有突出的優化效果。在此以l2范數為例展示導數求解傅里葉全息圖過程。

為搜索損失函數的梯度下降方向，依據鏈式法則求解損失函數對于全息圖的導數，展開為：

展開式中第一項為l2范數對全息圖重建強度的導數，求解為：

導數展開式第二項為全息圖重建強度對全息圖復振幅分布的導數，將全息圖重建的傳播過程轉換為矩陣運算，即可得到：

其中F代表傅里葉變換矩陣，[·]H為共軛轉置算符。

導數展開式第三項為全息圖復振幅分布對相位型全息圖求導，根據歐拉公式展開復振幅表達式，可以得到該項為：

其中，WH為窗函數，它限制全息圖的帶寬并使全息圖滿足帶寬約束條件（ii）?；谝陨线\算，結合梯度下降類型優化算法，即可實現在約束條件限制的集合內搜索全息圖的局部最優解。較為廣泛應用的算法包括準牛頓算法［42-43］、Wirtinger flow［44］、隨機梯度下降［45］等。

非線性最小化類型算法與交替投影算法相比，運算時間較長，計算量較大。但其搜索過程中覆蓋到的解函數范圍略大于交替投影算法，因而在同等全息圖參數與衍射重建模型下，非線性最小化算法時常能夠得到重建準確度更高、噪聲更低的結果。

2.4 相位型全息圖優化：優化相位掩膜法

相位型全息圖在物體平面與全息圖平面之間僅有物體相位φ為浮動變量，由此Br?uer 等人于1991 年提出可以通過優化物體相位掩膜求解相位型全息圖［29］。通過預先的相位掩膜優化使透過掩膜傳播的物體窗函數近似滿足全息圖約束，隨后將該相位掩膜作為物體相位分量計算得到全息圖。優化后的相位掩膜能夠使物體經過一步運算［46］或快速收斂迭代［47］得到具有較高重建精度的相位型全息圖，在很大程度上縮減了全息圖優化所耗的計算時長。

為使相位掩膜能夠配合物體衍射產生具有較高重建質量的相位型全息圖，掩膜優化算法（圖7）通過設計不同的初始相位得到不同重建特性的全息圖。使用隨機相位作為初始優化得到的相位掩膜能夠模擬物體散射表面［48］，具有符合自然物體表現的重建聚焦與離焦效果，適用于三維物體重建。但由于有限帶寬的隨機相位存在奇點與相位渦旋，其重建強度受散斑噪聲影響。使用二次球面相位作為初始優化得到的相位掩膜能夠避免散斑噪聲［49］，產生較高的重建精度，但其相位緩變導致全息圖編碼容錯率低，重建視場角受限，多用于二維圖像的全息投影。

圖7 相位掩膜優化算法原理Fig.7 Principle of optimized phase mask algorithm

3 復振幅轉換編碼方法

由于現有空間光調制器大多僅能調制振幅或相位，隨之產生了將復振幅通過一定近似轉換為相位或振幅型全息圖的復振幅編碼方法。其中復振幅-相位的轉換方法因其轉化誤差低、運算效率高，在計算全息中應用較為廣泛。

3.1 雙相位全息圖

雙相位全息圖（Double Phase Hologram）于1978 年提出，其編碼方法是基于歐拉公式將歸一化復振幅分量分解成為兩個具有相同均勻振幅的分量［50］：

其 中α=cos-1A且。由 此 得 出，通過兩幅相位型全息圖的相干疊加，可恢復出全息圖平面的復振幅場，如圖8 所示。

圖8 均勻振幅圓內的復振幅分解原理Fig.8 Principle of complex modulation in the unite circle

基于雙相位分解原理，演化出分解的雙相位分量逐個像素穿插排列，使得相鄰像素在衍射傳播的過程中相干疊加的復振幅編碼思路。

2002 年，Arrizón 與Sanchez-de-la-Llave 為在空間光調制器上實現橫縱采樣間隔一致的雙相位全息圖［51］，提出由4 個像素組成復振幅單元（圖9（a）），即為巨像素編碼方法（Macro Pixel Encoding）。在一個巨像素單元內雙相位分量沿對角線交錯排列，該結構既能夠保持全息圖對復振幅場的水平與豎直方向采樣間隔相等，同時通過不同方向的錯位補償，極大地減小了雙相位全息圖的錯位噪聲。但由于該方法中一個復振幅的巨像素包含4 個空間光調制器像素，雙相位編碼對復振幅光場進行了降采樣，空間帶寬積的利用率仍舊相對較低。

圖9 空間光調制器的雙相位編碼方式Fig.9 Double-phase encoding on the spatial light modulator

2014 年，Mendoza-Yero 等 人 提 出 了 一 種 基于單像素操作與采樣的雙相位編碼方法［52］，被稱為單像素編碼方法（Single Pixel Encoding）。如圖9 所示，將分解后的雙相位分量通過互補的二元光柵進行像素級采樣，該二元光柵分布為透過率0 或1 的像素棋盤格，采樣后的雙相位分量相加即為一幅相位型全息圖。

其中?(un，m) 可表示為：

?(un，m)=φ(un，m)+

( -1)n+mcos-1A(un，m) . （16）

圖10 為基于二元光柵采樣的單像素雙相位編碼方法的計算流程。編碼后的雙相位全息圖像素排布如圖9（b）所示，采樣后的雙相位分量交錯分布。

圖10 單像素雙相位圖編碼流程圖［52］Fig.10 Encoding flow chart of the single-pixel doublephase hologram［52］

棋盤格采樣的單像素方法保證了從物體到全息圖的運算過程中采樣點數始終一致，極大地降低了運算的復雜性，提升了運算效率，是保證雙相位全息圖能夠應用于實時全息顯示的關鍵性一步，成為目前最廣為使用的編碼方法。但由于該方法中運用了互補采樣，由雙相位恢復的復振幅受相鄰像素近似的影響，局部重建精度略低于巨像素方法。

雙相位全息圖重建質量造成影響的主要因素，在于每個復振幅調制單元內的雙相位分量存在空間錯位，無法完全相干疊加［53-54］。由于雙相位全息圖噪聲與信號在頻域存在重疊，雙相位全息圖重建時需依靠空間濾波，遮擋大部分噪聲。但同時由于包絡函數分布特性，空間濾波也無法完全消除全部位移噪聲，并部分損失圖像重建細節。

雖然錯位噪聲存在，雙相位全息圖因其能夠直接編碼復振幅，與優化求解的相位型全息圖相比具有明顯較高的重建信噪比與運算效率，在全息顯示上具有廣泛深入的應用。

3.2 誤差擴散方法

誤差擴散方法（Error Diffusion Algorithm）最早使用于二值全息圖編碼，它將灰度圖二值化導致的量化誤差分散到周圍像素，從而提升二值全息圖的重建效果［55］。在相位型編碼器件出現后，這種方法也被用于編碼復振幅，將相位型全息圖與所編碼的復振幅分布之間的誤差擴散到相鄰像素中。

復振幅分布轉化為相位型全息圖的過程中會產生誤差：

Eerr=Aei?-ei?， （17）

如圖11（b）所示，這項誤差可以通過不同的傳遞系數k1，k2，k3，k4傳遞至相鄰4 個像素，并更新周圍像素值：

圖11 誤差擴散法編碼二值化全息圖［57］Fig. 11 Binary hologram encoding using error diffusion［57］

在此原理上，產生了多種針對誤差傳遞系數與誤差擴散方向的改進算法［56-57］。如2013 年，Tsang 與Poon 提出的雙向項誤差擴散算法（圖12），分別沿兩個不同的方向擴散誤差并有效提升重建質量［58］。

圖12 雙向誤差擴散方法［58］Fig.12 Bidirectional error diffusion method［58］

值得注意的是，誤差擴散方法適用于編碼相位變化平滑的復振幅分布，在計算相位變化劇烈的物體或隨機相位物體時會產生較為明顯的編碼噪聲，導致重建質量下降。此外，誤差擴散方法在計算相鄰像素時有著嚴格的先后關系，因此在運算時無法并行加速，全息圖的運算量隨采樣點數的增加而增加。

4 總結與展望

本文介紹了以液晶空間光調制器為調制器件、以相位型全息圖為調制函數格式的計算全息波前編碼方法，包括逆問題優化求解的相位編碼與正向近似轉化的復振幅編碼，分析了不同編碼方案的優勢與挑戰。

計算全息的波前編碼方式與調制器件的原理與參數緊密相關。隨著大尺寸液晶空間光調制器與多種新型顯示器件的發展，波前編碼的方法與形式也日趨多樣化。但波前編碼算法也始終保持著相對恒定的側重方向：

（1）高重建準確度。波前編碼算法的重建強度準確性是計算全息波前編碼所需要解決的基本問題。振幅編碼的孿生像問題、相位編碼的散斑與偽影問題、復振幅編碼的轉換誤差問題是波前編碼準確性提升所面臨的重要難點?，F有算法針對這些難點問題提出了部分解決思路與方案，但解決方案帶來的帶寬、視場角、空間分辨率方面的損失也為波前編碼帶來了新的挑戰。

（2）高空間帶寬積。相位編碼與復振幅編碼中均存在噪聲與帶寬的取舍問題。在高質量計算全息重建中，重建強度場的信噪比、空間分辨率、邊緣銳度、對比度等都是對其視覺效果具有關鍵作用的指標，因此實現最大的空間帶寬積利用率始終是波前編碼算法追求的重要目標。

（3）高運算效率。相位劇烈變化物體的相位型編碼與復振幅編碼過程大多需要依賴優化算法，其運算耗時長，實時編碼難度大。近年深度學習算法被引入計算全息領域，為全息圖的快速生成提供了解決途徑。但深度學習相關算法的全息圖生成準確度與計算全息波前編碼模型密切相關，編碼算法的有效性仍是突破算法效率瓶頸的關鍵方向。

近年來計算全息在算法、器件與系統層面均取得了跨越式的發展，以優化算法與深度學習結合為主的相位編碼方法在能量利用率與帶寬率用率上具有突出表現，以雙相位為主的復振幅編碼方法兼備了高運算效率與高重建精度，使得實現高分辨率、大視場的真三維實時全息顯示成為可能。以空間光調制器為代表的調制器件，不斷突破像素數目、視場角、像素尺寸的上限，為下一代顯示技術奠定了基礎。同時，散射介質與超穎表面介入新一代顯示系統刺激了波前編碼技術的更新與迭代。針對不同的顯示應用場景，采用不同的顯示器件，設計適配的顯示系統與運算算法將是未來全息顯示的發展方向。