淺談光場信息的記錄與重構
——實現景物影像真實三維顯示的新途徑

孫延祿

自上世紀50年代以來，用電子計算機研究信息處理，并將它與光學的規律、手段等結合在一起，逐漸形成了光學信息處理新領域。七十多年來，隨著科技的迅速發展，數字計算機與數字圖像傳感器的結合日益緊密，已經創造了一個強大的稱為 “計算成像”（Computational Imaging）的新工具。數字光場成像是它的一個重要組成部分。

1 光場與全光函數

光場是三維世界中光線集合的完備表示。與傳統的攝影成像只記錄光輻射在二維平面上的投影強度不同，光場成像則需要捕獲景物光輻射的完整分布，為此就需要捕捉多維度的光輻射信息并對其進行計算成像處理，最后通過不同的顯示裝置顯示出所需要的景物影像。

光場的概念最早于1936年由俄羅斯學者戈爾順（Gershun）提出，它從理論上定義了空間內每個方向上通過每個點的光輻射，但卻限于當時的技術條件無法實際測量與記錄它。1991年，埃爾森 （E.H.Adelsion）等根據人眼對外部光線的視覺感知，提出了用七維函數來表征幾何光線的空間分布，并稱之為全光函數 （Plenoptic Function）。如圖1所示，在全光函數L （x，y，z，θ，Φ，λ，t）的七個變量中，x，y，z表示空間中任一點的三維坐標，θ和Φ表示通過該點的一條光線的傳播方向，λ表示光線的波長，t則表示時間。

圖1 全光函數L的七個變量

根據文獻 [2]的論述，要在圖像感光器件只有二維的感光平面上記錄圖像全部信息，就必須至少把這七個變量中的五個先離散化 （即把它們連續變化的量替換為離散的數列）。隨著影視技術的發展，已經逐步解決了這個問題。首先是t，需按照所選定的拍攝頻率確定出時間序列；然后是λ，需按照顯示彩色圖像所要求的三原色選定R，G，B三個波長序列。這樣，七維函數就變成為五維函數L（x，y，z，θ，Φ）了。要在計算機內處理這個五維函數，仍然數據量很大。為了進一步減少全光函數的維度，拉沃伊 （M.Levoy）和漢拉哈姆（P.Hanrahan）于1996年提出了利用兩個相互平行的平面來對光場進行參數化表征的構想，如圖2所示。即光場可以變為具有四個自變量的四維函數L （u，v，s，t）。

圖2 四維函數L （u，v，s，t）

這個五維函數是怎樣演變為四維函數的，其依據在哪里？在現有文獻中卻難以找到。本文下面對這個問題作一些推導，以證明這個降維變換的合理性。

圖3 一個點在直角坐標系和球面坐標系中的表示方法

為了能說清楚此問題，需要先說明空間中同一個點在直角坐標系和球面坐標系中的表示方法及相互轉換關系。如圖3所示，空間內的任意點P在直角坐標系O-XYZ內表示為P （x，y，z），而P點在以O為圓心的球面坐標系中則表示為P（r，θ，Φ），其中r為矢量OP的長度，θ為OP與Z軸間的夾角，Φ為OP在XOY平面上的投影OR與X軸的夾角。根據立體解析幾何，P點的直角坐標與其球面坐標間的關系為：

由式 （1）得：

由式 （1）可見，x、y、z都是r、θ和Φ的函數，只要r、θ和Φ的值確定了，它們的值也就確定了。

那么，上述五維函數L （x，y，z，θ，Φ）中的θ和Φ能否改由直角坐標系中的坐標來表示呢？回答是肯定的。

圖4 全光函數降維說明

如圖4所示，P點是在坐標系O-XYZ中的任一個點，我們以P（x，y，z）點為原點作出另一個坐標系P-XYZ，而且其三個軸線PX、PY、PZ均依次平行于坐標系O-XYZ的三個軸線OX、OY、OZ。

依據上述公式 （1），只要預先給定θ和Φ的值，再任意給定球面半徑r一個大于零的數值，就可以求出與之對應的一點P在坐標系P-XYZ中的坐標值 （x，y，z）。這樣，P點在坐標系O-XYZ中的坐標值 （x，y，z）就可以按下式求得：

根據上述，五維函數 L （x，y，z，θ，Φ）就可以改寫為L （x，y，z，x，y，z）。

光線PP的位置和方向可由P和P兩點的坐標 （x，y，z，x，y，z）來確定。如果認為其中的一個點是景物上的一個發光點，另一個則可以認為是觀察者的眼點或空間中的另一個點。

為了能進一步減低此函數的維度，使它變為一個四維函數，就必須把上述的六個自變量中的兩個給予確定的數值。例如我們選擇z、z給其兩個不同的確定值 （亦即選定了兩個相互平行的垂直于Z軸的平面），則在這樣的約束條件下，在由z、z兩個相互平行的平面內，并與它們相交的任一條直線的位置及方向就可以用一個四維函數 （x，y，x，y）表示了。

以上就是全光函數為何可以從原來的七維函數降維為四維函數L （u，v，s，t）的依據。

此外，筆者還認為這一降維構想的來源和已有一百多年歷史的集成攝影術 （Integral Photography）有緊密聯系。眾所周知，集成攝影術的原理是20世紀初由法國人立普曼 （G.Lippmann）首先提出的。集成攝影術以采用特殊的感光板為基礎，它是由眾多光學上相互隔離的透鏡單元組成的透鏡陣列，在透鏡的后焦平面上敷有感光乳劑。集成攝影能記錄與再現景物的三維光學模型，觀看者可以不借助于任何輔助裝置，從空間的不同位置直接觀看。

在集成攝影過程中除了記錄發自景物的光束強度之外，還同時記錄其傳播方向。

為了解釋集成攝影的物理實質，可以很方便地利用幾何光學的概念。

圖5 集成攝影的物理本質說明

如圖5所示，我們在平面2上建立坐標系X，Y由物體1發出的光束與平面2相交。我們觀察由物體上A點發出的一條與平面2相交于X，Y點的光線。從物體1上所有點發出的光線也匯聚于該點。這些光線的輻射強度決定于物體相應部位的亮度，但這些光線的傳播方向均不同于我們所選定的那條光線。為了保存由物點A發出的這條光線的傳播方向信息，在平面2的后面在與之相距d的位置設立另一個平行于平面2的平面3。在平面3上建立坐標系X’，Y’。設定由物點A發出的這條光線與平面3相交于X’，Y’點。這樣一來，X，Y及X’，Y’四個坐標就單值地確定了由物點A發出的這條光線的路徑。而函數F （X，Y，X’，Y’）則表示該方向上光線的輻射強度。

為了記錄信號在平面3處放置感光板。要在感光平面的二維坐標內記錄包含有四個變量的信號，至少要對四個變量中的兩個進行離散抽樣。在平面2處放置具有許多微小圓孔的網板，其相鄰孔間距為X

，Y（如圖5中平面2的右下部分所示），就可以使變量X，Y離散化。這樣一來，整個系統就和眾多的針孔相機相似 ，在感光板平面上會形成眾多個被攝物體的微小影像，其數量等于網板上圓孔的數量。圖中以An’表示物點的一個影像。上述過程的結果是在平面感光板上記錄下以四維函數F （X，Y，X’，Y’）表征的信號。變量X，Y相當于圖2中的u，v；而變量X’，Y’則相當于圖2中的s，t。

因此，我們可以認為集成攝影術就是光場成像的源頭，數字光場成像技術是集成攝影術的繼承與發展，是集成攝影術與計算機圖像處理技術相結合的近代產物。

2 光場信息的記錄方法與相關裝置

根據景物的狀態和基線長度 （即視點范圍寬度）等的不同，用攝影方法捕獲景物光場信息的方法和相關裝置可大致分為以下幾類：

（1）移動拍攝的攝像機：對于靜態的，且光場基線長度比較長 （從數英尺到數英里）的景物，多采用此法。用單臺攝像機在連續移動中拍攝場景就可以捕捉到一個光場。在輔助設備的支持下，攝像機可以沿著一個平面、柱面或球面移動。此方法多用于文物與歷史遺跡的數字記錄與重現。

（2）多臺攝像機陣列：為了能捕捉到動態場景的長基線光場需要有多臺攝像機。如果視頻攝像機沿著一維的路線排列，則當序列地快速顯示這些場景時，會使人產生圍繞場景運行的印象。如果將攝像機配備成二維陣列，則可以捕捉到全光場。本世紀初，美國斯坦福大學的一批計算機專家用100臺低成本攝像機構成了一臺多機陣列攝像系統，并對該系統的成像能力進行了實驗。其結果對數字光場攝影技術的發展具有參考價值。

（3）小透鏡陣列：如果視點范圍展開在一條短的基線 （從數英寸到數微米）內，就可以使用一臺攝像機和一個小透鏡陣列來替代多臺攝像機陣列。如前文所述，用透鏡陣列來捕捉光場起源于立普曼發明的集成攝影技術。如果把圖5中平面2上的微小圓孔改換成小透鏡，它就變成一個小透鏡陣列。每個小透鏡記錄一個從方陣上某個位置上觀察到的場景透視圖，這就構成了一個光場。

其uv分辨率取決于陣列內小透鏡的數量，而其st分辨率則取決于每個小透鏡后面圖像傳感器所對應的像素數。

圖6 把微透鏡陣列插入到圖像傳感器與攝像機主鏡頭之間

如圖6所示，把一個 “場鏡”置于小透鏡陣列的物空間一側，并且這樣調節它的位置，使場景主體聚焦到小透鏡的主面上，每個小透鏡把攝入它的光線按方向分解并把主鏡頭光孔的像生成在微透鏡之下的像素平面上。這樣光場就被換位，此時其st分辨率取決于小透鏡的數量，而其uv分辨率則取決于每個小透鏡后面所對應的像素數。

上述第一種布置具有體積薄的優勢，然而由它計算得出的視圖的分辨率卻是較低的。因此，如果系統的厚度不太受限，就應當優先選擇后一種安排。在后一種安排下，只有 “場鏡”需要矯正像差，而不需再去矯正每個小透鏡?；谶@一優勢，連同現今制造微小透鏡工藝的進步，眾多研究者都建議把微透鏡陣列插入到圖像傳感器與攝像機主鏡頭之間，從而構造成一臺全光攝影機。

3 實現場景真實三維顯示的新途徑

電影技術的基本發展規律是通過人造手段 （包括直接攝取與計算機生成）提取并再現所記錄景物的活動影像，以及聲音等其他感官信息，使觀眾對其感受的效果逐步逼近于現實生活中的實際感受。從這一觀點出發，電影技術雖然已經有了一百多年的發展歷史，但目前還遠未達到上述目標。僅從景物的空間再現效果來看，就有著明顯的差距。目前流行的3D電影采用的是雙眼視差立體顯示方法。它具有許多先天性的局限性，特別是觀看者眼睛“調節”與 “會聚”的沖突，長時間觀看會造成眼部的不適與疲勞。因此只能說，它只是利用人眼 “錯覺”的一種假3D，還只是實現3D影像顯示的初級階段。

近年來，隨著電影的數字化及與計算機技術結合的日益緊密，人們在縮小這一差距方面已經開辟了許多新途徑。國內外許多研究機構和高校已經發表了許多學術論文介紹其研究結果。其中尤為突出的就是基于光場重構的真實三維顯示技術。

如本文前面所述，景物的光場信息本身就是多維度的光輻射信息，通過專用裝置將其捕獲之后，將耦合后的數據流送入計算機進行處理，得出與所選用顯示系統相匹配的能正確顯示該景物的控制信號并通過該顯示設備重建出逼近于景物原始光場的再現光場。能重構光場的顯示技術不只一種，常見的有體素點三維顯示、全息顯示及集成成像顯示。前兩種均可在空間中重構出景物的真三維影像，但其所需處理的數據量都更巨大，受到計算速度及傳輸速率方面的限制，且在成像質量方面也尚有許多不足之處。集成立體成像技術具有以下突出特點：（1）在不需要任何觀察設備的情況下，在空間中再現了三維圖像，并保留了正確的顯示比例而不受觀察距離的限制；（2）給觀察者提供了連續視點及全視差的真實立體圖像，克服了觀察者眼睛的匯聚與調節的沖突問題；（3）它是一種被動顯示技術，克服了全息顯示技術中需要輔助光源來顯示立體圖像的問題；（4）系統的組成設備相對比較簡單。因此，集成成像光場重構技術就更加得到研發者的青睞。

集成成像光場重構技術利用空間發光方向調控的陣列顯示器集成方法重構空間景物三維光場，它無需任何機械掃描系統，采用眾多顯示器與光場調節屏幕組成集成化的光場重構系統。每個顯示器顯示的圖像為特定三維區域不同視角圖像的組合。通過陣列顯示器圖像的集成重構出三維景物的空間光場。

4 結語

相對于傳統攝影方法，數字光場攝影有許多優勢。限于篇幅，本文未做全面介紹。由于光場攝影捕獲景物光輻射的完整分布，在后期計算機處理過程中可根據未來要求的不同影像顯示方式來進行不同的影像處理。也就是說，只要進行一次拍攝，就可以在后期制作出不同技術類型的影片。顯然，這十分有利于多品種影片的制作與發行，并降低其制作成本。

美國的Lytro公司已經開始了把數字光場攝影技術用于電影制作的研究，并于2016年推出了Lytro Cinema系統。雖然該公司已于2018年宣布倒閉，但其技術定會有其他公司轉接而得以延續。電影技術的進步與攝影學的進步密切相關。當前，計算攝影學——全光視覺信息的計算采集已是前沿科研熱點，值得我國電影科技界的重視。