數字花卉植物的全息可視化與交互實現

李 稙，蔡東娜

(北京林業大學藝術設計學院，北京 100083)

目前已經進入數字時代，數據采集、存儲與分析技術的飛速發展使得數據存儲與處理的成本大大降低，人們面對前所未有的數據總量，亦意味著面對前所未有的信息量。對于如此大量的信息，需要對其進行分析，才能達到最佳的信息傳播效果[1]。可視分析是數據分析的重要方法，其利用計算機的數據處理優勢及人類對可視化信息的認知優勢，輔助人們更為直觀、高效地獲取所需信息[2]。

數字化和可視化在當代的農林業科研中亦是必不可少的技術手段。計算機在對植物的形態結構和生長過程進行模擬時擁有著獨特的優勢，并可提供新的交互式分析、研究與設計方法[3]。對花卉植物進行的虛擬仿真能夠在植物研究、園藝造型、科普教育等方面起到廣泛應用。大量學者對數字植物的構建與應用進行了討論與研究。趙春江等[4]提出構建數字植物需要經歷“數字可視植物”、“數字物理植物”、“數字生理植物”和“數字智能植物” 4個階段，而數字可視植物作為數字植物整體構建基礎參考階段，且有指導性的意義。對于數字花卉植物進行虛擬呈現已經獲得了一些研究進展，LI等[5]通過邊緣優勢算法對開花過程進行了數字模擬，JIN等[6]通過WebGL基于關鍵線模型對開花過程進行模擬，獲得了較為真實的數字模擬效果。

虛擬技術是一種較為前沿的技術，其融合了計算機圖形學、多媒體、仿真、人工智能等多項信息技術，在對用戶展現信息內容時，帶來的強大沉浸感與交互性是其他技術手段所無法實現的[3]。因此，虛擬技術十分適合在教育科普領域進行應用。目前，數字花卉植物的模擬生長過程的虛擬呈現大多集中在可視化系統軟件平臺內，內容較為單一、與用戶的交互性較差，并且偏重于景觀設計領域，缺少科普教育方面的應用[7]。全息影像技術作為一種新興技術，可以在空間中形成三維立體、并可與用戶產生交互的影像[8]。由此，本文將全息影像技術與數字花卉植物模擬進行融合，對花卉的科普教育新方向進行實驗與探究。本文首先就全息影像技術進行分析，其次使用270°全息設備實現數字花卉植物的全息可視化，最后進行測試，得出具有可行性的結論，表現出全息技術及交互技術在數字花卉植物模擬方面的應用適切性。

1 全息影像技術的相關研究

1.1 全息影像技術

全息影像技術也稱虛擬成像技術，是利用干涉和衍射原理對物體的三維圖像進行記錄與再現的技術[9]。其通常用于產生立體感強的空中幻象，并可以實現幻象與真實時空融合的效果，使用戶得到強烈的臨場感和沉浸感。

目前，全息影像技術大概分為三類：即佩珀爾幻象、非裸眼3D技術與裸眼3D技術目前，為大眾所認知的全息影像合成技術大多基于佩珀爾幻象的原理進行運作[10]，本文中“全息影像”均指代佩珀爾幻象所成的全息虛擬影像。該技術藉由使用一面平坦的玻璃或透明材料與特別的照明光源，使得觀察者透過玻璃看到一個虛像，實現虛擬影像憑空出現的效果[11](圖1)。

圖1 180°全息影像原理

根據玻璃或透明材料的不同構造，可以實現180°，270°或 360°的全息影像。180°影像投射在一面平面玻璃上，只需單視角的影片資源即可。270°與360°影像均通過透明四棱錐體進行投射，其區別在于是否在一面上加入黑色襯底。270°影像需要三維模型的前、左、右3個視角的影片資源，而360°影像需要前、后、左、右4個視角的影片資源。當不同視角的全息影像在四棱錐中進行結合之時，觀者便可圍繞棱錐體從多個角度對全息影像進行觀賞，使生成的全息影像具有更為逼真的立體存在感(圖2)。目前，全息投影的技術路線已經較為成熟，并有一些成功的商業使用案例。其成像質量主要與全息源屏顯示質量和投影屏成像質量相關。另外，全息投影是否能在現實環境中呈現出虛實交融感，還取決于影像與展示環境的內容相關性。

1.2 全息影像技術的應用

由于全息影像擁有虛實交互的特點，有時也被認為是增強現實[12]或混合現實[13]的一種應用。鑒于全息影像可以實現一些藝術化的虛擬效果，其被廣泛用于舞臺[14-15]、展覽[16]等領域，但在科普相關方面、尤其是植物方向的應用是較為少見的。然而全息影像技術所具有的良好觀感和實用價值，使其在數字植物的研究之中擁有著切實可行的研究價值。

圖2 全息投影系統的基本結構

1.2.1 虛實相生的藝術觀感

PRATTE[17]在研究中指出，全息影像的應用使用戶在接受視覺信息時展現出更短的反應時間和更好的反應形式，可見全息影像可以提供良好的用戶體驗過程。實際上，舞臺領域的大量應用也證明，其可以為展示類的應用帶來出色的體驗。文獻[14]發現該技術在舞臺上的應用最早甚至可追溯至十六世紀，文獻[15]詳細分析了其結合全新技術在當今舞臺上發揮的全新優勢，動作捕捉、投影映射、沉浸式劇場、混合系統和硬件的飛速發展讓全息影像的成像效果邁上了新的臺階，不斷實現呈現效果的超越，造就更佳的觀感。

1.2.2 切實可行的應用價值

全息影像在現代進入大眾視野的契機，莫過于其一次又一次成功地為人們呈現幾近逼真的虛擬形象。LAM[18]詳細分析了著名虛擬偶像初音未來所造成的流行文化現象，認為其虛擬形象在現實生活中的建立和完善與其在演唱會上所呈現的逼真全息影像是密不可分的。已逝的著名歌星邁克爾·杰克遜也曾通過全息影像技術再現于舞臺上，重圓世界百萬歌迷的心愿，創造了非凡的紀念意義和商業價值[19]。從全息影像技術的多次成功、有效的應用中，可見其在當下的信息時代中具有切實可行的實用意義。然而截止到目前，全息影像的大量應用均集中于商業化的娛樂應用中，其價值大多體現在商業價值上。

需要注意的是，該技術所具備的獨特的真實性和再現性，在科研、教育等方面的也是相當具有實用意義的。KALANSOORIYA等[20]就全息影像技術在遠程教育方面的應用可行性進行了探索研究，認為其具有良好前景，并能克服當下教育環境中的一些局限性。

1.2.3 植物方向的應用現狀

如前文所述，全息影像技術的應用大多集中在展示領域，在其他領域的應用相對較少。盡管對數字植物相關的研究得到了相當的進展，但將其與全息影像技術進行結合的應用仍然較為少見。IMAMURA等[21]曾完成一套全息植物生長展示系統，兼具效率及實用性。CHANG等[22]則在針對彩色360°全息影像的生成過程進行研究時，運用到了數字花卉植物的相關素材模型。

1.3 相關研究分析

隨著數字顯示技術和材料學的發展，擁有一臺智能設備和一塊合乎規范的透明材質即可使普通用戶在生活環境內簡單地實現全息影像[23]。但是，這種條件下所生成的全息影像質量較低，細節模糊，無法貼合研究、教育類的應用需求。

文獻[12]通過透明玻璃及智能手機實現了影像的 180°全息顯示效果，LUO等[23]使用透明薄膜材料和 iPad實現了一種簡單的具有立體感的全息影像，文獻[17]使用透明玻璃和個人計算機等材料實現了幾種 180°全息顯示效果，但使用一臺整機設備、并進行270°全息影像實驗的研究較為少見。

因此，本研究考慮將全息影像技術與數字花卉植物的虛擬呈現進行結合，并基于270°全息影像的原理加以呈現，形成一套具有更佳展示效果的完整的數字花卉植物展示系統。

2 系統設計

2.1 系統運行流程

本文實驗嘗試實現一個可交互的 270°全息成像系統。用戶可以通過與裝置交互，選擇觀看單株花卉生長過程或相關花卉的插花作品動態展示(圖)。成像裝置的主體是一個由透明材料制成的四棱錐體，錐體的一邊貼近黑色襯底，以便加強成像效果，另三邊則沒有遮掩，方便用戶從270°的范圍內對全息圖像進行觀看。用戶的視線可以從錐體的任何一面穿透，在表面鏡射和反射的原理下，用戶便可以在四棱錐中看見漂浮在空氣中的立體影像(圖)。

2.2 系統結構

為實現全息影像與用戶的交互，成像區域以外將設置一面觸控屏，以便用戶與裝置進行互動。整個裝置由全息影像部分及交互觸控部分構成(圖5(a))。全息影像部分包括投影屏、透明四棱錐、黑色襯底及底座，交互觸控部分包括可觸控操作的顯示屏。用戶可以隨時根據喜好從交互觸控部分選擇想要觀看的影像類別，系統將用戶的輸入反饋至全息影像部分中的視頻源顯示屏中，使顯示屏中的視頻源進行切換。切換后的視頻源投影至四棱錐中，用戶即可觀看到所選擇的投影圖像。

圖3 系統流程設計

圖4 270°全息成像示意

圖5 裝置設計與構造

裝置的設計與流程示意如圖5(b)所示。裝置整體分為：①影像展示部分，包括一臺投影用顯示設備及一個成像用的透明材料四棱錐體；②用戶交互部分，包括一臺可觸控的顯示設備和一臺PC主機。PC主機所使用操作系統為Windows 7旗艦版Server Pack 1 64位。

運行流程可大致分為2個部分：

過程1.用戶通過在②中的觸控顯示設備上進行操作，選擇所需觀看的影像數據，主機生成對應的視頻源數據，顯示在①中的投影用顯示設備上；

過程2.①中顯示的全息視頻源透射在①中的透明四棱錐體之中，產生具有立體感的全息視頻。裝置整體只包含一個輸入源和一個輸出源，力求使用戶在交互體驗中體驗到最大化的簡潔感和直觀感，其硬件配置見表1。

表1 裝置硬件配置

3 可視化與交互實現

3.1 數字花卉植物全息視頻源制作

為了達到最好的成像效果，在制作影像時，需要制作黑色背景、尺寸合適的全息影像。符合制作規范的全息影像，可以十分良好地將三維重建出的植物模型與現實環境融合起來，營造出一種富有真實性的氛圍。植物模型影像色彩鮮艷、清晰度高，在透明空間中形成有透視感的幻象，加強形成良好的用戶交互體驗(圖6~7)。

圖6 符合制作規范的單通道視頻源(截圖)

圖7 符合制作規范的三通道視頻源(截圖)

3.1.1 視頻源尺寸規格

經過實驗嘗試，最為合適的視頻源格式為 swf格式，其體積小巧、易于輸出，用于實驗調試時較為便利。視頻源尺寸規范為每通道400 px×400 px。在這個尺寸下，視頻源的內容可以清晰、完整地在投影設備上進行播放(圖8(a))。

當視頻源的單通道尺寸大于400 px×400 px時，視頻源將無法完整地顯示在投影屏上。實驗曾嘗試720 px×720 px的片源，雖然其尺寸較大、能夠呈現更多細節，但畫面會受到裁切，使視頻信息丟失，影響最終呈現的視覺效果(圖8(b))。

圖8 不同視頻源的展示效果差異

3.1.2 視頻源畫面要求

由于本文實驗使用的投影設備能夠觀看的全息影像為270°的影像，因此在制作片源時需要輸出3個通道的全息視頻源。

在對制作好的三維模型進行打光、渲染、輸出成片的過程時，需要在保留燈光渲染效果的前提下，除去黑色背景中多余的雜色，保持純黑色背景，保證模型主體突出，與環境融為一體，呈現出虛實相生的表現效果，且在進行影像展示時毋需在人為制造的黑暗環境里觀看，也能達到較好的立體效果(圖)。

3.2 用戶交互設計

該裝置中的程序流程的核心部分為實現觸控屏與投影屏間的內容傳輸(圖10)。主要管理：①全息影像及與其對應的交互界面圖標的調用；②全息影像在三棱錐中顯示位置微調。

3.2.1 全息影像及圖標調用

通過調用外部XML文件數據，系統可以自動對播放視頻源進行定位，使用戶無需更改核心代碼，便可對展示對象視頻源內容進行調整。在數據庫中，首先定義根元素 app，并定義其中的子元素img。在調用 img作為圖標文件時，程序會自動在根目錄中尋找與img同名的swf格式文件作為視頻源文件并進行調用。XML代碼簡列如下：

圖9 不同背景展示效果差異

圖10 程序運行流程設計

3.2.2 全息影像位置微調

當全息影像在透明四棱錐體中播放時，根據播放內容的不同，也需對投影屏中的影像進行適配，改變其在透明四棱錐體中的顯示位置，使其達到最佳展示效果。通過編輯XML文件可以簡便地完成這一需求。首先定義根元素app，并定義其中的子元素left、top和 right，分別代表全息影像的左、前、右通道。每個子元素中各包括x，y兩個屬性值，代表影像在投影屏中的坐標值。XML代碼簡列如下：

4 成果及分析

4.1 實驗結果

實驗的最終成果如圖11和圖12所示。由圖11可見，從觸摸屏中，用戶可以從單株花卉生長過程和插花作品復原效果2部分中選擇需要觀賞的全息影像內容；圖2為透過透明四棱錐體所拍攝的全息影像成像結果。

圖11 整機實驗結果

圖12 裝置運行成果(左1和右1：單株花卉生長過程演示；左2和右2：插花作品復原效果展示)

通過對全息視頻源進行投影實現，最終可以直觀觀察到四棱錐空間中的全息立體影像。全息影像展現的效果清晰、立體、與環境無縫接合，觀感良好。裝置交互的效果直觀、簡潔，用戶可以迅速掌握交互方法，通過操作設備，自由選擇需要觀看的數字花卉類型，在單株花卉及插花作品間相互切換。

本文實驗實現了數字花卉植物的全息影像化及用戶交互的基本流程，證明相關應用是具有相當的可行性的。由于確定了全息視頻源的規格、制式，此后還能夠在該系統的基礎上進行進一步的視頻源庫建設，實現更為豐富、全面的數字花卉植物展示交互系統。

4.2 成果分析

4.2.1 實驗價值

在全息影像相關的研究之中，多數研究基于180°的平面投影進行實驗，實驗也多基于智能手機、個人計算機、平面玻璃板等基礎材料進行展開。本文在實驗設備的條件及原理上進行了更進一步的嘗試，生成了270°的全息影像，獲得了更為優秀的呈現效果。

本套系統的初步完成，使數字花卉植物、全息影像技術及人機交互技術獲得了一次整合。系統力求將三方面技術的優勢合而為一，將精確擬真的數字花卉進行了極具表現力的全息再現，并使用戶獲得與影像內容進行交流的渠道，實現了展示內容、表現方式、傳播渠道的三位一體，是一次具有意義的交叉學科嘗試。

4.2.2 不足與展望

囿于全息投影屏的尺寸所限，系統所生成的影像的尺寸仍然偏小。盡管已經運用高分辨率的視頻源，但其優勢未能完全展現，用戶的沉浸感和臨場感并未達到預期效果。此外，系統中所包含的影像內容相對較少。目前系統中的數據庫信息以單種花卉植物為核心主線進行展開，包括其生長過程信息及成花后的插花組合搭配信息，該數據庫信息量對于一個豐富完整的展示系統而言是不充分的。

在后續的實驗中，將繼續嘗試對全息投影質量及數據庫內容的完善，加強其觀賞性及科普性，對其展示效果進行深入優化。

5 小結

全息投影的原理由來已久，但在現代多媒體技術及材料科學的飛速發展之下，其魅力才得以真正完全體現，在教育、影視、科普等領域獲得了極大的發展與應用空間。本文嘗試將數字花卉植物影像置于全息投影設備中，進行全息化的展示，獲得了較為成功的效果，完成了設計初衷。

通過該實驗，數字花卉植物以一種新穎、直觀、交互性好的方式展現了出來，使虛擬影像與客觀環境較好地融合，最大限度地對花卉植物進行了表達，并滿足了用戶的交互與觀賞需求，在一定程度上可以在科普、展示等方面進行應用。在后續研究中，將嘗試建立更為完善、全面的數字花卉植物展示交互系統，進一步深化對數字花卉植物的研究與應用，以探究數字化時代中林農業科研的新思路、新形式。