平面照片上的3D之舞

方陵生/編譯

平面照片上的3D之舞

方陵生/編譯

●操控數碼照片，填補隱而不見的部分，可擁有廣泛的實際應用，包括從家具設計到事故現場重現等。

一些照片編輯應用軟件，如Photoshop，在攝影愛好者群體中廣泛應用。Photoshop可讓普通用戶超越攝影取景范圍的限制，提供特殊手段改變圖像的顏色、移動像素、將人工元素結合進自然攝影照片中。通過這類手段，極大地擴展了用戶表達和發揮想象力的能力。

然而，傳統的圖片編輯應用軟件在很大程度上還只能局限于圖像場景的二維視圖，如照片中跌倒在地板上的一把椅子，不能通過圖片編輯處理手段將它從地板上扶正，翻轉過來，重新安放在沙發旁邊。物體的三維特性對于人類來說是一種直觀體驗，因為我們有著接觸并了解3D物體特性的人生經驗。但一般的照片編輯軟件卻缺乏對隱藏在表象之下看不見的3D元素的相關認知，如圖片場景中對象看不到部分的幾何形狀和色彩，相機能夠捕捉并反映在照片上的只有二維像素。

要想獲得對象的3D特性，方法之一是使用計算機輔助設計（CAD）軟件，模擬物體的形態和場景中光線的明暗對比。但這是一個很難解決的問題，表面凹凸不平的羊毛沙發套、靠墊上的皺褶、茶幾上的污漬、扶手椅的彎曲度，還有地毯上的紋理、花瓶的華麗色彩、窗外防護網上的磨損痕跡，以及窗外樹上的不同形態的片片葉子，可以想象復制重現房間里所有生活中細節的難度！誠然，模擬3D視覺效果的公司能夠重新創建出整個場景的特殊立體效果，但他們也需要通過龐大的專家團隊、多任務的分工合作，以及專門的設備來實現，普通用戶只能望洋興嘆了。

新的3D模擬軟件的目標是要為用戶提供完整的3D控制，重點是如何自動推斷出與照片中現場圖景中對象相關部分背后的三維結構。例如，要將照片中翻轉的椅子扶正，軟件需要推斷椅子和地面接觸部分的三維結構，包括椅子隱而不見的各個表面，讓用戶可以“看見”椅子隱藏的部分，以及與隱藏部分相應的陰影和明暗光線效果。

與照片中對象隱藏部分匹配的3D背景可以有許多選擇。以椅子圖片為例，可以是如圖中擁有光滑纖維材質的椅子，也可以是蜂窩布表面的椅子，并且還可以是轉拍自另一張圖片的照片。軟件需要推斷出對于人類直覺來說最合理的場景，首先要具備對圖片中對象的實際操控功能。

用戶可對攝影圖片進行多種3D操作（從上至下），如：翻轉對象，發現它們隱藏的部分；進行復制和變形操作，創建一些特技效果，如懸浮在半空中的水果；或改變對象用途，如將一頂大禮帽變成一頂魔術師的帽子；用戶還可以對畫作進行修改，例如法國畫家奧迪隆·雷東1901的靜物畫；甚至還可以對一些歷史照片上的對象進行操作，如二次大戰中“復仇者”式魚雷轟炸機編隊的照片

數據庫3D模型：人生經驗代理者

即使信息本身不完整，人類通過日常生活中豐富的常識或經驗，也可以即刻想象出照片中對象完整的三維結構和顏色。我們知道這張椅子還有圖中看不到的第四條椅子腿，也能想象到椅子座位背面的樣子等。如果軟件能成為人類經驗的代理者，它就可以解決這個問題，讓用戶對圖片中的對象進行一些操作。

幸運的是，大型公共數據庫的3D模型可以作為我們人生經驗的代理者。3D模型可通過數學形式描述某個對象的幾何形狀和外觀。例如，一張白色靠墻桌的3D模型標有這個白色長方體的桌腿和桌面的詳細尺寸。3D圖片庫和Turbosquid圖形工作室（世界知名的3D建模團隊）等網站都提供有大量3D模型，如家具、車輛、建筑地標、家居用品、玩具、電子設備、植物和動物等。通過將某個物體的3D模型代入照片中，軟件就可以為用戶提供對象的3D控制功能。

使用三維模型的方法之一是“抹去”圖片中的對象，用3D模型代入。Photoshop有一個叫做“內容感知填充（Content-Aware）”的功能，可自動偵測圈選內容，自動對周圍材質運算后進行填補，將背景中的像素加入對象；對象插入功能可允許用戶將3D模型插入各種圖片中，允許用戶手動創建陰影或自動生成插入對象的虛擬陰影。伊利諾伊大學香檳分校的大衛·福賽斯（David Forsyth）和他的同事正在對最后一種方法進行探研。

但對象插入法不適合對象的修改。當3D模型疊加到圖片中椅子上時，幾何圖形可能不會完全重合，色彩深淺也會有很大區別。此外，三維模型不能提供光線效果的相關信息。要完全精確替代圖中的對象，圖形對象處理軟件需要對3D模型的幾何形狀進行修改，推斷出光線投影產生的陰影和明暗對比，對模型對象的外觀進行完善，以與圖片中的對象完全相匹配。

人們可能會說，既然3D模型不匹配，那就應該尋找完全匹配的3D模型，但事實上，3D模型與實際對象之間的不匹配現象是很普遍的。不可能為每一個實例找到完全匹配的三維模型，例如，一根香蕉。此外，一些網上3D圖庫中的模型的設計者可能無法獲得對象的精確規格尺寸。在某些情況下，一個與拍攝對象相近的3D模型可能就相當不錯了。

攝影師捕捉圖像時往往會按照自己的想法調整相機、拍攝對象和場景光線之間的關系，如果3D模型改變了拍攝對象的結構或外觀，有可能會偏離攝影師的初衷。軟件的目的是，為用戶對圖片中對象的方向和位置進行調整提供全面直觀控制能力的同時，保持拍攝元素的原始特征。另外，如果攝影師想要創建對象的一個動畫畫面，例如，通過一張簡單的紙鶴照片，創建一幅翩翩飛鶴的動畫圖片，一個不夠精確的3D模型產生的圖像與原始照片將會格格不入，無法提供一個自然流暢的轉換。

軟件可展示照片背景環境中從各個角度到達拍攝對象的光量（a），將光線圖作用于拍攝對象，可產生陰影，如c中所示。用光點代表的不同方向球形內核（b、e、f）創建出一個方向正好相反的陰影（d、g、h），軟件通過結合這幾個球形的數據，將各個方向的光影效果結合在一起，估算和創建出現場的光線陰影圖

外觀設計與光線模擬：創建真實感的明暗光線和陰影

3D建模軟件首先將三維模型的幾何輪廓與拍攝對象進行匹配。用戶將3D模型加載到應用程序，并提供拍攝對象與3D模型之間從二維到三維轉換的相一致之處，引導軟件確認拍攝對象每個元素的參考標志。有了這些標志，軟件可通過瑞士洛桑聯邦理工大學的帕斯卡·弗瓦（Pascal Fua）和他的同事開發的一種叫做“透視n點”的算法，對三維模型在場景中的位置和方向進行評估，通過軟件系統的算法確定3D模型的旋轉和疊加，讓3D模型和2D攝影圖片的相對應部分達到最佳匹配。

接下來，用戶移動疊加3D模型上的參與點與2D攝影對象的輪廓對齊。軟件通過優化操作，確定3D模型與用戶提供2D圖片上各點的最佳匹配方案，同時保持3D模型的對稱度和平滑度。許多對象，如椅子、桌子、車輛、燈具、填充玩具和動物等，都有對稱的主平面，被稱為“雙邊平面”。優化程序可確保3D模型在通過兩維平面形狀發生變化時，原始3D模型上的各個對稱的點要繼續保持對稱。優化程序還可確保用戶每移動一個點，與它相鄰的點也會做出相應的移動，以保持3D模型的平滑度。

在幾何圖形達成一致后，軟件可開始設計3D環境背景下的光線明暗和陰影“地圖”。圖中用球形來表示在3D背景下從各個方向抵達現場的光量。較淺區域代表較為強烈的光源，如房間墻上的熒光燈；黑暗區域代表較弱的光源或沒有光源。中等強度的光源代表反射在白色墻壁上的光線。環境地圖應用于場景中的對象和背景，可令拍攝照片產生逼真的光線明弱和陰影效果。

光照環境地圖是軟件通過一組叫做von Mises-Fisher的內核探查照片背景產生的，8個球形以不同的方向和角度旋轉獲得代表光量強弱的內核。例如，圖中第一個內核探測右邊對象的光量，或在其左邊產生陰影的濃重程度。最后一個內核探測的是對象背后的光量或其前面陰影的強弱。通過對探測結果的綜合分析，軟件可自動進行推導，例如，如果椅子下面陰影濃重，說明椅子上方存在有強烈的光源。

這一次，我們同樣可以利用優化程序來確定環境光線與照片中對象的關系。為優化光線效果，軟件還額外提供了對象不受光線影響并且無陰影的外觀和真正色彩。為全方位地提供場景中對象的3D控制，軟件需要完成對象隱藏部分的外觀設計，如此軟件才可以將3D光線效果作用于對象，不管顯示出來的是物體對象的哪個隱藏部位，都能夠產生看上去極具真實感的光線明暗和陰影效果。

軟件可利用物體的對稱性給出包括隱藏部分在內的對象的完整外形，例如，椅子左邊與椅子右邊是完全對稱的，雖然椅子背面與其他任何部分都不是完全對稱，但與椅子正面大致對稱。人類可以相當準確地辨別精確對稱與大致對稱之間的區別。軟件首先對對象的大部分對稱平面進行評估，包括精確對稱和大致對稱，然后將可見部分的平面形狀代入相應的對稱部分，通過修正最后達到預期效果。

3D之舞：旋轉和翻轉等

軟件在完成對象的外觀設計后，系統就具備了進行一些其他操作的條件，如實現3D圖像的旋轉、平移、變形和復制粘貼等；又如操縱對象創建因汽車側翻而造成的交通堵塞的場景，或讓畫面中的水果懸浮在半空中等；如果用戶愿意，甚至還可以控制改變物體的用途性質，如將一頂大禮帽變成魔術師的帽子；用戶還可以通過非攝影手段操縱對象，如在一些繪畫作品或反映歷史場景的照片上對目的對象進行操作；利用3D建模軟件可制作動畫的功能，用戶可充分發揮他們的創造力和想象力，如讓靜態畫面中的紙鶴變身為翩翩起舞的飛鶴。

我們可以預測，3D建模軟件為更多實際應用開辟了新的可能。例如，對事故現場或犯罪現場的真實模擬等，軟件還可以幫助家具的設計和布置，甚至對于醫學上的器官重建手術也有很大幫助，軟件還可以幫助用戶直接打印出照片中對象的3D圖片。

[資料來源：American Scientist][責任編輯：彥隱]