淺談用于電影虛擬制作的全景圖像縫合技術

劉　沛　（北京電影學院　100000）

?

淺談用于電影虛擬制作的全景圖像縫合技術

劉沛（北京電影學院100000）

摘要：圖像縫合技術是一種解決單一相機（攝影機）視角不足，通過對場景多個角度的拍攝最終獲取更廣視角全景圖像的技術。隨著電影產業和數字圖像處理技術的不斷發展，全景圖像已經廣泛應用于虛擬現實和電影后期的合成背景。在電影領域中，全景圖像由于其視野廣、分辨率高、復雜度小、真實度高等優勢，可以作為完美的電影背景畫片。同時可以應用在實時預演系統里，使導演可以在現場實現實時合成效果的監看。

關鍵詞：全景圖像；縫合技術；Ptgui

一、全景圖像概述

全景圖像的英文panorama，是從希臘語π?ν和?ραμα發展而來，英文直譯為all和sight，是指任何大視角表現現實空間的圖像，十八世紀愛爾蘭畫家Robert Barker在表述他在愛丁堡和倫敦所作的全景畫作時，第一次用到了panorama這個詞。事實上，在panorama這個詞出現之前，使用全景表現空間場景的畫作早就誕生了，我國北宋畫家張擇端的《清明上河圖》，采用散點透視構圖法，將北宋徽宗時代首都汴京（今河南開封）郊區和城內汴河兩岸的建筑及生活場景，展現在長528.7cm，寬24.8cm的平面上，這是人類歷史上利用全景展現空間場景的最早嘗試之一。西方的全景繪畫起源于18世紀，panorama這個詞也誕生于那個時期，到19世紀時盛極一時，西方的全景繪畫一般版面很大，很多作品長度都在100米以上，必須在專門的圓柱形展覽館內向人們展示。

全景圖像的縫合指的是利用攝影機平移旋轉或多部攝影機多角度拍攝得到的具有部分重疊信息的圖像樣本，生成一個具有較大視場角的全景圖像。即用攝影機對場景一定范圍內進行全方位的圖像采集，然后再由縫合軟件對局部圖像進行拼接，生成包含這組局部圖像全部信息的新視圖。最終生成的全景圖像按照顯示方式（即投影方式）的不同，主要分為柱面、球面、立方體等幾種，其中在虛擬電影的應用方面，通常以柱面和球面為最為普遍的投影方式。

二、全景圖像縫合軟件與縫合原理：

在全景圖像的縫合中，我們所依據的是圖像序列中相鄰兩幅圖像的重疊區域的相似性，有基于特征的縫合方法和基于相位相關的縫合方法等，兩種方法的算法和原理都不相同。基于特征的縫合方法主要從兩幅圖像中選擇一系列特征點，然后根據相似性原則進行圖像間的特征匹配。而基于相位相關的縫合方法是直接從圖像重疊區域對應像素灰度值出發考慮，利用所有可利用的數據實現精確的匹配。

從全景圖像的素材拍攝完成，到最后的全景圖像的生成，就是全景拍攝的后期工作，即全景圖像的縫合過程。全景圖像的縫合工作主要目的是如何以效率更高、速度更快、質量更高的方式將拍攝的全景素材，即同一場景不同角度的圖像拼合成一張視角更廣的完整的全景圖像。在實際應用中有很多軟件可以實現從全景素材的導入、生成、編輯到最終全景圖像的輸出這一完整的后期流程。比如PTGui Pro、Kolor Autopano、Pixtra PanoStitcher、Pano2QTVR、PanoramaStudio、Image Composite Editor等。其中PTGui Pro是一款開源的全景圖像縫合軟件，從1996年誕生以來不斷的更新升級，現在已經可以實現對全景圖像的畸變校正，視點調整，標記點編輯，曝光調整，圖像優化等操作，通過參數的調整彌補拍攝過程的操作不當對全景圖質量帶來的影響。

三、全景圖像的縫合流程：

全景圖像的縫合，歸結為兩點，歸根結底需要解決兩個問題，一個是全景素材的對齊，二是全景素材的融合。在PTGui中，從全景圖像素材的導入，到最終全景圖像的生成，需要以此經過鏡頭參數的設置、投影方式的選擇、特征點的尋找和標記、圖像的融合、和全景圖像的生成等步驟，下面將以PTGui為例，詳細講述全景圖像的縫合流程。

1.鏡頭參數的設置

在圖像導入PTGui后，首先需要進行的是鏡頭參數的設置，在鏡頭參數設置中，包含了鏡頭類型、鏡頭焦距、焦距乘數、水平視場的參數調節，在高級選項中，提供了鏡頭校正參數、圖像位移和圖像修剪的參數調節。其中大多數設置由PTGui自動確定。

要創建一個無縫的全景圖，源圖像需要被重新映射（也稱為扭曲）。這可以看作是一個透視變換：源圖像的透視變換成所生成的全景的角度。對于實現一個正確的變換，PTGui需要知道拍攝全景圖像使用何種鏡頭。其中，鏡頭的類型和他的視場角是兩個關鍵參數。

2.投影方式的選擇

全景圖像是對場景的一種平面展示，換言之，是將三維的環境投射到一個二維的表面上，稱之為投影，PTGui提供了多種可選擇的投影方式，不存在一種完美的投影方式，每種投影方式都具有其特有的優勢和局限，用戶需根據自己的需求選擇合適的投影方式。

3.特征點的尋找和標記

特征點的尋找和標記是圖像縫合中最為關鍵的一步，通過尋找圖像的特征點，我們可以大致確定相鄰兩幅圖像的重合區域，并通過重合區域的特征點對相鄰圖像進行配準。全景圖像的縫合質量主要依賴于圖像間配準的精確程度，在PTGui中，圖像配準的算法是基于特征點匹配算法，其工作流程為：1.提取所有原始全景素材圖像的特征點。2.根據特征點對相鄰圖像進行圖像匹配。3.計算圖像變換關系。4.對圖像進行幾何變換。5.縫合兩幅圖像。

4.圖像的融合

當對所有特征點進行標記之后，事實上此時多個全景圖像素材已經拼合成一幅完整的全景圖像了，對于無視差現象的全景圖像，標記點在沒有出現明顯精度誤差的情況下是不會出現圖像的錯位的，但是假如圖像間存在曝光差異，圖像間會出現由于曝光不同產生的接縫，圖像的融合就是利用算法對圖像間重合部分進行曝光過渡，消除接縫。

5.全景圖像的輸出

PTGui通過創建全景圖面板完成全景圖像啊的輸出，在創建全景圖像面板下，分為普通和高級兩種選項，在普通選項中，我們可以對全景圖像完成基本的設置，分別是全景圖像分辨率、輸出文件格式、圖層和輸出路徑。

四、結語

在電影虛擬場景的搭建中，我們希望盡最大可能提高虛擬場景的真實性，真實度越高的虛擬場景，越可以使觀眾獲得更高的沉浸感，而使用全景圖像作為虛擬場景中的背景可以克服三維模型方法帶來的缺陷，由于全景圖像具有真實度高、復雜度低等優勢，所以目前基于全景圖像的縫合技術構建的虛擬場景被應用于電影工業中，隨著電影工業越來越成熟，全景圖像的在影視中的應用也會越來越廣泛。

參考文獻：

［1］漆馳，劉強，孫家廣.攝像機圖像序列的全景圖拼接［J］.計算機輔助設計與圖像學學報，2001，13（7）：605-609.

［2］楊燕，王雪瑞，戴青，等.球面全景圖像生成技術的研究［J］.計算機應用與軟件，2007，24（10）：164-165.

［3］方賢勇.圖像拼接技術研究［D］.浙江大學，2005：49-52.

作者簡介：

劉沛，1990年4月7日，男，漢，山東省青島市，碩士，北京電影學院，研究方向：數字電影技術。