西域文化博物館全景圖像拼接研究與實現

駱學森

（塔里木大學信息工程學院，阿拉爾 843300）

西域文化博物館；全景圖像

0 引言

全景圖通過廣角的展現手法以及繪圖、照片、視頻、3ds Max模型等各個形式，盡最大可能多表現出四周的環境。360度全景，是使用專業圖像采集設備來捕獲整個場面的圖像信息或使用建模軟件渲染后的圖片，再利用軟件進行圖像處理、圖片拼接等操作，使用特有的輸出設備將全景圖像輸出，即將傳統平面照片或者計算機建模圖片變為全景圖片，展現給觀看者。

全景圖像上世紀90年代問世到如今，已逐漸廣泛地被運用在各個領域中，其中包括安保、國防、文化娛樂、文物保護、交通工具行駛記錄、新型地圖服務等各個重要方向。全景圖像之所以能夠受到眾多科技前沿領域的追捧，是應為其比傳統圖像豐富的特點。全景圖像避免了傳統平面效果圖視角單一的缺點，為觀看者提供了各個方位的視角體驗。展現了形式良好的全景圖還擁有較佳的交互體驗，可根據觀看者的操作現象當前視角的圖像，本特征也是虛擬現實技術的基石。據目前針對全景圖像的研究已經較為豐富，涉及到眾多的技術細節問題，但更多的局限在圖像的拼接算法部分。

因此，本文將從全景圖像拼接研究和實現的角度來整體分析。主要通過介紹全景圖像相關的重要理論和關鍵技術，并融合一些具體的設計和實現來對全景圖像的拼接和實現做全面的解釋和驗證，并加以實現和完善。

全景圖像所包含的細節方向很多，其中主要包括全景圖像的采集、全景圖像的拼接、呈現形式和體驗方式這幾個較為重要的板塊。全景圖像的采集部分中，主要涉及到了圖像采集設備的抉擇、整體布局結構和支撐架構等方面。圖像采集模塊的設計好壞在極大程度上決定了上層設計的難易程度，以及最后的展現效果。全景圖像的拼接部分是最近幾年最受專家學者關注的部分，目前已經形成了較為穩定和非常優秀的處理算法，可根據具體的應用場景和需求類別進行抉擇和局部的適當優化。另外，在全景圖像采集和拼接部分的軟件系統設計中，采用如何的設計和實現能夠更加高效地處理多相機并發及多任務類型的工程業務一樣十分的重要。除此之外，全景圖像的展現形式的種類也很繁多，根據全景圖像投影模型的不同，基本類型可分為圓柱面、立方體、球面三種類型。目前全景圖像的呈現形式除了投影類型的區分外，基本都是以圖像的形式。本文將分析、設計和實現一種我校西域文化博物館采用全景圖片拼接展現形式的效果，以達到更好的體驗和效果，以適應更多的場景需求以及向更多的人展現西域文化的多姿多彩。

1 研究的目的與意義

圖像拼接技術的研究是在科技的飛速發展以及人們對現實應用的需求下飛速發展起來的，已成為計算機圖形學和計算機視覺領域專家學者的研究熱點，是近幾年來圖像繪制技術的重要研究內容。

本項目通過采集西域文化博物館各展廳數據（攝像機只能圍繞一個固定的軸進行旋轉，當攝像機拍攝完一張圖像后需要將攝像機旋轉一定的角度拍攝下一張圖像，重疊區域的要占圖像的1/3左右），經過數據的預處理（消除圖像采集過程中混入的噪聲），并經過圖像配準、圖像定位、圖像融合與優化等一系列流程，最終把西域文化博物館拼接成360度環形全景圖像，在豐富西域文化博物館傳統展示的基礎上，為人們提供立體、動感的視覺感受。

西域，為古今中西交通極其重要的樞紐地帶，是地理概念，也是文明象征，與歷史有著密切聯系。人們一提起西域文化，首先想到的便是絲綢之路，而絲綢之路不僅僅是一條貿易路線，還是承載了亞歐大陸文化交流，宗教傳播。如今，西域文化博物館試圖將文化遺產象征轉變為視覺表現符號，發揮古為今用原則，向人們展示西域文化的神秘與精要。西域文化博物館是坐落在南疆的塔里木大學，是一座集歷史、藝術、民俗、自然為一體的綜合性博物館，因地勢偏遠，所以人們對此所知甚少，基于此種現狀，本項目選擇對西域文化博物館全景圖像拼接進行研究與實現，想要通過此項研究完整的表達西域博物館的環境信息，帶給人們不同的視覺體驗，讓更多的人感受到西域文化的壯闊與瑰麗。

2 國內外研究現狀與發展趨

全景技術自上世紀90年代問世以來，全景圖像(視頻)作為高速發展的前沿科技領域，在國外擁有豐富研究和實踐成果，而國內的全景技術起步較晚。國外最早運用全景技術的是谷歌公司，在谷歌公司的Street View中，首次成熟的運用了全景圖像技術。參照谷歌公司街景的發展方式，亞馬遜旗下的搜索業務同樣采用街道全景車采集圖像，歷經半年多的時間，共獲得美國22座城市的主要街道的街景圖像數據，并經過后期編輯處理形成數據龐大的全景資料庫。

如今，全景圖像技術已日趨成熟，廣泛運用與各個領域中，在國內，隨著VR技術的興起，全景圖像也在迅速發展，主要的運用領域和發展趨勢：

（1）地圖信息

國內知名互聯網公司百度，在2013年8月在百度世界大會上首先發布，百度地圖將加入全景功能，百度地圖的全景與其他地圖全景服務的不同之處就在于，不僅將街道，城市轉換為全景，還將酒店、各地的風景名勝也加入了全景服務。

（2）酒店宣傳

商家就通過3D建模將酒店的結構和裝潢以及餐飲條件做成全景圖進行全方位的展示，吸引顧客。

（3）虛擬校園

通過全景圖可以讓學生和家長通過網絡就可以了解學校，而不是傳統的通過學校網站和新聞媒體。對學校的了解比傳統模式的效率以及感受，會有更加直觀的理解和認識。

（4）廣告營銷

全景技術在廣告領域的運用大部分還在視覺效果上，傳統廣告還停留在廣而告之的層面，而全景技術下，廣告不再是單向傳播的了，還可以與受眾進行交互。

3 項目分析

全景圖像拼接主要由七個關鍵處理過程組成：圖像的初步處理、圖像的配準、圖像的定位、調整捆綁、測光優化、圖像之間的融合和生成全景圖像，項目實現流程大致如圖1所示。

圖1 全景圖像拼接處理過程

下面對各個過程包含的步驟和所要解決的問題進行說明：

（1）圖像預處理主要承擔兩項任務：①對所使用的采集設備進行調整，獲取參數；②對因為相機而引起的圖像失真進行驗證獲取其校正后參數。

（2）圖像配準主要是用多幅待拼接圖片與參考圖片進行比較，從而找到兩者間具有重疊區域的圖像。然后對應的點求出重疊在一起的圖像間的變換矩陣。圖像配準的任務可以分為四個部分組成：①提取每幅圖像的特別點；②將提取出來的特別點，在和其他圖像上尋找與之對應的特別點；③按照一定的算法和規則，來對這些特征點進行選擇，去除錯誤的特征點，這種方法稱為特征點提純；④依據提純后的特征點來進行圖像的匹配，通過變換矩陣獲取最優的匹配。

（3）圖像定位主要目的就是將配準后的圖片再放入3ds Max建模中的位置，如果圖像只是在水平方向相鄰，那么只需要注重水平方向各個圖像之間關系，如果圖像不只有水平的關系，還有垂直方向的關系，那么我們就要首先確定其水平方向的關系，然后再根據其水平方向的關系來確定垂直方向的位置。

（4）調整捆綁的主要任務是將全景平面投影的變化矩陣的一些優化，具體工作兩部分組成：①將接有魚眼鏡頭的相機在時間不同，采集角度不同獲取到的圖像，通過逆變換過程重筑空間場景來將視角統一；②通過非線性最優化算法最小化相鄰圖像的匹配特征點對變換到全景參考平面后的距離，減小多次變換導致的全局累積誤差。

（5）測光優化的主要任務是將全景圖像進行優化，在視覺效果上，使觀看效果更具真實性和侵入感。

（6）圖像之間的融合是將圖像拼接過程中形成的縫隙和圖像重疊區域進行消除。

（7）全景投影輸出主要任務是將球形空間的大視角全景圖的投影作為平面可視圖像。方便在普通設備或者輸出設備上輸出。

4 項目總體設計

（1）使用接有魚眼鏡頭以及全景云臺、三腳架的數碼單反相機采集西域文化博物館的圖像，采集過程中要進行多角度的拍攝，角度偏差不得大于5度。

（2）將采集到的圖像進行圖像預處理，圖像配準，圖像融合，邊界平滑等處理，使其與真實場景存在的差別盡量減小。

（3）測量西域文化博物館的地形以及每條邊界的數據，利用CAD畫出西域文化博物館的建筑圖紙。

（4）對西域文化博物館進行簡單的建模，要求全方位，多角度的展現西域文化博物館的立體結構。

（5）在西域文化博物館的建模里貼上處理好的圖像，利用3ds Max的uv貼圖功能，將圖像放置在與博物館相應的位置中，產生全景物。

5 結語

全景圖通過廣角的表現手段以及繪畫、相片、視頻、三維模型等形式，盡可能多表現出周圍的環境。360全景，即通過對專業相機捕捉整個場景的圖像信息或者使用建模軟件渲染過后的圖片，使用軟件進行圖片拼合，并用專門的播放器進行播放，即將平面照片或者計算機建模圖片變為360度全觀，用于虛擬現實瀏覽，把二維的平面圖模擬成真實的三維空間，呈現給觀賞者。

形成全景圖的方法也用很多很多如：用相機直接拍攝自動生成全景圖、使用Photoshop軟件手動制作全景圖、使用特殊的軟件合成、簡單使用3ds Max進行貼圖制作、使用3ds Max建模到處全景圖，等等。

在本次項目中，我們研究了每個方法以及嘗試，最終選定為利用3ds Max進行簡單的建模然后把圖片貼入相應的位置最后生成全景圖。

使用相機直接拍攝全景圖簡單方便當場就可以生成全景圖，但是它也存在著一些硬性的條件；使用相機拍攝時必須要足夠的空間可以使相機進行旋轉拍攝，拍攝空間也要足夠大才可以否則無法生成全景圖。因此拍攝環境有著很大的局限性。例如：①在山地環境，找不到平整的地面，那么久無法架設相機；②在長、寬比例不好的環境；胡同、狹長的房間等都不可以使用相機直接拍攝。

使用特殊的軟件合成全景圖使用起來也非常的方便快捷，將要合成的全景圖分散的圖片全部導入軟件，軟件會自動識別拍攝的照片的重疊點以及重疊部分。對重疊部分進行刪除修改并利用多張圖片確定拍攝位置進行合成全景圖，這樣省去的很多人力物力。但是軟件合成的全景圖會存在一些瑕疵。軟件本身并不會去掉照片中的不足之處，如果拍攝時有光線的影響生成的全景圖也會出現明顯的光線差別，使全景圖看起來不太協調。軟件對照片也存在著很大的要求，拍攝的照片必須是在一個點上，因此在采集照片時也對空間有著要求，雖然沒有相機直接生成的局限性大，但是還是存在。

利用Photoshop軟件生成全景圖有兩種方法。方法一，Photoshop自動合成全景圖，這和特殊軟件合成是一個原理局限性也差不多。方法二，純手動制作全景圖，對所有圖片進行優化處理然后一點點合成最終合成全景圖，但是，要有高深的PS技術才能實現并對地理環境要非常的熟悉。

簡單的利用3ds Max建模進行貼圖并使用VR相機進行拍攝，最終渲染出全景圖。這個學起來方便快捷，但是使用的技術方面比較廣，很多技術都要涉及但都不要太高深的學習。要用到Photoshop、CAD等軟件進行幫助才能夠進行。全景圖渲染出來的效果也不是非常的好，因為所有的圖片都是經過二次處理效果看上去就不會很好了。首先是使用真實的相機進行拍攝，然后對圖片進行修改，在進行貼圖，最后在利用VR虛擬相機進行拍攝，這樣全景圖的真實感就會降低。

利用3ds Max建模生成全景圖，會給人特別真實的感覺就好像你肉眼看到的一模一樣，但是3ds Max建模對3ds Max技術有很大的要求。首先要高深的建模技術，因為每個物體都有自己的特點。對建模就有這很高的要求例如：西域文化博物館中有一個小閣樓的模型，要對它進行建模就要了解它的比例材質等要素，這就要有很深的美術功底作為支撐。因此，3ds Max建模對技術有這很大的需求。

本次項目通過對以上的方法進行試驗和研究最終采取的是3ds Max簡單建模進行貼圖生成全景圖。以為西域文化博物館的每個展廳的建造不同，房間的比例不同，有空間很大的展廳，也有空間很小的展廳，有四四方方很適合直接拍攝成全景圖的房間，也有狹長的房間，這樣對全景圖的制作帶來了很大的困難。技術上也存在著很高要求的限制等。本次項目嘗試了以上所有的方法，最終確定利用3ds Max簡單建模進行貼圖這個方法完成本次項目西域文化博物館全景圖像拼接。

6 展望

在此次大學生創新創業中，對于全景圖像也有了一定的理解和成果，在全景圖像的拼接與實現中所運用的知識幾乎涵蓋了圖像領域和虛擬現實中的各個方法。但對于整個圖像和虛擬現實領域中，此次項目所運用到的方法以及算法只能算是皮毛而已，我們站在巨人的肩膀上，目前，作為一名大學生，所接觸到的，都是前人總結并提出的設想與理論，隨著，科技的發展，一些看似遙不可及的東西，正在被逐步的實現。

在此次項目中，由于個人能力的不足，以及學業上壓力，對于許多問題還沒有徹底的理解與消化。

但筆者認為，在科技如此飛速發展的當今時代，全景圖像已被廣泛運用于虛擬現實，計算機視覺等領域，不久的將來，全景圖像會被更加廣泛地運用。