基于柱狀全景圖的電子對景圖展示系統研究

鄭亞波，王涌，郭海亮

（1. 海軍大連艦艇學院 航海系，遼寧 大連 116018；2. 海軍大連艦艇學院 訓練部，遼寧 大連 116018）

基于柱狀全景圖的電子對景圖展示系統研究

鄭亞波1，王涌1，郭海亮2

（1. 海軍大連艦艇學院 航海系，遼寧 大連 116018；2. 海軍大連艦艇學院 訓練部，遼寧 大連 116018）

傳統對景圖精度和清晰度不高，真實感和交互感不強。針對這些不足，提出一種電子對景圖制作與展示的新方法。該方法基于柱狀全景圖，通過圖像匹配和融合等圖像處理手段實現對景圖的無縫拼接，運用VS2010 開發的全景瀏覽器，可展示 3D 視覺效果，實現交互式操作。實驗表明該方法能取得較好的視覺效果，真實感強。

柱面投影；電子對景圖；圖像拼接；全景瀏覽

0　引　言

對景圖是陸地和海上物標與船舶相對位置的縮影，它可有效幫助航海人員辨別復雜海區目標相對位置、識別航門水道和轉向目標，從而保證船舶的航行安全。當前使用的對景圖主要通過 2種手段獲取海上素描和現場拍照。海上素描便于組織實施，使用的器材較簡單，是制作對景圖的重要手段，但素描對景圖對制圖人員繪畫功底和艦艇的運動狀態要求較高，繪制時間長，繪制的對景圖精度和清晰度不高。現場拍照對景圖對拍攝人員和艦艇運動狀態要求低，制作速度快，目標相對位置準確，圖像清晰直觀，精確度高，真實感強，可見，現場拍照對景圖是對景圖發展的趨勢。但目前現場拍照對景圖也存在一些問題，如圖幅不夠廣，不能反映整個海區全貌，數量有限，不方便查看和調閱等，而全景技術正好可以解決這些問題。

全景技術是近年來發展起來的一種基于圖像的繪制技術，它具有繪制速度快，場景顯示逼真度高，導覽性和交互性強、可展示 3D 效果，用戶“沉浸”感強，對計算機硬件要求不高等優點。全景技術可為用戶提供超大視野的實景圖片和360° 視角的虛擬漫游，可讓用戶在瀏覽全景時體驗到身臨其境的真實感和交互感。

本文將全景技術運用到對景圖的制作和使用中，建立了柱面全景圖模型，描述了電子對景圖制作技術的基本原理和步驟，設計并實現了海區場景的瀏覽，真實再現了海區陸標的基本情況。

1　柱面全景圖模型

全景圖像依據其投影平面的形式不同可分為球面全景圖、立方體全景圖和柱面全景圖，柱面全景圖雖不能達到球面和立方體全景圖完整地反映整個視點空間的顯示效果，但它也具備以下顯著優勢：

1）數據采集相對容易，所需設備相對簡單，一般普通的相機和三角架即可滿足拍攝要求；

2）圖像合成算法和投影算法難度較小，處理時間較短；

3）柱面全景圖可展開為矩形圖像，能以圖像格式進行存儲，方便調用和訪問。

雖然柱面全景圖只能展現垂直方向上小于 180°，水平方向上 360° 的局部環視場景，但航海上使用的對景圖只關注海面附近島嶼、助航標志、危險物等物標信息，并不需要天空和海面信息，因此，柱面全景圖即可較好地表達出海區環視環境，能夠滿足對景圖制作的基本要求。本文主要探討用圓柱面作為映射表面的海區場景圖像的拼接與展示。

所謂的柱面全景圖是指將采用定點旋轉拍攝方式獲取的一組具有重疊區域的連續環視圖像序列拼合在一起所形成的全景圖。拍攝得到的圖像序列是海區場景在不同視角方向所對應的視平面上的二維投影，如圖1（a）所示，它們具有一部分重疊區域，但并不在同一投影平面上，投影存在一定的夾角，若直接對這些圖像進行拼接無法滿足全景視覺一致性要求，且增加了圖像匹配的難度，不能達到較好的拼接效果，甚至拼合圖像在重疊區域會發生局部扭曲現象，無法滿足實際場景中各對象間的幾何關系。因此，在拼接前需進行柱面投影變換，即將待拼接的圖像分別投影到一個以固定視點為中心的假想圓柱面上，使現實世界中相同的景物在不同的局部圖像中相同，對投影后的柱面圖像進行拼接才能得到沒有畸變的柱面全景圖像。

1.1柱面投影模型

平面圖和柱面投影圖的關系如圖1所示，圖中虛線部分為原始平面圖像在圓柱面上的投影圖像，以圓柱中心 O 為坐標原點建立三維空間坐標系，該點也是投影中心和觀測者的視點，圓柱的半徑為相機的焦距R，原始圖像的寬度和高度均為W、H，水平視角為α，平面圖上的任一點 Q0（x0，y0）在柱面上投影點 Q的二維圖像坐標為（x，y），二者之間的轉換關系為［1-2］：

圖1　柱面投影變換Fig. 1　Cylindrical projection

1.2柱面反投影模型

在進行場景漫游時，為使場景具備較強的真實感和交互感，需按照用戶的輸入改變觀察方向和焦距，將柱面全景圖實時地映射到與用戶觀察方向相同的視平面上，并在屏幕上顯示出來，這一過程通過柱面反投影來實現。柱面反投影是全景圖瀏覽技術的核心，是柱面投影的逆過程，用戶在全景視點瀏覽時，系統需要不斷地對全景圖某個局部進行反投影運算。根據柱面投影變換公式可推導出柱面反投影變換公式如下［2］：

2　全景圖制作流程

全景圖的制作一般包括圖像獲取、圖像投影和圖像拼接 3個步驟。圖像拼接是最為關鍵的一個環節，拼接效果將直接影響到全景圖的質量。圖像拼接一般可分為：圖像預處理、圖像匹配和圖像融合 3個步驟。圖像預處理是指對待拼接的 2 幅圖像進行幾何畸變的消除和圖像噪聲的抑制。在采集海區柱面全景圖的圖像序列時，由于拍攝環境較為標準，不易產生較大的幾何畸變和嚴重的噪聲，因此可根據具體情況省去這一步驟。

2.1圖像匹配

圖像匹配是指提取出 2 幅待匹配圖像中的匹配信息，利用獲得的匹配信息找到適合待匹配圖像的最佳匹配，使 2 幅圖像能夠準確對齊。圖像匹配是圖像拼接最為重要的一個環節，圖像匹配成功與否直接影響著圖像拼接的效果好壞。

圖像配準方法大致可以分為兩類：基于區域的配準方法和基于特征的配準方法［3-4］。基于特征的配準方法應用較為廣泛，它具有計算量小、匹配精度高、受光照變化影響較小、抗干擾能力較強等優點。根據提取圖像特征的不同，基于特征的配準方法又可分為基于點特征的配準方法、基于線特征的配準方法和基于面特征的配準方法，其中基于點特征的配準方法應用最為廣泛。

基于點特征的配準方法一般要經過 4個步驟［5-6］：1）在相鄰 2 幅圖像上提取特征點

目前，特征點提取方法有很多，如：Harris 算法、SUSAN 算法和SIFT 算法等。其中，David G. Lowe 提出的 SIFT 算法對尺度變化、視角變化、光照變化、噪聲等都有很強的魯棒性，非常適宜復雜多變海區環境條件下所采集的場景圖像特征點的提取，因此，本文采用 SIFT 算法進行圖像序列特征點的提取。

SIFT 算法在進行特征點提取時首先構建尺度空間，在圖像二維平面空間和高斯差分（DOG）尺度空間中同時檢測局部極值，以確定候選特征點，再對候選特征點進行精確定位，通過對尺度空間 DOG 函數的曲線擬合去除不穩定的極值點，通過設置閥值確定關鍵點，利用 Hessian 矩陣剔除邊緣響應點。

2）利用一組參數對特征點進行描述，生成圖像特征點描述符

為了增強匹配的穩健性，降低噪聲干擾，對每個關鍵點使用 16個種子點來描述，最終形成 128 維的SIFT 描述符。這種描述符具有尺度和旋轉不變性的優點，能夠準確地提取尺度和視角差異較大的相鄰圖像間的特征點。

3）對特征點的參數進行匹配，找出 2 幅圖像中相同特征點的對應關系

特征點的匹配通過計算特征點描述符間的歐式距離來實現，生成特征點描述符后，通過計算 2 幅圖像之間特征點描述符的歐式距離，可得 2 幅圖像的匹配程度，通過設定匹配度閥值，即可得到相同特征點的對應關系。

4）進行圖像配準

首先通過匹配點對求解圖像間的初始變換矩陣，為了提高圖像配準的精度，再采用 RANSAC 算法對圖像初始變換矩陣進行求解與精煉，最終得出精確的變換矩陣。

2.2圖像融合

由于受到拍攝時光照差異和相機微小抖動等因素的影響，相鄰 2 幅圖像在拍攝過程中必然存在著一定的差異。若直接將存在差異的 2 幅圖像進行拼接，拼接的邊界就會產生一條分界線，導致圖像過渡不平滑自然。要解決這一問題就需對圖像序列進行圖像融合處理，減小或消除相鄰圖像所存在的差異，去掉圖像間的拼接縫隙，以使邊界平滑過渡，讓整幅柱面全景圖看起來像是在同一時刻、同一光照條件下拍攝的場景。

目前，圖像融合技術發展的比較成熟，主要方法有直接平均法、加權平均法、中值濾波法、基于塔形分解的圖像融合方法和多分辨率樣條技術融合法等［7-8］，本文采用加權平均法進行圖像融合。

該算法將重疊區域相鄰 2 張圖像像素點的灰度值按一定的權值相加，結果即為全景圖像對應像素點的灰度值，其公式為［3-9］：

其中：Image_L和Image_R 為重疊區域中的某一點在左右 2 幅圖像中的灰度值 d1，d2為重疊區域中的某一點到重疊區域左、右邊界的距離

3　電子對景圖展示系統的具體實現

3.1全景圖制作

通過手持相機定焦旋轉采集同一海區場景的圖像序列進行實驗，相鄰圖像間保持 20%～30%的重疊區域，圖2為采集的某海區的圖像序列，圖3為拼接后該海區的電子對景圖，可以看出利用本文方法可以實現相鄰圖像的平滑無縫拼接，拼接后的圖像視野范圍得到了很大的擴展。相較圖4的素描對景圖，電子對景圖展現的場景更加精細準確，真實感更強。

圖2　原始海區圖像序列Fig. 2　Original image sequence of sea area

圖3　電子對景圖Fig. 3　Electronic front view

圖4　素描對景圖Fig. 4　Sketch front view

3.2全景瀏覽與交互的實現

海區全景圖拼接完畢后，還必須要有全景瀏覽器才能實現交互式的全景瀏覽。在瀏覽柱面全景圖時，根據人體視覺特性，視場中顯示的應是一幅幅隨著觀察角度連續變化的平面圖像。本文采用 VS2010 開發出一個全景瀏覽器，可實現實時交互式海區場景瀏覽。如圖5所示，瀏覽器導入 JPG 格式的電子對景圖后，根據用戶視線方向和焦距在全景圖中截取相應的區域圖像，調用反投影算法將這部分圖像呈現到瀏覽器的顯示窗口上。當用戶用鼠標進行左移、右移、仰視、俯視操作時，可從多視角展現航經海區的情況，當用戶用鼠標進行放大、縮小操作時，可在不同距離上顯示海區情況。縮小時展現海區概況，視域較廣，放大時展現島嶼、助航標志的細節信息，相對圖4的素描對景圖來說，展現的細節更加細膩。

圖5　電子對景圖展示系統Fig. 5　Electronic front view display system

4　結　語

基于柱狀全景圖的電子對景圖展示系統為航海人員瀏覽虛擬海區環境提供了一種全新的方式，可有效解決目前航海上對景圖制作和使用過程中存在的諸多問題。該系統具備視角多樣、視域廣闊、真實逼真、交互性強的優點，可讓航海人員身臨其境的處于虛擬海區環境中，在觀看逼真的海區實景圖像同時，完成交互功能，從而使航海人員可以更加快速、準確地了解海區情況和辨認海區陸標。

［1］黃有群， 付裕， 馬廣焜. 基于RANSAC算法的柱面全景圖拼接方法［J］. 沈陽工業大學學報， 2008， 30（4）： 461-465. HUANG You-qun， FU Yu， MA Guang-kun. Cylindrical panoramic image stitching method based on RANSAC algorithm［J］. Journal of Shenyang University of Technology， 2008， 30（4）：461-465.

［2］王少波. 基于手持拍攝方式的柱面全景圖的自動識別和生成［D］. 上海： 上海大學， 2009. WANG Shao-bo. Automatic recognition and production of cylindrical panorama by handheld shooting［D］. Shanghai： Shanghai University， 2009.

［3］BROWN L G. A survey of image registration techniques［J］. ACM Computing Surveys， 1992， 24（4）： 325-376.

［4］ZITOVá B， FLUSSER J. Image registration methods： a survey［J］. Image and Vision Computing， 2003， 21（11）：977-1000.

［5］李寒， 牛紀楨， 郭禾. 基于特征點的全自動無縫圖像拼接方法［J］. 計算機工程與設計， 2007， 28（9）： 2083-2085. LI Han， NIU Ji-zhen， GUO He. Automatic seamless image mosaic method based on feature points［J］. Computer Engineering and Design， 2007， 28（9）： 2083-2085.

［6］崔漢國， 張星， 劉曉成. 一種改進的全景圖生成算法［J］. 海軍工程大學學報， 2006， 18（2）： 33-36， 58. CUI Han-guo， ZHANG Xing， LIU Xiao-cheng. An improved algorithm to build panorama［J］. Journal of Naval University of Engineering， 2006， 18（2）： 33-36， 58.

［7］張曉亮， 李麗. 全景圖拼接技術研究及應用［J］. 現代計算機，2011（16）： 27-29. ZHANG Xiao-liang， LI Li. Research and application of the panorama stitching technology［J］. Modern Computer， 2011（16）：27-29.

［8］趙向陽， 杜利民. 一種全自動穩健的圖像拼接融合算法［J］. 中國圖象圖形學報， 2004， 9（4）： 417-422. ZHAO Xiang-yang， DU Li-min. An automatic and robust image mosaic algorithm［J］. Journal of Image and Graphics， 2004，9（4）： 417-422.

［9］楊建菊. 基于全景圖的虛擬校園漫游系統研究與設計［J］. 凱里學院學報， 2010， 28（3）： 92-94. YANG Jian-ju. Research and design on panorama-based virtual campus walkthrough system［J］. Journal of Kaili University，2010， 28（3）： 92-64.

Research on electronic front view display system based on cylindrical panorama

ZHENG Ya-bo1， WANG Yong1， GUO Hai-Liang2
（1. Department of Navigation， Dalian Naval Academy， Dalian 116018， China；2 Department. of Training， Dalian Naval Academy， Dalian 116018， China）

Traditional front view can't display with a high precision and definition， and can't provide a strong sense of reality and interaction currently， aiming at those shortages， a new electronic front view making and display technique is proposed. This technique is based on cylindrical panorama， it adopts image processing method to realize the electronic front view mosaic smoothly， and uses VS2010 to empolder a panorama browser， this browser can display 3D visual effect and realize interactive operation. Experimental results show that this technique can provide a good visual experience and a strong sense of reality for seamen.

cylindrical projection；electronic front view；image mosaic；panorama browse

TP391.4

A

1672-7619（2016）09-0122-04

10.3404/j.issn.1672-7619.2016.09.25

2015-11-25；

2016-01-19

國家自然科學基金資助項目（61273262）；遼寧省自然科學基金資助項目（2015020086）；2015年度海軍大連艦艇學院科研發展基金資助軍事學術項目（2015JSXS021）；2015年度海軍大連艦艇學院科研發展基金資助項目2015年度海軍大連艦艇學院科研發展基金

鄭亞波（1985-），男，碩士，講師，研究方向為軍事航海以及水面艦艇戰斗航海工作、圖形圖像處理。