基于全景影像的增強地理現實配準方法研究

陳令羽，賈奮勵，宋國民

(信息工程大學 地理空間信息學院，河南 鄭州 450000)

基于全景影像的增強地理現實配準方法研究

陳令羽，賈奮勵，宋國民

(信息工程大學 地理空間信息學院，河南 鄭州 450000)

介紹基于全景序列影像的增強地理現實構造方法，分析地理現實、地理空間數據以及全景序列影像三要素間的關系和研究的趨勢。結合柱面投影理論實現地理空間數據到全景序列影像的轉換，完成由虛擬空間向真實空間的定位配準，并給出一種用于驗證可行性的非平均特征點采樣方法，為進一步研究提供理論基礎。

增強地理現實；地理空間數據；全景序列影像；定位配準；可行性驗證

增強地理現實以增強現實技術為支撐、以地理空間數據為基礎，可以將計算機生成的具有地理定位的圖形、文字注釋等虛擬信息與使用者看到的地理現實有機融合起來，為使用者提供一種全新的感官復合的視覺效果，以擴展人類認知、感知世界的能力。它具有可量算、可交互、全方位等特點，將主體人、現實世界以及由計算機生成的數字世界無縫結合在一起，改變以往人與現實世界、數字世界的交流與交互模式，擴展基于位置的地理空間信息服務模式，為與地理空間關系密切的各行業，如導航、智能交通、指揮訓練等提供全新的作業模式。增強地理現實是虛擬現實技術的一個重要分支和延續，為人類的空間認知提供更加優越的工具，將會是GIS發展的最高階段[1-3]。

全景序列影像是指包括全景視頻與具備重疊區域的系列全景圖像在內的數字影像(流)，其以數字全景圖技術為支撐，能夠拍攝攝像裝置周圍 360°的影像(視頻)，并將其無縫拼合在一起，以某種方式展現出來[4]。全景序列影像在提供全方位視覺信息的同時，能夠提供動態的實時信息。作為對真實世界最直觀形象的一種表達方式，全景序列影像在虛擬現實系統中得到廣泛的應用，Google Earth 已將全景圖與虛擬地球捆綁在一起，在全景圖的拍攝點提供圖像顯示與有限的漫游，增強用戶體驗的真實感。增強地理現實是虛擬地理現實進一步發展的結果，兩者間具有一定程度上的相通性，全景序列影像也可以為增強地理現實提供最真實的地理信息數據資源。基于全景影像的增強地理現實系統，可以為人類的空間認知提供更加先進的工具，是一項復雜的技術，涉及多個學科領域的問題，其中空間配準是最基本的要求。

1 基于全景影像增強地理現實系統的空間配準

基于全景序列影像的增強地理現實是比較簡單的一種增強現實系統，僅靠地理空間數據與攝像裝置生成的全景序列影像相匹配，將真實場景與計算機生成的虛擬物體有機合成并顯示在終端設備上即可。其中，最核心的3個要素為地理空間數據、地理現實以及全景序列影像，其關系如圖1所示。

圖1 核心要素間的關系

基于全景序列影像的增強地理現實系統的本質是通過地理現實，實現地理空間數據和全景序列影像的虛實結合。由圖1可以看出，地理現實是連接地理空間數據和全景序列影像的唯一紐帶。將地理空間轉換到全景序列影像上是基于全景序列影像進行增強地理現實的關鍵技術之一，兩者間能夠精確配準的前提條件是地理空間數據和全景序列影像都能表達嚴格意義上的地理現實，特別是有精確的位置坐標轉換關系，其中主要包括兩個方面的內容：①地理現實和地理空間數據的轉換關系。地理空間數據是根據由數學方法確定的數學法則和綜合法則記錄空間地理現實的載體，是傳統測繪學重點研究的內容[5]。關于地理空間數據與地理現實關系的研究，已經形成相當完備的理論基礎，可以為實現地理現實和地理空間數據之間的相互轉換提供技術支撐；②地理現實和全景序列影像的轉換關系。全景序列影像是通過攝像裝備對周圍大場景進行拍攝拼接后的真實再現，目前的主要研究大多集中在全景序列影像的拼接融合上[6-12]，缺乏對地理現實空間到全景序列影像空間對應關系問題的研究，這也是將地理空間轉換到全景序列影像上的主要技術瓶頸。

2 地理現實到全景序列影像的坐標轉換

地理現實到全景序列影像的坐標轉換，就是根據地理現實的空間坐標確定其在全景序列影像中相應像素坐標的過程，是地理現實到全景序列影像地位配準的主要內容，也是增強地理現實系統實現的重要基礎。首先需要將地理現實所在的場景坐標根據攝像機的姿態信息轉換成攝像機坐標，然后根據攝像機的焦距等將其轉換成圖像坐標，最后通過相片的分辨率等信息計算出像素坐標，同時需要對結果進行糾正。其中所涉及到的各種攝像機信息，都可以由攝像機的標定來提供，如圖2所示。

圖2 地理現實到全景序列影像的坐標轉換

2.1 攝像機標定

在進行地理空間到平面全景的變換之前，首先需要進行攝像機的標定，確定攝像機的內部參數(焦距、相機畸變參數、相機的中心位置以及縮放比率等)和外部參數(相機的姿態，包括位移向量和旋轉矩陣)。通過攝像機的標定，不僅可以確定攝像機的各種參數，同時還可以根據場景中若干已知點和圖像中的對應關系，利用外部參數確定運動中攝像機在某一時刻的空間位置，在本文中設計的方法中可以作為GPS信號較弱區域確定攝像機位置的輔助方法。目前，在計算機視覺領域，攝像機可以采用不借助任何標定物的自標定技術，僅憑圖像特征點間的對應關系就可以確定出相機的內外參數。但在全景影像攝制過程中，由于多攝像機系統的相機單元具有不同的姿態參數且拍攝出的影像具有較大的變形，因此基于多組照片直接進行標定非常困難。可行的方法是借助于其它設備，如全站儀等獲得標記點的空間坐標，采用傳統的攝像機標定方法(如RAC兩步標定法[13])標定每個攝像機，并進而獲取全景攝像機系統的坐標轉換參數。

2.2 現實空間到柱面全景的轉換關系

常用的全景圖主要有柱面全景和球面全景圖兩種類型。理想狀態下，地理現實應該通過360°的攝像機直接轉換到柱面或球面空間上，但目前全景圖數據主要依靠單個攝像機在同一位置多角度直接拍攝、多個攝像機聯合拍攝等方式，然后對形成的影像進行360°拼接生成[14]。一般不同角度上拍攝的單幅照片要求有一定的重合區域，以方便拼接。由于采集的這一組照片是攝像機在不同角度上拍攝的，不在一個投影平面上，相互間存在一定的夾角，直接拼接會造成視覺的不一致性，例如分割在兩幅照片上的同一條直線拼接變成折線。為了保持地理現實中物體的空間約束關系，需要將所有投影平面歸化到同一坐標系下，構造柱面全景就需要將其投影到柱面上。以圖3為例，地理實體P首先被在位置O的相機捕捉在相片L1或L2上，然后通過柱面投影轉繪到360°的圓柱面上，變成柱面全景的一部分。但是分析圖3可以得到，位置O處的攝像機將地理實體攝錄在相片L上，然后投影到柱面上的過程可以近似看成由地理實體直接映射到柱面上，即使地理實體在相鄰相片上重復出現，其柱面投影點也是一樣的。例如地理實體P在L1,L2上的點P1,P2投影到柱面時都為P′。

圖3 地理現實到全景序列的投影關系

問題的關鍵轉化為將空間點P(X，Y，Z)轉化為由柱面展開平面中的點P′(u,v)，即根據空間點的場景坐標，計算出其在全景圖中像素點的位置(像素坐標),如圖4所示。

圖4 世界坐標下的投影關系

圖4中，點O為攝像機所在位置。為了方便計算，首先需要將大地坐標系下的點P轉換到以相機位置O為中心的相機坐標系中。

式中：R為3×3的正交單位矩陣；T為三維平移向量，可以根據點O和P的實際場景坐標確定。

空間點位置表示是在一種直角大地坐標系中，攝像機的位置可以根據其自身攜帶的GPS定位儀或攝像機標定獲取其在同一世界坐標中的位置坐標(X0,Y0,Z0)。攝像機坐標系是以攝像機為中心的三維直角坐標系，其原點就是攝像機的光心，XY平面位于焦平面上，Z軸垂直于XY平面和光軸重合。結合攝像機標定的結果和兩種坐標系的定義方式可以得出兩個坐標系在3個方向上的旋轉角依次為α,β,γ，則有

其中，

r11=cosαcosγ+sinαsinβsinγ,

r12=sinαcosβ,

r13=-cosαsinγ+sinαsinβcosγ,

r21=-sinαcosγ+cosαsinβsinγ,

r22=cosαcosβ,

r23=cosαcosγ+cosαsinβcosγ,

r31=cosβsinγ,

r32=-sinβ,

r33=cosβcosγ.

問題轉化為在同一攝像機坐標系下空間某一點p求解透過透視投影在全景柱面上P′的位置，如圖5所示。

圖5 攝像機坐標下的投影關系

在相機坐標系中，全景圓柱面方程為

x′2+z′2=f2.

其中f為相機的焦距。直線OP中P′有

x′=tx,

y′=ty,

z′=tz.

其中H為圓柱面的高度。計算全景像素坐標,為

式中：u′，v′表示相片的分辨率；W，H表示圓柱展開面的寬度和高度，則du和dv為尺度因子，表示兩個方向上1個單位距離含有的像素個數。

基于球面全景的轉換方式可以由柱面方法類似推導得出。

圖6 柱面全景展開示意圖

圖7 弧形展開示意圖

2.3 糾變模型

本文提到的現實空間點轉換到全景序列的方法采用的是線性模型，假定現實空間點、像點以及攝像機的光心在同一直線上。但由于攝像機制作工藝以及鏡頭的畸變等因素，具體成像模型并不是嚴格的線性關系。為了保證地理空間數據記載的地理現實能夠準確映射到全景圖上，必須對其進行畸變糾正。

攝像機鏡頭產生的畸變主要有徑向畸變、離心畸變以及薄棱鏡畸變等3種。后兩種畸變產生的原因主要是因為相機和鏡頭在裝配過程中定位不準造成的，一般不需要進行考慮。徑向畸變是由光學鏡頭徑向曲率的變化所引起的變形，使得空間直線投影到平面時有可能會變成曲線，造成圖像點的偏移，而且離中心點越遠，產生的扭曲變形就越大。因為徑向模型為一種幾何畸變，可以建立以下糾正模型：

u′=u+k1u(u2+v2)+ρu(u,v)，

v′=v+k2v(u2+v2)+ρv(u,v).

式中：k1u(u2+v2)和k2v(u2+v2)表示的是徑向畸變；k1和k2指的是徑向畸變參數，可以由攝像機標定求得；ρu(u,v)和ρv(u,v)表示設置過程中產生的其它畸變。

根據計算得出的地理現實到像素坐標的轉換關系，結合地理空間數據記錄的位置信息，將其一一對應，就可以完成地理空間到全景序列影像的定位配準。

3 可行性采樣檢驗分析

全景序列影像是由多幅圖像經過投影拼接而成，在處理的過程中可能會經過其他一些處理，改變嚴格意義上地理現實與圖像平面間的對應關系。為了驗證某種情況下全景序列影像采用該方法能否用像素坐標合理準確地表示地理現實，客觀評價地理實體到全景序列影像坐標轉換質量，可以通過非平均分布特征點采樣分析的方式進行驗證。通過比較特征采樣點處計算得出的像素坐標是否與地理現實匹配來進行評價。采樣比較的要求主要有兩點：①全景序列影像是在某一位置對周圍地理現實的360°復制，表達了真實場景中的所有信息，而空間地理數據僅是對最主要的地理現實進行抽象，因此只需要保證全景序列影像中主要地理現實的像素坐標準確，特征部位的采樣點應多于非特征部位；②地理現實到全景影像轉換誤差不可避免，應當允許采樣點比較時正確通過具有一定的容差空間，設定正確匹配的誤差閾值。根據攝像機工作原理，相同大小的地理現實根據距離遠近在影像中表現的尺度不同：距離越近，表示的越詳實，占用的像素越多，反之亦然。因此設定的誤差閾值也應當有所不同，近處的誤差閾值要小于遠處的誤差閾值，具體差別可根據其像素的表達能力確定。若某一像素所表達的地理現實尺度是另一像素表達地理現實尺度的n倍，則其允許的誤差閾值僅是這一像素允許值的1/n，例如某全景影像表達近處地理現實的分辨率是1m，表達遠處地理現實的分辨率為10 m，當地理現實映射到全景影像上時，誤差1個像素，近處實際僅相差1m，遠處實際相差10 m。同時遠處地理現實在進行全景圖映射時更容易出現偏差，所以在進行地理空間和全景影像配準時，應盡可能選擇全景圖中定位精度更好、表達內容更詳實的主要特征。圖8是一個具體的全景圖采樣點分布選取示例。

圖8 全景影像采樣點分布示例

圖8是車載全景相機在某一點拍攝拼接的全景序列影像，其中辦公樓為主要的特征地理現實。為了評價使用上文方法實現地理現實到該全景序列影像定位配準的質量，選取如圖8所示5個特征點(根據實際需要選擇采樣點個數，這里僅為說明方法的可行性)，其中A,B,C3點表示主要地理現實的特征部位，是進行增強地理現實定位配準過程中重點關注的采樣點，D,E是其他位置的輔助特征點。利用GPS確定5個點的地理位置，計算理論上其在全景影像中的位置，根據各采樣點到鏡頭之間的距離確定允許的誤差。計算得出各個點的像素坐標與實際影像中的差異，若在該點上允許的誤差范圍內，則表示在該點處配準有效，否則匹配不通過[15]。

在實際操作中，樣本空間越大，越有助于驗證結果的準確性[16]。根據實際精度需求和采樣點驗證通過的幾率來確定采用該方法配準有效。

4 結束語

基于全景序列影像的增強現實系統涉及到全景序列影像采集、數據準備、場景顯示和交互等各個過程。地理現實與全景影像的轉換關系是實現這些過程的基礎，只有通過建立兩者間合適的轉換模型，實現地理現實與全景序列影像上位置關系的精確配準，才能將各種地理空間數據和信息正確繪制在全景序列影像中，達到增強地理現實的作用。本文提供的地理現實和全景序列的轉換關系是在一種比較理想的狀態下給出的，假設攝像機在不同角度拍攝的照片在進行全景拼接時不再進行其他處理，能夠精準無縫融合在一起。在實際配準過程中，單幅照片可能由于拼接方式的不同需要進行特殊變換，但這并不影響本方法適用的普遍性。

[1]游雄. 戰場環境仿真[M]. 北京：解放軍出版社，2012.

[2]高俊. 作戰空間認知的新手段——“虛擬現實”與測繪保障[J]. 軍事測繪，1994,3(4)：3-7.

[3]GOODCHILD M F. Augmenting Geographic Reality [J], ESRIIndia, Bangalore[EB/OL]. http:∥www.csiss.org/aboutus/presentations/files/goodchild_boulder_sept02.pdf, 2010-08-20.

[4]P MILGRAM, F KISHINO. A taxonomy of mixed reality visual displays[A]. IEICE Transactions on Information Systems[C], Vol. E77-D, No. 12：1321-1329, 1994.

[5]王家耀，孫群，王光霞，等. 地圖學原理與方法[M]. 北京：科學出版社，2006.

[6]姜麗鳳. 全景圖拼接關鍵技術的研究[D]. 濟南：山東理工大學， 2008.

[7]楊紅喆. 基于特征點的全景圖生成技術的研究[D]. 南寧：廣西大學，2008.

[8]SZELISKI R.Video mosaics for virtual environments[J]. Computer Graphics and Applications. 1996: 22-30.

[9]魏超，劉智，王番，等. 壓縮感知理論及其在圖像融合中的應用[J]. 測繪工程，2013,22(2):30-33.

[10]S SMITH，J BRADY. A new approach to low-level image process， International Journal of Computer Vision [J]， 1997，23,(1):45～78.

[11]龔平. 基于點特征的全景圖合成方法研究[D]. 長沙：湖南師范大學，2005.

[12]方賢勇. 圖像拼接的改進算法[J]. 計算機輔助設計與圖形學學報，2003(11):1362-1365.

[13]R Y TSAI．A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J]．IEEE Journal of Robotics and Automation， RA-3(4)，August 1987：323-344.

[14]張欣. 全景拼接的關鍵技術研究[D]. 哈爾濱：哈爾濱工業大學，2012.

[15]張萬強，趙俊三，唐敏.無人機影像構建三維地形研究[J].測繪工程，2014，23(3):36-41.

[16]婁博，耿則勛，魏小峰，等.利用屬性圖的遙感數據與GIS數據松馳標號匹配[J].測繪科學，2014，39(7)：136-139.

[責任編輯：張德福]

Study of registration method in augment geographical reality based on panorama

CHEN Ling-yu, JIA Fen-li, SONG Guo-min

(Institute of Surveying and Mapping, Information and Engineering University, Zhengzhou 450000, China)

It introduces the construction method of augment geographical reality based on panorama, and analyses the relationship and trend of research among the geographical reality, geospatial data and panorama. According to the theory of cylindrical projection, it provides a transition method from geospatial data to panorama, and realizes the registration from the virtual space to reality space. Then, a non-average sampling method for feasibility verification is given, which can make a theoretical foundation for the further study.

augment geographical reality; geospatial data; panorama; registration; feasibility verification

2013-09-27，2014-08-26補充更新

國家自然科學基金資助項目(41101437;41371382)；國家863計劃資助項目(2013AA12A202)

陳令羽(1987- )，男，博士研究生.

P208

：A

：1006-7949(2014)10-0004-05