無標識紙質地圖增強現實技術研究與實現

劉安森，張威巍，王光霞

(信息工程大學，河南 鄭州 450001)

引用著錄：劉安森，張威巍，王光霞.無標識紙質地圖增強現實技術研究與實現[J].測繪工程，2017，26(12)：64-70，80.

DOI:10.19349/j.cnki.issn1006-7949.2017.12.013

無標識紙質地圖增強現實技術研究與實現

劉安森，張威巍，王光霞

(信息工程大學，河南 鄭州 450001)

紙質地圖因其通用性和全局性特點在地理環境的認知過程中具有重要意義，經過增強現實技術融合將會在信息載負量和可視化維度等方面實現突破。文中簡述無標識紙質地圖增強現實系統的技術原理，提出一種紙質地圖無標識配準方法，歸納總結紙質地圖增強現實表達方法及其作用，研究紙質地圖人機交互方法，實現無標識紙質地圖與增強現實技術的融合，增強傳統紙質地圖的認知功能。

增強現實；配準技術；無標識；人機交互；表達方法

地圖是現實世界的模型，是地理信息傳遞的載體[1]，因其整體宏觀、使用方便、便于攜帶和無需外設的優點成為人們認知地球、探索地理的主要工具。隨著電子設備和信息化技術的更新，紙質地圖的缺陷也日益突出：地形“降維”造成認知功能下降、交互功能的缺失、表現形式單一、更新效率差以及信息載負量限制[2]等等。增強現實(augmented reality，AR)是一種利用計算機產生的附加信息對使用者所看到的真實世界景象進行增強或擴張的技術，是跨學科的綜合體[3-5]。增強現實技術與地圖印刷制品的融合可以彌補傳統紙質地圖設計和制作的固定模式帶來的缺陷，具有升維(地理信息立體顯示)、擴容(地圖信息載負量的擴增)和交互(基于手勢的人機交互)的優勢。增強后的紙質地圖既具有真實感，又可以作為人機交互的界面和工具，將地理信息“降維”的地圖進行逆轉“升維”，同時在不影響地圖自身協調性和藝術性的前提下擴增其信息載負量，是發展紙質地圖的新思路。

自從Bobrich[6]等把增強現實技術應用于地圖可視化——把DEM三維模型以視頻的方式插入顯示到一張地形圖，“增強地圖”開始真正的出現。Schmalstieg[7]等制作了一個在倫敦地圖上增強疊加洪水淹沒動畫來證明自己“地圖可視化新媒體——增強現實”的觀點；Paelke[8]等通過一個電子設備實現了用戶與紙質地圖的交互。國內方面，孫敏等[9]將增強現實技術引入GIS，提出增強現實地理信息系統的概念，徐旺[10]等人對紙地圖中增強現實對準技術做了相關研究。雖然在地圖領域早已引入了增強現實概念，但以上研究都是停留在二者的初步融合和實現，存在問題有：紙質地圖識別配準大都依賴于人工標識，缺少對無標識地圖識別配準方法的深入研究；現有的增強現實系統中表達方法種類多樣，缺少一個針對地圖的增強現實表達方法的歸納總結；人機交互方面研究不足。本文將針對這3個問題對無標識紙質地圖增強現實的技術原理、表達方式和人機交互進行研究，并搭建實驗系統實現相關技術。

1 無標識紙質地圖增強現實技術原理

無標識紙質地圖增強現實技術是利用計算機視覺和傳感器等技術將增強信息和紙質地圖配準融合以達到增強地圖認知功能的綜合性技術。計算機將紙質地圖灰度化后采集存儲其特征點，并利用計算機視覺和圖像識別技術對目標地圖進行識別配準，最后將虛擬信息與紙質地圖“無縫”融合實現增強地圖認知功能的目的。本文將無標識紙質地圖增強現實的實驗原型分為4個部分并闡述其原理，如圖1所示。

圖1 紙質地圖增強現實原理示意圖

預處理部分是識別前的地圖處理階段，主要是提取和存儲地圖的特征點并將數據傳給設計者對相應增強信息進行關聯操作的過程。地圖識別和配準部分通過調取特征庫中的特征點并利用計算機視覺技術將視頻流中的幀圖像與處理后的地圖特征點對比識別，同時利用屏幕坐標系中特征點之間的相對位置對地圖在世界坐標系中的位置姿態[11]進行判斷，進而為增強信息預制件的布置提供坐標基礎。人機交互部分主要是基于心智模型[12]的手勢交互的設計。顯示部分是通過坐標轉化將世界坐標系和虛擬坐標系轉化到屏幕坐標系上并將地理信息通過模型、文本或多媒體等方式疊加到紙質地圖上并可進行交互的過程。

2 無標識的紙質地圖配準技術

2.1 無標識紙質地圖配準的基本流程

目前，在紙質地圖配準方面，大多數學者采用基于人工標識的配準方法，也就是在地圖上添加二維碼等人工標識以輔助配準，這種方法雖然能夠實現配準的目的，但破壞了地圖的美觀，尤其不適用于已經出版的地圖，為了解決這一問題，本文力圖探索一種無標識紙質地圖增強現實配準方法。

無標識紙質地圖增強現實配準的關鍵是如何獲取能夠滿足匹配要求的地圖圖像自然特征集，整個配準過程分為預處理和實時處理兩個階段。預處理階段的主要工作是：構建紙質地圖自然特征庫、構建地圖增強信息庫、紙質地圖與增強信息的關聯。實時階段的主要工作是：將獲取的視頻關鍵幀圖像特征與紙質地圖特征庫進行圖像匹配，估計相機的位置和姿態，提取當前視窗下的增強信息并進行繪制，具體流程如圖2所示，其中的核心是紙質地圖自然特征提取和相機位姿估計。

由于不同的地圖在設計風格、色彩模式方面的差異較大，無論采用哪種圖像特征描述方法，都不能保證所有的紙質地圖經過掃描后直接提取出滿足匹配要求的特征集。主要的問題有兩個：一是不能提取足夠數量的特征點，二是特征點在圖中分布極不均衡。為了解決這兩個問題，本文提出一種自適應紙質地圖圖像特征提取與匹配方法。

圖2 紙質地圖配準流程

2.2 基于圖像增強的地圖圖像特征提取方法

圖像特征描述的方法有很多，例如SIFT、SURF、FAST、BRISK、ORB等，這些方法各有優缺點，綜合精度和效率因素，本文擬采用FAST算法對地圖特征點進行提取。FAST特征描述方法首先以待檢測點p為中心建立一個半徑為3個像素的Bresenham圓，圓形軌跡上可得到16個與待測點p相鄰的像素點。如果這周圍的16個像素點中有連續的12個像素點的像素值都小于或者大于一個閾值，則認為p為角點，如式(1)所示。

(1)

其中：I(x)表示像素x的亮度值，t為給定的極小閾值。如果在Bresenham圓中與監測點的亮度相差一定閾值的點超過給定的閾值n，則該檢測是圖像的特征點。

在圖像特征提取的過程中，特征點的數量往往難以滿足匹配要求，為提高紙質地圖圖像特征點提取數量，本文通過反銳化掩模法(Unsharp Masking)加強圖像高頻成分，進而增加特征點的數量。首先對地圖圖像低通濾波得到鈍化模糊圖像，將原圖與鈍化模糊圖像相減得到高頻圖像(或細節圖像)，再將與放大系數相乘后的高頻圖像疊加到原圖上即可得到邊緣銳化的增強圖像，如式(2)所示，其中fraw(x,y)為原圖像，gmask(x,y)為原圖的高頻圖像，fblur(x,y)為原圖的鈍化模糊圖像，fsharpen(x,y)為邊緣銳化的增強圖像，λ為放大系數。

fsharpen(x,y)=fraw(x,y)+gmask(x,y)，

gmask(x,y)=λ·[fraw(x,y)-fblur(x,y)].

(2)

2.3 基于圖像分割的地圖圖像匹配方法

針對圖像增強(銳化)處理后特征顯著度仍較低的地圖，本文通過自適應分割方法進行圖像處理。首先對圖像解析得到長寬以及面積數據，在符合長寬比例以及面積限制(原圖面積的50%)的情況下對圖像特征點相對密集的區域進行自適應分割，得到特征顯著的局部圖像(分割截取后的圖像)，其次利用坐標轉化建立非識別區域圖像與識別區域圖像在世界坐標系下的位置關系，最終AR系統通過對局部圖像(識別區域圖像)的識別配準實現對整幅圖像的擴展跟蹤，如圖3左下角所示。已知地圖上任意點在其平面坐標系下坐標和識別區域任意點在世界坐標系下坐標，通過識別區域的任意3個不同線的點和非識別區域上任意一點的平面坐標建立聯系求得非識別區域的世界坐標，之后通過識別區域的坐標轉換公式求得非識別區域在屏幕圖像上投影點的像素坐標。非識別區域圖像與識別區域圖像之間的位置關系，如式(3)所示。世界坐標系下，識別區域內三點坐標為(xw1,yw1,zw1)，(xw2,yw2,zw2)和(xw3,yw3,zw3)，非識別區域坐標為(x,y,z)。在地圖平面坐標系下，識別區域內三點坐標為(xm1,ym1)，(xm2,ym2)和(xm3,ym3)，非識別區域內在坐標為(xm0,ym0)。

(3)

圖3 坐標轉換示意圖

2.4 基于自適應地圖圖像匹配的相機姿態估計

首先判斷地圖圖像特征集是否能夠滿足匹配要求，如果因為特征點數量不足而不能滿足匹配要求，則對原始圖像進行對比度增強處理，以增加圖像特征點的數量。如果因為特征點分布不均衡而導致不能滿足匹配要求，自適應地對地圖圖像進行分割處理，方法是從原始圖像中截取特征點分布相對均勻的矩形區域，以此局部圖像為特征采集圖像，并建立局部圖像與全局圖像之間的坐標轉換關系。為了保證圖像匹配的準確性，在對原始圖像進行分割處理時，局部區域的面積要大于全部圖像面積的一半。地圖自然特征提取方法如圖4所示。

圖4 紙質地圖自然特征提取示意圖

相機位姿估計的目的是計算增強信息在相機坐標系下的坐標。首先，圖像匹配成功后，根據單應性矩陣變換，計算出相機坐標系與世界坐標系之間的轉換關系，也就是確定相機的外部參數，隨后根據相機的內部參數，對增強信息進行坐標變換，計算出在相機坐標系下，增強信息的坐標，據此就可對增強信息進行繪制，實現增強信息與紙質地圖的疊加。設空間某一點在世界坐標系坐標為(Xw,Yw,Zw)，其對應投影點像素坐標為(u,v)，轉換關系如式(4)所示，f,Δx,Δy,u0,v0為相機內部參數，R為3×3旋轉矩陣，T為三維平移矢量，R和T統稱為相機外部參數，由相機相對于世界坐標系的方位決定。

(4)

2.5 紙質地圖配準實驗

在百度搜索和必應搜索中隨機抽取了54份不同類型的紙質地圖掃描圖片進行自然特征提取與匹配實驗，圖種涵蓋了政區圖、交通圖、人口密度圖、暈渲圖、水系流域圖、礦藏分布圖、影像地圖等多種地圖，圖幅范圍包含了從全球到街區。實驗平臺采用Vofuria SDK，將每一幅地圖圖像特征提取結果按照特征點的數量和分布均勻程度區分為優良、中等、較差3檔，優良檔為特征點多且分布均勻的圖像，較差檔為特征點少且分布集中不利于識別的圖像，中等檔為介于兩者可識別的圖像，圖5展示了總體實驗結果。利用本文方法處理后的圖像特征提取結果優良率從46%提升到94%，消除了特征提取評級為差的情況，圖6展示了其中一幅全國水系分布地圖在處理前后的特征點分布情況，該地圖在未處理情況下的圖像特征集評級為差，特征點分布如圖6(b)所示，經過處理后，圖像特征集評級為優，如圖6(c)所示。通過實驗結果可以看出，本文提出的自適應紙質地圖圖像特征提取方法能夠有效滿足無標識紙質地圖增強現實配準的要求。

圖5 地圖圖像特征點提取實驗結果

3 紙質地圖增強現實表達與交互技術

3.1 紙質地圖增強現實表達技術

紙質地圖增強現實系統的內容表達本質上就是增強信息的可視化，這種可視化不同于傳統地圖的表達，重點是將不可見、難以認知或難以想象的地理空間信息以直觀多維的方式表現出來。目前，增強現實表達方法有很多，但并未針對紙質地圖進行系統化總結。本文將增強信息的可視化方法匯總歸納，總結了適用于紙質地圖增強現實系統的表達方法并描述相應特點和適用場景。紙質地圖增強現實系統的內容表達本質是雙圖層或多圖層的疊加：一個或多個信息增強層與底圖地圖層配準疊加，將紙質地圖因圖幅限制等原因舍棄的信息通過信息增強層合理地展示給用戶，如圖7所示。其表達方法可分為模型疊加法、多媒體注記法和超鏈接嵌入法，如表1所示。

模型疊加法是指在紙質地圖的基礎上，通過三維模型的預制件導入并在顯示輸出設備上將模型與紙質地圖配準疊加的可視化方法。這種方法有效降低地圖的判讀難度，使地形等基本地理信息直觀地展現在用戶面前，增強地圖的模擬功能。模型疊加可根據需要進行全局疊加和局部疊加，或改變模型的透明度減少模型對底圖地圖信息的壓蓋。多媒體注記法是通過文本框、視頻、音頻或圖標等多媒體方式將描述性信息疊加在底圖地圖上相應位置以實現位置指示或者相關信息描述的功能。通常，這種方法會和地圖POI興趣點選取以及人機交互方式配合使用，增加紙質地圖的交互性，拓展其信息載負量，是描述屬性信息或熱點問題的可視化方法。超鏈接嵌入法是指通過用戶界面設計、屏幕觸摸按鈕或虛擬按鍵設置將紙質地圖與網絡地址(嵌入按鈕的URL)連接起來的可視化方法。

圖6 紙質地圖銳化處理特征提取結果示意圖

圖7 信息增強層與底圖地圖層對比示意圖

分類依據表達方法描述舉例增強信息的內容要素模型疊加法模型具有地理特征或屬性特征。這種方法可以將模型與二維地圖無縫連接,有效降低地圖的判讀難度,簡化特定地物在地圖中的檢索過程,增強地圖的模擬功能位置標識模型、建筑模型、地形模型等多媒體注記法該方法增加紙質地圖的交互性,拓展其信息載負量,是描述屬性信息(建筑物屬性信息、描述性視頻信息、音頻信息等)或熱點問題的可視化方法導航指示符號、信息增強文本框、地區性介紹視頻等超鏈接嵌入法該方法可以實現紙質地圖和網絡地圖的切換URL按鈕等

3.2 紙質地圖增強現實交互技術

紙質地圖攜帶方便，整體閱讀性和全局把控性強，但卻缺少地理信息選取(如POI點的選取和屬性信息查看)和基本行為操作(如地理模型添加、旋轉和縮放)等人機交互。實現用戶與真實場景中的虛擬對象之間更加自然的交互更是增強現實技術的目標之一[11]。如何解決限制紙質地圖發展的人機交互問題是本文要討論和實驗的重點。目前常用的3種手勢方法為：①基于鼠標和觸摸的輸入方式；②基于數據手套的手勢輸入方式；③體感交互方式。數據手套能獲取手指動作在三維空間上的運動細節，體感交互能實現更豐富多樣的手勢操作，但硬件設備價格較高，不能普及化。與其相比的觸摸方式雖然只能獲取二維平面手勢動作，但硬件成本較低且穩定方便。因此本實驗采用的設備是開發性能好的Android設備。

針對紙質地圖增強現實系統原型，筆者設計了一組簡單的觸屏手勢。手勢操作以及手勢語言的設計需要符合用戶心智模型，即符合用戶操作心理和操作習慣，具體如表2所示。

Android設備手勢交互流程如下：手指觸碰屏幕觸發位移事件，該事件被觸碰監聽器監聽，觸碰監聽器獲取事件對象并通過手勢識別器將事件對象傳遞至手勢監聽器來獲取封裝的信息并做出相應反饋，如圖8所示。Android通過手勢點類和手勢筆畫類存儲和傳遞手勢點信息，利用模板匹配技術將預先存儲好的手勢模型與傳感器輸入信息對比匹配[9]。

表2 實驗手勢設計

圖8 基于手勢的人機交互流程圖

手勢操作可以對虛擬信息進行位置變換，也可以進行虛擬信息深度操作，通過調用不同的函數對手勢進行消息響應，進而實現信息擴增。多種表達方法與交互技術的融合使用有效地提高了地圖的可讀性，降低了讀圖識圖的難度，并使得紙質地圖具有了良好的人機交互界面。通過地形和其他模型的導入以及擴展追蹤功能(識別圖離開鏡頭后增強信息能夠保持一個空間的定位)的實現，可使讀圖者能夠任意切換讀圖角度，既能總覽地圖全景，又能在地形模型中漫游，優化了交互方式，增強了地圖的認知功能。

4 無標識紙質地圖增強現實實例

基于紙質地圖增強現實無標識配準的基本原理，結合針對紙質地圖的增強現實表達方式和人機交互設計，本文利用Vuforia SDK設計并實現了一個紙質地圖增強現實系統的實驗原型，并使用Android設備(Android手機和EPSON BT200智能眼鏡)作為系統實驗硬件平臺對紙質地圖實現模型疊加、人機交互和網絡鏈接嵌入的功能。

原型系統用戶界面由3個按鈕組成，分別為“模型疊加”、“POI”和“網絡地圖”，每個按鈕的消息響應分別實現3種表達方法。通過點擊按鈕觸發相應的功能性響應函數，本系統原型以河南省行政區劃圖和世界地圖為例。

點擊“模型疊加”按鈕后將Android設備攝像機分別對兩張準識別地圖，系統會自動識別并將三維模型(地形模型和地球模型)疊加到相應地圖，用戶可以通過手指“左右”或者“上下”地滑動手機屏幕或智能眼鏡操作板控制模型旋轉達到從不同角度認知地圖的目的；點擊“POI”按鈕后，系統會將河南省行政區劃圖上的地形模型移除并顯示省會和各地級市POI位置標識模型，通過點擊地形圖上POI模型或者世界地圖上地球模型控制相關介紹性文本信息的顯示與關閉；點擊“網絡地圖”按鈕后，Android設備顯示內容會通過嵌入按鈕的超鏈接地址切換到網絡地圖(本實驗鏈接為百度地圖)，用戶可通過網絡對地圖進一步學習和認知。實驗對比示意圖如圖9所示。

通過實驗對比得出結論：無標識紙質地圖增強現實技術可以彌補傳統紙質地圖設計和制作的固定模式帶來的缺陷，具有升維(地理信息立體顯示)、擴容(地圖信息載負量的擴增)和交互(基于手勢的人機交互)的優勢。增強后的紙質地圖既具有真實感，又可以作為人機交互的界面和工具，將地理信息“降維”的地圖進行逆轉“升維”，同時在不影響地圖自身協調性和藝術性的前提下擴增其信息載負量。

圖9 實驗對比示意圖

5 結束語

傳統地圖是一個“降維”的過程，將三維世界降至二維平面已達到簡化現實突出地理特征并易于信息傳遞和表達的目的。新時期下地圖表達方式的發展趨勢是更好地將二維平面數據以三維信息形式傳遞給讀圖者來增強其對地圖的認知能力和范圍。增強現實技術的應用為地圖“二維—三維”[12]之間的無縫切換提供了新的可能，也通過技術手段增強了人的認知能力。本文實驗實現了無標識紙質地圖增強現實原型系統，對紙質地圖進行信息增強，在保證地圖藝術性和簡易性的前提下，增加了地圖信息載負量，將高程等信息進行了具體化和三維化，改變了紙質地圖單一的表達方法，間接地提高了讀圖者的地圖認知能力。但本文還存在某些不足有待深入研究，如用戶界面設計簡單，缺少對增強現實系統中顯示符號和色彩的研究。

總體上，本文通過增強技術一定程度地克服了傳統紙質地圖的弊端，豐富了表達形式和地圖信息載負量。增強現實技術將會給地圖學理論帶來一個新的發展契機，紙質地圖也將重獲新生。

[1] 王光霞,游雄,於建峰,等.地圖設計與編繪[M].北京：測繪出版社,2014.

[2] 張岸,莊劍順,齊清文,等. 基于增強現實技術的紙質地圖增強表達與交互[J]. 熱帶地理,2012,32(5):476-480.

[3] 王涌天,陳靖,程德文.增強現實技術導論[M].北京：科學出版社，2015.

[4] ELSAYED N A M,ZAYED H H,SHARAWY M I.ARSC:Augmented Reality StudentCard[J]．Computers & Education，2011,56(4):1045-1061.

[5] MCGARRITY E,TUCERYAN M.A method for calibrating see-through head-mounted displays foraugmented reality. the Proceedings of the IEEE 2nd International Workshop onAugmented Reality (IWAR 99). 1999.

[6] BOBRICH J J,OTTO S.Augmented Maps[C].England:International Archives of Photogrammetry Remote Sensing and Spatial Information Sciences,2002．

[7] SCHMALSTIEG D,REITMAYR G.Augmented Reality as a Medium for Cartography.MultimediaCartography[M].New York:Springer-Verlag,2006:267-282．

[8] VOLKER P，MONIKA S.Augmented paper maps Exploring the design space of a mixed reality system[J]．International Journal of Photogrammetry and Remote Sensing，2010，65(3)：56-265．

[9] 孫敏，陳秀萬，張飛舟，等．增強現實地理信息系統[J]．北京大學學報(自然科學版)，2004，40(6)：906-913．

[10] 徐旺,李愛光. 紙地圖增強現實對準技術研究[J]. 測繪科學技術學報,2016,33(2):185-190.

[11] 陳澤嬋,陳靖,嚴雷,等. 基于Unity3D的移動增強現實光學實驗平臺[J]. 計算機應用,2015,35(增2):194-199.

[12] 林一,陳靖,周琪,等. 移動增強現實瀏覽器的信息可視化和交互式設計[J]. 計算機輔助設計與圖形學學報,2015,27(2):320-329.

[責任編輯：劉文霞]

Realizationandresearchonunmarkedpapermapaugmentedrealitytechnology

LIU Ansen, ZHANG Weiwei, WANG Guangxia

(Information Engineering University, Zhengzhou 450001, China)

Paper map is of great significance in the cognitive process of geographical environment because of its generality and integrality, which can achieve a major breakthrough in the fileds of information load and visualization by the technology of augmented reality. Theoretically, the technology principle of unmarked paper map augmented reality system is described in this paper, and a registration method of paper map is proposed. Besides, the expression methods and effect of paper map augmented reality are summarized, and the integration of unmarked paper map and augmented reality technology is realized, which can enhance the cognitive function of traditional paper map.

augmented reality; registration method; non-marker; human-computer interaction; expression methods

P28

A

1006-7949(2017)12-0064-07

2016-09-10

河南省中原學者項目(142101510005)

劉安森(1992-)，男，碩士研究生.