全景視頻流街景地圖的制作與應用

王 越，孫雅庚，彭小婷，袁靜文

（1.武漢市測繪研究院，湖北 武漢 430022；2.武漢大學遙感信息工程學院，湖北 武漢 430079）

隨著互聯網、大數據、移動測量等新技術的發展，傳統的測繪4D產品對于客觀世界的抽象化表達越來越難以滿足城市發展的現實需求，尤其是難以滿足城市治理中對基礎地理信息的直觀性和精細度需求[1]。近年來，Google、百度和騰訊等公司都相繼推出了基于全景圖像的城市街景地圖[2-3]，結合虛擬現實（VR）或增強現實（AR）等技術進行瀏覽可獲得一定的場景沉浸 感[4-5]，這種真實且直觀的地圖表達方式較好地兼顧了測繪專業領域和社會普通民眾的應用需求。然而，受全景采集時相機曝光周期的影響，現有街景地圖中相鄰兩幅全景圖像間會存在一定的空間間隔，瀏覽時易產生畫面“跳躍感”，在一定程度上影響了地圖漫游的流暢性，同時也難免會漏掉一些關鍵點的信息[6]。鑒于視頻錄制相較于單點拍攝在畫面連續性上的優勢，利用全景視頻制作的城市街景地圖能夠較好地彌補傳統街景產品的不足，且能保證街景信息的完整性和空間連續性，是一種新型的地理場景產品（GSP）[7]。

以武漢市舉辦第七屆世界軍人運動會為契機，利用全景視頻流技術采集制作了25條軍運會重點保障線路的全景視頻流街景地圖，并開發了全景視頻流街景地圖展示系統作為地圖發布及應用平臺。由于全景視頻流街景地圖兼具時空屬性，且制作周期較短，通過定期更新對比能快速發現城市街道及沿街立面的變化，可為城市交通管理和環境綜合整治提供重要的參考。

1 全景視頻流街景地圖的特點

全景視頻流地圖是街道實景表達的一種新形式，使地理空間信息從傳統靜態的基于圖形的抽象表達方式轉變為動態的基于圖像的真實表達模式[8]。全景視頻流技術與移動測量技術的結合，賦予了全景視頻以空間和時間屬性，與傳統的地圖產品相比，全景視頻流街景地圖具有以下特點：

1）真實直觀。視頻圖像相較于地圖符號其表達方式更加直觀，可還原最真實的街道場景，觀測視角也是從人的角度出發，三維立體感和用戶沉浸感較強，且具有一定的人機交互性。

2）信息量大。全景視頻對場景進行多角度環視拍攝，通過視頻拼接可獲得連續的720°（水平方向360°+垂直方向360°）環視全景圖，相較于二維圖像其信息量更加豐富。

3）生產高效。全景視頻流采集方便，生產過程對測繪專業軟件的依賴程度較低，制作周期短、成本低，數據更新效率高，易于網絡發布及后續應用。

2 街景數據采集和地圖制作

全景視頻流街景地圖制作主要包括街景視頻數據采集、數據處理以及視頻時空軌跡信息融合等內容。其中，街景視頻數據采集利用車載全景視頻采集系統進行，該系統搭載了一臺6鏡頭的高清全景相機、一臺GPS接收機以及相應的時間同步控制開關和數據存儲器等設備。以獲取的街景視頻數據、GPS軌跡數據和現有路網數據為基礎，經過全景視頻配準、拼接、色調均衡等處理形成全景視頻流，再融合視頻時空軌跡等信息，最終生成全景視頻流街景地圖，并通過系統設計進行地圖發布與展示。全景視頻流街景地圖的總體制作流程如圖1所示。

圖1 全景視頻流街景地圖制作流程圖

2.1 街景數據采集

車載全景視頻采集系統中，高清全景相機負責全景視頻數據的采集，項目應用中采用Teche720暢拍 3系列VR相機，通過連接三腳架固定于采集平臺頂部，如圖2所示。全景相機通過固定夾角的6個超廣角鏡頭來實現球面成像，單鏡頭分辨率為4 608像素× 3 456像素，經由后期拼接可得到最大分辨率為6 K的全景視頻。GPS接收機通過外接天線吸附于車外全景相機下方，用于記錄攝像時刻全景相機的空間位置。控制開關則負責各設備的數據記錄開關和時間同步控制。

圖2 車載全景視頻采集平臺

開始數據采集前，需對全景相機進行參數設置并做好GPS搜星準備，以確保相機正常工作且能接收到GPS定位信息。到達采集起始點后，啟動數據記錄控制開關，使全景相機和GPS接收機同時開始接收數據。為確保視頻攝錄的質量，數據采集時車速應控制在40 km/h以內，并盡量勻速行駛。由于6個鏡頭拍攝視角不同且相機處于運動狀態，各鏡頭獲取的視頻圖像難免存在光照差異，為了盡可能削弱光照對拼接色差的影響，數據采集通常選擇日照均勻的正午前后進行。

2.2 全景視頻流數據處理

全景圖像是構成全景視頻流的基本單元。利用多鏡頭全景相機同時拍攝相同場景具有一定重疊區域的視頻幀圖像，經過配準、拼接、融合等一系列處理，可生成一幅包含各鏡頭圖像序列信息的高分辨率大視域全景圖像。以一幀幀靜止的全景圖像為基礎，再以一定的幀率播放就形成了全景視頻流。全景視頻的拼接是在圖像拼接的基礎上完成的，它比全景圖像多了一個時域維度特性來確保視頻幀的同步性和穩定性，以及視頻幀間的色彩一致性[9]。

全景視頻拼接（又稱全景縫合）是全景視頻流處理的關鍵所在[10]，具體操作過程如下：首先對全景相機6個鏡頭的視頻幀圖像進行預處理和投影變換，目的是消除圖像畸變以盡可能提高配準精度。接著，在同步各鏡頭視頻幀圖像的基礎上，通過提取圖像特征進行特征匹配，完成視頻幀圖像的配準。隨后進行視頻幀圖像的融合，目的是消除各視頻幀組圖像間的幾何錯位和色彩差異，使拼接區域平滑過渡，實現全景無縫拼接和亮度色調均衡[11]。最后，對全景相機三腳架下方的拍攝盲區進行補地設置，以填補拼合畫面下視位置的圖像空洞。項目應用中，采用相機配套的泰科易全景視頻拼接軟件V5.4實現視頻幀圖像的批量縫合，并利用軍運會會標進行補地。拼接完成后，再利用專業視頻編輯軟件AdobePremiere進行色調均衡和渲染輸出。圖3展示了相機6鏡頭拼接后的全景視頻圖像。

圖3 全景視頻拼合圖像

2.3 視頻時空軌跡信息融合

全景視頻流街景地圖需要賦予全景視頻流以空間、時間等屬性，通過全景視頻時空軌跡信息融合，將以幀為單位的全景視頻流數據轉換為以道路段為單位的街道全景視頻時空信息，并建立全景視頻流時空軌跡數據庫。

在拍攝全景視頻流的同時，以采樣間隔1s同步記錄采集車的行進軌跡，利用GPS實時獲取全景相機的曝光位置和時間記錄，作為制作視頻時空軌跡文件的基礎數據。首先將GPS采集獲得的原始軌跡點坐標轉換到城市坐標系下（本文采用WH2000坐標系），以實現成果坐標基準的統一。接著利用城市路網數據中道路交叉口的空間位置將路網以段為單元進行切分，并獲取每條道路段的空間及屬性信息，再利用ArcGIS軟件將軌跡點連接成軌跡線，對軌跡線和道路段數據進行疊加，并將道路名稱、長度等屬性信息賦予相應的軌跡線中。此外，為豐富視頻地圖展示效果，對于采集線路中的關鍵點位進行標注，制作道路關鍵節點位置信息文件。與此同時，還需將GPS記錄的時間轉換為視頻播放時間，使軌跡點位和視頻幀圖像同步對應，以確保全景視頻流地圖定位的準確性。最終通過全景視頻流時空軌跡數據建庫，實現按地理信息空間分布的視頻時空數據管理。

3 街景地圖展示系統設計與實現

以全景視頻流成果和視頻時空軌跡數據為基礎，通過開發全景視頻流街景地圖展示系統進行地圖發布與展示。該系統采用B/S架構，由前端和后端兩部分組成。前端主要負責地圖展示，利用WebGL對全景視頻流數據服務進行加載，使用者可以通過瀏覽器直接對全景視頻流街景地圖進行瀏覽，并使用配套的地圖展示功能進行“互聯網+720°全景視頻街景”的可視化及交互體驗。后端主要用于地圖管理，由管理員進行系統參數設置、網頁內容編輯以及地圖發布管理等處理。

3.1 系統總體設計

全景視頻流街景地圖展示系統的總體架構共分為 4個層次：基礎層、數據層、服務層和應用層，如 圖4所示。其中基礎層主要保障系統運行的各種軟硬件、存儲設備及網絡環境的支撐，負責全景視頻流等數據文件的存儲和傳輸。數據層提供視頻街景地圖服務的基礎，包括視頻成果數據和基礎地理信息數據。服務層是系統的核心內容，為系統提供部署和運行所需的服務接口，包括全景視頻流云服務、視頻時空軌跡服務、二維基礎地圖服務以及傾斜三維模型服務。其中，全景視頻流云服務利用了騰訊云的云點播服務器，該服務器提供了視頻存儲管理、轉碼處理、加速播放等組件，可進行全景視頻流的上傳、存儲、轉碼、處理、播放、發布及管理等視頻服務；二維地圖切片數據和視頻時空軌跡數據服務則利用ArcGIS Server進行發布；傾斜三維模型數據先通過Nginx服務器發布成三維服務，再利用三維GIS引擎Cesium.js進行前端加載。Nginx是一個適用于網站發布的反向代理Web服務器[12]，全景視頻流街景地圖展示系統的應用程序、道路關鍵節點位置信息以及傾斜三維模型數據均通過該服務器發布。應用層則利用三維引擎Three.js在前端生成全景視頻播放器，基于視頻流等服務接口開發全景視頻流街景地圖展示系統，并通過ArcGIS JavaScript API調用發布的地圖服務與全景視頻流進行聯動，實現720°沉浸式的全景視頻街景瀏覽以及按空間定位查詢、按時間比對分析等 功能。

圖4 全景視頻流街景地圖展示系統體系架構圖

3.2 系統功能實現

結合軍運會重點保障線路全景視頻流街景地圖的應用需求，系統在實現對視頻街景數據進行全景瀏覽的基礎上，開發了二維地圖聯動、道路分段展示、分時雙屏對比、三維模型集成等功能。圖5為包含25條軍運會重點保障線路軌跡的系統界面。其中，二維地圖聯動功能通過空間位置信息實現了全景視頻流街景與二維地圖的聯動互操作，可通過二維地圖窗口瀏覽觀察點所在位置的720°環視街景（如圖6a所示）；道路分段展示功能在運用視頻時空軌跡數據的基礎上，通過導入道路關鍵節點位置信息，以道路分段進度條的形式模擬了視頻行進的動態效果（如圖6b所示）；分時雙屏對比功能通過空間定位查詢，分屏展示同一空間位置和觀察視角下的不同時期的街景比對，實現了對城市環境整治變化的動態監測（如圖6c所示）； 三維模型集成功能通過空間位置信息關聯，對全景視頻流街景和傾斜三維模型進行位置融合表達[13-14]，實現了多源實景數據的聯動展示（如圖6d所示）。

圖5 含25條軍運會重點保障線路的系統界面

圖6 系統主要功能效果圖

4 結 語

全景視頻流街景地圖作為一種全新的城市道路實景信息記錄手段，實現了720°全景視頻流和地圖的融合，具備了新一代互聯網視頻實景地圖的雛形。本文從全景視頻數據采集處理、視頻時空軌跡信息融合、地圖展示系統設計等方面對全景視頻流街景地圖的設計思路和制作流程進行了探討，并以武漢市第七屆世界軍人運動會為背景開展了應用。隨著移動測量、虛擬現實以及人工智能等技術的發展，可以預見全景視頻流街景地圖的人機交互性及可視化效果將進一步得到提升，并在城市管理、地圖導航和智慧城市建設等方面發揮更大的作用。