面向遠程監控的無人機視頻地理信息增強方法

姜 城，孫 敏，董 娜，任 翔

(北京大學遙感所，北京 100871)

面向遠程監控的無人機視頻地理信息增強方法

姜 城，孫 敏，董 娜，任 翔

(北京大學遙感所，北京 100871)

無人機技術近年來得到了非常迅速的發展，在諸多領域有著廣泛的應用，如航空攝影測量、地質或洪水災害監測、野生動物保護、資源勘測、考古與戶外救援及軍事偵察等。在這些應用中，最常見的是利用無人機作為遠程終端，實時獲取視頻影像，供地面工作站的人員進行分析或監控飛行區域的興趣點信息。但由于缺乏足夠的地理信息，同時受攝像頭視野的限制，地面工作人員只能實時看到一小塊區域，因而很難辨認當前視野內的目標及其相關地理信息。另外，視野中目標的位置、幾何尺寸及相關屬性信息對于遠程監控應用而言，通常非常重要。本文中，筆者提出解決兩方面的問題：一是在視頻流上增強地理信息，從而提升遠程監控的能力；二是通過增強地理信息，結合無人機平臺的傳感器信息，實現基于視頻影像的實時交互功能，為實時監控提供精確定位與空間分析功能。

無人機；增強地理信息；遠程監控；增強現實；災害應急

一、引 言

在災害發生發展過程中，無人機救援日益受到人們的重視，原因在于無人機比有人機更為安全，成本更低，且飛行高度低，更容易獲取高分辨率的影像和視頻，從而為災害救援提供更加有效快捷的支持。

在災害救援或遠程監控過程中，無人機主要充當遠程飛行平臺的作用，對其上所載傳感器獲取的信息進行綜合分析，提取有助于目標監控或災害救援任務的實施是主要或核心工作。換言之，無人機實時獲取的一手資料，必須經過處理才可以實現更為高效的應用。近年來，人們對無人機獲取的影像進行快速拼接，即快速成圖，進行了較為廣泛的研究，取得了一些成果。但快速成圖畢竟在離線狀態進行，主要是在無人機完成飛行任務后，對所獲取的大量圖像進行拼接處理，以得到一幅飛行區域的全圖，便于綜合分析應用。

在救援與災害過程中，人們對于無人機當前定義視野中的目標更為關注，如何對當前視頻流中的目標進行識別、定位或分析，其意義尤為重要。本文中，筆者提出對無人機實時回傳的遠程視頻流進行地理信息增強，從而達到對視頻流影像進行實時成圖的目的。通過對該遠程視頻進行增強，構建一個以無人機平臺為視頻獲取終端，以地面站為工作平臺的增強現實地理信息系統，從而為監控和救援工作提供良好的地理信息支持。

本文的主要框架如圖1所示，在無人機平臺上搭載4種傳感器，分別是：動態差分GPS接收機、高精度定向與姿態測量單元、無線視頻獲取與傳輸模塊、數碼相機。無人機平臺通過電臺與地面監控端進行通信，無人機自駕設備接收地面站指令，并將無人機飛行的實時狀態信息發送到地面站，同時無線視頻模塊將高清視頻流實時發送到地面站相關接收模塊。地面站系統利用地理信息系統提供的二維和三維地理信息，結合無人機的位置、航向及姿態信息，對視頻流進行增強處理。增強后的視頻流一方面可以顯示相關地理信息，另一方面可以提供交互式查詢與分析操作。

二、無人機平臺與基礎地理信息

1.無人機平臺

本文試驗使用了一款型號為S800的電動多旋翼無人機(如圖2所示)。該無人機高0.8 m，半徑0.5 m，續航能力為15 min，在試驗中飛行高度在100～200 m，其載荷能力可達2 kg。筆者采用了具有錄像功能的數碼相機，并使用了數字傳輸模塊，將該相機錄制的視頻實時下傳到地面終端。相機的錄像分辨率選擇1280像素×960像素。為了盡可能減少無人機抖動對相機的影響，同時便于地面對相機做進一步的操作，選用了一款型號為禪思Z15的三軸云臺，該云臺角度控制精度可達0.05°，水平旋轉方向、俯仰方向可控范圍為360°，橫滾方向為40°。

圖1 利用空間信息對無人機視頻流進行增強的方法框圖

圖2 無人機及相關傳感器

該無人機具備自駕功能，可按地面站設定的航線飛行并進行航空拍攝。但作為商業產品，其自駕部件并不提供二次開發功能，即用戶不能得到無人機自主飛行時的姿態與位置參數。事實上，該無人自駕系統的定位精度約在5 m，航向測量使用了電子羅盤，其精度不高于1°，且易受無人機上的安裝部件的影響。為此，筆者在該無人機搭載了一套高精度動態定位與測姿模塊，該模塊的精度指標為：動態差分位置精度為1 cm＋1×10－6D，航向精度＜0.5°，俯仰/橫滾＜0.2°，測速精度0.03 m/s，數據更新率為20 Hz。通過使用該模塊，可以精確地得到無人機在飛行過程中的位置與姿態信息，從而為后續的信息增強處理提供了較好的保障。

2.地理信息預處理

為了便于驗證本文所提出的方法，筆者選擇北京大學校園進行試驗，采用了1∶500比例尺的數字化校園地形圖。在本項研究中，筆者以道路與建筑物作為主要增強信息對象，因此為了簡化試驗，僅保留了地圖中的建筑物與道路圖層，而忽略了其他地圖要素。由于現實場景的三維特性，因此要求增強的地理信息也應該是三維地理信息，否則難以與現實場景的實時視頻流實現良好的匹配。因此，如何管理三維地理信息是需要解決的問題。由于二維數字化地圖在瀏覽無人機飛行區域相關的較大范圍的地形要素及航跡規劃等方面更為便捷直觀，同時二維地理信息的空間數據庫管理已經相當成熟，另外，大量已有地理信息數據一般均為二維數據，因此，對于基礎地理信息的管理仍然以二維空間數據庫進行管理。在原型系統開發過程中，筆者使用ArcGIS Engine進行二維地圖數據的管理。

在現有三維地理信息系統中，三維信息的管理有很多方法，為了簡化問題，筆者采用以下簡略方案解決該問題：

1)使用二維空間數據庫(如ArcSDE)對飛行區域的空間數據進行管理，包括影像數據。

2)采用分塊索引的方式，將無人機實時飛行過程中所在區域的二維數據自動轉換為三維數據。

3)為了避免過于頻繁的轉換計算，按無人機的飛行速度和分塊索引的大小，估算轉換的時間間隔，按此間隔對數據進行轉換。

4)將轉換后的三維數據采用增強現實渲染技術，與實時視頻流進行融合。

在三維數據的轉換過程中，主要對校園中的建筑物對象進行了建模，關聯并添加了三維注記信息。由于地形圖中缺乏建筑物高度，為簡單起見，本文賦予了統一的高度。此外，對道路簡化為線對象，主要添加了三維道路注記。圖3展示了二維數據的管理與二維到三維的轉換過程。由于建筑物高度數據不正確，因此，在交互過程中不考慮建筑物頂部，主要考慮建筑物側面的注冊。

圖3 地理信息數據管理與二維到三維的轉換

三、高精度無人機位置與姿態實時定位方法

在戶外增強地理信息的注冊過程中，使用GPS與IMU傳感器數據進行實時注冊是一種主流方法，其優點是很明顯的[1-2]。但對于地面環境，尤其是城市環境而言，GPS信號極易受地面對象，如樹木、建筑物乃至水域的影響，因此對于地面增強現實信息系統而言，GPS接收器的使用一般會使數據存在誤差。但對于無人機而言，基本上不存在這一問題，除受電磁信號的干擾外，一般情況下，GPS信號相當穩定，可以保證高精度的測量質量。

如前所述，試驗中采用了一款定位精度為1 cm＋1×10－6D的動態差分GPS模塊，其數據更新頻率為20 Hz。試驗中，使用的S800多旋翼無人機設置的飛行速度為6 m/s，即該定位模塊可以對多旋翼無人機的空間位置進行每米超過3次的定位測量。對于較大速度飛行的無人機，如速度達到20 m/s (72 km/h)時，該模塊仍然可以提供空間位置每米1次的定位測量。為了精確測定無人機的飛行姿態，試驗使用了一款AHRS，為保持與GPS數據更新一致，其數據更新頻率同樣使用20 Hz。為了提高數據的抗干擾性，依照文獻[3]對原始GPS數據與AHRS姿態數據進行了自適應Kalman濾波進行處理。

四、視頻流增強方法

筆者采用增強現實繪制技術，在接收到的視頻流上實時匹配經過轉換后的三維地理信息，具體方法與文獻[4—5]等所述的傳統方法基本一致。取決于匹配精確度的因素主要有：無人機機載攝像頭實時位置與姿態的測量、攝像頭內參數校正、三維數據的精度及無人機上視點與目標物的距離。由于受各項誤差的限制，因此不可能得到非常可靠的注冊結果。在現有解決方案中，使用最多的是視覺跟蹤法，該方法可以得到穩定可靠的注冊結果[6]。但其缺點也同樣存在，尤其在無人機平臺上使用時，問題尤為突出，主要原因在于，當無人機飛行高度較大或地面目標特征不明顯的情況下，視覺跟蹤難以奏效。

在本文中使用的多旋翼無人機的飛行速度較低(一般為10 m/s)，當選擇較好的天氣狀況時，可以忽略氣流對無人機飛行速度的影響，因此搭載在該無人機平臺上的DGPS/IMU模塊測量可以得到很穩健的結果。經過實時濾波處理，本文獲取了穩定可靠的無人機實時三維位置信息，其所含的誤差對注冊的影響可以忽略。

基于攝影測量誤差理論分析可知，角度測量誤差對注冊的影響要大于位置誤差，尤其是航向誤差的存在，直接造成了注冊時的旋轉偏差，目標距離越遠，注冊誤差越大。為了解決該問題，本文引入了人工交互設備，使用游戲手柄，通過人工交互的方式人為糾正注冊偏差。本文所使用的交互糾正方法基本采用了文獻[7]中的方法。由于位置誤差很小，因此本文忽略了位置誤差；同時，無人機在自主飛行獲取影像的過程中，俯仰動作很少，而橫滾動作一般發生在轉彎過程中，因此主要是對航向角測量誤差引起的影響進行糾正。注冊方法如圖4所示，注冊結果如圖5所示。

五、交互定位與目標分析

事實上，將三維地理信息疊加到視頻流上時，所構建的就是一個增強現實地理信息系統，如文獻[7]所述，可以認為是為三維地理信息窗口增加了視頻背景，只不過該視頻背景與前面的三維地理要素之間實現了較好的匹配。因此，基于該系統進行三維對象的定位、查詢與分析是可行的。

圖4 基于MUAV平臺的交互注冊方法

圖5 注冊結果

由于視頻影像提供了遠多于三維要素所給出的信息，而且在用于遠程監控時，用戶更感興趣視頻流上出現的目標。這些目標即使沒有增強的三維信息或其根本沒有地理信息，但觀察者仍可能會對其所處位置方位及尺寸感興趣。

在三維地理信息系統中，查詢與分析一般是建立在已有可視化對象的基礎上的，而對于按本項研究建立的增強現實地理信息而言，視頻流上呈現的對象并不屬于增強的三維場景，因此對視頻流上的目標信息只有通過已注冊的三維信息進行推算。如果在三維場景中存在DEM，則視頻流中的影像原則上應與DEM之間存在良好的對應關系，因此，視頻流中的目標在DEM上可以查詢到其對應的位置信息。本文由于缺乏校園的DEM，筆者假定校園處于一個水平面上，視頻流中興趣目標的查詢是建立在假定整個視頻流上的目標處于同一平面位置的前提下的，即將對視頻上任意目標的查詢與定位均映射到同一平面上。因此，查詢的結果是比較粗略的。盡管如此，這種定位所給出的信息比僅具有視覺信息的視頻流重要得多，尤其是在災害與應急環境中，其意義尤為突出。在一些平坦地區，如平原、流域等環境，這種方式應該能達到較好的結果。

六、討 論

增強現實技術的首要目的是得到理想的虛實不分的可視效果，對于娛樂與媒體制作而言，這種要求非常重要。對于地理信息系統領域，由于傳感器精度及獲取數據環境的限制，目前要達到這一要求非常困難。

地理信息的增強旨在為災害與應急環境提供更多直觀的信息，雖然達不到完美的注冊，但這類信息的提供對于災害與應急而言有重要意義，如能實時獲取視頻流中興趣目標點的位置，推算其速度、方位及尺度等幾何信息。

影響完美注冊的因素，即誤差來源，主要有以下幾方面。

1)地理信息本身的誤差。使用1∶500的地形圖，測量誤差一般為10 cm，在通常情況下，很難獲取比1∶500更好的地形圖數據。另外，最大的問題在于，難以獲取飛行區域的DEM。為了獲取良好的地理信息增強效果，花費大量的人力物力進行高精度DEM采集，顯然是不合適的，一般只能在現有DEM的基礎上進行。如SRTM數據，其精度可達到50 m，這樣的精度無論無人機的位置與姿態信息精度如何，在斜視情況下，均難以得到完美的注冊結果。因此，對于注冊的效果要求，應采取折中的方式。

2)GPS/IMU測量誤差。對于低速航行的無人機來說，動態高精度差分GPS通過使用Kalman濾波處理可以得到比較理想的結果，但IMU測量數據仍然存在一定誤差，由于視角誤差對增強信息的匹配影響遠大于視點位置誤差的影響，在視覺跟蹤方法難以適用的情況下，引入人工交互方式，可以在一定程度上解決問題。如前所述，當俯仰與橫滾誤差較小時，主要輸入航向改正即可。

3)其他不確定性擾動因素誤差。除了地理信息本身的誤差之外，影響注冊的最大因素來自于無人機飛行過程中因氣流造成的抖動與非勻速飛行。無人機的抖動與DGPS/IMU測量誤差之間缺乏有效的方法加以區分，傳感器的防震是唯一避免抖動的有效方法。目前在多旋翼無人機上，抖動對視頻及DGPS/IMU測量的影響不大。因此，本文將抖動引起的誤差均歸為DGPS/IMU的測量誤差，采用Kalman濾波加以處理。另外，對于氣流的影響，在多旋翼無人機上尚沒有有效的方法進行測定。在Kalman濾波處理時，筆者將無人機的速度估計值確定為前3個DGPS測量點的位移速度。對于飛行速度較高且存在一定風速影響的環境，這種方法顯然是難以適用的。

七、結束語

在本文中，筆者提出了一種利用地理信息對MUAV實時回傳的視頻流進行增強的方法，并開發了原型系統，最后利用此系統在北京大學校園內進行了試驗。該系統主要的優點有：①更加穩定和高精度的位置和姿態信息；②能從增強的視頻流中立即獲取地理信息；③三維動態視頻子系統提供查詢和空間分析功能。

[1] YOU S，NEUMANN U，AZUMA R.Hybrid Inertial and Vision Tracking for Augmented Reality Registration[C]∥Proceedings of IEEE VR’99.Washington，DC：IEEE，1999.

[2] SATOH K，ANABUKI M，YAMAMOTO H，et al.A Hybird Registration Method for Outdoor Augmented Reality[C]∥Proceedings of 2nd IEEE and ACM Intermational Symposium on Augmented Reality.New York：IEEE，2001.

[3] ALMAGBILE A，WANG J，DING W.Evaluating the Performances of Adaptive Kalman Filter Methods in GPS/ IMU Integration[J].Journal of Global Positioning Systems，2010，9(1)：33-40.

[4] GHADIRIAN P，BISHOP I.Composition of Augmented Reality and GIS to Visualize Environmental Changes[C]∥Proceedings of the Joint AURISA and Institution of Surveyors Conference.Adelaide：[s.n.]，2002.

[5] ZLATANOVA S，HEUVEL F.3D GIS for Outdoor AR Applications[C]∥Proceedings of the 3rd International Symposium on Mobile Multimedia Systems＆Applications.Delft，The Netherlands：[s.n.]，2002.

[6] HOU Z，HAN C.A Survey of Visual Tracking[J].Acta Automatica Sinica，2006，32(4)：603.

[7] SUN M，LIU L，HUANG W，et al.Interactive Registration for Augmented Reality GIS[C]∥Proceedings of CVRS.Xiamen：IEEE，2012.

Real-time MUAV Video Augmentation with Geo-information for Remote Monitoring

JIANG Cheng，SUN Min，DONG Na，REN Xiang

P237

B

0494-0911(2014)11-0028-05

2013-11-25

國家科技支撐計劃(2012BAH27B02；2012BAK12B02)

姜 城(1990—)，男，浙江余姚人，碩士生，研究方向為增強現實。

姜城，孫敏，董娜，等.面向遠程監控的無人機視頻地理信息增強方法[J].測繪通報，2014(11)：28-32.

10.13474/j.cnki.11-2246. 2014.0356